CENTOS/RHEL 7 系统中设置SYSTEMD SERVICE的ULIMIT资源限制

Posted on 2019-09-18

在bash中，有个ulimit命令，提供了对shell及该shell启动的进程的可用资源控制。主要包括打开文件描述符数量、用户的最大进程数量、coredump文件的大小等。

在centos 5/6 等版本中，资源限制的配置可以在/etc/security/limits.conf 设置，针对root/user等各个用户或者*代表所有用户来设置。当然，/etc/security/limits.d/ 中可以配置，系统是先加载limits.conf然后按照英文字母顺序加载limits.d目录下的配置文件，后加载配置覆盖之前的配置。一个配置示例如下：

[root@ziggle-linux yum.repos.d]# cat /etc/security/limits.conf 
# /etc/security/limits.conf
#
#This file sets the resource limits for the users logged in via PAM.
#It does not affect resource limits of the system services.
#
#Also note that configuration files in /etc/security/limits.d directory,
#which are read in alphabetical order, override the settings in this
#file in case the domain is the same or more specific.
#That means for example that setting a limit for wildcard domain here
#can be overriden with a wildcard setting in a config file in the
#subdirectory, but a user specific setting here can be overriden only
#with a user specific setting in the subdirectory.

*     soft   nofile    100000
*     hard   nofile    100000
*     soft   nproc     100000
*     hard   nproc     100000
*     soft   core      100000
*     hard   core      100000

不过，在CentOS 7 / RHEL 7的系统中，使用Systemd替代了之前的SysV，因此 /etc/security/limits.conf 文件的配置作用域缩小了一些。limits.conf这里的配置，只适用于通过PAM认证登录用户的资源限制，它对systemd的service的资源限制不生效。登录用户的限制，与上面讲的一样，通过 /etc/security/limits.conf 和 limits.d 来配置即可。
对于systemd service的资源限制，如何配置呢？

全局的配置，放在文件 /etc/systemd/system.conf 和 /etc/systemd/user.conf。同时，也会加载两个对应的目录中的所有.conf文件 /etc/systemd/system.conf.d/*.conf 和 /etc/systemd/user.conf.d/*.conf
其中，system.conf 是系统实例使用的，user.conf用户实例使用的。一般的sevice，使用system.conf中的配置即可。systemd.conf.d/*.conf中配置会覆盖system.conf。

1
2
3

DefaultLimitCORE=infinity
DefaultLimitNOFILE=100000
DefaultLimitNPROC=100000

注意：修改了system.conf后，需要重启系统才会生效。

针对单个Service，也可以设置，以nginx为例。
编辑 /usr/lib/systemd/system/nginx.service 文件，或者 /usr/lib/systemd/system/nginx.service.d/my-limit.conf 文件，做如下配置：

[Service]
LimitCORE=infinity
LimitNOFILE=100000
LimitNPROC=100000

然后运行如下命令，才能生效。

1 2	sudo systemctl daemon-reload sudo systemctl restart nginx.service

查看一个进程的limit设置：cat /proc/YOUR-PID/limits
例如我的一个nginx service的配置效果：

$cat /proc/$(cat /var/run/nginx.pid)/limits
Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size            8388608              unlimited            bytes
Max core file size        unlimited            unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes             100000               100000               processes
Max open files            100000               100000               files
Max locked memory         65536                65536                bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals       1030606              1030606              signals
Max msgqueue size         819200               819200               bytes
Max nice priority         0                    0
Max realtime priority     0                    0
Max realtime timeout      unlimited            unlimited            us

顺便提一下，我还被CentOS7自带的/etc/security/limits.d/20-nproc.conf文件坑过，里面默认设置了非root用户的最大进程数为4096，难怪我上次在limits.conf中设置了没啥效果，原来被limit.d目录中的配置覆盖了。

netty-handler

Posted on 2019-08-28

`channel`的生命状态周期

状态	说明
channelUnregistered	说明
channelUnregistered	`channel`创建之后，还未注册到`EventLoop`
channelRegistered	`channel`注册到了对应的`EventLoop`
channelActive	`channel`处于活跃状态，活跃状态表示已经连接到了远程服务器，现在可以接收和发送数据
channelInactive	`channel` 未连接到远程服务器

一个Channel正常的生命周期如下

channelRegistered -> channelActice -> channelInactive -> channelUnregistered

零拷贝（DIRECT BUFFERS 使用堆外直接内存）

Netty 的接收和发送 ByteBuffer 采用 DIRECT BUFFERS，使用堆外直接内存进行 Socket 读写，
不需要进行字节缓冲区的二次拷贝。如果使用传统的堆内存（HEAP BUFFERS）进行 Socket 读写，
JVM 会将堆内存 Buffer 拷贝一份到直接内存中，然后才写入 Socket 中。相比于堆外直接内存，
消息在发送过程中多了一次缓冲区的内存拷贝。
Netty 提供了组合 Buffer 对象，可以聚合多个 ByteBuffer 对象，用户可以像操作一个 Buffer 那样
方便的对组合 Buffer 进行操作，避免了传统通过内存拷贝的方式将几个小 Buffer 合并成一个大的
Buffer。
Netty的文件传输采用了transferTo方法，它可以直接将文件缓冲区的数据发送到目标Channel，
避免了传统通过循环 write 方式导致的内存拷贝问题

docker-compose

Posted on 2019-08-25

安装`docker-compose`

1	curl -L "https://github.com/docker/compose/releases/download/1.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose && sudo chmod +x /usr/local/bin/docker-compose

docker-compose `volumes` 卷标

1	docker volume ls

mysql-配置

version: '3.3'
services:
  redis:
    # 指定镜像
    image: redis:4
    ports:
      # 端口映射
      - 6379:6379
    volumes:
      # 目录映射
      - "redis-db:/usr/local/etc/redis"
      - "redis-db:/data"
    command:
      # 执行的命令
      redis-server
  mysql:
    image: mysql:5.7
    restart: always
    environment:
      MYSQL_DATABASE: 'db'
      # So you don't have to use root, but you can if you like
      MYSQL_USER: 'root'
      # You can use whatever password you like
      MYSQL_PASSWORD: '123456'
      # Password for root access
      MYSQL_ROOT_PASSWORD: '123456'
    ports:
      # <Port exposed> : < MySQL Port running inside container>
      - '3306:3306'
    expose:
      # Opens port 3306 on the container
      - '3306'
      # Where our data will be persisted
    volumes:
      - my-db:/var/lib/mysql
      - my-db:/etc/my.cnf"
# Names our volume
volumes:
  my-db:
  redis-db:

regex

Posted on 2019-08-07

Translations:

什么是正则表达式?

正则表达式是一组由字母和符号组成的特殊文本, 它可以用来从文本中找出满足你想要的格式的句子.

一个正则表达式是在一个主体字符串中从左到右匹配字符串时的一种样式.
例如”Regular expression”是一个完整的句子, 但我们常使用缩写的术语”regex”或”regexp”.
正则表达式可以用来替换文本中的字符串,验证形式,提取字符串等等.

想象你正在写一个应用, 然后你想设定一个用户命名的规则, 让用户名包含字符,数字,下划线和连字符,以及限制字符的个数,好让名字看起来没那么丑.
我们使用以下正则表达式来验证一个用户名:

以上的正则表达式可以接受 john_doe, jo-hn_doe, john12_as.
但不匹配Jo, 因为它包含了大写的字母而且太短了.

元字符	描述
.	句号匹配任意单个字符除了换行符.
[ ]	字符种类. 匹配方括号内的任意字符.
[^ ]	否定的字符种类. 匹配除了方括号里的任意字符
*	匹配>=0个重复的在*号之前的字符.
+	匹配>1个重复的+号前的字符.
?	标记?之前的字符为可选.
{n,m}	匹配num个中括号之前的字符 (n <= num <= m).
(xyz)	字符集, 匹配与 xyz 完全相等的字符串.
\|	或运算符,匹配符号前或后的字符.
\	转义字符,用于匹配一些保留的字符 `[ ] ( ) { } . * + ? ^ $ \ \|`
^	从开始行开始匹配.
$	从末端开始匹配.

2.1 点运算符 `.`

.是元字符中最简单的例子.
.匹配任意单个字符, 但不匹配换行符.
例如, 表达式.ar匹配一个任意字符后面跟着是a和r的字符串.

".ar" => The car parked in the garage.

简写	描述
.	除换行符外的所有字符
\w	匹配所有字母数字, 等同于 `[a-zA-Z0-9_]`
\W	匹配所有非字母数字, 即符号, 等同于: `[^\w]`
\d	匹配数字: `[0-9]`
\D	匹配非数字: `[^\d]`
\s	匹配所有空格字符, 等同于: `[\t\n\f\r\p{Z}]`
\S	匹配所有非空格字符: `[^\s]`

符号	描述
?=	前置约束-存在
?!	前置约束-排除
?<=	后置约束-存在
?<!	后置约束-排除

标志	描述
i	忽略大小写.
g	全局搜索.
m	多行的: 锚点元字符 `^` `$` 工作范围在每行的起始.

channel的生命状态周期

一个Channel正常的生命周期如下

零拷贝（DIRECT BUFFERS 使用堆外直接内存）

安装docker-compose

docker-compose volumes 卷标

mysql-配置

Translations:

什么是正则表达式?

目录

1. 基本匹配

2. 元字符

2.1 点运算符 .

2.2 字符集

2.2.1 否定字符集

2.3 重复次数

2.3.1 * 号

2.3.2 + 号

2.3.3 ? 号

2.4 {} 号

2.5 (...) 特征标群

2.6 | 或运算符

2.7 转码特殊字符

2.8 锚点

2.8.1 ^ 号

2.8.2 $ 号

3. 简写字符集

4. 前后关联约束(前后预查)

4.1 ?=... 前置约束(存在)

4.2 ?!... 前置约束-排除

4.3 ?<= ... 后置约束-存在

4.4 ?<!... 后置约束-排除

5. 标志

5.1 忽略大小写 (Case Insensitive)

5.2 全局搜索 (Global search)

5.3 多行修饰符 (Multiline)

额外补充

贡献

许可证

打印某一列

`channel`的生命状态周期

安装`docker-compose`

docker-compose `volumes` 卷标

2.1 点运算符 `.`

2.3.1 `*` 号

2.3.2 `+` 号

2.3.3 `?` 号

2.4 `{}` 号

2.5 `(...)` 特征标群

2.6 `|` 或运算符

2.8.1 `^` 号

2.8.2 `$` 号

4.1 `?=...` 前置约束(存在)

4.2 `?!...` 前置约束-排除

4.3 `?<= ...` 后置约束-存在

4.4 `?<!...` 后置约束-排除