Redis 服务申请过量的内存

2017-04-12 0 By admin

Redis 服务在使用RDB做数据快照和AOF做日志重写的时候,都会fork()一个子进程。因为子进程要申请和父进程相同大的内存,会造成系统内存紧张,系统运行异常。
Redis 运行中会有如下警告:
[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.

一、控制内存分配策略的内核参数

内核参数:overcommit_memory。它控制系统的内存分配策略。可选值:0、1、2。

含义
0 表示内核将检查是否有足够的可用内存供应用进程使用。
如果有足够的可用内存,内存申请允许;
否则,内存申请失败,并把错误返回给应用进程。
1 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
2 表示内核允许分配超过所有物理内存和交换空间总和的内存

二、什么是Overcommit和OOM

Linux对大部分申请内存的请求都回复”yes”,以便能跑更多更大的程序。
因为申请内存后,并不会马上使用内存。这种技术叫做Overcommit。
当linux发现内存不足时,会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程,不是内核线程),以便释放内存。
当oom-killer发生时,linux会选择杀死哪些进程?
选择进程的函数是oom_badness函数(在mm/oom_kill.c中),该函数会计算每个进程的点数(0~1000)。点数越高,这个进程越有可能被杀死。
每个进程的点数跟oom_score_adj有关,而且oom_score_adj可以被设置(-1000最低,1000最高)。

三、系统参数overcommit_memory和overcommit_ratio

查看CommitLimit和Committed_As系统参数:
grep -i commit /proc/meminfo
CommitLimit是一个内存分配上限
CommitLimit = 物理内存 * overcommit_ratio(默认50,即50%) + swap大小
Committed_As是已经分配的内存大小
overcommit_memory参数就是控制分配内存是否可以超过CommitLimit
默认是0,即启发式的overcommitting handle,会尽量减少swap的使用,root可以分配比一般用户略多的内存。
1表示允许超过CommitLimit
2表示不允许超过CommitLimit。

四、修改操作

修改文件/etc/sysctl.conf,改vm.overcommit_memory=1,然后sysctl -p使配置文件生效。
echo 2 > /proc/sys/vm/overcommit_memory