https://www.heckjj.com/index.php zh-cn https://www.heckjj.com/post// Heck <@hecks.tk> Thu, 18 Nov 2021 05:48:27 +0000 https://www.heckjj.com/post// 问题描述
最近，公司的开发服务器总是偶尔有一些java服务莫名其妙的停掉。通过排查发现是内存不足，奇怪的是，内存只是用了一半，但是可用的却只有不到1G（峰值时估计更少）。下面是具体的内存使用信息：

可以看到，可用的内存只有888M，内存共有62G，罪魁祸首就是这个buff/cache占用了27G。

产生原因
Linux操作系统频繁存取文件会导致内存被用光，即便是程序结束后也不会被正常释放，这就会导致buffers和cached占用过高。
首先，简单了解一下buff/cache的介绍：

total：是指计算机总物理内存；
used：已用的内存；
free：空余的内存；
total = used + free总内存；
shared：被多个进程共享的内存；
buffers：用于存放要输出到disk（块存储）的数据，在这里buff是指被OS buffer住的内存；
cached：存放从disk上读出的数据；buffer和cache是为了提高IO性能并由OS管理。

解决方法
Linux具有先进的缓存机制，会针对dentry、Buffer Cache(针对磁盘块的读写)和Page Cache(针对文件inode的读写)进行缓存操作用来提高读写效率。但是在进行了大量文件操作之后，缓存会把内存资源基本用光,虽然文件读取效率提高了，但是物理内存会逐渐被吃光。
因为服务进行了频繁的文件读写操作，但是为什么操作系统不会主动回收呢，原来是因为drop_caches的默认参数设置的就是不释放的。
drop_caches的值可以是0-3之间的数字，代表不同的含义：

0：不释放（系统默认值）
1：释放页缓存
2：释放dentries和inodes
3：释放所有缓存

我们可以用下面的命令来释放缓存：

# sync  
# echo 1 > /proc/sys/vm/drop_caches
# echo 2 > /proc/sys/vm/drop_caches
# echo 3 > /proc/sys/vm/drop_caches
# sync

执行完命令后，free -h 查看内存，发现可用内存已经达到27G，buff/cache也被释放。

这样只是暂时解决问题，我们可以写一个脚本配合定时任务来定时检查清除缓存：

#!/bin/bash
Mem=$(free -m | awk 'NR==2' | awk '{print $4}')
if [ $Mem -gt 1024 ];
     then
echo "Service memory capacity is normal!" > /dev/null
     else
sync
echo "1" > /proc/sys/vm/drop_caches
echo "2" > /proc/sys/vm/drop_caches
echo "3" > /proc/sys/vm/drop_caches
sync
fi

最后，只需将脚本加入定时任务，即可！ ]]> https://www.heckjj.com/post//#blogcomment <user@domain.com> Thu, 01 Jan 1970 00:00:00 +0000 https://www.heckjj.com/post//#blogcomment