凌晨三点的报警短信:"磁盘空间不足 90%"。第一反应通常是删日志,我干过,结果第二天网站照样白屏——因为真正占满的不是日志。
这个坑我踩过两次,后来固定成一套定位流程,现在从收到报警到腾出空间基本十分钟。
第一步:先分清是空间满了还是 inode 满了
这两件事长得像,处理方式完全不同。df -h 看空间,df -i 看 inode:
如果 df -h 显示还有 30%,但写文件报 "No space left on device",那就是 inode 满了。典型原因是缓存目录里堆了几百万个小文件,比如 PHP 的 session、某些采集插件生成的临时图。这时候删大文件没用,得删小文件。
第二步:逐层往下顶,别直接 du /
从根目录开始,找出真正的大户:
拿到最大的目录再进去,重复一次。三级之后基本就能看到罪魁祸首了。我遇到过的情况排名:
/www/wwwlogs/—— 访问日志没切割,单个文件能到 20G/var/log/journal/—— journald 日志,systemd 机器上默认不限制/www/server/data/—— MySQL 的 binlog/www/wwwroot/xxx/runtime/—— 框架缓存/tmp/—— 上传临时文件和宝塔的面板缓存
第三步:按类型清理,别一把 rm -rf
访问日志先切再删,直接删会让 nginx 继续往已删除的 inode 里写,空间不释放:
更规范的是用 logrotate,或者在宝塔面板的"日志切割"里开自动切割,保留 7 天。
journald 日志限个额度就行,一劳永逸:
同时在 /etc/systemd/journald.conf 里设 SystemMaxUse=200M,重启 journald 生效。
MySQL binlog 是最容易被忽视的。看一下占了多少:
确认没有依赖 binlog 做恢复的需求后,在 MySQL 里清理:
顺便在 my.cnf 里设 expire_logs_days = 3,以后自动清。
还有一个隐形的:被删除但仍被占用
删了文件空间不降,八成是进程还攥着句柄。查一下:
看到 deleted 字样、SIZE 很大的行,就是它。重启对应进程(nginx、php-fpm、mysqld)空间立刻回来。这种情况多半出现在运维图省事 rm 了正在写的日志之后。
收尾:给根分区留个安全线
清完之后我把阈值设成了 75%,超了自动清理脚本跑一遍,比等 90% 报警从容得多。宝塔计划任务里加一条每天凌晨执行的 shell,内容是清 runtime 缓存和切割日志,脚本记得加 set -e 和日志输出,出问题好回查。
磁盘满这件事,难的不是清理,是别把有用的东西删了。动手前 du 一眼、lsof 一眼,胜过事后拍大腿。
