좀비 프로세스 · OOM Killer — 진단과 방지

# 좀비 프로세스 목록
ps aux | grep -w Z
# USER PID %CPU %MEM ... STAT ... COMMAND
# www-data 1234 0.0 0.0 ... Z+  ... [nginx] <defunct>

# 수 확인
ps aux | awk '{print $8}' | grep Z | wc -l

# top에서 확인
top
# Tasks: 150 total, 1 running, 148 sleeping, 0 stopped, 1 zombie

# 좀비 PID 확인 후 부모 찾기
ps -o ppid= -p <좀비_PID>

# 부모 프로세스 이름 확인
ps -p <부모_PID> -o comm=

# 트리 형태로 보기
pstree -p | grep -B5 defunct

# 방법 1: 부모 프로세스를 정상 재시작 (권장)
# 부모가 재시작되면 init(1)이 wait()를 호출해 좀비 정리
sudo systemctl restart nginx    # 예: nginx 워커 좀비

# 방법 2: 부모에 SIGCHLD 신호 전송 (wait() 강제 호출)
kill -SIGCHLD <부모_PID>

# 방법 3: 부모 종료 (자식 좀비는 init이 정리)
kill -TERM <부모_PID>

# 방법 4: 마지막 수단 — 부모 강제 종료
kill -9 <부모_PID>

# OOM Killer 발생 확인
dmesg | grep -E "Out of memory|oom_kill|Killed process"
sudo journalctl -k | grep -i oom

# 어떤 프로세스가 종료됐는지
dmesg | grep "Killed process"
# Killed process 1234 (myapp) total-vm:512000kB, anon-rss:450000kB

# OOM 시점 메모리 덤프
dmesg | grep -A30 "Out of memory"

# OOM score 확인 (-1000~1000, 높을수록 먼저 종료)
cat /proc/<PID>/oom_score

# oom_score_adj 조정 (-1000~1000)
# -1000 = OOM Killer 완전 제외
# 0 = 기본
# +1000 = 가장 먼저 종료

# 중요 프로세스 보호
echo -1000 | sudo tee /proc/$(pgrep postgres)/oom_score_adj

# 덜 중요한 프로세스 먼저 종료
echo 500 | sudo tee /proc/$(pgrep node)/oom_score_adj

# systemd 서비스 영구 설정
# /etc/systemd/system/myapp.service
# [Service]
# OOMScoreAdjust=-500

# 스왑 파일 추가 (1GB)
sudo fallocate -l 1G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

# 영구 적용
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

# swappiness 조정 (0=스왑 최소화, 100=적극 사용)
sudo sysctl vm.swappiness=10
echo "vm.swappiness=10" | sudo tee -a /etc/sysctl.conf

# systemd 서비스에 메모리 제한
sudo systemctl edit myapp.service

# 추가:
# [Service]
# MemoryMax=512M
# MemoryHigh=400M   # 이 이상이면 스로틀링

sudo systemctl daemon-reload
sudo systemctl restart myapp

# 현재 메모리 한도 확인
sudo systemctl show myapp --property=MemoryMax

# Docker 컨테이너 메모리 제한
docker run --memory=512m --memory-swap=512m myapp