Linux 성능 진단 심화 — perf · eBPF · FlameGraph 실전

# Ubuntu/Debian
sudo apt install -y linux-perf linux-tools-$(uname -r)

# CentOS/RHEL
sudo yum install -y perf

# 버전 확인
perf version

# 시스템 전체 CPU 핫 함수 실시간 표시 (top과 유사)
sudo perf top

# 특정 프로세스만 (PID 1234)
sudo perf top -p 1234

# 커널 심볼 포함 (커널 병목 추적 시)
sudo perf top -g --call-graph dwarf

# 30초간 시스템 전체 CPU 샘플링 (99Hz)
sudo perf record -F 99 -a -g -- sleep 30

# 특정 프로세스 30초 샘플링
sudo perf record -F 99 -p 1234 -g -- sleep 30

# 결과 분석 (TUI)
sudo perf report --stdio

# 콜 그래프 포함 분석
sudo perf report -g graph --stdio | head -80

# L1/L2/LLC 캐시 미스 측정
sudo perf stat -e cache-misses,cache-references,L1-dcache-loads,L1-dcache-load-misses \
  -p 1234 -- sleep 5

# 컨텍스트 스위치·페이지 폴트 측정
sudo perf stat -e context-switches,page-faults,cpu-migrations \
  -- ./my-program

# 브랜치 예측 실패율 측정
sudo perf stat -e branch-instructions,branch-misses -- ./my-program

git clone https://github.com/brendangregg/FlameGraph /opt/FlameGraph
export PATH=/opt/FlameGraph:$PATH

# 1. 샘플링
sudo perf record -F 99 -a -g -- sleep 30

# 2. 텍스트 변환
sudo perf script > perf.out

# 3. 스택 접기
/opt/FlameGraph/stackcollapse-perf.pl perf.out > perf.folded

# 4. SVG 생성
/opt/FlameGraph/flamegraph.pl perf.folded > flamegraph.svg

# 브라우저로 열기
open flamegraph.svg          # macOS
xdg-open flamegraph.svg      # Linux

# "nginx" 관련 스택만 추출
grep "nginx" perf.folded | /opt/FlameGraph/flamegraph.pl > nginx-flame.svg

# CPU 시간 상위 함수 텍스트로 요약
sort perf.folded | uniq -c | sort -rn | head -20

# 배포 전 샘플
sudo perf record -F 99 -a -g -- sleep 30
sudo perf script | /opt/FlameGraph/stackcollapse-perf.pl > before.folded

# 배포 후 샘플
sudo perf record -F 99 -a -g -- sleep 30
sudo perf script | /opt/FlameGraph/stackcollapse-perf.pl > after.folded

# 차분 SVG 생성 (빨강=증가, 파랑=감소)
/opt/FlameGraph/difffolded.pl before.folded after.folded | \
  /opt/FlameGraph/flamegraph.pl > diff-flame.svg

# Ubuntu 22.04+
sudo apt install -y bpfcc-tools linux-headers-$(uname -r)

# 도구 위치 확인
ls /usr/sbin/*-bpfcc 2>/dev/null || ls /usr/share/bcc/tools/

# 프로세스별 디스크 I/O 레이턴시 추적
sudo biolatency-bpfcc -D 10

# 느린 파일시스템 작업 추적 (10ms 초과)
sudo fileslower-bpfcc 10

# TCP 연결 추적 (실시간)
sudo tcptracer-bpfcc

# TCP 레이턴시 분포 (히스토그램)
sudo tcplife-bpfcc

# 프로세스 실행 추적 (execve)
sudo execsnoop-bpfcc

# 열린 파일 추적
sudo opensnoop-bpfcc -p 1234

# 컨텍스트 스위치가 많은 프로세스
sudo cpudist-bpfcc 5 1

# 메모리 할당 추적 (malloc 누수 의심 시)
sudo memleak-bpfcc -p 1234

# bcc profile로 CPU 샘플링 (perf 대안)
sudo /usr/share/bcc/tools/profile -F 99 30 > bcc-profile.out

# FlameGraph 변환
/opt/FlameGraph/flamegraph.pl bcc-profile.out > bcc-flame.svg

sudo apt install -y bpftrace

# 모든 syscall 호출 빈도 (5초)
sudo bpftrace -e 'tracepoint:syscalls:sys_enter_* { @[probe] = count(); } interval:s:5 { print(@); clear(@); exit(); }'

# read() 시스템 콜 레이턴시 히스토그램
sudo bpftrace -e '
tracepoint:syscalls:sys_enter_read { @ts[tid] = nsecs; }
tracepoint:syscalls:sys_exit_read  /@ts[tid]/ {
  @usecs = hist((nsecs - @ts[tid]) / 1000);
  delete(@ts[tid]);
}
interval:s:10 { print(@usecs); exit(); }'

# 특정 프로세스의 write() 호출당 크기 분포
sudo bpftrace -e '
tracepoint:syscalls:sys_enter_write /comm == "nginx"/ {
  @bytes = hist(args->count);
}
interval:s:10 { print(@bytes); exit(); }'

# TCP 연결 수립 레이턴시
sudo bpftrace -e '
kprobe:tcp_v4_connect { @start[tid] = nsecs; }
kretprobe:tcp_v4_connect /@start[tid]/ {
  @ms = hist((nsecs - @start[tid]) / 1000000);
  delete(@start[tid]);
}
interval:s:10 { print(@ms); exit(); }'

# 디스크 I/O 요청 크기 분포
sudo bpftrace -e '
tracepoint:block:block_rq_issue {
  @bytes = hist(args->bytes);
}
interval:s:5 { print(@bytes); exit(); }'

# /usr/local/bin/slow-syscalls.bt
# 100ms 초과 syscall 로깅

tracepoint:syscalls:sys_enter_* {
  @start[tid] = nsecs;
  @call[tid]  = probe;
}

tracepoint:syscalls:sys_exit_* /@start[tid]/ {
  $lat = (nsecs - @start[tid]) / 1000000;
  if ($lat > 100) {
    printf("%-20s %-30s %dms\n", comm, @call[tid], $lat);
  }
  delete(@start[tid]);
  delete(@call[tid]);
}

sudo bpftrace /usr/local/bin/slow-syscalls.bt

# 기본 추적 (요약)
sudo strace -c -p 1234

# 특정 syscall만 추적 (파일 관련)
sudo strace -e trace=openat,read,write,close -p 1234

# 타임스탬프·레이턴시 포함
sudo strace -T -tt -p 1234 2>&1 | head -50

# 네트워크 관련 syscall만 추적
sudo strace -e trace=network -p 1234

# 자식 프로세스까지 추적
sudo strace -f -e trace=execve ./my-program

# 1. 어느 프로세스인지 특정
top -b -n1 | head -20
ps aux --sort=-%cpu | head -10

# 2. 해당 PID의 스레드별 CPU 확인
top -H -p 1234

# 3. perf로 30초 샘플링
sudo perf record -F 99 -p 1234 -g -- sleep 30

# 4. FlameGraph 생성
sudo perf script | /opt/FlameGraph/stackcollapse-perf.pl | \
  /opt/FlameGraph/flamegraph.pl > /tmp/flame-$(date +%H%M).svg

# 5. FlameGraph에서 넓은 탑 함수 확인 → 해당 함수 코드 리뷰

# 6. bpftrace로 해당 함수 호출 빈도 추가 확인
sudo bpftrace -e 'uprobe:/usr/bin/myapp:slow_function { @calls = count(); } interval:s:5 { print(@calls); }'