grep · cut · sort · uniq · wc 파이프라인 실전

# 기본 검색
grep "error" /var/log/syslog

# 대소문자 무시
grep -i "ERROR" app.log

# 정규식
grep -E "^(GET|POST) /api" access.log

# 역 매칭 (패턴 제외)
grep -v "^#" /etc/nginx/nginx.conf

# 컨텍스트 출력 (전후 3줄)
grep -C 3 "FATAL" app.log

# 재귀 검색
grep -r "TODO" ./src --include="*.ts"

# 파일명만 출력
grep -rl "deprecated" ./src

# 줄 번호 표시
grep -n "listen" /etc/nginx/nginx.conf

# 구분자로 필드 추출 (콜론, 3번째 필드)
cut -d: -f3 /etc/passwd

# 여러 필드
cut -d: -f1,3 /etc/passwd

# 바이트 위치로 자르기
cut -c1-10 file.txt

# CSV에서 두 번째 열
cut -d, -f2 data.csv

# 기본 정렬
sort file.txt

# 역순
sort -r file.txt

# 숫자 정렬
sort -n numbers.txt

# 필드 기준 정렬 (공백 구분, 3번째 필드)
sort -k3 -n access.log

# 중복 제거하며 정렬
sort -u file.txt

# 사람이 읽기 쉬운 단위 정렬 (1K, 2M, 3G)
du -sh * | sort -h

# 연속 중복 제거 (sort 후 사용)
sort file.txt | uniq

# 중복 횟수 카운트
sort file.txt | uniq -c

# 중복된 줄만 출력
sort file.txt | uniq -d

# 유일한 줄만 출력
sort file.txt | uniq -u

wc -l file.txt      # 줄 수
wc -w file.txt      # 단어 수
wc -c file.txt      # 바이트 수

# 디렉터리 내 파일 수
ls /etc | wc -l

# 특정 패턴 줄 수
grep -c "ERROR" app.log

# Nginx 로그 — 상태코드별 집계 Top 5
awk '{print $9}' /var/log/nginx/access.log \
  | sort | uniq -c | sort -rn | head -5

# 접속 IP Top 10
cut -d' ' -f1 access.log | sort | uniq -c | sort -rn | head -10

# 에러 로그에서 유니크 에러 메시지만
grep "ERROR" app.log | cut -d']' -f2 | sort -u

# /etc/passwd에서 bash 쓰는 사용자 목록
grep "/bash$" /etc/passwd | cut -d: -f1 | sort

# 프로세스 중 메모리 Top 5
ps aux | sort -k4 -rn | head -6 | awk '{print $4"%", $11}'

# 현재 디렉터리 확장자별 파일 수
find . -type f | grep -oE '\.[^.]+$' | sort | uniq -c | sort -rn

sort file.txt | uniq                 # 중복 줄 제거
sort file.txt | uniq -c              # 각 줄 등장 횟수
sort file.txt | uniq -d              # 중복된 줄만 표시
grep "ERROR" app.log | sort | uniq -c | sort -rn   # 에러 빈도 top
awk '!seen[$0]++' file.txt           # 정렬 없이 원래 순서 유지하며 중복 제거