Fine-tuning vs RAG vs 프롬프트 엔지니어링: 비용 효율적인 LLM 커스터마이징 전략
"우리 도메인에 맞게 LLM을 커스터마이징하려면 파인튜닝을 해야 하지 않나요?" — 이 질문에 대한 답은 대부분 "아니요"입니다. 방법 선택이 잘못되면 수천만 원을 쓰고도 원하는 결과를 못 얻습니다.
세 가지 방법의 본질적 차이
| 방법 | 무엇을 바꾸는가 | 언제 적용되는가 |
|---|---|---|
| 프롬프트 엔지니어링 | 입력 형식 | 매 호출 시 |
| RAG | 모델이 참조하는 지식 | 매 호출 시 (외부 검색) |
| Fine-tuning | 모델 가중치 자체 | 훈련 시 (일회성) |
비용 구조 비교
프롬프트 엔지니어링
# Few-shot 추가 시 토큰 비용 증가 계산
base_tokens = 100
fewshot_tokens = 500
calls_per_day = 10_000
daily_extra_cost = (fewshot_tokens - base_tokens) * calls_per_day * (3.00 / 1_000_000)
print(f"Few-shot 추가 일일 비용: ${daily_extra_cost:.2f}") # ~$12/day총 비용: 개발 100300만 원 + 운영 월 30100만 원
RAG
docs_count = 100_000
avg_chunk_tokens = 500
embedding_cost_per_1m = 0.02 # text-embedding-3-small
initial_embedding_cost = docs_count * avg_chunk_tokens * embedding_cost_per_1m / 1_000_000
print(f"초기 임베딩 비용: ${initial_embedding_cost:.2f}") # ~$1
daily_queries = 5_000
context_tokens_per_query = 2_000
monthly_context_cost = daily_queries * 30 * context_tokens_per_query * (3.00 / 1_000_000)
print(f"월 컨텍스트 비용: ${monthly_context_cost:.2f}") # ~$900총 비용: 개발 5002,000만 원 + 운영 월 50300만 원
Fine-tuning
training_tokens = 1_000_000
training_cost_per_1m = 25.00 # GPT-4o mini fine-tuning 기준
training_cost = training_tokens * training_cost_per_1m / 1_000_000
print(f"훈련 비용: ${training_cost:.2f}") # $25
# 하지만 데이터 수집·정제가 진짜 비용
# 1,000개 Q&A 쌍 생성: 엔지니어 2주 = 약 300~500만 원
# 파인튜닝 모델은 기본 모델보다 추론 비용이 2배 비쌈총 비용: 데이터 구축 500~3,000만 원 + 훈련 + 운영 비용 증가
언제 무엇을 선택할 것인가
프롬프트 엔지니어링 선택 조건:
✓ 빠른 프로토타입이 필요할 때
✓ 출력 형식만 제어하면 될 때
✓ 예산이 제한적일 때
RAG 선택 조건:
✓ 최신 정보나 사내 문서가 필요할 때
✓ 출처 추적이 중요할 때
✓ 지식이 자주 업데이트될 때
Fine-tuning 선택 조건:
✓ 특정 스타일·형식을 완전히 고정해야 할 때
✓ 저지연 극한 최적화가 필요할 때
✗ 지식 주입이 목적이라면 → RAG가 거의 항상 더 낫다조합 전략이 최선
# 실전 조합: 고객 지원 봇
# 1단계: 프롬프트 엔지니어링으로 응답 형식·톤 고정
# 2단계: RAG로 최신 제품 정보·FAQ 검색
# 3단계: Fine-tuning은 불필요
system_prompt = """당신은 [회사명] 고객 지원 전문가입니다.
- 항상 정중하고 공감하는 톤을 유지하세요
- 제공된 참고 문서만 기반으로 답변하세요"""
def answer_customer(question):
context = vector_search(question, top_k=3)
response = llm.chat([
{"role": "system", "content": system_prompt},
{"role": "user", "content": f"참고 문서:
{context}
질문: {question}"}
])
return response다음 편에서는 AI 프로젝트의 ROI를 실제로 계산하고 경영진에게 보고하는 방법을 다룹니다.
이 글은 AI 에이전트가 1차 초안을 작성한 뒤, 사람 편집자가 사실관계·출처·톤과 맥락을 검토하여 발행했습니다. 오류나 부정확한 내용이 확인되면 24시간 이내에 정정합니다.
댓글
불러오는 중...