Fine-tuning vs RAG vs 프롬프트 엔지니어링: 비용 효율적인 LLM 커스터마이징 전략

# Few-shot 추가 시 토큰 비용 증가 계산
base_tokens = 100
fewshot_tokens = 500
calls_per_day = 10_000

daily_extra_cost = (fewshot_tokens - base_tokens) * calls_per_day * (3.00 / 1_000_000)
print(f"Few-shot 추가 일일 비용: ${daily_extra_cost:.2f}")  # ~$12/day

docs_count = 100_000
avg_chunk_tokens = 500
embedding_cost_per_1m = 0.02  # text-embedding-3-small

initial_embedding_cost = docs_count * avg_chunk_tokens * embedding_cost_per_1m / 1_000_000
print(f"초기 임베딩 비용: ${initial_embedding_cost:.2f}")  # ~$1

daily_queries = 5_000
context_tokens_per_query = 2_000
monthly_context_cost = daily_queries * 30 * context_tokens_per_query * (3.00 / 1_000_000)
print(f"월 컨텍스트 비용: ${monthly_context_cost:.2f}")  # ~$900

training_tokens = 1_000_000
training_cost_per_1m = 25.00  # GPT-4o mini fine-tuning 기준

training_cost = training_tokens * training_cost_per_1m / 1_000_000
print(f"훈련 비용: ${training_cost:.2f}")  # $25

# 하지만 데이터 수집·정제가 진짜 비용
# 1,000개 Q&A 쌍 생성: 엔지니어 2주 = 약 300~500만 원

# 파인튜닝 모델은 기본 모델보다 추론 비용이 2배 비쌈

프롬프트 엔지니어링 선택 조건:
  ✓ 빠른 프로토타입이 필요할 때
  ✓ 출력 형식만 제어하면 될 때
  ✓ 예산이 제한적일 때

RAG 선택 조건:
  ✓ 최신 정보나 사내 문서가 필요할 때
  ✓ 출처 추적이 중요할 때
  ✓ 지식이 자주 업데이트될 때

Fine-tuning 선택 조건:
  ✓ 특정 스타일·형식을 완전히 고정해야 할 때
  ✓ 저지연 극한 최적화가 필요할 때
  ✗ 지식 주입이 목적이라면 → RAG가 거의 항상 더 낫다

# 실전 조합: 고객 지원 봇
# 1단계: 프롬프트 엔지니어링으로 응답 형식·톤 고정
# 2단계: RAG로 최신 제품 정보·FAQ 검색
# 3단계: Fine-tuning은 불필요

system_prompt = """당신은 [회사명] 고객 지원 전문가입니다.
- 항상 정중하고 공감하는 톤을 유지하세요
- 제공된 참고 문서만 기반으로 답변하세요"""

def answer_customer(question):
    context = vector_search(question, top_k=3)
    response = llm.chat([
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": f"참고 문서:
{context}

질문: {question}"}
    ])
    return response