Fine-tuning vs RAG vs Prompt Engineering: Cost-Effective LLM Customization Strategies

# Few-shot 추가 시 토큰 비용 증가 계산
base_tokens = 100
fewshot_tokens = 500
calls_per_day = 10_000

daily_extra_cost = (fewshot_tokens - base_tokens) * calls_per_day * (3.00 / 1_000_000)
print(f"Few-shot 추가 일일 비용: ${daily_extra_cost:.2f}")  # ~$12/day

docs_count = 100_000
avg_chunk_tokens = 500
embedding_cost_per_1m = 0.02  # text-embedding-3-small

initial_embedding_cost = docs_count * avg_chunk_tokens * embedding_cost_per_1m / 1_000_000
print(f"초기 임베딩 비용: ${initial_embedding_cost:.2f}")  # ~$1

daily_queries = 5_000
context_tokens_per_query = 2_000
monthly_context_cost = daily_queries * 30 * context_tokens_per_query * (3.00 / 1_000_000)
print(f"월 컨텍스트 비용: ${monthly_context_cost:.2f}")  # ~$900

training_tokens = 1_000_000
training_cost_per_1m = 25.00  # GPT-4o mini fine-tuning 기준

training_cost = training_tokens * training_cost_per_1m / 1_000_000
print(f"훈련 비용: ${training_cost:.2f}")  # $25

# 하지만 데이터 수집·정제가 진짜 비용
# 1,000개 Q&A 쌍 생성: 엔지니어 2주 = 약 300~500만 원

# 파인튜닝 모델은 기본 모델보다 추론 비용이 2배 비쌈

When to choose prompt engineering:
  ✓ You need a fast prototype
  ✓ You only need to control output format
  ✓ Budget is tight

When to choose RAG:
  ✓ You need up-to-date information or internal documents
  ✓ Source tracing matters
  ✓ Knowledge is updated frequently

When to choose fine-tuning:
  ✓ You need to lock in a specific style or format completely
  ✓ You need extreme low-latency optimization
  ✗ If the goal is knowledge injection → RAG is almost always better

# 실전 조합: 고객 지원 봇
# 1단계: 프롬프트 엔지니어링으로 응답 형식·톤 고정
# 2단계: RAG로 최신 제품 정보·FAQ 검색
# 3단계: Fine-tuning은 불필요

system_prompt = """당신은 [회사명] 고객 지원 전문가입니다.
- 항상 정중하고 공감하는 톤을 유지하세요
- 제공된 참고 문서만 기반으로 답변하세요"""

def answer_customer(question):
    context = vector_search(question, top_k=3)
    response = llm.chat([
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": f"참고 문서:
{context}

질문: {question}"}
    ])
    return response