프로덕션 프롬프트 엔지니어링: 체계적 설계와 버전 관리

# 기본 프롬프트 (정확도 낮음)
basic = "다음 계약서에서 위험 조항을 HIGH/MEDIUM/LOW로 분류하세요."

# CoT 프롬프트 (정확도 높음)
cot = """다음 계약서를 분석하세요.

분석 절차:
1. 계약서를 조항별로 구분하세요
2. 각 조항에서 잠재적 위험 요소를 나열하세요
3. 발생 가능성과 영향도를 평가하세요
4. 최종적으로 HIGH/MEDIUM/LOW로 분류하고 이유를 설명하세요

[계약서 내용]
{contract_text}

위 절차를 따라 단계별로 분석하세요:"""

few_shot = """고객 문의를 분류하세요.

예시:
입력: "결제가 안 돼요"
출력: {{"category": "billing", "priority": "high", "sentiment": "frustrated"}}

입력: "사용법이 궁금해요"
출력: {{"category": "inquiry", "priority": "low", "sentiment": "neutral"}}

이제 분류하세요:
입력: "{user_message}"
출력:"""

structured = """<system>
당신은 코드 리뷰 전문가입니다.
검토 기준: 보안 취약점, 성능 문제, 가독성
</system>

<context>
언어: Python, PEP 8 준수, type hints 필수
</context>

<code_to_review>
{code}
</code_to_review>

<output_format>
JSON으로만 반환:
{{"issues": [{{"type": "security|performance|readability", "line": 번호, "description": "설명", "suggestion": "수정안"}}],
  "overall_score": 1-10}}
</output_format>"""

prompts/
├── customer_support/
│   ├── classify_v1.txt      # 구버전 보관
│   ├── classify_v2.txt      # 현재 프로덕션
│   └── classify_v3_test.txt # 실험 중
└── manifest.yaml

# manifest.yaml
prompts:
  customer_support_classify:
    production: v2
    canary: v3_test
    canary_percent: 5

import yaml, random
from pathlib import Path

class PromptRegistry:
    def __init__(self, prompts_dir="prompts"):
        self.base = Path(prompts_dir)
        with open(self.base / "manifest.yaml") as f:
            self.manifest = yaml.safe_load(f)

    def get(self, name, use_canary=False):
        config = self.manifest["prompts"][name]
        if use_canary and "canary" in config:
            version = (config["canary"]
                       if random.random() < config.get("canary_percent", 0) / 100
                       else config["production"])
        else:
            version = config["production"]

        category = name.rsplit("_", 1)[0].replace("_", "/")
        return (self.base / f"{category}_{version}.txt").read_text(encoding="utf-8")

import hashlib
from dataclasses import dataclass

@dataclass
class PromptExperiment:
    name: str
    control_prompt: str
    variant_prompt: str
    traffic_split: float = 0.5

class PromptABTester:
    def __init__(self, experiment):
        self.exp = experiment

    def get_prompt(self, user_id):
        hash_val = int(hashlib.md5(f"{self.exp.name}:{user_id}".encode()).hexdigest(), 16)
        bucket = (hash_val % 100) / 100
        if bucket < self.exp.traffic_split:
            return self.exp.control_prompt, "control"
        return self.exp.variant_prompt, "variant"

    def log_result(self, user_id, variant, metric):
        print(f"exp={self.exp.name} user={user_id} variant={variant} metric={metric}")

def sanitize_user_input(user_input):
    dangerous = [
        "ignore previous instructions", "이전 지시를 무시",
        "system prompt", "</system>", "<system>"
    ]
    cleaned = user_input
    for pattern in dangerous:
        cleaned = cleaned.replace(pattern, "[FILTERED]")
    return cleaned[:2000]

# promptfooconfig.yaml
prompts: [file://prompts/support_v12.txt, file://prompts/support_v13.txt]
providers: [openai:gpt-4o-mini]
tests:
  - vars: {question: "환불 기간이 지났는데 예외가 되나요?", customer_tier: "gold"}
    assert:
      - type: contains
        value: "환불"
      - type: not-contains
        value: "{customer_tier}"

npx promptfoo@latest eval && npx promptfoo@latest view