LLM 모델 선택 가이드: 비용 대비 성능으로 최적 모델 찾기

from openai import OpenAI
client = OpenAI()

def classify_sentiment(text):
    # 감성 분류는 gpt-4o-mini로 충분 — gpt-4o 대비 — 가격 차이는 현재 가격표로 확인
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        max_tokens=10,
        messages=[{
            "role": "user",
            "content": f"다음 텍스트의 감성을 positive/negative/neutral 중 하나로만 답하세요:\n{text}"
        }]
    )
    return response.choices[0].message.content.strip()

import anthropic
client = anthropic.Anthropic()

def review_code(code):
    # 코드 태스크는 Claude Sonnet이 강점
    response = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=1000,
        messages=[{
            "role": "user",
            "content": f"다음 코드의 버그와 개선점을 찾아주세요:\n{code}"
        }]
    )
    return response.content[0].text

def deep_analysis(document):
    response = client.messages.create(
        model="claude-opus-4-7",  # 최고 추론력 필요 시
        max_tokens=4000,
        messages=[{"role": "user", "content": document}]
    )
    return response.content[0].text

from openai import OpenAI
import json

client = OpenAI()

ROUTER_PROMPT = """다음 사용자 요청의 복잡도를 분류하세요.
- simple: 단순 질문, 키워드 추출, 번역, 요약
- medium: 일반적인 글쓰기, 코드 작성, 분석
- complex: 복잡한 추론, 전문 도메인, 창의적 작업
JSON으로만 반환: {"complexity": "simple|medium|complex"}"""

MODEL_MAP = {
    "simple":  "gpt-4o-mini",
    "medium":  "claude-sonnet-4-6",
    "complex": "claude-opus-4-7"
}

def route_and_run(user_query):
    routing = client.chat.completions.create(
        model="gpt-4o-mini",
        max_tokens=50,
        response_format={"type": "json_object"},
        messages=[
            {"role": "system", "content": ROUTER_PROMPT},
            {"role": "user", "content": user_query}
        ]
    )
    route = json.loads(routing.choices[0].message.content)
    return MODEL_MAP[route["complexity"]]

def calculate_cost(input_tokens, output_tokens, input_rate_per_m, output_rate_per_m):
    return (input_tokens * input_rate_per_m + output_tokens * output_rate_per_m) / 1_000_000

import json, time
def run(model, cases):
    ok = fmt = 0; lat = []; tok_in = tok_out = 0
    for c in cases:
        t = time.time(); r = call_llm(model, c["input"])   # 공통 래퍼
        lat.append(time.time() - t)
        tok_in += r.usage.input_tokens; tok_out += r.usage.output_tokens
        try: out = json.loads(r.text); fmt += 1
        except ValueError: continue
        ok += grade(out, c["expected"])
    lat.sort()
    return {"acc": ok/len(cases), "format": fmt/len(cases),
            "p95": lat[int(len(lat)*0.95)-1], "tokens": (tok_in, tok_out)}