RAGAS로 RAG 성능 측정하기

점수 = (컨텍스트로 뒷받침되는 주장 수) / (답변의 총 주장 수)

점수 = avg(cosine_similarity(질문, 역생성된 질문들))

from ragas import evaluate

from ragas.metrics import (

    faithfulness,

    answer_relevancy,

    context_precision,

    context_recall,

)

from datasets import Dataset



# 평가 데이터셋 구성

eval_data = {

    "question": ["RAG와 파인튜닝의 차이는?", "벡터 DB란?"],

    "answer": ["RAG는 검색 기반...", "벡터 DB는..."],

    "contexts": [

        ["RAG는 Retrieval-Augmented...", "파인튜닝은 모델 가중치를..."],

        ["벡터 데이터베이스는 고차원 벡터를..."],

    ],

    "ground_truth": ["RAG는 지식을 외부에서 가져오고...", "벡터 DB는 임베딩을 저장하는..."],

}



dataset = Dataset.from_dict(eval_data)



result = evaluate(

    dataset=dataset,

    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],

)



print(result)

# {'faithfulness': 0.89, 'answer_relevancy': 0.92, 'context_precision': 0.85, 'context_recall': 0.78}

from ragas.testset.generator import TestsetGenerator

from ragas.testset.evolutions import simple, reasoning, multi_context

from langchain_openai import ChatOpenAI, OpenAIEmbeddings



generator = TestsetGenerator.from_langchain(

    generator_llm=ChatOpenAI(model="gpt-4o"),

    critic_llm=ChatOpenAI(model="gpt-4o"),

    embeddings=OpenAIEmbeddings(),

)



testset = generator.generate_with_langchain_docs(

    documents=docs,

    test_size=50,

    distributions={simple: 0.5, reasoning: 0.3, multi_context: 0.2},

)

# .github/workflows/rag-eval.yml

- name: RAG Evaluation

  run: python eval/run_ragas.py

- name: Check Thresholds

  run: |

    python -c "

    import json

    r = json.load(open('eval/results.json'))

    assert r['faithfulness'] > 0.85, 'Faithfulness 기준 미달'

    assert r['context_recall'] > 0.75, 'Context Recall 기준 미달'

    "

# 개념: 골든셋 → RAGAS 메트릭 → 게이트
python eval_ragas.py --dataset golden.jsonl --threshold 0.7

import statistics
runs = [evaluate(dataset, metrics=[faithfulness, answer_relevancy]).to_pandas() for _ in range(5)]
for m in ["faithfulness", "answer_relevancy"]:
    means = [r[m].mean() for r in runs]
    print(m, round(statistics.mean(means), 3), "±", round(statistics.stdev(means), 3))