RAG 성능 검증의 과학: Faithfulness부터 Ragas까지, LLM 답변의 신뢰도를 측정하는 방법

RAG 성능 검증의 과학: Faithfulness부터 Ragas까지, LLM 답변의 신뢰도를 측정하는 방법

"우리 RAG 시스템, 정말 믿을 만한가요?"

RAG(Retrieval-Augmented Generation) 시스템을 구축하는 과정은 마치 멋진 엔진을 조립하는 것과 같습니다. 초기 PoC 단계에서 몇 번의 질문에 대해 완벽하게 작동하는 것을 보면, '이 정도면 끝났다'는 안도감에 젖기 쉽습니다. 하지만 실제 운영 환경에 투입되는 순간, 예상치 못한 질문이나 데이터의 사각지대에서 시스템의 성능은 급격히 하락하는 경험을 하게 됩니다.

엔지니어링 관점에서 볼 때, **'잘 돌아가는 것(It runs)'**과 '정확한 것(It is correct)' 사이에는 거대한 간극이 존재합니다. 이 간극을 메우는 것이 바로 **체계적인 성능 검증(Validation)**입니다.

이 글은 단순히 "평가 툴을 쓰세요"라고 말하는 가이드가 아닙니다. RAG 시스템의 블랙박스 내부로 들어가, 어떤 지표를, 왜, 어떻게 측정해야 우리 시스템의 신뢰도를 객관적인 숫자로 증명할 수 있는지, 그 과학적 방법론을 깊이 있게 다루고자 합니다.

1. "잘 돌아가는 것"과 "정확한 것"의 차이: 왜 평가가 필수인가?

우리가 흔히 하는 테스트는 'Happy Path' 테스트에 가깝습니다. 즉, 우리가 예상한 질문과, 우리가 준비한 모범 답안에 대해서만 테스트하는 것이죠.

하지만 실제 사용자는 예측 불가능한 질문을 던집니다.

• 테스트: "A 제품의 2023년 판매량은 얼마인가요?" $\rightarrow$ (정답: 100만 개)
• 실제 사용자: "혹시 A 제품의 2023년 판매량과 관련해서, 경쟁사 B의 시장 점유율 변화 추이도 같이 설명해 줄 수 있나요?"

이 두 번째 질문은 단순한 검색을 넘어, **'검색된 정보(Context)'**를 바탕으로 **'질문의 의도(Intent)'**를 파악하고, **'추가적인 추론(Reasoning)'**까지 요구합니다.

이런 복합적인 요구사항을 만족시키려면, 단순히 API를 호출하는 것만으로는 부족합니다. 우리는 **검색 단계(Retrieval)**와 **생성 단계(Generation)**를 분리하여, 각 단계별로 문제점을 진단할 수 있는 정량적 지표가 필요합니다.

2. RAG 평가의 3대 핵심 지표 이해하기 (이론)

RAG 시스템의 신뢰도를 측정하기 위해 업계에서 공통적으로 사용하는 세 가지 핵심 지표가 있습니다. 이들은 독립적이지 않고, 마치 도미노처럼 연결되어 시스템의 전반적인 품질을 결정합니다.

💡 지표 간의 상호작용 이해하기

이 세 가지 지표는 다음과 같은 흐름으로 작동합니다.

$$ \text{Query} \xrightarrow{\text{검색}} \text{Context (Context Relevancy 측정)} \xrightarrow{\text{LLM}} \text{Answer} \xrightarrow{\text{검증}} \text{Faithfulness} \text{ & } \text{Answer Relevancy} $$

• Context Relevancy가 낮으면: 검색된 자료 자체가 엉뚱하니, 아무리 LLM이 똑똑해도 답변은 엉뚱해집니다. (→ 환각 가능성 증가)
• Faithfulness가 낮으면: 검색된 자료는 괜찮았으나, LLM이 그 자료를 과도하게 해석하거나 없는 내용을 지어냈다는 뜻입니다. (→ 환각 발생)
• Answer Relevancy가 낮으면: 검색된 자료가 완벽했고, LLM도 그 자료를 정확히 인용했지만, 질문의 '숨겨진 의도'를 놓쳤다는 의미일 수 있습니다.

3. 자동화된 평가 프레임워크 활용하기 (실습)

이 세 가지 지표를 사람이 일일이 평가하는 것은 시간 낭비이자, 평가자마다 편향이 개입될 수 있습니다. 따라서 우리는 자동화된 평가 프레임워크를 사용해야 합니다. 대표적인 도구로는 Ragas와 TruLens 등이 있습니다.

여기서는 가장 널리 사용되는 Ragas를 중심으로 평가 파이프라인 구축 가이드를 제시합니다.

🛠️ Ragas를 이용한 평가 파이프라인 구축 단계별 가이드

Ragas는 LLM을 사용하여 위에서 언급한 세 가지 지표를 자동으로 계산해주는 역할을 합니다.

Step 1: 환경 설정 및 데이터 준비 평가에 필요한 최소한의 데이터셋이 필요합니다. (질문, 답변, 관련 Context)

Step 2: Ragas 모델 초기화 및 평가 실행 (Pseudo Code) 실제 코드는 Python 기반이며, 핵심은 evaluate() 함수를 호출하는 것입니다.

# 1. 필요한 라이브러리 설치 및 임베딩 모델 설정
# pip install ragas openai

from ragas import evaluate
from datasets import Dataset

# 2. 평가 데이터셋 로드 (질문, 답변, 컨텍스트가 포함된 데이터)
# 예시: dataset = Dataset.from_dict({"query": [...], "answer": [...], "context": [...]})

# 3. 평가 실행 (핵심!)
# LLM 모델과 임베딩 모델을 명시적으로 지정해주는 것이 중요합니다.
result = evaluate(
    dataset=dataset,
    metrics=["faithfulness", "context_relevancy", "answer_relevancy"],
    # 평가에 사용할 LLM과 임베딩 모델을 지정합니다.
    llm="openai", 
    embedding_model="text-embedding-ada-002" 
)

# 결과 해석: result 딕셔너리에는 각 지표별 평균 점수가 포함됩니다.
print(f"평균 충실도 점수: {result['faithfulness_score']:.4f}")

💡 핵심 포인트: 이 코드는 단순히 점수를 내는 것을 넘어, 어떤 지표가 가장 낮은지를 파악하게 해줍니다. 만약 faithfulness_score가 낮다면, 모델이 근거 없는 내용을 지어내고 있다는 뜻이므로, RAG 파이프라인의 검색(Retrieval) 단계나 프롬프트(Prompt) 설계를 점검해야 합니다.

🚀 결론: 성능 개선을 위한 로드맵

성능 개선은 단일 지표 개선이 아닌, 지표 간의 균형을 맞추는 과정입니다.

이 로드맵을 따라 체계적으로 각 지표를 점검하고 개선한다면, RAG 시스템의 신뢰도와 성능을 극대화할 수 있을 것입니다.