📄 RAGAS: Automated Evaluation of Retrieval Augmented Generation

📋 메타 정보

항목	내용
저자	Shahul Es, Jithin James (Exploding Gradients), Luis Espinosa-Anke, Steven Schockaert (CardiffNLP, Cardiff University)
기관	Exploding Gradients, Cardiff University, AMPLYFI
발표처	EACL 2024 (18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations), pp. 150-158, St. Julians, Malta
발표 연도	2023년 9월 (arXiv), 2024년 3월 (EACL)
arXiv	2309.15217
GitHub	explodinggradients/ragas
라이선스	Apache-2.0
PyPI	ragas

---

🎯 한줄 요약

Ground Truth 없이 LLM을 활용하여 RAG 파이프라인의 검색 품질과 생성 품질을 자동으로 평가하는 Reference-free 평가 프레임워크로, Faithfulness(95%), Answer Relevance(78%), Context Relevance(70%)의 인간 평가 일치율을 달성

---

🔍 연구 배경 및 동기

RAG 시스템의 부상

• RAG(Retrieval Augmented Generation)는 검색(Retrieval) 모듈과 LLM 기반 생성(Generation) 모듈을 결합
• 외부 지식 데이터베이스를 활용하여 LLM의 할루시네이션(hallucination) 위험을 줄임
• 사용자와 텍스트 데이터베이스 사이의 자연어 인터페이스 역할 수행

기존 RAG 평가의 문제점

1. 다차원 평가의 복잡성
   • 검색 시스템의 관련 컨텍스트 식별 능력
   • LLM의 검색된 컨텍스트 활용 능력 (Faithfulness)
   • 생성된 답변의 품질
2. 기존 메트릭의 한계
   • BLEU, ROUGE 등 전통적 메트릭은 표면적 텍스트 유사도만 측정
   • 사실적 정확성(factual accuracy)과 컨텍스트 관련성을 포착하지 못함
   • RAG 특성에 맞지 않는 평가 기준
3. Human Annotation 의존성
   • 기존 평가 방식은 대규모 인간 주석 데이터 필요
   • 비용과 시간이 많이 소요
   • 빠른 개발 사이클에 부적합

RAGAS의 필요성

• LLM 기반 애플리케이션의 빠른 채택에 따른 신속한 평가 사이클 요구
• Reference-free 평가로 평가 비용 절감
• RAG 파이프라인의 각 구성요소를 독립적으로 평가할 수 있는 체계적 프레임워크 필요

---

💡 핵심 아이디어

Reference-Free 평가의 개념

RAGAS의 핵심은 Ground Truth 없이 LLM을 Judge로 활용하여 RAG 시스템을 평가하는 것입니다.

┌─────────────────────────────────────────────────────────────┐
│                    RAGAS 평가 프레임워크                      │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│   Question ──→ [Retriever] ──→ Contexts ──→ [Generator] ──→ Answer │
│       │              │              │              │         │
│       │              │              │              │         │
│       ▼              ▼              ▼              ▼         │
│   ┌────────┐   ┌──────────────┐  ┌────────────┐  ┌────────┐│
│   │Context │   │  Context     │  │Faithfulness│  │Answer  ││
│   │Relevance│   │  Precision   │  │            │  │Relevance││
│   └────────┘   │  & Recall    │  └────────────┘  └────────┘│
│                └──────────────┘                             │
│                                                             │
│   ◀────── Retriever 평가 ──────▶ ◀──── Generator 평가 ────▶ │
└─────────────────────────────────────────────────────────────┘

RAG Triad: 핵심 평가 철학

TruLens에서 처음 제안된 RAG Triad 개념을 RAGAS가 발전시켰습니다:

메트릭	평가 대상	핵심 질문	Ground Truth 필요
Faithfulness	Generation	답변이 컨텍스트에 근거하는가? (환각 방지)	❌
Answer Relevance	Generation	답변이 질문에 적절히 대응하는가?	❌
Context Relevance	Retrieval	검색된 컨텍스트가 집중적인가?	❌

---

🏗️ 평가 메트릭 상세

1. Faithfulness (충실성) – 95% 인간 일치율

생성된 답변의 사실적 일관성을 측정합니다. 답변의 모든 주장이 검색된 컨텍스트로부터 추론 가능한지 평가합니다.

계산 과정

Step 1: LLM을 사용해 답변을 개별 주장(claims/statements)으로 분해
Step 2: 각 주장이 컨텍스트에서 추론 가능한지 LLM으로 검증
Step 3: 지지되는 주장의 비율로 Faithfulness 점수 계산

수식

\text{Faithfulness} = \frac{|V|}{|S|}

여기서:
– S = 답변에서 추출된 전체 주장(statements)의 집합
– V = 컨텍스트에 의해 지지되는 주장의 집합

예시

Question: "파이썬은 누가 만들었나요?"
Context: "파이썬은 귀도 반 로섬이 1991년에 개발한 프로그래밍 언어입니다."
Answer: "파이썬은 귀도 반 로섬이 1989년에 만들었습니다."

주장 분석:
1. "파이썬은 귀도 반 로섬이 만들었다" → 지지됨 ✓
2. "1989년에 만들었다" → 지지되지 않음 ✗ (컨텍스트는 1991년)

Faithfulness = 1/2 = 0.5

실무적 의미

• Faithfulness가 낮다면: LLM이 할루시네이션을 생성하고 있음
• 해결책: 프롬프트에 “오직 제공된 정보만 사용하라”는 지시 추가

---

2. Answer Relevance (답변 관련성) – 78% 인간 일치율

생성된 답변이 원래 질문에 직접적이고 적절하게 응답하는지 측정합니다.

핵심 아이디어

“답변이 질문에 올바르게 대응한다면, 답변만으로 원래 질문을 재구성할 수 있을 것이다”

계산 과정

Step 1: LLM을 사용해 답변으로부터 N개의 질문 변형 역생성 (기본값 N=3)
Step 2: 원본 질문과 생성된 질문들의 임베딩 계산
Step 3: 평균 코사인 유사도를 Answer Relevance 점수로 사용

수식

\text{Answer Relevance} = \frac{1}{N} \sum_{i=1}^{N} \cos(E_{g_i}, E_o)

확장하면:

\text{Answer Relevance} = \frac{1}{N} \sum_{i=1}^{N} \frac{E_{g_i} \cdot E_o}{|E_{g_i}| \times |E_o|}

여기서:
– E_{g_i}: i번째 생성된 질문의 임베딩
– E_o: 원래 질문의 임베딩
– N: 생성된 질문 수 (기본값: 3, strictness 파라미터로 조절)

예시

Original Question: "파이썬의 장점은 무엇인가요?"
Answer: "파이썬은 문법이 간결하고 배우기 쉬우며 다양한 라이브러리를 제공합니다."

Generated Questions (역생성):
1. "파이썬의 특징은 무엇인가요?" → 유사도: 0.92
2. "파이썬이 좋은 이유는?" → 유사도: 0.89
3. "파이썬의 이점을 설명해주세요" → 유사도: 0.95

Answer Relevance = (0.92 + 0.89 + 0.95) / 3 = 0.92

점수 범위 주의사항

• 코사인 유사도 특성상 수학적으로 [-1, 1] 범위
• 실제로는 대부분 [0, 1] 범위이나 수학적으로 보장되지 않음

---

3. Context Relevance (컨텍스트 관련성) – 70% 인간 일치율

검색된 컨텍스트가 질문에 얼마나 집중적이고 관련성이 높은지 측정합니다.

중요성

• 불필요하게 긴 컨텍스트는 LLM 비용 증가
• 중간에 위치한 정보는 LLM이 잘 활용하지 못함 (“Lost in the Middle” 문제)
• 집중된 컨텍스트가 더 좋은 답변 품질로 이어짐

계산 방법

Step 1: LLM에게 컨텍스트에서 질문 답변에 필수적인 문장들을 추출하도록 요청
Step 2: 추출된 문장 수와 전체 문장 수의 비율 계산

수식

\text{Context Relevance} = \frac{|S_{\text{extracted}}|}{|S_{\text{total}}|}

여기서:
– S_{\text{extracted}} = 질문 답변에 필수적인 문장들
– S_{\text{total}} = 컨텍스트의 전체 문장 수

실무적 의미

• Context Relevance가 낮다면: 검색된 청크에 불필요한 정보가 많음
• 해결책: 청킹 전략 또는 검색 알고리즘 개선

---

4. 추가 메트릭 (RAGAS v0.1+)

메트릭	설명	Ground Truth 필요	사용 시나리오
Context Precision	관련 컨텍스트가 상위 랭크에 있는지	Yes	검색 랭킹 품질 평가
Context Recall	필요한 정보가 얼마나 검색되었는지	Yes	검색 커버리지 평가
Answer Correctness	답변의 정확성	Yes	최종 답변 품질
Answer Semantic Similarity	답변과 정답의 의미적 유사도	Yes	의미 보존 평가

Context Precision 수식

\text{Context Precision@K} = \frac{\sum_{k=1}^{K} (\text{Precision@k} \times v_k)}{\text{상위 K개 중 관련 항목 수}}

Context Recall 수식

\text{Context Recall} = \frac{|\text{컨텍스트에 귀속 가능한 GT 주장}|}{|\text{GT의 총 주장 수}|}

---

📊 실험 및 결과

WikiEval 데이터셋 구축

기존에 RAG 메트릭과 인간 판단의 상관관계를 평가할 공개 데이터셋이 없어 WikiEval 데이터셋을 새로 구축했습니다.

데이터셋 특성

• 2022년 이후 이벤트를 다루는 50개 Wikipedia 페이지 선정
• 최근 편집된 페이지 우선 선택
• 각 인스턴스는 두 답변 또는 두 컨텍스트 비교 (Pairwise Comparison)

실험 설계

• 모델이 선호하는 답변/컨텍스트와 인간 평가자의 선택 일치 여부 측정
• 정확도(Accuracy)로 결과 보고

베이스라인 비교

방법	설명
GPT Score	ChatGPT에게 0-10 점수를 직접 부여하도록 요청
RAGAS	구조화된 평가 프로세스 (주장 추출, 검증 등)

핵심 실험 결과: 인간 평가와의 일치율

메트릭	인간 일치율	분석
Faithfulness	95%	가장 신뢰할 수 있는 메트릭, 환각 탐지에 매우 효과적
Answer Relevance	78%	두 답변 간 차이가 미묘할 때 판별 어려움
Context Relevance	70%	가장 어려운 평가 차원, 긴 컨텍스트에서 핵심 문장 선택 어려움

주요 발견

1. Faithfulness: RAGAS 예측이 인간 판단과 매우 높은 일치도 (95%)
2. Answer Relevance: 두 후보 답변 차이가 미묘한 경우 일치도 다소 낮음
3. Context Relevance: 긴 컨텍스트에서 ChatGPT가 핵심 문장 선택에 어려움을 겪음

데이터셋 공개

• WikiEval: Hugging Face

---

💪 강점 및 기여

학술적 기여

1. Reference-Free 평가 패러다임 확립
   • Ground Truth 없이 RAG 평가 가능 (Context Recall 제외)
   • 실무 환경에서 즉시 적용 가능
2. RAG Triad 개념 발전
   • TruLens의 개념을 체계화하고 개선
   • ARES, DeepEval 등 후속 연구에 영향
3. WikiEval 벤치마크 공개
   • RAG 평가 연구를 위한 첫 공개 데이터셋

실무적 가치

1. 즉시 사용 가능 (Out-of-the-box)
   • pip install ragas로 바로 설치하여 사용 가능
   • LangChain, LlamaIndex, Haystack 등과 쉽게 통합
2. 확장성
   • 대규모 평가에 적합
   • 지속적인 모니터링 가능
   • Langfuse, DataDog 등 Observability 도구와 통합
3. Synthetic Data Generation
   • 문서로부터 자동으로 테스트 질문 생성 가능
   • 다양한 질문 유형 (simple, reasoning, multi_context) 지원

---

⚠️ 한계점 및 향후 연구

현재 한계점

1. LLM 평가자 의존성
   • 평가 품질이 사용하는 LLM 성능에 의존
   • LLM의 편향이 평가에 반영될 수 있음
   • 도메인 특화 평가에서 LLM Judge의 전문 지식 부족
2. 비용 문제
   • 각 프로덕션 트레이스 평가에 LLM 호출 필요
   • 대규모 트래픽 애플리케이션에서 비용 증가
3. Self-Evaluation Bias
   • 동일 모델로 생성과 평가 시 편향 발생 가능
   • 다른 모델 사용 권장
4. Context Relevance의 상대적으로 낮은 정확도 (70%)
   • 긴 컨텍스트에서 핵심 문장 추출이 어려움
   • 개선 여지 있음
5. 다국어 지원 제한
   • 주로 영어 중심으로 검증됨
   • 한국어 등 다른 언어에 대한 추가 검증 필요

향후 연구 방향

1. 하이브리드 검색 기법과의 결합 평가 (Lexical + Semantic)
2. 도메인 특화 LLM을 활용한 평가 정확도 향상
3. Deep Thinking 모델 (예: o1, DeepSeek-R1)과의 통합 평가
4. 다국어 확장 및 벤치마크 구축
5. 효율적인 평가 방법 – 더 작고 빠른 평가 모델 개발

---

🔗 관련 논문 및 프레임워크

선행 연구

논문/프레임워크	관계
TruLens	RAG Triad 개념의 원조, RAGAS가 이를 발전시킴
BERTScore	텍스트 유사도 기반 평가, RAGAS와 상호보완적
BLEU/ROUGE	전통적 NLP 메트릭, RAG에는 부적합

후속/유사 연구

논문/프레임워크	특징
ARES	RAGAS와 유사한 접근, Fine-tuned classifier judges 활용
RAGChecker	더 세밀한 평가 프레임워크 (NeurIPS 2024)
DeepEval	Pytest 스타일, 14+ RAG 메트릭, CI/CD 통합
Giskard	보안 및 편향 테스트 포함

평가 도구 비교 (2025)

도구	특징	GPT-4o 정확도
RAGAS	Reference-free, 오픈소스, 간편한 사용	~100%
TruLens	LangChain/LlamaIndex 통합, 추적 기능, Snowflake 지원	80%+
Weights & Biases	MLOps 통합, 실험 추적	~100%
DeepEval	다양한 메트릭 통합	80%+

---

💻 실무 적용 포인트

설치

# 기본 설치
pip install ragas

# 최신 개발 버전
pip install git+https://github.com/explodinggradients/ragas.git

# LangChain 통합 시
pip install ragas langchain-core langchain-openai

요구사항: Python >= 3.9

기본 사용 예시

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
from datasets import Dataset

# 평가 데이터 준비
data = {
    "question": ["파이썬의 장점은 무엇인가요?"],
    "answer": ["파이썬은 문법이 간결하고 배우기 쉬우며 다양한 라이브러리를 제공합니다."],
    "contexts": [["파이썬은 1991년 귀도 반 로섬이 개발한 프로그래밍 언어로, "
                  "간결한 문법과 풍부한 라이브러리 생태계가 특징입니다."]],
    "ground_truth": ["파이썬은 문법이 간결하고 풍부한 라이브러리를 제공하는 것이 장점입니다."]
}

dataset = Dataset.from_dict(data)

# 평가 실행
result = evaluate(
    dataset,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall]
)

print(result)
# {'faithfulness': 0.95, 'answer_relevancy': 0.92,
#  'context_precision': 0.88, 'context_recall': 0.90}

개별 메트릭 비동기 사용 (v0.2+)

from ragas.metrics import Faithfulness
from ragas.llms import llm_factory
from openai import AsyncOpenAI

# LLM 설정
client = AsyncOpenAI()
llm = llm_factory("gpt-4o-mini", client=client)

# Faithfulness 평가
scorer = Faithfulness(llm=llm)

result = await scorer.ascore(
    user_input="에펠탑은 언제 완공되었나요?",
    response="에펠탑은 1889년에 완공되었습니다.",
    retrieved_contexts=[
        "에펠탑은 1889년 파리 만국박람회를 위해 건설되었다."
    ]
)

print(f"Faithfulness Score: {result.value}")  # 1.0

Context Precision Without Reference

from ragas import SingleTurnSample
from ragas.metrics import LLMContextPrecisionWithoutReference

# Reference 없이 Context Precision 평가
context_precision = LLMContextPrecisionWithoutReference(llm=evaluator_llm)

sample = SingleTurnSample(
    user_input="에펠탑은 어디에 있나요?",
    response="에펠탑은 파리에 있습니다.",
    retrieved_contexts=["에펠탑은 파리에 위치해 있습니다."],
)

score = await context_precision.single_turn_ascore(sample)

Self-Evaluation Bias 방지

# 생성에 사용한 모델과 다른 모델로 평가
# 예: GPT-4로 생성, Claude로 평가

from ragas.llms import llm_factory

# 평가용 LLM 별도 설정
evaluator_llm = llm_factory("claude-3-5-sonnet-20241022", provider="anthropic")

result = evaluate(
    dataset,
    metrics=metrics,
    llm=evaluator_llm  # 생성 모델과 다른 모델 사용
)

Synthetic Test Data 생성

from ragas.testset.generator import TestsetGenerator
from ragas.testset.evolutions import simple, reasoning, multi_context

# 문서로부터 테스트셋 자동 생성
generator = TestsetGenerator.from_langchain(
    generator_llm=generator_llm,
    critic_llm=critic_llm,
    embeddings=embeddings,
)

testset = generator.generate_with_langchain_docs(
    documents,
    test_size=10,
    distributions={
        simple: 0.5,        # 단순 질문
        reasoning: 0.25,    # 추론 필요
        multi_context: 0.25 # 여러 컨텍스트 필요
    }
)

모니터링 통합 (Langfuse 예시)

from langfuse import Langfuse
from ragas.integrations.langfuse import RagasCallbackHandler

# Langfuse 클라이언트 설정
langfuse = Langfuse()

# RAGAS 콜백 핸들러
handler = RagasCallbackHandler(langfuse)

# 평가 실행 및 결과 자동 기록
result = evaluate(dataset, metrics=metrics, callbacks=[handler])

평가 점수 해석 가이드

점수 범위	해석	권장 조치
0.9 – 1.0	우수	현상 유지
0.8 – 0.9	양호	미세 조정 고려
0.7 – 0.8	개선 필요	프롬프트/검색 최적화
< 0.7	심각한 문제	근본적인 재설계 필요

문제 진단 및 해결 가이드

낮은 메트릭	원인	해결책
Faithfulness	LLM 할루시네이션	프롬프트에 “오직 제공된 정보만 사용” 지시 추가
Context Relevance	검색 품질 저하	청킹 전략, 임베딩 모델, 검색 알고리즘 개선
Answer Relevance	답변이 질문과 동떨어짐	프롬프트를 더 구체적으로 수정
Context Precision	관련 없는 청크가 상위 랭크	Reranker 도입, 검색 파라미터 조정
Context Recall	필요한 정보 누락	Top-K 증가, 검색 전략 다양화

Privacy 설정

# 익명 사용 데이터 수집 비활성화
export RAGAS_DO_NOT_TRACK=true

---

🏷️ Tags

#RAG #Evaluation #RAGAS #LLM #Faithfulness #AnswerRelevance #ContextRelevance #ReferenceFree #LLMasJudge #Retrieval #Generation #NLP #MachineLearning #AIEvaluation #ExplodingGradients #CardiffNLP #EACL2024 #WikiEval #HallucinationDetection #RAGTriad