📄 CRAG: Comprehensive RAG Benchmark

📋 메타 정보

항목	내용
논문 제목	CRAG — Comprehensive RAG Benchmark
발표 연도	2024
학회/저널	NeurIPS 2024 (Datasets and Benchmarks Track)
저자	Xiao Yang, Kai Sun, Hao Xin, Yushi Sun, Nikita Bhalla, Xiangsen Chen 외 21명 (총 27명)
소속	Meta AI, HKUST (GZ)
arXiv	2406.04744
GitHub	facebookresearch/CRAG
OpenReview	Q7lAqY41HH
KDD Cup 2024	Meta Comprehensive RAG Benchmark Challenge
라이선스	CC BY-NC 4.0

---

🎯 한줄 요약

실제 QA 태스크의 다양성과 동적 특성을 반영한 4,409개 QA 쌍 기반의 종합적인 RAG 벤치마크로, 최신 LLM이 34% 이하, SOTA RAG 솔루션도 63%의 정확도만 달성하며 여전히 16-25%의 환각(hallucination)을 보임을 밝힘.

---

🔍 연구 배경 및 동기

기존 RAG 벤치마크의 한계점

1. 정적 데이터셋 문제
   • Natural Questions, TriviaQA, MS MARCO 등 기존 벤치마크는 정적인 사실 기반
   • 실시간으로 변하는 정보(주가, 스포츠 결과 등)를 반영하지 못함
2. 단일 소스 의존
   • 대부분 웹 검색 또는 KG 검색 중 하나만 고려
   • 실제 RAG 시스템이 직면하는 다중 소스 통합 문제 미반영
3. 엔티티 인기도 편향
   • 주로 인기 있는(head) 엔티티에 집중
   • Long-tail 엔티티에 대한 평가 부족
4. 질문 유형의 제한
   • 단순 사실 질문 위주
   • 비교, 집계, 다중 홉 추론 등 복잡한 질문 유형 부족
5. RAG 특화 평가 부재
   • LLM 단독 평가와 RAG 시스템 평가의 차별화 부족
   • 검색 품질과 생성 품질의 통합 평가 미흡

왜 이 연구가 필요한가?

• RAG가 LLM의 지식 부족 문제를 해결하는 유망한 접근법으로 부상
• 그러나 기존 벤치마크로는 RAG 시스템의 실제 성능을 제대로 평가할 수 없음
• 다양한 도메인, 시간적 동적성, 엔티티 인기도, 질문 복잡도를 포괄하는 종합적 벤치마크 필요

---

💡 핵심 아이디어

동적 QA 벤치마크 설계 원칙

┌─────────────────────────────────────────────────────────┐
│                    CRAG 설계 원칙                        │
├─────────────────────────────────────────────────────────┤
│  1. 시간적 동적성 (Temporal Dynamism)                    │
│     - 실시간 ~ 수년 단위로 변하는 정보 포함               │
│                                                         │
│  2. 엔티티 인기도 다양성 (Entity Popularity)             │
│     - Head / Torso / Tail 엔티티 균형 있게 포함          │
│                                                         │
│  3. 질문 복잡도 스펙트럼 (Question Complexity)           │
│     - 단순 사실부터 다중 홉 추론까지 8가지 유형          │
│                                                         │
│  4. 다중 도메인 커버리지 (Domain Coverage)               │
│     - 5개 도메인: 금융, 스포츠, 음악, 영화, 백과사전      │
└─────────────────────────────────────────────────────────┘

4,409개 QA 쌍 구성

• Web 기반 질문: 2,425개 (웹 검색 시뮬레이션)
• KG 기반 질문: 1,984개 (지식 그래프 검색 시뮬레이션)
• Mock API 제공: 웹 검색 및 KG 검색 시뮬레이션

검색 컨텐츠 규모

• 웹 페이지: 질문당 최대 50개의 전체 HTML 페이지
• Mock KG: 260만 개 엔티티 포함
• 총 웹 페이지: 약 22만 개

---

🏗️ 벤치마크 구성

1. 질문 유형 (8가지 카테고리)

유형	설명	예시
Simple	단순 사실 질문	“Taylor Swift의 생년월일은?”
Simple w/ Condition	조건부 단순 질문	“2023년 1월 15일 Apple 주가는?”
Comparison	두 엔티티 비교	“Adele과 Ed Sheeran 중 누가 먼저 데뷔했나?”
Aggregation	정보 집계 필요	“Leonardo DiCaprio가 받은 오스카상 개수는?”
Set	집합 형태 답변	“남반구에 있는 대륙들은?”
Multi-hop	다중 추론 단계	“BTS 리더의 출생 도시의 인구는?”
Post-processing	후처리 필요	“지난 5년간 가장 많이 상승한 주식 TOP 3?”
False Premise	잘못된 전제 포함	“2025년 월드컵 우승팀은?” (개최 안 됨)

참고: Simple 및 Simple w/ Condition 질문이 전체의 약 43%를 차지

2. 도메인 (5개 영역)

┌────────────────────────────────────────────────────────────┐
│                     도메인별 특성                           │
├────────────────────────────────────────────────────────────┤
│                                                            │
│   빠른 변화 ←───────────────────────────────→ 느린 변화    │
│                                                            │
│   Finance    Sports    Music    Movie    Open Domain       │
│   (실시간)    (빠름)   (점진적)  (점진적)    (안정적)       │
│                                                            │
│   - 주가      - 경기결과  - 앨범발매  - 개봉일   - 역사적   │
│   - 환율      - 순위      - 투어일정  - 출연진   - 과학적   │
│   - 시장동향  - 선수통계  - 수상내역  - 수상내역 - 지리적   │
│                                                            │
└────────────────────────────────────────────────────────────┘

3. 시간적 동적성 (4단계)

동적성 수준	변화 주기	예시
Real-time	초~분 단위	실시간 주가, 실시간 경기 스코어
Fast-changing	시간~일 단위	일일 주가, 경기 결과
Slow-changing	월~년 단위	앨범 발매, 영화 개봉
Stable	거의 불변	역사적 사실, 지리 정보

4. 엔티티 인기도 (3단계)

인기도	설명	LLM 학습 데이터 포함 가능성
Head	매우 유명한 엔티티	높음 (사전 학습에 포함)
Torso	중간 인기도 엔티티	중간
Tail	Long-tail 엔티티	낮음 (RAG 의존 필요)

5. KDD Cup 2024 Challenge 구성

3가지 태스크:

1. Task 1: 웹 페이지에서 정보 압축하여 정확한 답변 생성
2. Task 2: Mock KG의 구조화된 데이터 통합
3. Task 3: 광범위한 웹 페이지와 API에서 핵심 데이터 선택 및 통합

데이터 분할:
– Validation: 30%
– Public Test: 30%
– Private Test: 40%
– 총 2,706개 예제가 validation 및 public test로 공유
– 총 상금: USD 31,500

---

📊 실험 및 결과

주요 실험 결과

1. LLM 단독 성능 vs RAG 성능

시스템	정확도	환각률
GPT-4 Turbo (LLM only)	≤34%	–
GPT-4 Turbo + Naive RAG	44%	–
SOTA Industry RAG	63%	16-25%
KDD Cup 2024 최고 성적	51%	17-25%

2. 엔티티 인기도별 성능 (GPT-4 Turbo)

정확도 (Truthfulness)
│
│  21% ████████████████████░░░░░░░░░░░░░░░ Head
│  11% ██████████░░░░░░░░░░░░░░░░░░░░░░░░░ Torso
│   8% ███████░░░░░░░░░░░░░░░░░░░░░░░░░░░░ Tail
│
└─────────────────────────────────────────────

발견: RAG 추가 시 Torso(+7%), Tail(+6%) 개선되나 Head(-4%) 성능 하락

3. 시간적 동적성별 성능

동적성	GPT-4 정확도	비고
Fast-changing	<15%	가장 어려움
Real-time	매우 낮음	Finance, Sports 도메인
Slow-changing	중간	–
Stable	상대적 양호	–

4. 질문 유형별 난이도

가장 어려운 질문 유형:
– Set 질문 (집합 답변)
– Post-processing 필요 질문
– False Premise 질문

5. 도메인별 성능

도메인	RAG Truthfulness	특징
Finance	낮음	실시간 데이터 의존
Sports	낮음	빠른 변화
Music	중간	–
Movie	중간	–
Open	상대적 양호	안정적 정보

평가 지표

CRAG는 환각(hallucination)과 무응답(missing)을 구분:
– 환각 답변: 더 높은 페널티 (사용자 신뢰 손상)
– 무응답: 상대적으로 낮은 페널티

Score = Correct - alpha * Hallucinated - beta * Missing
(alpha > beta, 환각에 더 큰 페널티)

산업용 RAG 솔루션 평가

솔루션	Truthfulness	지연 시간
Copilot Pro	최고 (~51%)	가장 높음 (~11.6초)
Perplexity	중상	중간
ChatGPT Plus (GPT-4o)	중상	중간

---

💪 강점 및 기여

학술적 기여

1. 최초의 종합적 RAG 벤치마크
   • 시간적 동적성, 엔티티 인기도, 질문 복잡도를 모두 고려
   • 실제 RAG 시스템의 도전 과제를 현실적으로 반영
2. 새로운 평가 패러다임
   • 환각과 무응답의 차별화된 평가
   • RAG 특화 평가 프레임워크 제시
3. 대규모 커뮤니티 검증
   • KDD Cup 2024 챌린지로 수천 명 참가
   • 31,500 USD 상금 규모

실용적 기여

1. Mock API 제공
   • 웹 검색 및 KG 검색 시뮬레이션
   • 재현 가능한 실험 환경
2. 다양한 도메인 커버리지
   • 산업별 RAG 시스템 평가 가능
   • 도메인 특화 개선점 식별
3. 오픈소스 공개
   • 데이터셋, 코드, 평가 도구 모두 공개
   • 연구 커뮤니티 접근성 확보

인사이트 제공

1. RAG의 한계 명확화
   • 최신 SOTA도 63% 정확도, 16-25% 환각률
   • 특히 동적 정보, long-tail 엔티티에서 취약
2. 개선 방향 제시
   • 실시간 정보 처리 능력 강화 필요
   • Long-tail 엔티티 검색 정밀도 향상 필요
   • 복잡한 추론 능력 개선 필요

---

⚠️ 한계점

벤치마크 설계 한계

1. 1단계 검색 평가 미포함
   • 검색 후보군 구성(retrieval candidate pool) 직접 평가 안 함
   • KDD Cup 3개월 일정 고려한 설계 결정
   • 사용자가 22만 웹 페이지를 corpus로 retriever 구축 가능
2. 영어 중심
   • 다국어(multilingual) 지원 미흡
   • 향후 확장 계획 중
3. 단일 턴 QA 한정
   • 멀티턴 대화 시나리오 미포함
   • 실제 사용 패턴과 차이
4. 텍스트 기반
   • 멀티모달(이미지, 비디오 등) 미지원
   • 향후 확장 계획 중

데이터 관련 한계

1. Mock 데이터 의존
   • 실제 검색 엔진/KG와 차이 가능
   • 검색 품질의 현실성 제한
2. 시간 경과에 따른 진부화
   • 정답이 변할 수 있는 동적 질문 존재
   • 지속적 업데이트 필요
3. 도메인 제한
   • 5개 도메인으로 한정
   • 의료, 법률 등 전문 도메인 미포함

평가 지표 한계

1. Exact Match 기반
   • 의미적으로 동등한 답변 처리 어려움
   • 부분 정답 평가 제한
2. 환각 판정 기준
   • 자동화된 환각 탐지의 한계
   • Human evaluation 비용 문제

향후 연구 방향

방향	설명
다국어 확장	다양한 언어의 QA 쌍 추가
멀티모달 확장	이미지, 비디오 포함 (CRAG-MM 진행 중)
멀티턴 대화	대화 컨텍스트에서의 RAG 평가
Tail 엔티티 개선	Long-tail 정보 검색 정확도 향상
환각 감소	더 강건한 그라운딩 메커니즘 개발
시간적 추론 강화	실시간 정보 처리 능력 향상

---

🔗 관련 논문

기존 QA 벤치마크

논문	특징	CRAG와의 차이
Natural Questions (2019)	Google 검색 로그 기반 실제 질문	정적, 단일 소스
TriviaQA (2017)	트리비아 스타일, 다중 소스	정적, 제한된 복잡도
HotpotQA (2018)	멀티홉 추론	정적, KG 미포함
MS MARCO (2016)	대규모 읽기 이해	정적, 동적성 미고려
QALD-10 (2013)	KG 기반 QA	웹 검색 미포함

RAG 관련 연구

• RAG: Retrieval-Augmented Generation (Lewis et al., 2020)
• REALM (Guu et al., 2020)
• RETRO (Borgeaud et al., 2022)
• Self-RAG (Asai et al., 2023)

평가 프레임워크

• RAGCHECKER (NeurIPS 2024) – RAG 시스템 세분화 평가
• RAGAS – RAG 평가 자동화 프레임워크

---

💻 실무 적용 포인트

RAG 시스템 개발 시 고려사항

1. 동적 정보 처리 전략

# 시간적 동적성에 따른 처리 전략 예시
def get_retrieval_strategy(question_type):
    if is_realtime(question_type):
        return "live_api_call"  # 실시간 API 호출
    elif is_fast_changing(question_type):
        return "cached_with_short_ttl"  # 짧은 TTL 캐시
    elif is_slow_changing(question_type):
        return "cached_with_long_ttl"  # 긴 TTL 캐시
    else:
        return "static_knowledge_base"  # 정적 지식베이스

2. 엔티티 인기도 기반 검색 조정

• Head 엔티티: LLM 내부 지식 활용 가능, 검색 보조적
• Torso/Tail 엔티티: 검색 결과에 더 의존, 검색 품질 중요

3. 질문 유형별 파이프라인 설계

질문 유형	권장 파이프라인
Simple	단일 검색 -> 직접 답변
Comparison	다중 검색 -> 비교 로직
Aggregation	다중 검색 -> 집계 처리
Multi-hop	반복 검색 -> 체인 추론
False Premise	전제 검증 -> 조건부 답변

4. 환각 방지 전략

1. 출처 명시: 답변에 검색 출처 포함
2. 신뢰도 점수: 검색 결과 신뢰도 기반 답변 조절
3. “모르겠음” 옵션: 확실하지 않을 때 인정
4. Fact-checking: 생성된 답변 검증 단계 추가

5. 평가 체크리스트

[ ] 도메인별 성능 분리 측정
[ ] 시간적 동적성별 성능 분석
[ ] 엔티티 인기도별 성능 분석
[ ] 질문 복잡도별 성능 분석
[ ] 환각률 vs 무응답률 구분 측정
[ ] 검색 품질과 생성 품질 분리 평가

CRAG 벤치마크 활용 방법

설치 및 데이터 접근

# GitHub에서 CRAG 클론
git clone https://github.com/facebookresearch/CRAG.git
cd CRAG

# 데이터셋 다운로드 (라이선스 동의 필요)
# CC BY-NC 4.0 라이선스 확인

활용 시나리오

1. 시스템 평가: 자체 RAG 시스템을 CRAG로 평가하여 약점 파악
2. A/B 테스트: 개선 전후 CRAG 점수 비교
3. 도메인 특화: 특정 도메인 subset으로 집중 평가
4. 경쟁 벤치마킹: 다른 시스템과 객관적 비교

실무 인사이트

┌─────────────────────────────────────────────────────────────────┐
│                    CRAG에서 배운 실무 교훈                        │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  * RAG가 항상 도움이 되지 않음                                   │
│    - Head 엔티티에서 오히려 성능 저하 가능                        │
│    - 적절한 검색 vs 직접 생성 판단 필요                          │
│                                                                 │
│  * 환각 측정이 필수                                              │
│    - 정확도만으로 부족, 환각률 별도 측정                          │
│    - SOTA도 17-25% 환각률 유지                                   │
│                                                                 │
│  * 도메인별 전략 필요                                            │
│    - Finance/Sports: 실시간 데이터 소스 필요                     │
│    - Open Domain: 기존 지식 활용 가능                            │
│                                                                 │
│  * Long-tail 엔티티 특별 관리                                    │
│    - RAG의 가장 큰 가치는 Tail 엔티티                             │
│    - 검색 품질 향상이 핵심                                       │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

---

🏷️ Tags

#RAG #Benchmark #NeurIPS2024 #MetaAI #QuestionAnswering #LLM #Retrieval #KnowledgeGraph #Hallucination #TemporalDynamism #EntityPopularity #KDDCup2024 #FactualQA #Evaluation #Dataset

---

📚 참고 자료

• 논문 (arXiv)
• NeurIPS 2024 Proceedings
• GitHub Repository
• KDD Cup 2024 Challenge
• OpenReview