📄 Gorilla: LLM Connected with Massive APIs

📋 메타 정보

항목	내용
제목	Gorilla: Large Language Model Connected with Massive APIs
저자	Shishir G. Patil, Tianjun Zhang, Xin Wang, Joseph E. Gonzalez
소속	UC Berkeley, Microsoft Research
학회/저널	NeurIPS 2024 (Advances in Neural Information Processing Systems)
발표일	2024 (arXiv: 2023년 5월)
arXiv	2305.15334
공식 페이지	gorilla.cs.berkeley.edu
GitHub	ShishirPatil/gorilla
라이선스	Apache 2.0

---

🎯 한줄 요약

LLM이 1,600개 이상의 API를 정확하게 호출할 수 있도록 Retriever-Aware Training(RAT)을 도입하여 GPT-4보다 20% 이상 높은 API 호출 정확도를 달성하고 환각(hallucination) 문제를 크게 완화한 연구

---

🔍 연구 배경 및 동기

문제 인식

• LLM의 도구 사용 한계: GPT-4와 같은 최신 LLM도 API 호출 시 정확한 입력 인자를 생성하지 못하고, 잘못된 API 사용법을 환각하는 경향이 있음
• API 문서의 빠른 변화: API 문서는 LLM 재학습 주기보다 훨씬 빠르게 업데이트됨 (예: AWS API만 하루에 31개의 수정 발생)
• 기존 접근법의 한계:
  • ToolFormer: 소수의 도구에만 집중
  • ReAct: 매 단계마다 LLM을 호출하여 높은 추론 비용 발생

연구 목표

1. LLM이 대규모 API 집합에서 정확한 API를 선택하고 호출할 수 있도록 학습
2. API 문서 변경에 실시간으로 적응할 수 있는 시스템 구축
3. API 호출 시 환각 문제를 정량적으로 측정하고 완화

---

💡 핵심 아이디어

1. API 문서 기반 학습 (Self-Instruct Fine-tuning)

• APIBench 데이터셋 구축: HuggingFace, TorchHub, TensorHub에서 총 1,640개의 API 문서 수집
• 품질 필터링: HuggingFace의 203,681개 모델 중 문서화가 잘 된 상위 모델만 선별
  • 7개 멀티모달 도메인, 8개 CV, 12개 NLP, 5개 오디오, 2개 테이블 데이터, 2개 강화학습 도메인
  • 최종 925개 HuggingFace 모델 선정
• Instruction-Response 쌍 생성: 사용자 명령(예: “의료 이미지 분류기 만들어줘”)을 API 호출로 변환하는 학습 데이터 구축

2. Retriever-Aware Training (RAT)

• 핵심 개념: 학습 시 검색된 API 문서를 추가 컨텍스트로 포함
• 동작 방식:
  1. 검색기가 관련 API 문서를 제공
  2. LLM이 문서의 관련성을 판단
  3. 관련 있으면 → 문서 기반 응답 생성
  4. 관련 없으면 → 내재된 도메인 지식으로 응답
• 장점:
  • 테스트 시점의 문서 변경에 적응 가능
  • 무관한 검색 결과에 혼란받지 않음
  • 버전 변경이나 사용자 업데이트에 유연하게 대응

---

🏗️ 아키텍처 / 방법론

전체 파이프라인

┌─────────────────────────────────────────────────────────────────┐
│                        사용자 입력                               │
│         "의료 이미지 분류를 위한 모델을 만들어줘"                   │
└─────────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────────┐
│                     검색기 (Retriever)                           │
│              BM25 또는 GPT-Index 기반 검색                        │
│         API 데이터베이스에서 관련 문서 검색                         │
└─────────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────────┐
│                    Gorilla LLM (LLaMA 기반)                      │
│                                                                 │
│  ┌─────────────────────────────────────────────────────────┐    │
│  │  입력: 사용자 프롬프트 + 검색된 API 문서 (RAT 모드)         │    │
│  └─────────────────────────────────────────────────────────┘    │
│                              │                                  │
│                              ▼                                  │
│  ┌─────────────────────────────────────────────────────────┐    │
│  │  관련성 판단 → 문서 기반 응답 or 내재 지식 기반 응답        │    │
│  └─────────────────────────────────────────────────────────┘    │
└─────────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────────┐
│                         출력 (API 호출)                          │
│   torch.hub.load('pytorch/vision', 'resnet50', pretrained=True) │
│   + 단계별 설명 및 필요 패키지 정보                                │
└─────────────────────────────────────────────────────────────────┘

추론 모드

모드	설명	특징
Zero-shot	프롬프트를 직접 Gorilla에 입력	검색기 없이 내재 지식만 사용
Retrieval	검색기로 최신 API 문서 검색 후 입력	실시간 문서 변경 대응 가능

AST 기반 평가 프레임워크

# 평가 프로세스
1. 생성된 코드를 AST(Abstract Syntax Tree)로 파싱
2. API 호출을 루트 노드로 하는 서브트리 추출
3. 데이터베이스의 API와 서브트리 매칭
4. 매칭 결과로 정확도 및 환각 측정

환각(Hallucination) 정의:
– 데이터베이스의 어떤 API와도 매칭되지 않는 API 호출
– 완전히 상상된 도구를 호출하는 경우
– 잘못된 API 호출(오류)과는 구분됨

---

📊 실험 및 결과

주요 성능 지표

모델	정확도 (Acc)	환각률 (Hall)	비고
Gorilla (Zero-shot)	GPT-4 대비 +20.43%	최저	SOTA
Gorilla (Zero-shot)	ChatGPT 대비 +10.75%	–	–
Gorilla (Zero-shot)	LLaMA 대비 +83%	–	–
GPT-4 (3-shot)	TorchHub에서 Gorilla와 동등	–	–

RAT 효과 분석

설정	TorchHub 개선	HuggingFace 개선
RAT vs Non-RAT	+12.37%	+23.46%

데이터셋 구성 (APIBench)

플랫폼	API 수	도메인
HuggingFace	925개	멀티모달, CV, NLP, 오디오 등
TorchHub	~200개	PyTorch 모델
TensorHub	~500개	TensorFlow 모델
총합	~1,640개	ML/DL API

주요 발견

1. Fine-tuning의 효과: 가볍게 파인튜닝된 Gorilla가 모든 모델 대비 SOTA 성능 달성
2. 3-shot ICL의 한계: GPT 계열 모델에서 구문적 정확성은 향상되나 근본적 해결은 아님
3. 검색기 통합의 중요성: RAT를 통한 검색기 통합이 성능과 환각 감소에 핵심적

---

💪 강점 및 기여

학술적 기여

1. Retriever-Aware Training (RAT): 검색기를 학습 파이프라인에 통합하는 새로운 패러다임 제시
2. AST 기반 환각 측정: LLM 생성물의 환각을 최초로 정량적으로 측정하는 방법론 제안
3. APIBench: 대규모 API 호출 평가를 위한 표준 벤치마크 구축

기술적 강점

1. 확장성: 1,600개 이상의 API 지원 (ToolFormer 대비 압도적)
2. 적응성: 실시간 API 문서 변경에 대응 가능
3. 정확성: GPT-4 대비 20% 이상 높은 정확도
4. 환각 감소: 기존 LLM 대비 현저히 낮은 환각률
5. 오픈소스: Apache 2.0 라이선스로 상업적 사용 가능

실용적 기여

• Berkeley Function Calling Leaderboard: LLM의 함수 호출 능력 평가를 위한 표준 리더보드 구축
• GoEX (Gorilla Execution Engine): LLM 생성 액션의 안전한 실행을 위한 런타임 제공

---

⚠️ 한계점

현재 시스템의 제약

한계점	설명	영향
단일 도메인 제약	여러 도메인에 걸친 프롬프트 처리 어려움	복합 작업에서 성능 저하
출력 형식	Python 코드 형태로만 출력	하드웨어 제약이 있는 사용자에게 불편
API 커버리지	지원 API 수 제한적	커스텀 API 추가/학습 지원 미흡
문서 품질 의존성	고품질 API 문서 필요	문서화 부실한 API는 제외됨
실행 검증 부재	API 호출의 실제 실행 결과 검증 미포함	런타임 오류 사전 감지 불가

근본적 한계

• API 진화 속도: API 변경 속도가 모델 업데이트 속도보다 빠름
• 도메인 특화: ML/DL API에 집중되어 범용 API 지원 부족

---

🔗 관련 논문

선행 연구

논문	핵심 내용	Gorilla와의 관계
ToolFormer (2023)	LLM의 도구 사용 학습	소수 도구에 집중, Gorilla는 대규모 확장
ReAct (2022)	Thought-Act-Observe 사이클	추론 비용 높음, Gorilla는 단일 호출로 해결
Self-Instruct (2022)	자기 지시 데이터 생성	Gorilla의 학습 데이터 생성에 활용

후속 연구 및 확장

연구	설명
BFCL (Berkeley Function Calling Leaderboard)	Gorilla 기반 함수 호출 벤치마크
GoEX	LLM 생성 액션 실행 엔진
RAFT	도메인 특화 RAG 미세조정 기법
Gorilla OpenFunctions	RESTful API 지원 확장

비교 연구

• AutoTool: 효율적 도구 선택을 위한 경량화 접근
• LangChain/MetaGPT: ReAct 패러다임 기반 에이전트 프레임워크

---

💻 실무 적용 포인트

적용 가능 시나리오

1. 클라우드 인프라 자동화

지원 API: Kubernetes, AWS, GCP, Azure
활용: 자연어 명령을 클라우드 CLI 명령으로 변환
예시: "미국 동부에서 A100 GPU 인스턴스 검색해줘"

2. ML/AI 파이프라인 구축

지원 API: HuggingFace, PyTorch Hub, TensorFlow Hub
활용: 자연어로 모델 로딩 및 추론 코드 생성
예시: "의료 이미지 분류를 위한 사전학습 모델 로드해줘"

3. 웹 서비스 통합

지원 API: Slack, PayPal, Stripe (OpenFunctions v2)
활용: 비즈니스 워크플로우 자동화
예시: "회의 예약하고 참석자에게 슬랙 알림 보내줘"

실무 도입 체크리스트

• [ ] API 문서 품질 확인: 사용할 API의 문서화 수준 점검
• [ ] 검색기 선택: BM25 vs 임베딩 기반 검색기 비교 테스트
• [ ] RAT 모드 활성화: 동적 API 환경에서는 필수
• [ ] GoEX 런타임 검토: 실행 검증 및 롤백 기능 필요 시 도입
• [ ] 환각 모니터링: AST 매칭으로 생성 결과 품질 지속 검증

주의사항

1. 단일 도메인 프롬프트 권장: 복합 도메인 요청은 분리하여 처리
2. 실행 전 검증: 생성된 코드는 실행 전 리뷰 권장
3. API 버전 관리: 검색기의 API 문서를 최신 상태로 유지
4. 비용 고려: 대규모 배포 시 LLM 추론 비용 산정 필요

---

🏷️ Tags

#LLM #API #ToolUse #RAT #Retriever #FunctionCalling #NeurIPS2024 #Berkeley #Hallucination #APIBench #FineTuning #SelfInstruct #AgentAI #MLOps #CloudAutomation