📄 ToolLLM: Facilitating LLMs to Master 16000+ APIs

📋 메타 정보

항목	내용
논문 제목	ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
발표	ICLR 2024 (Spotlight)
저자	Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu 외 다수
소속	Tsinghua University, ModelBest Inc., Renmin University of China, Yale University, WeChat AI (Tencent Inc.), Zhihu Inc.
arXiv	2307.16789
GitHub	OpenBMB/ToolBench
OpenReview	dHng2O0Jjr

---

🎯 한줄 요약

16,000개 이상의 실제 API를 활용할 수 있도록 오픈소스 LLM의 도구 사용 능력을 향상시키는 프레임워크로, ToolBench 데이터셋 구축, DFSDT 추론 알고리즘, ToolEval 자동 평가 시스템을 제안하여 ToolLLaMA가 ChatGPT와 유사한 도구 활용 성능을 달성함.

---

🔍 연구 배경 및 동기

문제 인식

• 오픈소스 LLM의 한계: LLaMA 등 오픈소스 모델들은 도구 사용(Tool-use) 능력이 현저히 부족
• 기존 Instruction Tuning의 한계: 대부분 기본적인 언어 작업에만 집중하고 도구 사용 도메인은 무시
• 폐쇄형 모델과의 격차: ChatGPT, GPT-4 등 SOTA 폐쇄형 모델들은 뛰어난 도구 사용 능력 보유

기존 연구의 문제점

1. 제한된 API: 실제 API(예: REST API)를 포함하지 않거나, 다양성이 부족한 소수의 API만 고려
2. 제한된 시나리오: 단순한 단일 도구 사용 시나리오에 국한
3. 열등한 계획 및 추론: 복잡한 다단계 추론 능력 부족

연구 목표

• 오픈소스 LLM이 16,000개 이상의 실제 API를 마스터할 수 있도록 지원
• 데이터 구축부터 모델 훈련, 평가까지 종합적인 도구 사용 프레임워크 제공

---

💡 핵심 아이디어

1. ToolBench 데이터셋

ToolBench는 도구 사용을 위한 대규모 Instruction Tuning 데이터셋으로, ChatGPT를 활용해 자동 구축됨.

3단계 구축 과정

┌─────────────────────────────────────────────────────────────────┐
│                    ToolBench 데이터셋 구축                        │
├─────────────────────────────────────────────────────────────────┤
│  1단계: API 수집                                                  │
│  └── RapidAPI Hub에서 16,464개 실제 RESTful API 수집              │
│      └── 49개 카테고리 (금융, 소셜미디어, 날씨, 음악 등)            │
│                                                                   │
│  2단계: 명령어 생성                                               │
│  └── ChatGPT를 활용해 다양한 명령어 자동 생성                     │
│      ├── Single-tool 시나리오                                    │
│      └── Multi-tool 시나리오                                     │
│          ├── Intra-category (동일 카테고리 내 다중 도구)          │
│          └── Intra-collection (동일 컬렉션 내 다중 도구)          │
│                                                                   │
│  3단계: 솔루션 경로 주석                                          │
│  └── DFSDT 알고리즘으로 복잡한 명령어에 대한 해답 경로 생성       │
└─────────────────────────────────────────────────────────────────┘

데이터셋 규모

• API 수: 16,464개
• 카테고리: 49개
• (명령어, 솔루션 경로) 쌍: 126,486개

---

2. DFSDT (Depth-First Search-based Decision Tree)

LLM의 계획 및 추론 능력을 강화하기 위한 새로운 의사결정 트리 알고리즘.

DFSDT vs ReACT 비교

특성	ReACT	DFSDT
탐색 방식	단일 경로	다중 경로 탐색
오류 처리	오류 시 중단	백트래킹으로 복구
탐색 공간	제한적	확장된 탐색 공간
복잡한 작업	낮은 성공률	높은 성공률

DFSDT 작동 원리

                    [Root: 사용자 명령어]
                           │
              ┌────────────┼────────────┐
              ▼            ▼            ▼
         [노드 1]      [노드 2]      [노드 3]
         API 호출 A    API 호출 B    API 호출 C
              │            │            │
         ┌────┴────┐   실패→포기    ┌────┴────┐
         ▼         ▼               ▼         ▼
      [성공]    [실패]          [노드 3-1] [노드 3-2]
         │     백트래킹              │         │
         ▼        │             [성공]     [실패]
      [완료]   새 경로 탐색          │      백트래킹
                                 [완료]

핵심 메커니즘

1. 다중 추론 경로 평가: 여러 추론 경로를 동시에 고려
2. 선택적 진행/후퇴: 유망한 경로로 진행하거나, 막힌 경로에서 후퇴
3. “Finish by Giving Up” 함수: 현재 노드 포기 후 새 노드 확장
4. DFS 선호 이유: 유효한 경로 하나만 찾으면 주석 완료 (BFS보다 API 호출 비용 절감)

---

3. ToolEval 평가 시스템

ChatGPT 기반 자동 평가 시스템으로, AlpacaEval의 방식을 따름.

평가 지표

지표	설명	측정 방식
Pass Rate	명령어 성공적 완료 비율	제한된 API 호출 내 작업 완료 여부
Win Rate	솔루션 경로 선호도	두 솔루션 비교 시 선호되는 비율

Pass Rate 평가 기준

• Pass: 작업 성공적 완료
• Fail: 작업 실패
• Unsure: 판단 불가

신뢰도 검증

• Pass Rate: 인간 평가자와 87.1% 일치
• Win Rate: 인간 평가자와 80.3% 일치

---

🏗️ 아키텍처 / 방법론

전체 시스템 아키텍처

┌─────────────────────────────────────────────────────────────────────┐
│                         ToolLLM Framework                            │
├─────────────────────────────────────────────────────────────────────┤
│                                                                       │
│  ┌──────────────┐    ┌──────────────┐    ┌──────────────┐           │
│  │  사용자 명령어  │───▶│ API Retriever │───▶│  ToolLLaMA   │          │
│  └──────────────┘    └──────────────┘    └──────────────┘           │
│         │                   │                    │                    │
│         │            관련 API 추천          DFSDT 추론                │
│         │                   │                    │                    │
│         ▼                   ▼                    ▼                    │
│  ┌─────────────────────────────────────────────────────────┐        │
│  │                    API 실행 환경                          │        │
│  │  ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐        │        │
│  │  │ API 1   │ │ API 2   │ │ API 3   │ │  ...    │        │        │
│  │  │(RapidAPI)│ │(RapidAPI)│ │(RapidAPI)│ │(16,464개)│        │        │
│  │  └─────────┘ └─────────┘ └─────────┘ └─────────┘        │        │
│  └─────────────────────────────────────────────────────────┘        │
│                              │                                        │
│                              ▼                                        │
│                     ┌──────────────┐                                 │
│                     │   최종 응답    │                                 │
│                     └──────────────┘                                 │
│                                                                       │
└─────────────────────────────────────────────────────────────────────┘

API Retriever

• 목적: 대규모 API 풀에서 관련 API 자동 선택
• 학습: Neural API Retriever 훈련
• 기능: 명령어 입력 시 관련 API 세트 추천
• 성능: 실제 사용 API와 높은 정밀도로 일치

ToolLLaMA 훈련

1. 베이스 모델: LLaMA
2. 훈련 데이터: ToolBench 126,486개 (명령어, 솔루션 경로) 쌍
3. 방식: Supervised Fine-tuning (SFT)
4. 교사 모델: ChatGPT (gpt-3.5-turbo-16k)

---

📊 실험 및 결과

주요 성능 비교

모델	Pass Rate	Win Rate
Text-Davinci-003	22.6%	16.5%
Claude-2	34.4%	40.8%
ToolLLaMA + DFSDT	66.7%	67.3%
ChatGPT	~70%	~70%
GPT-4 + DFSDT	최고 성능	최고 성능

DFSDT 효과

모든 테스트된 LLM에서 DFSDT는 ReACT 대비 Pass Rate와 Win Rate 모두에서 유의미한 성능 향상을 보임.

일반화 성능

시나리오	설명	ToolLLaMA + DFSDT Pass Rate
I1-Inst.	새로운 명령어 (기존 도구)	77.0%
I1-Tool	새로운 도구 (기존 카테고리)	62.0%
I1-Cat.	새로운 카테고리	58.0%
I2-Inst.	새 명령어 + 새 도구	52.0%
I2-Cat.	새 명령어 + 새 카테고리	48.0%
I3-Inst.	가장 어려운 시나리오	45.0%

OOD (Out-of-Distribution) 테스트

• APIBench 벤치마크에서 ToolLLaMA는 훈련에 사용되지 않은 API와 명령어에도 불구하고, APIBench 전용 모델인 Gorilla와 동등한 성능 달성

---

💪 강점 및 기여

1. 대규모 고품질 데이터셋

• 16,464개 실제 API 포함 (기존 연구 대비 압도적 규모)
• 자동화된 데이터 구축 파이프라인 (최소한의 인간 감독)
• 다양한 시나리오 (단일/다중 도구) 커버

2. 혁신적인 추론 알고리즘 (DFSDT)

• 기존 ReACT의 한계 극복
• 복잡한 다단계 추론 가능
• 백트래킹을 통한 오류 복구 메커니즘

3. 표준화된 평가 체계 (ToolEval)

• 자동화된 평가 시스템
• 인간 평가와 높은 상관관계 (87.1%, 80.3%)
• 재현 가능한 벤치마킹

4. 오픈소스 생태계 기여

• 모든 코드, 데이터, 모델 공개
• 오픈소스 모델(LLaMA) 기반으로 ChatGPT급 도구 사용 능력 달성

---

⚠️ 한계점

1. 합성 데이터 의존성

• ChatGPT를 통한 합성 데이터 생성으로 생태학적 타당성 제한
• 실제 사용자 로그 기반 데이터 부재

2. 복잡한 다중 도구 워크플로우

• 대부분 단일 도구 또는 순차적 다중 도구 사용에 집중
• 파이프라인 수준의 다중 라운드 워크플로우는 충분히 탐구되지 않음

3. 평가 모호성

• 여러 유효한 도구 사용 전략 존재
• 형식적 정확성의 모호함으로 지표 표준화 어려움

4. 동적 API 환경 대응

• 외부 도구 목록이 진화함에 따라 지속적인 적응 필요
• API 변경 시 재훈련 필요

5. 도구 검색의 정확성

• 대규모 API 풀에서 정확한 도구 검색이 여전히 도전적
• LLM의 제한된 도구 기능 이해

---

🔗 관련 논문

선행 연구

논문	설명
Toolformer (Schick et al., 2023)	API 호출 시점/방법 학습 모델
API-Bank	73개 API 도구 포함 평가 벤치마크
Gorilla	API 호출 특화 LLM
ReACT	Reasoning + Acting 통합 프레임워크

후속 연구

논문	설명
AnyTool (2024)	자기 반성적, 계층적 에이전트
PEToolLLM (Xu et al., 2025)	개인화된 도구 학습
TL-Training (Ye et al., 2024)	작업-특성 기반 도구 학습 프레임워크
ToolQA	도구 사용 QA 평가 데이터셋

관련 서베이

• LLM-Based Agents for Tool Learning: A Survey (2025, Springer)

---

💻 실무 적용 포인트

1. API 통합 에이전트 개발

# ToolLLM 스타일의 API 호출 패턴
1. 사용자 명령어 분석
2. API Retriever로 관련 API 선택
3. DFSDT로 다단계 추론 실행
4. API 실행 및 결과 통합
5. 최종 응답 생성

2. 도구 사용 데이터셋 구축

• RapidAPI 같은 API 마켓플레이스 활용
• ChatGPT/GPT-4로 명령어 자동 생성
• DFSDT로 복잡한 솔루션 경로 주석

3. 평가 시스템 구축

• Pass Rate: 작업 완료 여부 측정
• Win Rate: A/B 테스트 스타일 비교 평가
• LLM 기반 자동 평가 파이프라인

4. 프로덕션 고려사항

• API 검색 최적화: 대규모 API 풀에서 빠른 검색
• 오류 처리: DFSDT의 백트래킹 메커니즘 구현
• API 버전 관리: 동적 API 변경에 대응

5. 활용 가능한 도메인

• 고객 서비스: 다양한 외부 서비스 API 연동
• 업무 자동화: 복잡한 멀티스텝 워크플로우
• 데이터 수집/분석: 여러 API 조합 데이터 파이프라인

---

🏷️ Tags

#ToolLLM #ToolBench #DFSDT #ToolEval #API #Tool-Use #LLM #Agent #ICLR2024 #OpenBMB #LLaMA #ChatGPT #ReACT #Instruction-Tuning #RapidAPI #Neural-Retriever #Decision-Tree #Multi-Tool #AI-Agent #Function-Calling