📄 Large Language Models as Tool Makers

📋 메타 정보

항목	내용
논문 제목	Large Language Models as Tool Makers
저자	Tianle Cai, Xuezhi Wang, Tengyu Ma, Xinyun Chen, Denny Zhou
소속	Google DeepMind, Princeton University, Stanford University
발표	ICLR 2024 (Poster)
arXiv	2305.17126
OpenReview	qV83K9d5WB
GitHub	ctlllll/LLM-ToolMaker

---

🎯 한줄 요약

LLM이 스스로 재사용 가능한 도구(Python 함수)를 생성하고, 이를 경량 모델이 활용하도록 분업화하여 성능은 유지하면서 추론 비용을 대폭 절감하는 LATM(LLMs As Tool Makers) 프레임워크 제안

---

🔍 연구 배경 및 동기

기존 연구의 한계

• 기존 Tool-use 연구: Toolformer, ReAct 등 기존 연구들은 LLM이 외부 도구를 “사용”하는 데 초점
• 도구 의존성 문제: 사전에 정의된 도구(계산기, 검색 엔진 등)의 가용성에 의존
• 비용 문제: GPT-4와 같은 강력한 모델을 모든 추론에 사용하면 비용이 급증

핵심 질문

“LLM이 도구를 사용할 수 있다면, 스스로 도구를 만들 수도 있지 않을까?”

인간 사회와의 비유

• 인간 사회에서 복잡한 문제는 분업을 통해 해결
• 도구 제작자(전문가)가 도구를 만들면, 일반 사용자가 이를 활용
• 이러한 분업 구조를 LLM 시스템에 적용

---

💡 핵심 아이디어

Tool Making vs Tool Using

구분	Tool Making	Tool Using
역할	도구(Python 함수) 생성	생성된 도구 활용하여 문제 해결
모델 요구사항	고성능 모델 (GPT-4)	경량 모델 (GPT-3.5)
실행 빈도	태스크 유형당 1회	인스턴스마다 반복
비용	높음 (일회성)	낮음 (반복적)

Maker-User 분리 아키텍처의 이점

1. 비용 최적화
   • 고비용 모델(GPT-4)은 도구 생성에만 사용
   • 저비용 모델(GPT-3.5)이 실제 문제 해결 수행
   • 도구 생성 비용이 다수의 사용 인스턴스에 분산
2. Functional Caching
   • 기존 캐싱: 자연어 응답 저장
   • LATM 캐싱: 기능(함수) 자체를 저장
   • 유사한 요청에 대해 캐시된 도구의 API 호출로 해결
3. 확장성
   • 새로운 문제 유형 등장 시 도구 자동 생성
   • 생성된 도구는 재사용 가능

---

🏗️ 아키텍처 / 방법론

전체 프레임워크 구조

┌─────────────────────────────────────────────────────────────┐
│                    LATM Framework                            │
├─────────────────────────────────────────────────────────────┤
│                                                              │
│   [New Task Instance] ──▶ [Dispatcher]                      │
│                              │                               │
│              ┌───────────────┼───────────────┐              │
│              ▼               ▼               ▼              │
│         기존 도구 있음    새 도구 필요    직접 해결          │
│              │               │               │              │
│              ▼               ▼               ▼              │
│         Tool User       Tool Maker      Direct Solve        │
│        (GPT-3.5)        (GPT-4)         (GPT-3.5)          │
│              │               │               │              │
│              └───────────────┴───────────────┘              │
│                              │                               │
│                              ▼                               │
│                        [Solution]                            │
│                                                              │
└─────────────────────────────────────────────────────────────┘

Tool Making 단계 (3단계)

1단계: Tool Proposing (도구 제안)

• 입력: 태스크에 대한 몇 가지 데모 예시
• 과정: LLM이 데모를 분석하여 일반화된 Python 함수 작성
• 출력: 초기 도구 코드

# 예시: Word Sorting 태스크용 도구
def sort_words(words: list) -> list:
    """단어 리스트를 알파벳 순서로 정렬"""
    return sorted(words)

2단계: Tool Validation (도구 검증)

• 검증 샘플을 이용해 유닛 테스트 자동 생성
• 제안된 도구에 대해 테스트 실행
• 테스트 실패 시:
  • 오류 기록을 히스토리에 추가
  • Tool Maker가 오류 수정 시도
  • 재검증 반복

3단계: Tool Wrapping (도구 포장)

• 검증 통과 시 도구를 Tool User가 사용할 수 있도록 패키징
• API 형태로 래핑하여 문서화
• 사전 정의된 실패 임계값 초과 시 도구 생성 실패 처리

Tool Using 단계

• Tool User(경량 모델)가 생성된 도구를 활용
• 프롬프트에 도구 API 문서 포함
• 새로운 문제 인스턴스에 도구 적용하여 해결

Dispatcher (디스패처)

온라인 환경에서 순차적으로 도착하는 태스크 인스턴스 관리:

1. 태스크 분류
   • 기존 도구로 해결 가능한지 평가
   • 새로운 도구 생성 필요 여부 판단
2. 라우팅 결정
   • 기존 도구 → Tool User로 전달
   • 새 도구 필요 → Tool Maker로 전달
   • 단순 문제 → 직접 해결
3. 경량 모델 활용
   • Dispatcher 자체도 경량 모델 사용
   • 전체 시스템 비용 최소화

---

📊 실험 및 결과

실험 설정

구성 요소	모델
Tool Maker	GPT-4
Tool User	GPT-3.5 Turbo
Dispatcher	GPT-3.5 Turbo

평가 태스크 (Big-Bench)

• Logical Deduction: 논리적 추론 태스크
• Tracking Shuffled Objects: 객체 추적 태스크
• Word Sorting: 단어 정렬 태스크
• 기타 복잡한 추론 태스크들

주요 결과

성능 비교

설정	성능	비용
GPT-4 (Maker + User)	높음	매우 높음
LATM (GPT-4 Maker + GPT-3.5 User)	GPT-4와 동등	대폭 절감
GPT-3.5 단독	낮음	낮음

태스크 난이도별 결과

• 어려운 태스크 (Logical Deduction, Tracking Shuffled Objects):
  • GPT-3.5 단독: 5회 시도 모두 실패
  • LATM: GPT-4 수준의 성능 달성
• 쉬운 태스크 (Word Sorting):
  • GPT-3.5도 도구 생성 가능
  • Tool Maker로 경량 모델 사용 가능

비용 절감 효과

• GPT-4 대비 GPT-3.5 가격: 약 1/20
• Tool Using이 전체 추론의 대부분을 차지
• 추론 비용 약 95% 절감 (다수 인스턴스 처리 시)

---

💪 강점 및 기여

학술적 기여

1. 새로운 패러다임 제시
   • Tool Use → Tool Make로 개념 확장
   • LLM의 자기 개선(self-improvement) 가능성 입증
2. Functional Caching 개념
   • 응답 캐싱이 아닌 기능 캐싱
   • 더 넓은 범위의 요청에 적용 가능
3. 경제적 LLM 서빙 프레임워크
   • 성능과 비용의 효율적 균형점 제시

실용적 장점

1. 비용 효율성
   • 대규모 서비스에서 비용 대폭 절감
   • 소규모 조직도 고성능 AI 시스템 구축 가능
2. 확장성
   • 새로운 태스크에 자동 적응
   • 도구 라이브러리 지속적 확장
3. 모듈성
   • Maker, User, Dispatcher 독립적 업그레이드 가능
   • 각 구성 요소 최적화 용이

---

⚠️ 한계점

도구 품질 문제

• 생성된 도구의 신뢰성 보장 어려움
• 도구 내 잠재적 버그나 편향 존재 가능성
• 안전성 검증 메커니즘 필요

태스크 범위 제한

• 모든 태스크가 Python 함수로 해결 가능하지 않음
• 창의적, 주관적 태스크에는 부적합
• 도구화하기 어려운 문제 유형 존재

기술적 한계

• 도구 생성 실패 시 처리 방안 미흡
• Dispatcher의 정확한 판단에 의존
• 도구 간 체이닝(연쇄 사용) 미지원

평가 한계

• Big-Bench 중심의 제한된 평가
• 실제 프로덕션 환경에서의 검증 부족
• 장기 사용 시 도구 라이브러리 관리 이슈

---

🔗 관련 논문

선행 연구

논문	핵심 내용	LATM과의 관계
Toolformer (Meta, 2023)	LLM이 도구 사용법을 자기 지도 학습	Tool Use의 기초, LATM은 Tool Make로 확장
ReAct (Google, 2022)	추론(Reasoning)과 행동(Acting) 결합	도구 선택/사용 방법론 제공
Program-aided LM	프로그램 생성을 통한 문제 해결	LATM의 도구 = 재사용 가능한 프로그램
Chain-of-Thought	단계적 추론 프롬프팅	LATM의 도구 생성에 활용

후속 연구 방향

• Tool Learning: 도구 학습 및 사용의 체계적 연구
• Autonomous Agents: AutoGPT, BabyAGI 등 자율 에이전트
• Multi-Agent Systems: 다중 에이전트 협업 시스템

---

💻 실무 적용 포인트

적용 시나리오

1. 고객 서비스 자동화
   • 자주 묻는 질문 유형별 도구 생성
   • 경량 모델로 대량 문의 처리
2. 데이터 분석 파이프라인
   • 반복적 분석 태스크 도구화
   • 비전문가도 고급 분석 수행 가능
3. 코드 생성 서비스
   • 공통 패턴의 유틸리티 함수 도구화
   • 비용 효율적인 코딩 어시스턴트

구현 시 고려사항

# LATM 패턴 구현 예시 구조
class LATM:
    def __init__(self):
        self.tool_maker = GPT4()      # 고성능 모델
        self.tool_user = GPT35()      # 경량 모델
        self.dispatcher = GPT35()      # 경량 모델
        self.tool_cache = {}           # 도구 캐시

    def process(self, task):
        # 1. Dispatcher가 태스크 분류
        tool_id = self.dispatcher.classify(task)

        # 2. 기존 도구 있으면 사용
        if tool_id in self.tool_cache:
            return self.tool_user.use(
                self.tool_cache[tool_id], task
            )

        # 3. 없으면 새 도구 생성
        new_tool = self.tool_maker.create(task)
        self.tool_cache[tool_id] = new_tool

        return self.tool_user.use(new_tool, task)

비용 최적화 전략

1. 도구 캐시 관리
   • 사용 빈도 기반 캐시 정책
   • 유사 도구 통합/재활용
2. 모델 선택 전략
   • 태스크 난이도에 따른 동적 모델 선택
   • 비용-성능 트레이드오프 모니터링
3. 점진적 도입
   • 고빈도 태스크부터 도구화
   • ROI 측정 및 확대 적용

주의사항

• 도구 검증 프로세스 필수 구축
• 도구 버전 관리 및 업데이트 정책 수립
• 예외 처리 및 폴백 메커니즘 마련

---

🏷️ Tags

#LLM #ToolMaking #ToolUse #LATM #ICLR2024 #GPT4 #GPT35 #CostOptimization #FunctionalCaching #AIAgent #Automation #DeepMind #Google #Princeton #Stanford #ReasoningTasks #BigBench #PythonTools #Dispatcher #MakerUser

---

📚 참고 자료

• arXiv 논문
• ICLR 2024 Proceedings
• OpenReview
• GitHub Repository