📄 Beyond Pipelines: Model-Native Agentic AI Survey (2025)

📋 메타 정보

항목	내용
제목	Beyond Pipelines: A Survey of the Paradigm Shift toward Model-Native Agentic AI
저자	Jitao Sang 외 7인 (Beijing Jiaotong University)
출판일	2025년 10월 (arXiv:2510.16720)
버전	v2 (2025.10.26)
분야	Agentic AI, LLM, Reinforcement Learning
arXiv	https://arxiv.org/abs/2510.16720
GitHub	https://github.com/ADaM-BJTU/model-native-agentic-ai

---

🎯 한줄 요약

LLM 기반 에이전트 구축 패러다임이 외부 로직으로 조율되는 Pipeline 방식에서 모델 파라미터 내부에 에이전트 능력을 내재화하는 Model-native 방식으로 전환되고 있으며, 이 변화의 핵심 동력은 강화학습(RL)이다.

---

🔍 연구 배경 및 동기

Agentic AI의 새로운 국면

• LLM이 단순히 응답하는 것을 넘어 행동하고(act), 추론하고(reason), 적응하는(adapt) 새로운 AI 발전 단계 진입
• AI 에이전트가 실세계 환경과 상호작용하며 복잡한 목표를 달성하는 시스템으로 진화

Pipeline 기반 접근법의 한계

한계점	설명
경직성(Rigidity)	사전 정의된 워크플로우에 따라 실행되어 예상치 못한 상황에 대응 불가
취약성(Brittleness)	세심하게 엔지니어링된 파이프라인에 과도하게 의존
높은 비용	지식 형식화와 프롬프트 설계에 많은 비용 소요
수동적 역할	LLM을 능동적 의사결정자가 아닌 수동적 도구로 취급
적응성 부족	동적으로 변화하는 환경에 적응하기 어려움

---

💡 핵심 아이디어

Pipeline → Model-native 패러다임 전환

┌─────────────────────────────────────────────────────────────────┐
│                    패러다임 전환의 본질                           │
├─────────────────────────────────────────────────────────────────┤
│  Pipeline-based: LLM + 외부 모듈 조합 (프롬프트/워크플로우 연결)    │
│       ↓                                                         │
│  Model-native: 단일 통합 모델 (end-to-end 학습으로 능력 내재화)    │
└─────────────────────────────────────────────────────────────────┘

강화학습(RL)의 역할

• 패러다임 전환의 알고리즘적 엔진 역할
• 정적 데이터 모방 학습에서 결과 기반 탐색(outcome-driven exploration)으로 전환
• LLM + RL + Task라는 통합 솔루션의 기반 제공
• 언어, 비전, 체화된(embodied) 도메인 전반에 적용

핵심 가설

강력한 기반 모델은 최종 결과에 대한 피드백을 통해 효과적인 추론 정책을 자율적으로 탐색하고 내재화할 수 있다.

---

🏗️ 분류 체계

1. Pipeline-based Agents

외부 로직과 모듈을 통해 에이전트 능력을 구현하는 방식

Planning (계획)

• 프롬프트 기반: Chain-of-Thought (CoT), Tree-of-Thought (ToT)
• 외부 플래너 통합: 심볼릭 플래너, 그래프 기반 플래너
• 분해 전략: 복잡한 작업을 하위 작업으로 분해

Tool Use (도구 사용)

• 프레임워크: LangChain, ReAct
• 도구 호출: API, 검색 엔진, 코드 실행 환경 연결
• 파싱 기반: LLM 출력을 파싱하여 도구 호출로 변환

Memory (메모리)

• 슬라이딩 윈도우: 최근 컨텍스트만 유지
• 요약 기반: 긴 컨텍스트를 요약하여 관리
• RAG (Retrieval-Augmented Generation): 외부 지식 베이스 검색

2. Model-native Agents

에이전트 능력을 모델 파라미터 내부에 내재화하는 방식

Planning (계획)

• OpenAI o1: 대규모 RL을 통해 계획 능력 최초 내재화
• DeepSeek R1: 결과 기반 보상만으로 추론/계획 행동 학습
  • 단계별 감독 비용 대폭 절감
  • Outcome reward: 최종 답의 정확성만 검증

Tool Use (도구 사용)

• OpenAI o3: 도구 사용을 추론 과정에 통합
• Moonshot K2: 대규모 도구 사용 궤적 합성 + 다단계 RL
• 모델이 언제, 어떻게 도구를 호출할지 스스로 학습

Memory (메모리)

• MemAct: 컨텍스트 관리를 에이전트가 호출하는 도구로 재정의
• MemoryLLM: 메모리를 직접 파라미터화
  • 잠재 메모리 토큰이 forward pass의 일부로 지속 업데이트

---

📊 패러다임 비교

측면	Pipeline-based	Model-native
아키텍처	LLM + 외부 모듈 조합	단일 통합 모델
능력 위치	외부 스크립트/모듈에 분산	모델 파라미터에 내재화
학습 방식	프롬프트 엔지니어링, 파인튜닝	End-to-end RL
적응성	제한적 (사전 정의된 워크플로우)	높음 (경험을 통한 학습)
유연성	모듈 교체로 유연성 확보	학습된 정책으로 유연성 확보
해석 가능성	명시적 파이프라인으로 추적 용이	내부 표현 해석 필요
유지보수	프롬프트/모듈 튜닝 필요	재학습으로 개선
확장성	모듈 추가로 기능 확장	학습 데이터/환경 확장
대표 시스템	LangChain, ReAct, AutoGPT	OpenAI o1/o3, DeepSeek R1, UI-TARS

---

💪 Model-native의 장점

1. 향상된 적응성

• 예상치 못한 상황에서도 학습된 정책으로 대응
• 동적으로 변화하는 환경에 적응 가능

2. 견고성(Robustness)

• 외부 모듈 의존도 감소로 시스템 안정성 향상
• 단일 모델 내 통합으로 오류 전파 최소화

3. 일반화 능력

• 다양한 도메인과 작업에 걸쳐 학습된 능력 전이
• 새로운 시나리오에 대한 zero-shot 적용 가능

4. 효율적 학습

• Outcome-based reward: 중간 단계 평가 없이 최종 결과로 학습
• DeepSeek R1 방식: 단계별 감독 비용 대폭 절감

5. 자율적 의사결정

• 모델이 스스로 계획, 도구 호출, 메모리 관리 결정
• 프로액티브한 에이전트 행동 가능

---

⚠️ 도전 과제

기술적 도전

1. 학습 효율성: 대규모 RL 학습에 필요한 컴퓨팅 자원
2. 보상 설계: 효과적인 outcome-based reward 설계
3. 탐색-활용 균형: 새로운 전략 탐색과 기존 지식 활용의 균형
4. 장기 계획: 긴 horizon에서의 안정적인 학습

안전성 및 정렬 도전

1. 행동 예측 불가능성: 내재화된 정책의 해석 어려움
2. 안전한 탐색: RL 탐색 과정에서의 안전성 보장
3. 목표 정렬: 에이전트 목표와 인간 의도의 정렬

실용적 도전

1. 데이터 요구량: 다양한 상호작용 데이터 수집 필요
2. 환경 구축: 학습을 위한 시뮬레이션 환경 구축
3. 평가 지표: Model-native 에이전트 성능 측정 방법론

---

🔬 주요 사례 연구

Deep Research Agent

• 특징: 장기 추론(long-horizon reasoning) 강조
• 패러다임 전환: 외부 검색/요약 모듈 → 내재화된 연구 능력
• 예시: OpenAI의 research agent 기능

GUI Agent

• 특징: 체화된 상호작용(embodied interaction) 강조
• UI-TARS (ByteDance):
  • End-to-end 학습으로 시각적/UI 컨텍스트에서 저수준 행동 예측
  • GPT-4o, Claude, Gemini보다 특정 벤치마크에서 우수
• GUI-Owl, OpenCUA:
  • RL로 GUI 계획 및 실행 완전 내재화
  • Outcome-based reward로 장기 horizon 최적화

---

🔮 미래 방향

1. Multi-agent Collaboration의 내재화

• 현재: 외부 프로토콜로 에이전트 간 협력 조율
• 미래: 협력 능력 자체를 모델에 내재화

2. Reflection 능력의 내재화

• 자기 평가 및 개선 능력의 학습
• 메타인지적 능력의 모델 통합

3. System Layer vs Model Layer의 역할 진화

• 시스템 레이어: 인프라, 안전성, 인터페이스 담당
• 모델 레이어: 핵심 에이전트 능력 담당
• 두 레이어 간 책임 분담의 진화

4. 통합 학습 프레임워크

• LLM + RL + Task: 통합된 학습 솔루션
• 다양한 도메인(언어, 비전, 체화)에 걸친 적용

---

🔗 관련 논문

핵심 참조 논문

논문	기여
OpenAI o1	RL을 통한 계획 능력 최초 내재화
DeepSeek R1	Outcome-based reward만으로 추론 학습
OpenAI o3	도구 사용을 추론 과정에 통합
UI-TARS	End-to-end GUI 에이전트
MemAct	메모리 관리의 도구화
MemoryLLM	메모리의 파라미터화

관련 서베이

• The Landscape of Agentic Reinforcement Learning for LLMs: A Survey (2025)
• Memory in the Age of AI Agents (2025)
• Multi-Agent Collaboration Mechanisms: A Survey of LLMs (2025)

---

💻 실무 시사점

에이전트 시스템 설계 시 고려사항

1. 패러다임 선택 기준
   • 해석 가능성/제어 중요 → Pipeline-based 유지
   • 적응성/견고성 중요 → Model-native 전환 검토
2. 하이브리드 접근
   • 완전한 전환보다 점진적 내재화 고려
   • 핵심 능력부터 단계적으로 Model-native화
3. RL 도입 전략
   • Outcome-based reward로 감독 비용 절감
   • 시뮬레이션 환경에서 안전한 탐색

프레임워크 선택 가이드

상황	권장 접근법
빠른 프로토타이핑	LangChain, ReAct (Pipeline)
복잡한 워크플로우	LangGraph (Pipeline)
높은 적응성 필요	Model-native 또는 하이브리드
리소스 제한	Pipeline-based
장기 투자 가능	Model-native 연구/개발

주요 트렌드 모니터링

1. OpenAI, DeepSeek 등의 reasoning model 발전
2. GUI/Embodied agent의 end-to-end 학습 진전
3. Multi-modal agentic AI 발전
4. 안전한 RL 탐색 기법 발전

---

📚 핵심 개념 용어집

용어	정의
Agentic AI	행동하고, 추론하고, 적응하는 AI 시스템
Pipeline-based	외부 로직/모듈로 에이전트 능력을 조율하는 방식
Model-native	에이전트 능력을 모델 파라미터에 내재화하는 방식
Outcome-based reward	최종 결과의 정확성만으로 보상을 제공하는 방식
End-to-end learning	입력에서 출력까지 전체를 통합 학습하는 방식

---

🏷️ Tags

#AI-Agent #LLM #Reinforcement-Learning #Model-Native #Pipeline #Survey #DeepSeek-R1 #OpenAI-o1 #Planning #Tool-Use #Memory #GUI-Agent #2025 #Paradigm-Shift #End-to-End-Learning