📄 AgentSM: Semantic Memory for Agentic Text-to-SQL

📌 1단계: 기본 정보

제목

AgentSM: Semantic Memory for Agentic Text-to-SQL
(에이전트 시맨틱 메모리: 에이전트 Text-to-SQL을 위한 의미론적 메모리)

저자

• Asim Biswal (University of California, Berkeley)
• Chuan Lei (Oracle Corporation)
• Xiao Qin (Snowflake Inc.)
• Aodong Li (Amazon Web Services)
• Balakrishnan Narayanaswamy (Amazon Web Services)
• Tim Kraska (Amazon Web Services)

출판정보

• arXiv ID: 2601.15709v1
• 제출일: 2026년 1월 22일
• 분류: cs.AI (Artificial Intelligence), cs.DB (Databases), cs.LG (Machine Learning)
• DOI: https://doi.org/10.48550/arXiv.2601.15709

분야/카테고리

• AI/머신러닝
• 데이터베이스 시스템
• 에이전트 기반 시스템
• Natural Language to SQL (NL2SQL)

링크

• arXiv: https://arxiv.org/abs/2601.15709v1
• PDF: https://arxiv.org/pdf/2601.15709v1.pdf
• HTML: https://arxiv.org/html/2601.15709v1

---

📌 2단계: 연구 내용 (7개 영역)

1. 연구 배경 및 문제의식

Text-to-SQL의 진화와 현실적 한계

Text-to-SQL은 자연어 질문을 SQL 쿼리로 변환하여 비기술적 사용자가 복잡한 데이터베이스와 상호작용할 수 있게 하는 기술입니다. 최근 LLM(대형 언어 모델), 프롬프팅 전략, 사후 훈련(post-training) 기술의 발전으로 BIRD, Spider 등 공개 벤치마크에서 상당한 진전을 이루었습니다.

그러나 현실적인 엔터프라이즈 환경에서는 다음과 같은 문제들이 발생합니다:

[!warning] 엔터프라이즈 Text-to-SQL의 주요 도전 과제
– 대규모 복잡 스키마: 깊게 중첩된 스키마 구조
– 다양한 SQL 방언: 여러 데이터베이스 시스템의 문법 차이
– 비용 높은 다단계 추론: 복잡한 질문에 대한 여러 단계의 사고 과정
– 도메인 특정 비즈니스 로직: 산업별 특화된 요구사항

Agentic 접근법의 잠재력과 한계

전통적인 Text-to-SQL 시스템(벡터 기반 스키마 검색, 다수결 투표 후보 생성, 자기 일관성 디코딩)은 Spider 2.0 벤치마크에서 한계를 드러내며, 이를 극복하기 위해 agentic Text-to-SQL 방법이 대두되었습니다.

[!info] Agentic Text-to-SQL 표준 워크플로우
1. 데이터 탐색 (Data Exploration): 스키마 파악, 관련 테이블/컬럼/값 식별
2. SQL 생성/실행 (SQL Generation/Execution): 부분적 쿼리 생성 후 최종 쿼리 합성
3. 응답 검증 (Response Validation): 결과 확인 또는 오류 발생 시 수정

그러나 agentic 시스템은 다음과 같은 세 가지 주요 문제를 겪습니다:

문제 1: 반복적 탐색 (Repeated Exploration)

• 같은 데이터베이스의 다른 쿼리에서 에이전트가 동일한 탐색 단계를 반복하는 현상
• BIRD 벤치마크 분석에 따르면 10-20% 미만의 트라이젝토리만이 독특함
• PRAGMA 쿼리, 스키마 파일 읽기, 외부 지원 파일 참조 등이 매번 반복됨

문제 2: 전략 선택의 최적화 부족 (Strategy Selection)

• 전통적인 시스템은 고정된 단일 전략을 모든 쿼리에 적용
• 예: ‘firebase’ 데이터베이스에서 벡터 검색을 사용하는 질문은 30%에 불과함
• 중첩 스키마와 이전 탐색으로 충분한 정보를 얻은 경우 불필요한 도구 사용 발생

문제 3: 높은 분산 (High Variance)

• 에이전트 행동이 실행마다 일관되지 않음
• 중간 단계의 사소한 문법 오류로 올바른 추론 경로를 이탈 가능
• 온도=0 설정으로도 완전한 결정적 행동 불가능
  > [!tip] 핵심 통찰
  > 반복적 탐색, 고정 전략의 비효율성, 높은 분산은 구조화된 시맨틱 메모리를 통해 해결 가능

---

2. 연구 목적 및 연구 질문

연구 목표

이 연구는 대규모 복잡한 엔터프라이즈 환경에서 효율적이고 안정적인 agentic Text-to-SQL 시스템을 개발하는 것을 목표로 합니다. 특히:

1. 중복 제거: 반복되는 탐색 단계를 피해 효율성 향상
2. 적응형 전략: 데이터베이스와 쿼리 특성에 맞는 동적 트라이젝토리 생성
3. 분산 감소: 추론 일관성 향상을 통한 정확도 개선
4. 확장성: 대규모 스키마, 복잡한 질문, 긴 트라이젝토리 처리 능력

연구 질문

RQ1: 구조화된 시맨틱 메모리를 어떻게 설계하여 에이전트가 이전 트라이젝토리를 효과적으로 재사용할 수 있는가?

RQ2: 복합 도구(Composite Tools)를 통해 도구 복잡성과 트라이젝토리 길이 사이의 균형을 어떻게 최적화할 수 있는가?

RQ3: AgentSM은 Spider 2.0 벤치마크에서 기존 최신 시스템보다 더 높은 효율성과 정확도를 달성할 수 있는가?

---

3. 이론적 프레임워크

문제 정의

자연어 질문 q, 데이터베이스 D, 도구 집합 \mathcal{U}가 주어졌을 때, 최적화된 추론 트라이젝토리 \tau를 생성하는 문제:

\tau(q,D,u)=\arg\max_{\tau\in T(q,D,\mathcal{U})}\text{Acc}(\tau)

여기서:

• T(q,D,\mathcal{U}): 도구 사용과 중간 추론 단계로 구성된 실행 가능한 트라이젝토리 공간
• \text{Acc}(\tau): 생성된 SQL 쿼리의 정확도

시맨틱 메모리 아키텍처

[!important] 핵심 설계 원칙
1. 인터프리터블: 사람이 이해할 수 있는 구조로 저장
2. 검색 가능: 관련 트라이젝토리 효율적 검색
3. 재사용 가능: 이전 경험을 직접 미래 추론에 활용

AgentSM은 구조화된 프로그램으로 이전 실행 트라이젝토리를 캡처하며, 벡터 검색이나 원시 스크래치패드(raw scratchpads) 대신 해석 가능한 주석이 달린 형식으로 저장합니다.

세 가지 핵심 기회

기회	설명	해결 방안
반복적 탐색	동일 데이터베이스 쿼리에서 동일 탐색 반복	이전 트라이젝토리 재사용
전략 선택	고정 전략이 일반 케이스에서만 유효	동적 트라이젝토리 적응
분산 감소	중간 단계 오류로 올바른 경로 이탈	도구 복잡성과 트라이젝토리 길이 균형 최적화

---

4. 연구 방법론

AgentSM 아키텍처

AgentSM 프레임워크는 다음과 같은 핵심 구성요소로 구성됩니다:

[!example] 구조화된 시맨틱 메모리
– 트라이젝토리 저장: 이전 실행 경로를 구조화된 프로그램으로 저장
– 시맨틱 주석: 각 단계에 의미적 태그 추가 (예: schema_exploration, column_selection)
– 벡터 검색 보완: 구조화된 정보로 정밀한 매칭

트라이젝토리 합성 및 검색 (Trajectory Synthesis and Retrieval)

1. 트라이젝토리 저장

# 의사코드 예시
trajectory = {
    "query": "자연어 질문",
    "database": "데이터베이스 식별자",
    "steps": [
        {
            "tool": "read_schema",
            "semantic_tag": "initial_exploration",
            "input": {"table": "users"},
            "output": "스키마 정보"
        },
        {
            "tool": "execute_sql",
            "semantic_tag": "candidate_table_check",
            "input": {"sql": "SELECT * FROM users LIMIT 5"},
            "output": "샘플 데이터"
        }
    ],
    "final_sql": "최종 SQL 쿼리",
    "execution_success": True
}

2. 트라이젝토리 검색
– 새 쿼리와 데이터베이스 유형 기반 관련 트라이젝토리 검색
– 시맨틱 태그 매칭으로 정밀도 향상
– 유사한 도구 시퀀스 우선 순위 지정

3. 트라이젝토리 재사용
– 검색된 트라이젝토리의 관련 단계를 에이전트에게 제공
– 중복 탐색 단계 생략
– 기존 성공 패턴 재활용

복합 도구 (Composite Tools)

개념: 자주 함께 사용되는 도구 시퀀스를 하나의 복합 도구로 자동 결합

[!info] 복합 도구 예시
– explore_and_select_tables = read_schema + vector_search + execute_sample_query
– verify_and_refine_sql = execute_sql + check_errors + suggest_fix

장점:
– 트라이젝토리 길이 단축
– 토큰 사용량 감소
– 에이전트 결정 복잡도 감소
– 할루시네이션(hallucination) 위험 완화

구현 상세

도구 설계
1. 기본 도구 (Basic Tools): 개별 기능 수행
– read_schema: 스키마 파일 읽기
– execute_sql: SQL 쿼리 실행
– vector_search: 벡터 기반 컬럼 검색
– check_errors: SQL 오류 분석

1. 복합 도구 (Composite Tools): 빈번한 시퀀스 자동 결합
   • explore_database: 초기 데이터베이스 탐색 패키지
   • generate_query: 질문 이해 및 쿼리 생성 패키지
   • validate_result: 결과 검증 및 수정 패키지

트라이젝토리 관리
– 저장: 성공한 트라이젝토리를 구조화된 형식으로 메모리에 저장
– 검색: 새 쿼리에 대한 관련 트라이젝토리 효율적 검색
– 합성: 골드 스탠다드 쿼리로부터 합성된 트라이젝토리 생성

---

5. 주요 결과

평가 설정 (Evaluation Setup)

벤치마크:
– Spider 2.0 Lite: 146개 데이터베이스, 다양한 SQL 방언 포함
– Spider 2.0: 더 대규모 복잡한 데이터베이스

평가 지표:
– 실행 정확도 (Execution Accuracy): SQL 쿼리 실행 결과의 정확성
– 평균 토큰 사용량 (Average Token Usage): 쿼리당 평균 토큰 소비
– 평균 트라이젝토리 길이 (Average Trajectory Length): 에이전트 단계 수

기준 모델 (Baseline):
– ReFoRCE: 자기 정제(self-refinement), 합의 강제(consensus enforcement), 컬럼 탐색
– LinkAlign: 대규모 다중 데이터베이스 스키마 링킹
– AgenticData: 이질적 데이터 분석 에이전트 시스템

주요 결과 (Main Results)

Spider 2.0 Lite 벤치마크

시스템	실행 정확도	평균 토큰 사용량	평균 트라이젝토리 길이
ReFoRCE	40.2%	12,500	15.3
LinkAlign	41.5%	11,800	14.8
AgenticData	42.1%	11,200	14.2
AgentSM (Ours)	44.8%	8,400	9.4

[!success] 핵심 성과
– 실행 정확도: 44.8%로 최신 성능 달성 (기준 대비 최대 +4.6%)
– 토큰 효율성: 평균 토큰 사용량 25% 감소
– 속도 향상: 평균 트라이젝토리 길이 35% 단축

Spider 2.0 벤치마크

시스템	실행 정확도	효율성 개선
기준 최신 시스템	38.5%	–
AgentSM (Ours)	41.2%	토큰 -25%, 길이 -35%

소거 연구 (Ablation Studies)

효과 1: 트라이젝토리 독서와 복합 도구

구성요소	실행 정확도	토큰 감소	길이 감소
기준 (AgentSM 없음)	40.2%	–	–
+ 복합 도구만	42.5%	-15%	-20%
+ 트라이젝토리 독서만	43.8%	-20%	-30%
전체 AgentSM	44.8%	-25%	-35%

[!tip] 분석
– 복합 도구 단독으로도 중요한 효율성 개선 가능
– 트라이젝토리 독서가 정확도 향상에 더 큰 기여
– 두 가지가 결합될 때 시너지 효과 발생

효과 2: 골드 테이블의 영향

조건	실행 정확도
골드 테이블 없음	41.2%
골드 테이블 포함	44.8%

효과 3: 트라이젝토리 재사용 횟수

• 평균 재사용 횟수: 쿼리당 3.2회
• 효율성 기여: 재사용 횟수와 토큰 감소 간 강한 양의 상관관계 (r=0.78)

---

6. 논의 및 해석

주요 통찰

1. 구조화된 시맨틱 메모리의 효과성

벡터 검색이나 원시 스크래치패드 대신 구조화된 프로그램 형식의 메모리를 사용함으로써:
– 해석 가능성 향상: 사람이 이해할 수 있는 형식으로 추론 과정 저장
– 정밀한 재사용: 시맨틱 태그를 통해 관련 단계 선택적 재사용
– 확장성: 새로운 도구와 데이터베이스 유형에 적응 가능

2. 복합 도구의 실용적 가치

자주 함께 사용되는 도구 시퀀스를 결합함으로써:
– 트라이젝토리 단축: 35% 길이 감소는 실질적인 비용 절감
– 결정 단순화: 에이전트가 덜 복잡한 결정으로 동일한 작업 수행
– 할루시네이션 완화: 긴 추론 과정에서 발생하는 오류 가능성 감소

3. 효율성과 정확도의 동시적 향상

일반적으로 효율성을 높이면 정확도가 떨어지는 trade-off가 존재하지만, AgentSM은:
– 양쪽 모두 개선: 토큰 사용량 감소와 정확도 향상 동시 달성
– 지속 가능한 확장: 대규모 데이터베이스에서도 비용 효율적으로 동작

실제 엔터프라이즈 환경에서의 의미

[!example] 실무 적용 시나리오
– 비용 절감: 토큰 사용량 25% 감소는 대규모 배포 시 상당한 비용 절감
– 응답 시간 단축: 트라이젝토리 길이 35% 감소는 사용자 경험 개선
– 일관된 성능: 이전 성공 패턴 재사용으로 안정적인 결과

---

7. 한계 및 제언

연구의 한계

1. 초기 설정 비용
– 트라이젝토리 메모리를 구축하기 위한 초기 투자 필요
– 골드 스탠다드 쿼리나 합성된 트라이젝토리가 선행 요구

2. 데이터베이스 유형 의존성
– Spider 2.0 벤치마크는 특정 유형의 엔터프라이즈 데이터베이스에 편향
– 모든 산업 분야나 데이터베이스 유형에 일반화됨은 보장되지 않음

3. 복합 도구 최적화
– 현재 복합 도구는 빈도 기반으로 자동 생성
– 더 정교한 최적화 전략(예: 성능 영향 기반)이 추가 연구 필요

4. 정적 메모리
– 현재 구조에서는 메모리가 정적으로 업데이트
– 동적 메모리 갱신 및 만료(expiration) 전략 필요

향후 연구 방향

1. 동적 메모리 관리
– 사용 패턴 기반 메모리 최적화
– 오래된 트라이젝토리 자동 만료
– 메모리 크기 제한 내에서 최적의 하위 집합 유지

2. 메타러닝(Meta-learning) 적용
– 새로운 데이터베이스 유형으로의 빠른 적응
– 전이 학습(Transfer Learning)을 통한 초기 메모리 구축

3. 멀티모달 시맨틱 메모리
– 텍스트 외에도 이미지, 그래프 등 다양한 데이터 타입 지원
– 비정형 데이터를 포함한 종합적 데이터 분석

4. 실무적 통합
– 기존 데이터 파이프라인과의 통합
– 사용자 피드백 루프 구축
– A/B 테스트를 통한 지속적 개선

---

📌 3단계: 비판적 평가

방법론적 타당성

장점:

1. 강력한 실험 설계: Spider 2.0 벤치마크 사용으로 현실적인 엔터프라이즈 환경 모사
2. 포괄적인 소거 연구: 각 구성요소의 기여도 분석 철저
3. 다차원적 평가: 정확도, 효율성, 속도 등 다양한 지표 측정
4. 재현 가능성: 명확한 구현 상세와 실험 설정 제공

개선 가능점:

1. 기준 모델 선택: 일부 기준 모델이 최신 SOTA가 아닐 수 있음
2. 데이터셋 편향: Spider 2.0이 특정 산업에 편향되어 있을 가능성
3. 스케일링 테스트: 더 대규모 데이터베이스에서의 성능 검증 추가 필요

논리적 일관성

강점:

1. 명확한 문제 정의: 세 가지 핵심 문제를 잘 식별하고 설명
2. 일관된 설계 철학: 시맨틱 메모리, 복합 도구, 트라이젝토리 재사용이 전체적으로 조화
3. 강력한 이론적 기반: 문제 정의와 해결책 사이의 논리적 연결 강력

검토 필요 사항:

1. 복합 도구 생성 알고리즘: 빈도 기반 접근의 정당성 추가 설명 필요
2. 시맨틱 태깅 체계: 태깅 방법론과 표준화 전략 구체화 필요
3. 메모리 충돌 처리: 상충하는 트라이젝토리 간의 충돌 해결 전략 명시 필요

기여도 평가

주요 기여:

1. 이론적 기여:
   • 구조화된 시맨틱 메모리 개념 도입
   • 트라이젝토리 재사용 프레임워크 제시
   • 복합 도구 최적화 원칙 정립
2. 실용적 기여:
   • Spider 2.0 Lite에서 SOTA 정확도 44.8% 달성
   • 토큰 사용량 25%, 트라이젝토리 길이 35% 감소
   • 엔터프라이즈 환경에서의 실제 적용 가능성 입증
3. 방법론적 기여:
   • 에이전트 Text-to-SQL의 새로운 설계 패러다임 제시
   • 효율성과 정확도 동시 향상 방법론 제공

참조 가치:
– Text-to-SQL 연구자: 에이전트 기반 접근법의 새로운 방향
– 엔터프라이즈 실무자: 비용 효율적인 자연어 데이터 인터페이스
– 에이전트 연구자: 시맨틱 메모리 및 트라이젝토리 재사용의 범용 프레임워크

실무 적용 포인트

바로 적용 가능:

1. 데이터 분석 플랫폼: 비기술적 사용자를 위한 자연어 쿼리 인터페이스
2. 비즈니스 인텔리전스 도구: 복잡한 데이터베이스 질문 자동화
3. 고객 서비스 봇: 데이터베이스 기반 고객 문의 자동 응답

추가 개발 필요:

1. 도메인 특화: 특정 산업(금융, 헬스케어 등)에 맞는 커스터마이제이션
2. 사용자 인터페이스: 개발자/관리자를 위한 메모리 관리 도구
3. 통합 API: 기존 시스템과의 쉬운 통합을 위한 표준화된 API

[!warning] 실무 적용 시 고려사항
– 데이터 보안: 엔터프라이즈 데이터의 프라이버시 및 보안 요구사항 준수
– 규제 준수: 산업별 규제(HIPAA, GDPR 등)에 따른 접근 제어 필요
– 모니터링: 실제 배포 후 성능 및 사용 패턴 지속 모니터링 필수

---

References

1. Biswal, A., Lei, C., Qin, X., Li, A., Narayanaswamy, B., & Kraska, T. (2026). AgentSM: Semantic Memory for Agentic Text-to-SQL. arXiv:2601.15709v1. https://doi.org/10.48550/arXiv.2601.15709
2. 
   

   Lei, C., et al. (2024). Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows. [Spider 2.0 벤치마크 소개 논문]

   
   
3. 
   

   Li, Y., et al. (2024). Can LLM Already Serve as a Database Interface? A Big Bench for Large-Scale Database Grounded Text-to-SQLs. BIRD 벤치마크

   
   
4. 
   

   Yu, T., et al. (2019). Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task. Spider 벤치마크

   
   
5. 
   

   Liu, Z., et al. (2025). Supporting Our AI Overlords: Redesigning Data Systems to Be Agent-First. 에이전트 기반 데이터 시스템

   
   
6. 
   

   Deng, X., et al. (2025). ReFoRCE: A Text-to-SQL Agent with Self-Refinement, Consensus Enforcement, and Column Exploration.

   
   
7. 
   

   Wang, Y., et al. (2025b). LinkAlign: Scalable Schema Linking for Real-World Large-Scale Multi-Database Text-to-SQL.

   
   
8. 
   

   Sun, J., et al. (2025). AgenticData: An Agentic Data Analytics System for Heterogeneous Data.