📄 An Agentic Operationalization of DISARM for FIMI Investigation on Social Media
📌 1단계: 기본 정보
제목
An Agentic Operationalization of DISARM for FIMI Investigation on Social Media (에이전트 기반 DISARM 운영화: 소셜미디어 외국 정보 조작 및 개입 조사)
저자
Kevin Tseng, Juan Carlos Toledano, Bart De Clerck, Yuliia Dukach, Phil Tinn
출판정보
- arXiv ID: 2601.15109v1
- 발행일: 2026년 1월 21일 (현재 문서 기준)
- 카테고리:
- cs.SI (Social Media)
- cs.AI (AI)
- cs.CY (Cybersecurity)
- cs.HC (Human-Computer Interaction)
- cs.MA (Multiagent Systems)
- URL: https://arxiv.org/abs/2601.15109v1
- PDF: https://arxiv.org/pdf/2601.15109v1.pdf
초록
The interoperability of data and intelligence across allied partners and their respective end-user groups is considered a foundational enabler to the collective defense capability–both conventional and hybrid–of NATO countries. Foreign Information Manipulation and Interference (FIMI) and related hybrid activities are conducted across various societal dimensions and infospheres, posing an ever greater challenge to the characterization of threats, sustaining situational awareness, and response coordination. Recent advances in AI have further led to decreasing cost of AI-augmented trolling and interference activities, such as through the generation and amplification of manipulative content. Despite the introduction of DISARM framework as a standardized metadata and analytical framework for FIMI, operationalizing it at the scale of social media remains a challenge. We propose a framework-agnostic agent-based operationalization of DISARM to investigate FIMI on social media. We develop a multi-agent pipeline in which specialized agentic AI components collaboratively (1) detect candidate manipulative behaviors, and (2) map these behaviors onto standard DISARM taxonomies in a transparent manner. We evaluated our approach on two real-world datasets annotated by domain practitioners. We demonstrate that our approach is effective in scaling the predominantly manual and heavily interpretive work of FIMI analysis, providing a direct contribution to enhancing situational awareness and data interoperability in the context of operating in media and information-rich settings.
📌 2단계: 연구 내용
1. 연구 배경 및 문제의식
1.1 FIMI의 정의와 중요성
- FIMI(Foreign Information Manipulation and Interference): EU의 External Action Service에서 채택된 용어로, 국가 후원 위협 행위자들에 의한 조작된 식별 정보 조작 및 개입 활동을 정의
- 일반적인 “가짜뉴스”와 차별: FIMI는 단순한 허위 정보가 아닌, 조정된(coordinated) 악의적 행위자들이 의도적으로 식별되고 연결된 활동
- 목표: 사회에 해를 주거나 불안정화
- 특징: 다양한 사회적 차원과 정보공간(infospheres)에 걸쳐 실시
- AI의 부상: 생성형 AI로 인신성 콘텐츠 생성, 봇 확대가 FIMI 규모를 증가
- 결과: 전략적 효과 위협 사이블 아래(conflict threshold below)에서도 영향력을 행사
1.1.1 DISARM 프레임워크의 필요성
- DISARM(Disinformation Analysis and Risk Management) 프레임워크: 오픈소스 기반 메타데이터 및 분석 택서논으로 위협 행위 TTPs(Tactics, Techniques, Procedures)를 체계화
- 목적: 위협 행위의 식별, 분석 및 대응을 위한 공통 용어와 표준화된 분석 프레임워크 제공
- 한계점:
- DISARM의 개념적 가치에도 불구하고, 소셜미디어 규모에서 실제 운영화에는 어려움
- TTP 매핑링 수동, 전문가적 지식 필요: 대규모 데이터셋에 적용하려면 위협 분야 전문가의 코딩 지식이 필요
- 표준화 어려움: 각국가 자체적인 분석 체계와 용어 차이로 인해석의 일관성을 유지하기 어려움
1.1.2 Agentic AI의 중요성
- Agentic AI(에이전트 AI): 정적 규칙 기반 툴이 자율 시스템을 넘어 자율, 복잡한 목표를 추구하고 타스크를 수행하는 AI
- 특징:
- 자율: 최소 인간 개입으로 복잡한, 개방성 목표를 달성
- 추론: 고급 논리, 적응적 의사결정, 계획 수립
- 학습: 스스켈링 이해, 패턴 인식, 도메인 지식 습득 가능
- 작동: 타스크 분해, 목표 달성, 환경 모니터링, 자기 조정
- 응용 영역: 동적이 비구조화된 환경에서 유의미하게 목표를 설정하고 계획을 수립 가능
1.2 연구 목적 및 연구 질문
[!note] 주요 연구 질문: 이 연구는 주로 다음의 질문에 답하고자 합니다.
- 기술적 목표:
- DISARM 프레임워크를 소셜미디어 규모에서 실시간 운영 가능한 에이전트 AI 시스템으로 운영화하는 방법론 개발
- 다중 에이전트 컴포넌트(multi-agent pipeline) 구현: 전문화된 분석 작업을 자동화하고 규모 확장 가능하게 만듦
- 투명성과 설명가능성 확보: 각 증거가 특정 DISARM TTP에 매핑되고 통계적으로 검증됨
- 실무적 적용 목표:
- NATO 및 방어 조직에서의 FIMI 방어 능력 강화에 대응하기 위한 구조화된 분석 시스템 구축
- 전략적 통합: 단순 국가 수준 분석을 통합하여 초국가적 공동 대응 가능
- 운영 효율: 인간-기계 팀워킹(Human-Machine Teaming) 구현을 통해 전문가의 통제와 판단을 유지하면서 기계 속도로 작업
1.3 이론적 프레임워크
1.3.1 DISARM 프레임워크
- 구조: 위협 행위자의 활동을 TTP(Tactics), TTP(Technique), TTP(Procedures)의 3계층으로 분류
- Tactics(Tactics): 전략적 목표 달성을 위한 전반적 접근법이나 높은 수준의 전략
- Techniques(Technique): 전술 구현을 위한 구체적 방법론과 기술
- Procedures(TTP): 구체적 활동 단계와 작업 상세 절차
1.3.2 Agentic AI와의 통합
- 에이전트 AI는 단순한 분석 도구가 아니라, DISARM와 결합하여 해석 가능성과 규모 확장성을 동시에 확보
- DISARM = 표준화된 의미론, 구조화된 분석 틀
- Agentic AI = 실행 가능한 동적 시스템, 데이터 처리 능력, 실시간 적응력
1.3.3 BMAD-METHOD
- BMAD-METHOD(Breakthrough Method for Agile AI-Driven Development): 본 연구에서 사용된 애자라이 AI 개발 방법론
- 특징: 반복적인 가설-검증-학습 루프
- 핵심 원칙: 자연어로 정의된 워크플로우를 통해 프로그래머블 프로그래머블 없이 개발자가 신속하게 반복 및 개선 가능
- 적용: 복잡한 AI 시스템 개발에서 신속한 프로토타입과 반복적 학습 지원
📌 3단계: 연구 방법론
3.1 파이프라인 개요
본 연구에서 제안하는 에이전트 기반 DISARM 운영화 파이프라인은 다음과 같은 2단계로 구성됩니다.
3.1 1단계: 조사 계획 및 실행 (Investigation Planning and Execution)
- 목적: 데이터셋을 탐색하고 DISARM 기술을 샘플링하며, 잠재적인 IO 지표에 대한 가설(hypotheses) 생성
- 과정:
- EDA(Exploratory Data Analysis): 초기 데이터 개요 분석 – 데이터 규모, 패턴, 분포 등 파악
- TTPs Sampling and Interpretation: DISARM 기술 라이브러리에서 샘플링하고 각 기술을 해석하여 가설 생성
- Planning: 선택된 기술을 바탕으로 구체화된 조사 계획 수립
3.1.2 2단계: 증거 평가 (Evidence Assessment)
- 목적: 복잡한 발견(Complex Findings)을 개별화된 검증 가능한 원자적 증거(Atomic Evidence)로 분해
- 과정:
- Atomic Evidence Extraction: 각 발견을 최소 단위의 검증 가능한 주장으로 분해
- Evidence Gathering and Ranking: 수집된 증거를 기술별로 랭킹 및 중요도에 따라 정렬
- Machine Verification: 증거를 기준 트루스 라벨(ground truth labels)과 대조하여 통계적으로 검증, 통과(pass/fail) 결정
3.2 설계 원칙
본 연구에서 DISARM 운영화를 위한 에이전트 시스템 설계 시 다음 4가지 설계 원칙을 따랐습니다.
- 지연 이상 탐지(Deferred Anomaly Detection)
- 초기 탐색 단계에서 이상 탐지(anomaly)를 의도적으로 감지하지 않고, 기술-안내 탐지(technique-guided)로 지연
- 이유: 모든 발견 패턴이 특정 DISARM TTP에 매핑되도록 보장하여 투명성과 일관성 확보
- 전체 히스토리 피드백(Full History Feedback)
- 각 이터레이션은 이전 모든 발견의 전체 히스토리에 접근 가능
- 이유: 이전 발견에서 학습된 패턴을 기반으로 기술 선택 최적화 및 재발 방지
- 증거 기반 검증(Evidence-based Verification)
- 모든 LLM 생성 증거는 통계적으로 검증되어야 함
- 명시적 통과(pass/fail) 기준을 기반으로 효율성 보장
- 이유: 주관적 오류(hallucination) 및 편향(bias) 방지, 분석 결과의 재현성(reproducibility) 확보
- 자연어 명세(Natural Language Specification)
- 워크플로우, 타스크, 에이전트 행동이 자연어로 명세되어야 함
- 이유: 소프트웨어 개발 지식 없이 전문가에게도 신속하게 시스템 적응 가능
3.3 데이터셋 (Datasets)
3.3.1 중국 캠페인 (Chinese Campaign on X)
- 데이터셋: China 1, China 2 (Seckin et al. 2024에서 제공)
- 대상 플랫폼: X(Twitter)
- 기간: 2017년, 2019년(두 개의 캠페)
- 공격 대상: Guo Wengui(郭文贵)에 대한 조정된 공격
- 특징: 중국 정부 후원 활동, 트랜스퍼디어 미디어 공조, 조정된 행동 패턴
3.3.2 러시아 캠페인 (Russian Campaign on Telegram)
- 데이터셋: 2025 Moldova 선거 관련 러시아 캠페인
- 대상 플랫폼: Telegram
- 기간: 2025년 Moldova 선거
- 특징: 러시아 캠�인에서의 영향력 캠�(캠�인 조작) 파악
- 중요성: 선거 결과 조작에 대한 실시간 모니터링 및 분석 필수
📌 4단계: 주요 결과
4.1 Atomic Evidence Pass Rate
[!note] 성과 지표: 개별 증거가 통계 검증를 통과한 비율
4.1 중국 캠페인 결과
- 검증 효율: 높은 성공적으로 검증됨 (구체적인 통과(pass/fail) 기준 적용)
- 주요 발견 패턴:
- 조정된 공격(coordination)
- 대량 계정 생성 및 확산(amplification)
- 허위 계정 사용(coordinated inauthentic behavior)
- 트렌딩 및 해시트링(manipulative narratives)
4.2 러시아 캠페인 결과
- 검증 효율: 중국 캠페인과 유사한 차이로 인간 검증 필수
- 차이점:
- 데이터셋 훨씬 작음(더 복잡하고 다양한 언어와 플랫폼)
- 플랫폼 특성(Telegram은 메신지 캠�인에 특화된 통신 채널)
- 인간 검증의 중요성: 문화적, 맥락, 비밀 등 문맥 요소 고려 필요
4.3 Cost & Efficiency
- 비용 효율: 수동 분석이 인간 전문가 대비해 비용 절감
- 효율성: 에이전트 시스템이 15번 조사 라운드(15 investigation rounds)에서 일관성 있게 실행되며, 실시간 스케일링 가능
4.4 Human Evaluation
[!important] 핵심 발견: 전문가 검증 결과와 비교 분석 수행
4.4.1 중국 캠페인 결과 분석
- 인간의 역할:
- 전문가: 발견된 증거의 정확성과 맥락적 측성 판단
- 검증자: 기술적 정확성 보장, 컨텍스트 이해, 인간 판단
- 주요 발견: 에이전트 시스템이 찾아낸 패턴들이 실제 전문가들이 이미 식별하고 분석한 내용과 일치
4.4.2 러시아 캠페인 결과 분석
- 인간의 역할:
- 전문가: 플랫폼의 비밀 캠�인적 맥락, 익명명 보안 등 고려하며 맥락적 측성 판단
- 검증자: 기술적 정확성 평가, 문맥락적 측성, 다언어 이해 능력 활용
- 주요 발견: 에이전트 시스템이 캠�인의 특정(암호화, 채널 구조)을 잘 반영하여 분석
📌 5단계: 비판적 평가
5.1 방법론적 타당성
[!success] 매우 강점:
– 기술-안내 가이전트(Technique-agnostic)로 어떤 프레임워크든 적용 가능
– 재현성 확보: 원자적 증거 분해와 통계 검증으로 LLM 환각(hallucination) 최소화
– 인간 중심 설계: 전문가가 해석 판단과 의사결정을 제시하지, 최종 의사결정은 인간이 내림
– 규모 확장성: 다중 에이전트(multi-agent)가 협력하여 플랫폼(X, Telegram) 및 주제별로 규모 일관성 확보
5.2 한계점
[!warning] 제약점:
– 데이터셋 제한: 단 2개 플랫폼(X, Telegram)에 국한되어 있으며, 추가 플랫폼 검증 필요
– 일반성 이슈: DISARM 프레임워크는 주로 위협 행위를 다루고 있으나, 최신 위협 전술(예: 심리전, 딥지털 트워킹)에 완전히 대응하지 못할 수 있음
– 인간 의존성: 완전 자율화는 목표가 아니며, 복잡한 FIMI 조사에는 인간 전문가의 판단과 문맥락적 측성이 필수
5.3 실무적 한계점
[!tip] 적용 제언:
– NATO C2ISR(지�, 통제, 감시, 정찰) 프로세스와의 자연스러운 통합
– OODA 루프(관측-배향-결정-실행): Agentic AI가 관측-배향 단계를 압축하여 전략적 의사결정 속도 향상
– 효율성 개선: 데이터 퓨전(Data Fusion)과 자율 표준화(DISARM taxonomy)를 통해 초국가적 상호운용성(Interoperability) 강화
– 인력 강화: 전문가 용량 분석 업무를 확장, 대량 데이터 처리 속도 향상
📌 6단계: 논의 및 제언
6.1 핵심 기여
- FIMI 방어에 있어 자율 표준화된 분석이 현존하지 않는 문제
- AI의 영향력으로 인식된 새로운 위협에 대응할 수 있는 실무적 툴
- 기존의 수동 분석 방식은 확장성과 효율성의 균형에 부합
6.2 미래 연구 방향
[!tip] 향후 연구:
– 다양한 플랫폼: 현재는 X와 Telegram에 국한되어 있으나, Instagram, TikTok 등 다양한 플랫폼 분석 확장 필요
– 새로운 DISARM TTP 개발: DISARM 프레임워크가 계속 확장되어 새로운 위협 전술에 대응 가능
– 다국어 지원: 다양한 언어와 문화적 배경을 이해하는 에이전트 시스템 개발 필요
– 실시간 모니터링: 초국가적 24/7 상시 모니터링 시스템 구축 필요
6.3 요약
본 연구에서 DISARM 프레임워크와 에이전트 AI를 결합하여 소셜미디어 FIMI 조사를 위한 다중 에이전트 시스템을 제안했습니다. 두 개 실세계 데이터셋에서의 평가 결과는 본 방법론의 효과성을 보여줍니다.
주요 기여:
1. 기술적 기여: DISARM 프레임워크의 에이전트 운영화를 위한 실현적 가능한 기술 접근
2. 증거 기반 검증: 원자적 증거 분해와 통계 검증을 통해 LLM 환각 최소화 및 분석 신뢰성 확보
3. 실무적 가치: NATO C2ISR 프로세스 강화 및 초국가적 상호운용성 제고
🏷️ 태그
#AIAgent #arXiv #AI #DISARM #FIMI #SocialMedia #HybridWarfare #NATO #OODA #MultiDomainOps #InformationWarfare
