[AI Paper] ๐ How to Build AI Agents by Augmenting LLMs with Codified Human Expert Domain Knowledge?
๐ How to Build AI Agents by Augmenting LLMs with Codified Human Expert Domain Knowledge?
๋ ผ๋ฌธ ์ ๋ณด
– ์ ๋ชฉ: How to Build AI Agents by Augmenting LLMs with Codified Human Expert Domain Knowledge? A Software Engineering Framework
– ์ ์: Choro Ulan uulu, Mikhail Kulyabin, Iris Fuhrmann, Jan Joosten, Nuno Miguel Martins Pacheco, Filippos Petridis, Rebecca Johnson, Jan Bosch, Helena Holmstrรถm Olsson
– ๋ฐํ์ผ: 2026๋ 1์ 21์ผ
– ์ถ์ฒ: 5th International Conference on AI Engineering โ Software Engineering for AI (Rio de Janeiro)
– arXiv ID: 2601.15153v1
– ๋งํฌ: arXiv | PDF
๐ 1๋จ๊ณ: ๊ธฐ๋ณธ ์ ๋ณด
์ ๋ชฉ
How to Build AI Agents by Augmenting LLMs with Codified Human Expert Domain Knowledge? A Software Engineering Framework
์ ์
- Choro Ulan uulu (Siemens AG)
- Mikhail Kulyabin, Iris Fuhrmann, Jan Joosten, Nuno Miguel Martins Pacheco, Filippos Petridis, Rebecca Johnson (Siemens AG)
- Jan Bosch (Chalmers University of Technology, Eindhoven University of Technology)
- Helena Holmstrรถm Olsson (Malmรถ University)
์ถํ์ ๋ณด
- arXiv ID: 2601.15153v1
- ๋ฐํ์ผ: 2026๋ 1์ 21์ผ
- ํํ: 5th International Conference on AI Engineering โ Software Engineering for AI
- ์ฅ์: Rio de Janeiro, April 15โ17, 2026
๋ถ์ผ/์นดํ ๊ณ ๋ฆฌ
- Computer Science > Artificial Intelligence (cs.AI)
- Software Engineering for AI
๐ 2๋จ๊ณ: ์ฐ๊ตฌ ๋ด์ฉ
1. ์ฐ๊ตฌ ๋ฐฐ๊ฒฝ ๋ฐ ๋ฌธ์ ์์
ํต์ฌ ๋ฌธ์ : ์ ๋ฌธ๊ฐ ๋ณ๋ชฉ ํ์ (Expert Bottleneck)
์กฐ์ง ์ ๋ฐ์์ ํต์ฌ ๋๋ฉ์ธ ์ง์์ด ์์ ์ ๋ฌธ๊ฐ์๊ฒ ์ง์ค๋์ด ์์ด, ํ์ฅ์ฑ๊ณผ ์์ฌ๊ฒฐ์ ํ์ง์ ๋ณ๋ชฉ์ด ๋ฐ์ํฉ๋๋ค.
[!important] ์๊ฐํ ๋ถ์ผ์ ํน์ ๋ฌธ์
– ๋น์ ๋ฌธ๊ฐ๊ฐ ํจ๊ณผ์ ์ธ ์๊ฐํ๋ฅผ ๋ง๋ค๊ธฐ ์ด๋ ค์
– ๋ณต์กํ ๋ฐ์ดํฐ์ ์ ํฉํ ์๊ฐํ ๊ธฐ๋ฒ ์ ํ์ด ์ด๋ ค์
– ์ ๊ตํ ์๊ฐํ ์๋ ํ์๋ ์ ๋ฌธ๊ฐ ํด์์ด ํ์
– ์ ๋ฌธ๊ฐ๋ ๋ฉํ ๋ง๊ณผ ๋ณธ์ฐ์ ์ ๋ฌด ์ฌ์ด์์ ๊ท ํ ์ ์ง ์ด๋ ค์
์๋ฎฌ๋ ์ด์ ๋ฐ์ดํฐ ์๊ฐํ์์์ ๋ฌธ์ ์ฌํ
์์ง๋์ด๋ง ์๋ฎฌ๋ ์ด์
๋ถ์ผ์์๋ ์ด์ค ์ ๋ฌธ์ฑ ํ์:
– ์๋ฎฌ๋ ์ด์
๋ถ์ ์ ๋ฌธ์ฑ
– ๋ฐ์ดํฐ ๋ถ์/์๊ฐํ ์ ๋ฌธ์ฑ
์ด ๋ ๊ฐ์ง๊ฐ ๊ฒฐํฉ๋์ง ์์ผ๋ฉด:
– ์ฌ์ฉ์๊ฐ ๊ธฐ๋ฅ์ ๊ณผ์ ํ์ฉ
– ์ฃผ์ ํธ๋ ์ด๋์คํ๋ฅผ ๋
ธ์ถํ๋ ๊ธฐํ ๋์นจ
– ์ ๋ฌธ๊ฐ๊ฐ ๋ฐ๋ณต์ ์ธ ๊ฒ์ฆ ์์
์ ์๊ฐ ์๋ชจ
์ฌ๋ก: Simulation Analysis Software
Siemens์ Simulation Analysis Software (์ค๊ณ ๊ณต๊ฐ ํ์ ํ๋ซํผ):
– ๋ณต์กํ ์๊ฐํ ๊ธฐ๋ฅ ํฌํจ
– ์ฌ์ฉ์๊ฐ ์ ์ ํ ์๊ฐํ ์ ํ ์๋ณ์ ์ฌ๋ฌ ๋ฒ ์๋ ํ์
– ์ํ์ฐฉ์ค ๋ฐฉ์์ ์๊ฐ ์๋ชจ์ ์ด๋ฉฐ ๊ธฐ๋ฅ ํ์ discouraged
2. ์ฐ๊ตฌ ๋ชฉ์ ๋ฐ ์ฐ๊ตฌ ์ง๋ฌธ
ํต์ฌ ์ฐ๊ตฌ ์ง๋ฌธ (RQ)
RQ: ์ธ๊ฐ ์ ๋ฌธ๊ฐ์ ๋๋ฉ์ธ ์ง์์ ์ด๋ป๊ฒ ํฌ์ฐฉํ๊ณ ์ฝ๋ํ์ดํ์ฌ, ์์จ์ ์ธ ์ ๋ฌธ๊ฐ ์์ค์ ์ฑ๋ฅ์ ๋ฐํํ๋ LLM ๊ธฐ๋ฐ AI ์์ด์ ํธ๋ฅผ ๊ตฌ์ถํ ์ ์๋๊ฐ?
์ฐ๊ตฌ ๋ชฉํ
- ์ ๋ฌธ๊ฐ ๋ณ๋ชฉ ์ํ: ๋น์ ๋ฌธ๊ฐ๊ฐ ์ ๋ฌธ๊ฐ ์์ค์ ์๊ฐํ ์์ฑ ๊ฐ๋ฅ
- ์ง์ ์ฝ๋ํผ์ผ์ด์ ํ๋ ์์ํฌ: ์์คํ ์ ์ธ ์ง์ ์บก์ฒ ๋ฐ ์ฝ๋ํผ์ผ์ด์ ๋ฐฉ๋ฒ ์ ์
- ์ค์ฆ ๊ฒ์ฆ: ์ฐ์ ํ๊ฒฝ์์์ ํจ๊ณผ์ฑ ์ ์ฆ
๊ธฐ์ฌ์
- ์ํํธ์จ์ด ์์ง๋์ด๋ง ํ๋ ์์ํฌ
- ์ ๋ฌธ๊ฐ ์ง์ ํฌ์ฐฉ ๋ฐ ์ฝ๋ํผ์ผ์ด์ ์์คํ
- ๋ณด์์ ์ ๋ต: ์์ฒญ ๋ถ๋ฅ๊ธฐ, RAG, ์ฝ๋ํ์ด๋ ๊ท์น, ์๊ฐํ ์์น
- ์ค์ฆ์ ์ฆ๊ฑฐ
- 12๋ช ํ๊ฐ์, 5๊ฐ ์๋๋ฆฌ์ค, 3๊ฐ ๊ณตํ ๋๋ฉ์ธ
- ์ถ๋ ฅ ํ์ง 206% ๊ฐ์ (ํ๊ท 2.60 vs 0.85)
- ์ ๋ฌธ๊ฐ ์์ค ๋ฑ๊ธ ์ง์ ๋ฌ์ฑ (Mode=3)
- ์ง์ ๋ฏผ์ฃผํ
- ๋น์ ๋ฌธ๊ฐ์ ์ ๋ฌธ๊ฐ ์์ค ๊ฒฐ๊ณผ ๋ฌ์ฑ ๊ฐ๋ฅ์ฑ ์ ์ฆ
3. ์ด๋ก ์ ํ๋ ์์ํฌ
AI ์์ด์ ํธ ์ ์ (Deng et al., 2024)
AI ์์ด์ ํธ๋ 4๊ฐ์ง ํต์ฌ ์์ฑ์ ๊ฐ์ง ์์คํ :
| ์์ฑ | ์ค๋ช | ๊ตฌํ ๋ฐฉ์ |
|---|---|---|
| Autonomy | ํ๋กฌํํธ ํ ๋ ๋ฆฝ์ ์๋ | ๋ถ๋ฅ๊ธฐ ๊ธฐ๋ฐ ๋ผ์ฐํ |
| Reactivity | ์ฌ์ฉ์ ์์ฒญ์ ์๋ต | ์ฌ์ฉ์ ์ ๋ ฅ ์ฒ๋ฆฌ |
| Proactivity | ์ ๋ฌธ๊ฐ ๊ท์น ์ ์ฉ | ์์จ ๊ท์น ์คํ |
| Social Ability | ์์ฐ์ด ์ํธ์์ฉ | LLM ๋ํ ๊ธฐ๋ฅ |
์ง์ ์ฝ๋ํผ์ผ์ด์ ์ ๊ทผ๋ฒ
์ ๋ฌธ๊ฐ ์ง์์ ๋ ๊ฐ์ง ํํ ๊ตฌ๋ถ:
| ์ง์ ์ ํ | ํน์ง | ๊ตฌํ ๋ฐฉ์ |
|---|---|---|
| ๋ช ์์ ์ ์ฐจ์ ๊ท์น (Explicit Procedural Rules) | ๋ช ํํ if-then ๋ก์ง | Python ํจ์๋ก ์ง์ ๋ณํ |
| ์๋ฌต์ ์ค๊ณ ์์น (Tacit Design Principles) | ๋ฌธ๋งฅ ์์กด์ , ํ๋จ ๊ธฐ๋ฐ | LLM ํ๋กฌํํธ ์์ง๋์ด๋ง ๋๋ ๊ฒ์ ๊ธฐ๋ฐ ํตํฉ |
[!note] ๋ ๊ฐ์ง ์ ๊ทผ๋ฒ์ ํ์์ฑ
– ์ฝ๋๋ง์ผ๋ก๋ ๋ถ์์ ํต์ฐฐ ๋ถ์กฑ
– LLM๋ง์ผ๋ก๋ ๋๋ฉ์ธ ๋ถ์ ์ ํ ์ถ๋ ฅ
โ ํตํฉ๋ ์ ๊ทผ๋ฒ ํ์
4. ์ฐ๊ตฌ ๋ฐฉ๋ฒ๋ก
4๋จ๊ณ ์ฐ๊ตฌ ํ๋ก์ธ์ค
graph LR
A[Step 1: ์ ๋ฌธ๊ฐ ์ง์ ์ถ์ถ] --> B[Step 2: ํ๋ ์์ํฌ ๊ฐ๋ฐ]
B --> C[Step 3: ์์คํ
๊ตฌํ]
C --> D[Step 4: ์ข
ํฉ ๊ฒ์ฆ]
Step 1: Expert Knowledge Extraction
๋์ ์ ๋ฌธ๊ฐ:
1. ์๋ฎฌ๋ ์ด์
๋ถ์ ์ํํธ์จ์ด ์ ๋ฌธ๊ฐ
2. ๋ฐ์ดํฐ ์๊ฐํ ์ ๋ฌธ๊ฐ
์ธํฐ๋ทฐ ์ค๊ณ:
– ์ฃผ์ 1: ํ์ฌ ์๊ฐํ ์ํฌํ๋ก์ฐ ๋ฐ pain points
– ์ฃผ์ 2: ์๊ฐํ ์์ฑ ์ ์ ๋ฌธ๊ฐ ์์ฌ๊ฒฐ์ ํ๋ก์ธ์ค
– ์ฃผ์ 3: ์ค์ ์ฌ์ฉ๋๋ ๊ท์น๊ณผ ํด๋ฆฌ์คํฑ
๊ท์น ์ถ์ถ ๋ฐฉ๋ฒ:
– ๊ฐ๋ฐฉํ ์ง๋ฌธ + ์๋๋ฆฌ์ค ๊ธฐ๋ฐ ํ ๋ก
– ์ ๋ฌธ๊ฐ๊ฐ ์ง์ ๋ช
์์ ๊ท์น ์ ๊ณต
– ํด์์ ๋ถ์ ์์ด ์ฆ์ ๊ตฌํ ๊ฐ๋ฅํ ํํ ์บก์ฒ
์ ๋ฌธ๊ฐ ์์ ์ ์ ์ฑ:
– ๋ ๊ฐ์ ์๋ก ๋ค๋ฅธ ์ ๋ฌธ ๋๋ฉ์ธ ์ปค๋ฒ
– ํต๊ณ์ ์ผ๋ฐํ ๋ชฉ์ ์ด ์๋ ์ฒด๊ณ์ ์ง์ ์ถ์ถ
– ๊ธฐ์ ์ ์ฑ๋ฅ ์งํ ๊ธฐ๋ฐ ๊ฒ์ฆ
– ํ์ฌ ๋ด๋ถ ๋ฐ์ดํฐ, ๋ฌธ์, ํ ๋ก ๋ณด์
Step 2: Framework Development
- ์ ๋ฌธ๊ฐ ํต์ฐฐ์์ ๊ณตํต ํจํด ์๋ณ
- ์ง์์ ๊ตฌํ ๊ฐ๋ฅํ ์ปดํฌ๋ํธ๋ก ๊ตฌ์กฐํ
- ํน์ ์ฌ๋ก ๋๋ฉ์ธ ์ธ ์ ์ฉ ๊ฐ๋ฅํ ์ผ๋ฐํ๋ ํ๋ ์์ํฌ ์ค๊ณ
Step 3: System Implementation
- Python ์ฝ๋ ์๋ ์์ฑ ์์คํ ๊ฐ๋ฐ
- ์ถ์ถ๋ ์ ๋ฌธ๊ฐ ์ง์ ํตํฉ:
- RAG ์์คํ (๋๋ฉ์ธ๋ณ ์ฝ๋ ์์ฑ)
- ์ฝ๋ํ์ด๋ ์ ๋ฌธ๊ฐ ๊ท์น (์คํ ๊ฐ๋ฅ ์ปดํฌ๋ํธ)
- ์๊ฐํ ๊ฐ์ด๋๋ผ์ธ (์์คํ ํ๋กฌํํธ)
- ์ง๋ฅํ ๋ถ๋ฅ๊ธฐ
Step 4: Comprehensive Validation
๊ฒ์ฆ ๊ตฌ์ฑ ์์:
- ์ต์ข
์๊ฐํ ํ์ง ํ๊ฐ
- ๋น์ ๋ฌธ๊ฐ ์ฌ์ฉ์: ๊ธฐ๊ณ ์์ง๋์ด (1๋ ๊ฒฝํ)
- ํ๊ฐ์: ์๊ฐํ ์ ๋ฌธ๊ฐ (20๋ ๊ฒฝํ)
- ํ๊ฐ ํญ๋ชฉ: ๋ถ์์ ํต์ฐฐ, ์๊ฐ์ ํจ๊ณผ์ฑ
- ์์ฑ ์ฝ๋ ํ์ง ํ๊ฐ
- ์ ์ ์์คํ vs ๊ธฐ์ค ์์คํ (LLM+RAG)
- ํ๊ฐ์ 12๋ช : ๋๋ฉ์ธ ์ ๋ฌธ๊ฐ, ์ํํธ์จ์ด ์์ง๋์ด๋ง ์ ๋ฌธ๊ฐ, AI ํ๊ฐ์ (Claude 4.5)
- ํ๊ฐ ์ฐจ์: ์ ํจ์ฑ, ์ ํ์ฑ, ์ถ๋ ฅ ํ์ง
5. ์ฃผ์ ๊ฒฐ๊ณผ
AI ์์ด์ ํธ ์ํคํ ์ฒ
[!info] ์์คํ ๊ตฌ์ฑ ์์
1. ์์ฒญ ๋ถ๋ฅ๊ธฐ: ์ฌ์ฉ์ ์์ฒญ์ ์นดํ ๊ณ ๋ฆฌํํ๊ณ ์ ์ ํ ์ฒ๋ฆฌ ์คํฌ๋ฆฝํธ ํธ์ถ
2. RAG ์์คํ : ๋๋ฉ์ธ๋ณ ์ฝ๋ ์์ , ๊ธฐ์ ๋งค๋ด์ผ ํฌํจ
3. ์ฝ๋ํ์ด๋ ์ ๋ฌธ๊ฐ ๊ท์น: ์คํ ๊ฐ๋ฅํ Python ํจ์
4. ์๊ฐํ ๊ฐ์ด๋๋ผ์ธ: LLM ํ๋กฌํํธ์ ์๋ฒ ๋๋ ์ ๋ฌธ๊ฐ ์์น
5. ํ๋กฌํํธ ์์ฑ๊ธฐ: ์ฌ์ฉ์ ์๊ตฌ์ฌํญ, ๋๋ฉ์ธ ์ง์, ์๊ฐํ ์์น ํตํฉ
์๋๋ฆฌ์ค 1: ์๋ ด์ฑ ์๊ฐํ (History Plot)
๋ชฉํ: ์๋ฎฌ๋ ์ด์ ๋ชฉ์ ํจ์์ ์๋ ด ์ฌ๋ถ ์๊ฐํ
์ฌ์ฉ์ ์ ๋ ฅ: “Please generate a history plot to check convergence.”
| ์์คํ | ๊ฒฐ๊ณผ |
|---|---|
| ๊ธฐ์ค ์์คํ (LLM+RAG) | ์ ์ฉํ ์ ๋ณด ์์ (Figure 3) |
| ์ธ๊ฐ ๊ฒฐ๊ณผ | ์๋ ด/๋น์๋ ด ๋์ผํ ์ค์ ์ผ๋ก ํํ โ ์๋ ด ์ํ ์ ๋ฌ ์คํจ (Figure 4) |
| ์ ์ ์์คํ | ์ ๋ฌธ๊ฐ ๊ท์น ์ ์ฉ: ๋น์๋ ด์ ์ ์ , ์๋ ด์ ์ค์ โ ์ํ ์ฆ์ ์ ๋ฌ (Figure 5) |
[!tip] ์ ๋ฌธ๊ฐ ๊ท์น ์์ (์๋ ด์ฑ ํ๊ฐ)
– ๋ถ์ ์์ ์ ๊ธฐ๋ณธ ์ง๋ฌธ: ๋ชฉ์ ์ด ์๋ ดํ๋๊ฐ?
– ์๋ ด ๊ฒ์ฆ ํ์ ์ด์ :
– ์ต์ ํ ๊ฒฐ๊ณผ ์ ๋ขฐ์ฑ ๊ฒ์ฆ
– ์ถ๊ฐ ๋ฐ๋ณต ํ์ ์ฌ๋ถ ๊ฒฐ์
– ํ์ ๋ถ์ ๋จ๊ณ์ ๋ํ ํ์ ์ ๊ณต
์๋๋ฆฌ์ค 2: 2D ๊ด๊ณ ํ๋กฏ (2D Relation Plot)
๋ชฉํ: “์ด ์ง๋”๊ณผ “1์ฐจ ๋นํ๋ฆผ ์ฃผํ์” ๊ฐ ํธ๋ ์ด๋์คํ ์ดํด
์ฌ์ฉ์ ์ ๋ ฅ: “please generate python code for 2d relation plot with variables total mass, first torsional frequency and total cost”
| ์์คํ | ๊ฒฐ๊ณผ |
|---|---|
| ์ธ๊ฐ ์ ๋ฌธ๊ฐ | ์ฌ๋ฃ ์ ํ ์์ ํํ, ๋น์ฉ ํจ์จ์ ์ธ ์ฒ ๊ฐ ์ต์ (ํ๋ ์ ) ๊ฐ์กฐ (Figure 6) |
| ๊ธฐ์ค ์์คํ | ๊ธฐ์ ์ ์ผ๋ก ์ ํํ์ง๋ง ๋น์ ๋ณด์ : ์์ ๋ฏธํ์ฉ, ๋น๊ต ๋ถ๊ฐ๋ฅํ ๋ณ์ ๋์ผ ์ถ, ๋น์ฉ ํจ์จ์ ์ด์์ ๋ฏธ๊ฐ์กฐ (Figure 7) |
| ์ ์ ์์คํ | ์ต์ ์๋ฃจ์ ๊ฐ์กฐ, ๊ฐ๋ ์ฑ ๊ฐ์ . ์ ๋ฌธ๊ฐ๋งํผ์ ๋์์ธ ์ธํธ ์ ํ ํต์ฐฐ๋ ฅ์ ๋ถ์กฑํ์ง๋ง ๊ธฐ์ค์ ๋ณด๋ค ๊ฐ์ (Figure 8) |
์๋๋ฆฌ์ค 3: ๋ณ๋ ฌ ํ๋กฏ (Parallel Plot)
๋ชฉํ: ๋ฐ์ดํฐ์ ์์ ์ต์ ์ค๊ณ์ ์ด์๊ฐ ๊ตฌ๋ถ
์ฌ์ฉ์ ์ ๋ ฅ: “Please generate a parallel plot.”
| ์์คํ | ๊ฒฐ๊ณผ |
|---|---|
| ์ธ๊ฐ ์ ๋ฌธ๊ฐ | ์ด์๊ฐ์ด ์๋ฃจ๋ฏธ๋ ์ฌ์ฉ, ๋ฐฐํฐ๋ฆฌ ์ ์ฐฉ์ ์์ ํจ๊ณผ์ ์ผ๋ก ๋๋ฌ๋. ๋ฒ์ ๋ณ์์ ๋ฒ์ฃผํ ๋ณ์ ๊ทธ๋ฃนํ๋ก ๊ฐ๋ ์ฑ ๊ฐ์ (Figure 9) |
| ๊ธฐ์ค ์์คํ | ๋ชจ๋ ๋ณ์ ๋ฌด์ฐจ๋ณ ํฌํจ, ์ต์ ์ค๊ณ์ ์ด์๊ฐ ๊ฐ์กฐ ์์, ์คํ ๊ฐ๋ฅํ ํต์ฐฐ ์ถ์ถ ์ด๋ ค์ (Figure 10) |
| ์ ์ ์์คํ | ์ต์ ์ค๊ณ ๊ฐ์กฐ, ๊ฐ์ ๋ ๋ฒ๋ก, ๋ ๋์ ์๊ฐ์ ๊ณ์ธต๊ตฌ์กฐ๋ก ๊ฐ๋ ์ฑ ๊ฐ์ . ์ด์๊ฐ ๊ฐ์ง ๋ฅ๋ ฅ ๋ฏธ๋ณด์ (๋ฏธ๋ ๊ฐ๋ฐ ํ์) (Figure 11) |
์ ๋์ ํ๊ฐ ๊ฒฐ๊ณผ
ํ๊ฐ ๊ตฌ์กฐ:
– ๋์ ์์คํ
: ์ ์ ์์คํ
(AI Agent) vs ๊ธฐ์ค ์์คํ
(LLM+RAG)
– ํ๊ฐ์: 12๋ช
(๋ค์ํ ๊ธฐ์ ์ ๋ฐฐ๊ฒฝ)
– ์๋ฎฌ๋ ์ด์
์ ๋ฌธ๊ฐ (20๋
CAE ๊ฒฝํ)
– ์๋ฎฌ๋ ์ด์
์ต์ ํ ์ ๋ฌธ๊ฐ
– ์ํํธ์จ์ด ์์ง๋์ด๋ง ๋งค๋์ (12๋
)
– AI ์ํํธ์จ์ด ์์ง๋์ด๋ง ์ ๋ฌธ๊ฐ 2๋ช
– ์ํํธ์จ์ด ๊ณตํ ๋ฐ์ฌ
– ๋ฐ์ดํฐ ์ฌ์ด์ธํฐ์คํธ (4๋
)
– ์ ๊ธฐ ์์ง๋์ด (2๋
CAD ์ค๊ณ)
– ์ปดํจํฐ ์ฌ์ด์ธํฐ์คํธ (6๋
์ฝ๋ฉ)
– ๋น์ฆ๋์ค ์ด์ฝ๋
ธ๋ฏธ์คํธ (1๋
Python)
– ๊ธฐ๊ณ ์์ง๋์ด (๋ก๋ด์ค, 4๋
์ฝ๋ฉ)
– ์ ๊ธฐ ์์ง๋์ด (1.5๋
LLM ๊ฐ๋ฐ)
ํ๊ฐ ์งํ:
| ์งํ | ์ค๋ช | ์ฑ์ ๋ฐฉ์ |
|---|---|---|
| Code Validity | ๋ฌธ๋ฒ์ ์ ํ์ฑ, ๋ฐํ์ ์ค๋ฅ ์์ | ์ด์ง ์ฑ์ (0=๋ฌดํจ, 1=์ ํจ) |
| Code Correctness | ์๋ํ ๋๋ก ์ํํ๋ ์ ๋ | 4์ฐจ์ ์ด์ง ์ฑ์ |
| – Code Efficiency | ์ต์ ํ ์์ค | |
| – Documentation Quality | ์ฃผ์, ๋ฌธ์ํ ์ ์ ์ฑ | |
| – Exception Handling | ์๋ฌ ์ฒ๋ฆฌ ๊ตฌํ | |
| – Code Cleanliness | ๋ฏธ์ฌ์ฉ ๋ณ์, ์ค๋ณต ์์ ์์ | |
| Output Quality | ์๊ฐํ ํจ๊ณผ์ฑ | ์ ์ ํ ์ฐจ์, ์๊ฐ์ ์ธ์ฝ๋ฉ, ์ค์ ์ ๋ณด ๊ฐ์กฐ |
๊ฒฐ๊ณผ ์์ฝ:
| ํ๊ฐ ํญ๋ชฉ | ์ ์ ์์คํ | ๊ธฐ์ค ์์คํ | ๊ฐ์ ๋ฅ |
|---|---|---|---|
| ์ถ๋ ฅ ํ์ง | 2.60/3.00 | 0.85/3.00 | 206% |
| ์ฝ๋ ํ์ง ํ์คํธ์ฐจ | 0.29-0.58 | 0.39-1.11 | ๋ ๋ฎ์ ๋ถ์ฐ |
| ์ต๊ณ ๋ฑ๊ธ (Mode=3) | 5/5 ์๋๋ฆฌ์ค | 0/5 ์๋๋ฆฌ์ค | ์ ๋ฌธ๊ฐ ์์ค |
๋๋ฉ์ธ๋ณ ๊ฒ์ฆ:
| ๋๋ฉ์ธ | ์๋๋ฆฌ์ค | ๋ฌผ๋ฆฌ์ ํ์ |
|---|---|---|
| ์ ๊ธฐํํ | ์๋์ฐจ ๋ฐฐํฐ๋ฆฌ ์ค๊ณ (Scripts 1-2) | ์ ๊ธฐํํ์ ์ต์ ํ |
| ์ ์๊ธฐํ | ์ ๊ธฐ ๋ชจํฐ ์ต์ ํ (Script 4) | ์ ์๊ธฐํ์ ๋ชจํฐ ์ค๊ณ |
| ๊ธฐ๊ณ๊ณตํ | ๊ตฌ์กฐ ์ ์ด์ ๋ถ์ (Script 5) | ๊ธฐ๊ณ์ ๊ตฌ์กฐ ์๋ ฅ ๋ถ์ |
[!success] ํต์ฌ ๋ฐ๊ฒฌ
– ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ (Physics-agnostic) ๊ท์น์ด ์๋ก ๋ค๋ฅธ ๋ฌผ๋ฆฌ์ ํ์ ์์ญ์์ ์ ํจํจ์ ๊ฒ์ฆ
– Claude 4.5 Sonnet์ด ์ธ๊ฐ ์ ๋ฌธ๊ฐ์ ์ผ์น๋ ํ๊ฐ๋ฅผ ์ ๊ณตํ์ฌ ํ๊ฐ ํธํฅ ๊ฐ์
6. ๋ ผ์ ๋ฐ ํด์
์๊ฐํ ์ ๋ฌธ๊ฐ ๊ท์น
History Plot ์๊ตฌ์ฌํญ:
– ํญ์ ์ต์ ์ ์ค๊ณ๋ฅผ ๋ ํผ๋ฐ์ค๋ก ํ์
– ์ต๋ 2๊ฐ์ ๋ณ์, ๋ชฉ์ ํจ์, ์๋ต ํ์ (๊ฐ๋
์ฑ)
– ์๊ฐ์ ์ธ์ฝ๋ฉ์ผ๋ก ์๋ ด ์ํ ์ ๋ฌ:
– ๋น์๋ ด: ์ ์ (dashed lines)
– ์๋ ด: ์ค์ (solid lines)
– ๊ด๋ จ ๋ชฉ์ ํจ์๋ ๋์ผ ํ๋กฏ์ ๊ทธ๋ฃนํ
– ๋ช
ํํ ์๊ฐ์ ๊ณ์ธต๊ตฌ์กฐ (์ฃผ์/๋ถ์ฐจ์ ๋ชฉ์ ํจ์)
– ์ฅ์์ ์คํ์ผ๋ง๋ณด๋ค ๊ฐ๋
์ฑ ์ฐ์
์ผ๋ฐ ์๊ฐํ ์์น:
1. ์๊ฐ์ ์ธ์ฝ๋ฉ์ผ๋ก ์๋ ด ์ํ ๋ช
ํํ ์ ๋ฌ
2. ๊ฐ๋
์ฑ ์ ์ง, ๋ถํ์ํ ์คํ์ผ๋ง ํํผ
3. ์ ๋ฌธ๊ฐ ๊ฐ์ด๋ ์์ด๋ ์ถฉ๋ถํ ๋งฅ๋ฝ ์ ๊ณต
4. ๋ค๋ฅธ ํ๋กฏ ์ ํ ๊ฐ ์ผ๊ด๋ ์คํ์ผ๋ง ํจํด
[!note] Lin and Thornton (2021) ์ฐ๊ตฌ ์ง์ง
– ์๋ฆ๋ค์ด ์๊ฐํ๋ ์ ๋ขฐ๋ ์ฆ๊ฐ๋ฅผ ๋ํ๋
– ๊ธฐ์ ์ ์ ํ์ฑ๋ง์ผ๋ก ๋ถ์ถฉ๋ถ, ์๊ฐ์ ๋์์ธ ์์น ํ์
์ํํธ์จ์ด ์์ง๋์ด๋ง ํ๋ ์์ํฌ
ํ๋ ์์ํฌ ๋ชฉ์ :
๋ฐ์ดํฐ ์๊ฐํ์ ์ ๋ฌธ๊ฐ ๋ณ๋ชฉ์ ์กฐ์ง์ ๊ณผ์ ์ ํ์ฅ:
– ํต์ฌ ๋๋ฉ์ธ ์ง์์ด ์์ ์ ๋ฌธ๊ฐ์๊ฒ ์ง์ค
– ์๋ฌต์ ์ง์ (Tacit knowledge)์ด AI ์์คํ
์ ํตํฉ ํ์
์ธ ๊ฐ์ง ํต์ฌ ๊ณผ์ ํด๊ฒฐ:
- ๋ค์ํ ํํ์ ์ ๋ฌธ๊ฐ ์ง์ ์บก์ฒ
- ๋ช ์์ ๊ท์น (Explicit rules)
- ์๋ฌต์ ๊ฐ์ด๋๋ผ์ธ (Tacit guidelines)
- AI ์์คํ
์ด ํจ๊ณผ์ ์ผ๋ก ํ์ฉํ ์ ์๋ ํํ๋ก ๊ตฌํ
- ์๊ณ ๋ฆฌ์ฆ ๊ท์น: ์คํ ๊ฐ๋ฅ ์ฝ๋
- ๋งฅ๋ฝ ์์น: LLM ํ๋กฌํํธ ๋๋ ๊ฒ์ ๊ธฐ๋ฐ ํตํฉ
- ์ ๋ฌธ๊ฐ ๊ฐ๋ ์์ด ์ ๋ฌธ๊ฐ ์์ค ํ์ง ์ ์ง
4๋จ๊ณ ํ๋ ์์ํฌ:
graph TD
A[1. ์ ๋ฌธ๊ฐ ์ธํฐ๋ทฐ] --> B[2. ๊ท์น ๊ตฌํ]
B --> C[์๊ณ ๋ฆฌ์ฆ ๊ท์น: Python ์คํฌ๋ฆฝํธ]
B --> D[๋งฅ๋ฝ ์์น: LLM ํ๋กฌํํธ ์๋ฒ ๋ฉ]
C --> E[3. ๊ฒฐ๊ณผ ํ
์คํธ]
D --> E
E --> F[4. ๋ฐ๊ฒฌ ์ฌํญ ๊ธฐ๋ฐ ๋ฐ๋ณต]
์ค๋ฌด ์ ์ฉ ํฌ์ธํธ
1. ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ (Physics-agnostic) ์ค๊ณ
[!example] ์๋ฎฌ๋ ์ด์ ์ํํธ์จ์ด์ ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ
– CFD (Computational Fluid Dynamics) ์๋ฎฌ๋ ์ด์
– ์๋ ฅ ๊ฐํ (Pressure drop) ๋ถ์
– ์๋ ฅ (Stress) ๋ถ์ ์ฐ๊ตฌ์๋ฏธ: ๋์ผํ ํ์ฒ๋ฆฌ ๋ฐฉ๋ฒ๋ก ์ด ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ์์ ์ผ๊ด๋๊ฒ ์ ์ฉ ๊ฐ๋ฅ
2. ์์จ์ ์์ด์ ํธ ๋์
์ฌ์ฉ์๊ฐ ๋จ์ ํ๋กฌํํธ๋ก ์ ๋ฌธ๊ฐ ์์ค์ ์๊ฐํ ์์ฑ ๊ฐ๋ฅ:
– ์ ๋ฌธ๊ฐ ๋ณ๋ชฉ ์ํ
– ๋น์ ๋ฌธ๊ฐ๊ฐ ์ ๋ฌธ๊ฐ ์์ค ๊ฒฐ๊ณผ ๋ฌ์ฑ
– ์ ๋ฌธ๊ฐ๊ฐ ๊ณ ์ ํ ์ ๋ฌธ์ฑ์ด ํ์ํ ์์
์ ์ง์ค ๊ฐ๋ฅ
3. ์ง์ ์ด์ ํ์ฅ์ฑ
- ์ฒด๊ณ์ ์ธ ์ง์ ์ฝ๋ํผ์ผ์ด์ ํ๋ ์์ํฌ
- ๋ค๋ฅธ ๋๋ฉ์ธ์ผ๋ก์ ์ง์ ์ด์ ๊ฐ๋ฅ
- ์กฐ์ง ๋ด ์ง์ ๊ด๋ฆฌ ๊ตฌ์ถ์ ํ์ฉ
7. ํ๊ณ ๋ฐ ์ ์ธ
์ ํ์ (Limitations)
- ํ๊ฐ ๋ฒ์
- ์๋ฎฌ๋ ์ด์ ๋ฐ์ดํฐ ์๊ฐํ์ ๊ตญํ
- ๋ค๋ฅธ ๋๋ฉ์ธ์์์ ์ผ๋ฐํ๋ ์ถ๊ฐ ์ฐ๊ตฌ ํ์
- ์ ๋ฌธ๊ฐ ์
- 2๋ช ์ ์ ๋ฌธ๊ฐ๋ง ์ฐธ์ฌ
- ๋ค์ํ ๊ด์ ์ ์ ๋ฌธ๊ฐ ์ถ๊ฐ๋ก ํ๋ ์์ํฌ ๊ฐํ ๊ฐ๋ฅ
- ํ์ฌ ๊ตฌํ์ ํ๊ณ
- ์ด์๊ฐ(Outlier) ๊ฐ์ง ๋ฅ๋ ฅ ๋ฏธ๋ณด์
- ์ ๋ฌธ๊ฐ ์์ค์ ๋์์ธ ์ธํธ ์ ํ ํต์ฐฐ๋ ฅ ๋ถ์กฑ
- ์ผ๋ถ ์๋๋ฆฌ์ค์์ ์ธ๊ฐ ์ ๋ฌธ๊ฐ๋ณด๋ค ๋ ์ ๊ตํ ๊ฒฐ๊ณผ
- ์ฝ๋ ํ์ง ํ๊ฐ ์ ์ธ
- ์ฝ๋ ๋ณด์: ์๊ฐํ ์คํฌ๋ฆฝํธ๋ผ ๋ณด์ ์ํ ์์
- ์ํํธ์จ์ด ์ ๋ขฐ์ฑ: ๋จ์ผ ์คํ ์คํฌ๋ฆฝํธ๋ผ ์ง์์ ์๋ ํ์ ์์
- ์ฝ๋ ์ ์ง๋ณด์์ฑ: ๋จ์ผ ์ฌ์ฉ ์ค๊ณ๋ผ ํ๊ฐ ์ ์ธ (์ฌ์ฌ์ฉ ๊ฐ๋ฅ)
ํ๋น์ฑ ์ํ (Threats to Validity)
| ์ํ ์ ํ | ์ค๋ช | ์ํ ์กฐ์น |
|---|---|---|
| ๋ด๋ถ ํ๋น์ฑ | ์ฐ๊ตฌ ์ ์ฐจ, ์ธํฐ๋ทฐ ๋ถ์ ํธํฅ ๊ฐ๋ฅ์ฑ | – ์ ๋ฌธ๊ฐ ์ง์ ๊ท์น ์ ๊ณต (ํด์์ ๋ถ์ ๋ฐฐ์ ) – ๋ค์ํ ๋ฐฐ๊ฒฝ ํ๊ฐ์ 12๋ช ์ฐธ์ฌ – Claude 4.5 Sonnet์ผ๋ก ํ๊ฐ ์ผ๊ฐ์ธก์ |
| ๊ตฌ์ฑ ํ๋น์ฑ | ํ๊ฐ ์งํ๊ฐ ์ธก์ ํ๊ณ ์ ํ๋ ๊ฒ์ ๋ฐ์ํ๋์ง | – ๋ช
ํํ ํ๊ฐ ํ๋ ์์ํฌ (Yetiลtiren et al., 2023) – ์ ๋์ ์ด์ง ์ฑ์ ๋ฐฉ์ – 3๊ฐ ํต์ฌ ์ฐจ์ ํ๊ฐ |
| ์ธ๋ถ ํ๋น์ฑ | ๋ค๋ฅธ ํ๊ฒฝ, ๋๋ฉ์ธ์ผ๋ก์ ์ผ๋ฐํ ๊ฐ๋ฅ์ฑ | – 3๊ฐ์ ๊ธฐ๋ณธ์ ์ผ๋ก ๋ค๋ฅธ ๋ฌผ๋ฆฌ์ ํ์ ๋๋ฉ์ธ ๊ฒ์ฆ – ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ ๊ท์น ์ค๊ณ – ํ๋ ์์ํฌ์ ์ผ๋ฐํ ๊ฐ๋ฅํ ๊ตฌ์กฐ |
๋ฒ์ ๋ฐ ์ธ๋ถ ํ๋น์ฑ (Scope and External Validity)
์ ์ฉ ๊ฐ๋ฅ์ฑ:
– ํ๋ ์์ํฌ๋ ํน์ ๋๋ฉ์ธ์ ๊ตญํ๋์ง ์์
– ์ ๋ฌธ๊ฐ ์ง์์ด ์ฝ๋ํ์ด ๊ฐ๋ฅํ ๋ชจ๋ ์์ญ์ ์ ์ฉ ๊ฐ๋ฅ
์ ์ฝ:
– ํ์ฌ ๊ฒ์ฆ์ ์์ง๋์ด๋ง ์๋ฎฌ๋ ์ด์
์ ์ด์
– ๋ค๋ฅธ ๋๋ฉ์ธ์์์ ์ ์ฉ์ ์ถ๊ฐ ๊ฒ์ฆ ํ์
๋ฏธ๋ ์ฐ๊ตฌ (Future Work)
- ์ด์๊ฐ ๊ฐ์ง ๊ธฐ๋ฅ
- ์๋ ์ด์๊ฐ ์๋ณ ๋ฐ ์๊ฐํ ๊ฐ์กฐ
- ๋น์ ์ ํจํด ์๋ ๊ฐ์ง
- ์ ๋ฌธ๊ฐ ์์ค ํต์ฐฐ๋ ฅ ๊ฐํ
- ๋์์ธ ์ธํธ ์ ํ ์๋ํ
- ๋ ๊น์ ๋ถ์์ ํต์ฐฐ ์ ๊ณต
- ๋ค๋ฅธ ๋๋ฉ์ธ์ผ๋ก์ ํ์ฅ
- ์๋ฃ, ๊ธ์ต ๋ฑ ๋ค๋ฅธ ๊ณ ๋ํ๋ ๋๋ฉ์ธ ๊ฒ์ฆ
- ๋ค๋ฅธ ์ ํ์ ์ ๋ฌธ๊ฐ ์ง์ ํตํฉ
- ์ง์ ๋ฒ ์ด์ค ํ์ฅ
- ๋ ๋ง์ ์ ๋ฌธ๊ฐ๋ก๋ถํฐ ์ง์ ์์ง
- ์ปค๋ฎค๋ํฐ ๊ธฐ๋ฐ ์ง์ ๋ฒ ์ด์ค ๊ตฌ์ถ ๊ฐ๋ฅ์ฑ
- ์ค์๊ฐ ํ์ต ๋ฐ ์ ์
- ์ฌ์ฉ์ ํผ๋๋ฐฑ ๊ธฐ๋ฐ ์๋ ๊ฐ์
- ๋์ ๊ท์น ์ ๋ฐ์ดํธ ์์คํ
๐ 3๋จ๊ณ: ๋นํ์ ํ๊ฐ
๋ฐฉ๋ฒ๋ก ์ ํ๋น์ฑ
๊ฐ์
- ์ค์ฆ์ ๊ฒ์ฆ
- ์ค์ ์ฐ์ ํ๊ฒฝ (Siemens)์์์ ์ผ์ด์ค ์คํฐ๋
- 12๋ช ์ ๋ค์ํ ์ ๋ฌธ๊ฐ ํ๊ฐ์ ์ฐธ์ฌ
- AI ํ๊ฐ์ (Claude 4.5 Sonnet)๋ก ํธํฅ ์ํ
- ์ฒ ์ ํ ํ๊ฐ ํ๋ ์์ํฌ
- ์ ๋์ ์งํ ์ฌ์ฉ (์ด์ง ์ฑ์ )
- ์ธ ๊ฐ์ง ์ฐจ์์ ์ฝ๋ ํ์ง ํ๊ฐ (์ ํจ์ฑ, ์ ํ์ฑ, ์ถ๋ ฅ ํ์ง)
- Yetiลtiren et al. (2023)์ ๊ฒ์ฆ๋ ๋ฐฉ๋ฒ๋ก ํ์ฉ
- ๋ค์ํ ๋๋ฉ์ธ ๊ฒ์ฆ
- ์ ๊ธฐํํ, ์ ์๊ธฐํ, ๊ธฐ๊ณ๊ณตํ 3๊ฐ ๋๋ฉ์ธ
- ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ ๊ท์น์ ์ผ๋ฐํ ๊ฐ๋ฅ์ฑ ์ ์ฆ
- ๋ช
ํํ ๋น๊ต ๊ทธ๋ฃน
- ๊ธฐ์ค ์์คํ (LLM+RAG)๊ณผ์ ๋น๊ต
- ์ธ๊ฐ ์ ๋ฌธ๊ฐ ๊ฒฐ๊ณผ์์ ๋น๊ต
- ๋น์ ๋ฌธ๊ฐ ์ฌ์ฉ์ ์๋๋ฆฌ์ค ํฌํจ
์ฝ์ ๋ฐ ๊ฐ์ ๊ฐ๋ฅ์ฑ
- ์ ๋ฌธ๊ฐ ์
- ๋๋ฉ์ธ๋น 1๋ช ์ฉ๋ง ์ฐธ์ฌ
- โ ๋ ๋ง์ ์ ๋ฌธ๊ฐ๋ก ๊ท์น ๊ฒ์ฆ ํ์
- ํ๊ฐ์ ํธํฅ
- Siemens ๋ด๋ถ ํ๊ฐ์ ํฌํจ ๊ฐ๋ฅ์ฑ
- โ ์ธ๋ถ ๋ ๋ฆฝ ํ๊ฐ์ ์ถ๊ฐ ํ์
- ์ฅ๊ธฐ์ ํจ๊ณผ ๋ฏธ์ธก์
- ๋จ์ผ ์คํ ๊ฒฐ๊ณผ๋ง ํ๊ฐ
- โ ์ฅ๊ธฐ์ ์ฌ์ฉ, ํ์ต ๊ณก์ , ์ฌ์ฉ์ ๋ง์กฑ๋ ํ๊ฐ ํ์
๋ ผ๋ฆฌ์ ์ผ๊ด์ฑ
๊ธ์ ์ ์์
- ๋ช
ํํ ์ฐ๊ตฌ ์ง๋ฌธ
- RQ๊ฐ ๋ช ์์ ์ด๊ณ ์ธก์ ๊ฐ๋ฅํจ
- ๊ฒฐ๊ณผ๊ฐ RQ์ ์ง์ ๋ต๋ณ ์ ๊ณต
- ์ผ๊ด๋ ์ด๋ก ์ ํ
- AI ์์ด์ ํธ 4๊ฐ์ง ์์ฑ (Autonomy, Reactivity, Proactivity, Social Ability)์ด ์ค์ ๊ตฌํ์ ๋ฐ์
- ์ง์์ ๋ ๊ฐ์ง ์ ํ (๋ช ์์ vs ์๋ฌต์ )์ด ๊ตฌํ ๋ฐฉ์์ ์ผ๊ด๋๊ฒ ์ ์ฉ
- ๋
ผ๋ฆฌ์ ํ๋ฆ
- ๋ฌธ์ โ ํ๋ ์์ํฌ โ ๊ตฌํ โ ๊ฒ์ฆ์ผ๋ก ์ผ๊ด๋ ํ๋ฆ
- ๊ฐ ๋จ๊ณ๊ฐ ๋ค์ ๋จ๊ณ์ ๊ธฐ๋ฐ์ด ๋จ
- ๊ฒฐ๊ณผ์ ๊ฒฐ๋ก ์ ์ผ์น
- 206% ๊ฐ์ ์ด “์ ๋ฌธ๊ฐ ์์ค ๋ฌ์ฑ” ๊ฒฐ๋ก ๊ณผ ์ผ์น
- ์ค์ฆ์ ์ฆ๊ฑฐ๊ฐ ๊ธฐ์ฌ์ ์ ์ง์ง
๊ธฐ์ฌ๋ ํ๊ฐ
ํ๋ฌธ์ ๊ธฐ์ฌ
- ์ํํธ์จ์ด ์์ง๋์ด๋ง ํ๋ ์์ํฌ
- ์ ๋ฌธ๊ฐ ์ง์ ์ฝ๋ํผ์ผ์ด์ ์ฒด๊ณ์ ์ ๊ทผ๋ฒ ์ ๊ณต
- ๋ช ์์ vs ์๋ฌต์ ์ง์ ๊ตฌ๋ถ ๋ฐ ํตํฉ ๋ฐฉ๋ฒ
- LLM ์ฆ๊ฐ ์ ๋ต์ ์ค์ฆ์ ๊ฐ์ด๋๋ผ์ธ
- AI ์์ด์ ํธ ์ํคํ
์ฒ
- ๋ค์ํ AI ๊ธฐ์ (๋ถ๋ฅ๊ธฐ, RAG, ๊ท์น, ํ๋กฌํํธ ์์ง๋์ด๋ง) ํตํฉ
- ๋ช ํํ ๊ด์ฌ์ฌ ๋ถ๋ฆฌ (Separation of Concerns)
- ์ฐธ์กฐ ์ํคํ ์ฒ๋ก ํ์ฉ ๊ฐ๋ฅ
- ์ค์ฆ์ ์ฆ๊ฑฐ
- AI ์์ด์ ํธ์ ์ฐ์ ํ๊ฒฝ ์ ํจ์ฑ ์ ์ฆ
- 3๊ฐ ๋ฌผ๋ฆฌ์ ํ์ ๋๋ฉ์ธ์์์ ์ผ๋ฐํ ๊ฐ๋ฅ์ฑ ์ ์
- ์ธ๊ฐ vs AI vs ๊ธฐ์ค ์์คํ ์ ์ฒ ์ ํ ๋น๊ต
์ค๋ฌด์ ๊ธฐ์ฌ
- ์ ๋ฌธ๊ฐ ๋ณ๋ชฉ ์ํ
- ๋น์ ๋ฌธ๊ฐ์ ์ ๋ฌธ๊ฐ ์์ค ๊ฒฐ๊ณผ ๋ฌ์ฑ ๊ฐ๋ฅ์ฑ ์ ์ฆ
- ์กฐ์ง ๋ด ์ง์ ํ์ฅ์ฑ ์ ๊ณต
- ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ ๊ท์น
- ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ๋ก์ ์ง์ ์ด์ ๊ฐ๋ฅ์ฑ
- ์ฌ์ฌ์ฉ ๊ฐ๋ฅํ ๊ท์น ๋ฒ ์ด์ค ๊ตฌ์ถ
- ์ฐ์
์ ์ ์ฉ ๊ฐ๋ฅ์ฑ
- ์ค์ Siemens ์ํํธ์จ์ด ํ๊ฒฝ์์์ ๊ฒ์ฆ
- ๋ณต์กํ ์์ง๋์ด๋ง ์๋ฎฌ๋ ์ด์ ์ํํธ์จ์ด์์ ํตํฉ
- ์ง์ ๋ฏผ์ฃผํ
- ์กฐ์ง ๋ด ์ง์ ์ ๊ทผ์ฑ ๊ฐ์
- ์ ๋ฌธ๊ฐ๊ฐ ๊ณ ์ ๊ฐ์น ์์ ์ ์ง์ค ๊ฐ๋ฅ
ํ์ ์ฑ
- ํตํฉ์ ์ ๊ทผ
- ๋จ์ผ ๊ธฐ์ (LLM, RAG, ๊ท์น)๋ง์ผ๋ก ์ถฉ๋ถํ์ง ์์์ ์ ์ฆ
- ๋ณด์์ ์ ๋ต์ ํ์์ฑ ์ค์ฆ
- ์๋ฌต์ ์ง์์ ์ฝ๋ํผ์ผ์ด์
- LLM ํ๋กฌํํธ ์์ง๋์ด๋ง์ ํตํ ์๋ฌต์ ์ง์ ํตํฉ
- ์ ๋ฌธ๊ฐ ํ๋จ ๊ธฐ๋ฐ ์ง์์ ์์คํ ํ
- ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ
- ๋๋ฉ์ธ ํน์ ์ด ์๋ ์ผ๋ฐํ๋ ๊ท์น ์ค๊ณ
- ๋ค๋ฅธ ๋ฌผ๋ฆฌ์ ํ์ ๋๋ฉ์ธ์์์ ์ ์ฉ ๊ฐ๋ฅ์ฑ
์ค๋ฌด ์ ์ฉ ํฌ์ธํธ
์กฐ์ง ๋ด ์ ์ฉ ์ ๊ณ ๋ ค์ฌํญ
- ์ ๋ฌธ๊ฐ ์๋ณ ๋ฐ ์ฐธ์ฌ
- ๋ช ์์ ๊ท์น๊ณผ ์๋ฌต์ ์์น ๋ชจ๋ ์บก์ฒ ๊ฐ๋ฅํ ์ ๋ฌธ๊ฐ ์ ์
- ์ฒด๊ณ์ ์ธ ์ธํฐ๋ทฐ ํ๋ก์ธ์ค ์ค๋น
- ์ง์ ๋ถ๋ฅ ๋ฐ ๊ตฌ์กฐํ
- ๋ช ์์ ์ ์ฐจ์ ๊ท์น โ Python ์คํฌ๋ฆฝํธ๋ก ๋ณํ
- ์๋ฌต์ ์ค๊ณ ์์น โ LLM ํ๋กฌํํธ์ ์๋ฒ ๋
- ํ๋ ์์ํฌ ์ ์ฉ ๋จ๊ณ
- 1๋จ๊ณ: ์ ๋ฌธ๊ฐ ์ธํฐ๋ทฐ
- 2๋จ๊ณ: ๊ท์น ๊ตฌํ (์ฝ๋ + ํ๋กฌํํธ)
- 3๋จ๊ณ: ๊ฒฐ๊ณผ ํ ์คํธ
- 4๋จ๊ณ: ๋ฐ๋ณต ๊ฐ์
- ํ๊ฐ ๋ฐ ๊ฒ์ฆ
- ๋ค์ํ ๋ฐฐ๊ฒฝ ํ๊ฐ์ ์ฐธ์ฌ
- ์ ๋์ ์งํ ์ค์
- AI ํ๊ฐ์๋ก ํธํฅ ์ํ
๊ธฐ์ ์ ๊ตฌํ ๊ณ ๋ ค์ฌํญ
- ์์คํ
์ํคํ
์ฒ
- ๋ถ๋ฅ๊ธฐ: ์์ฒญ ์ ํ ์นดํ ๊ณ ๋ฆฌํ
- RAG ์์คํ : ๋๋ฉ์ธ๋ณ ์ง์ ๋ฒ ์ด์ค
- ์ฝ๋ํ์ด๋ ๊ท์น: ์คํ ๊ฐ๋ฅ ํจ์
- ํ๋กฌํํธ ์์ฑ๊ธฐ: ์ฌ์ฉ์ ์๊ตฌ์ฌํญ + ๋๋ฉ์ธ ์ง์ + ์๊ฐํ ์์น ํตํฉ
- ์ฝ๋ ํ์ง ๋ณด์ฅ
- ์ ํจ์ฑ: ๋ฌธ๋ฒ์ ์ ํ์ฑ, ๋ฐํ์ ์ค๋ฅ ์์
- ์ ํ์ฑ: ์๋ํ ๋๋ก ์ํ
- ์ถ๋ ฅ ํ์ง: ์ ์ ํ ์ฐจ์, ์๊ฐ์ ์ธ์ฝ๋ฉ, ์ค์ ์ ๋ณด ๊ฐ์กฐ
- ํ์ฅ์ฑ ๊ณ ๋ ค
- ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ ๊ท์น ์ค๊ณ
- ๋ค๋ฅธ ๋๋ฉ์ธ์ผ๋ก์ ์ง์ ์ด์ ๊ฐ๋ฅ์ฑ
- ์ปค๋ฎค๋ํฐ ๊ธฐ๋ฐ ์ง์ ๋ฒ ์ด์ค ๊ตฌ์ถ ๊ฐ๋ฅ์ฑ
ROI ๋ฐ ๋น์ฉ ํจ๊ณผ
- ์ ๋ฌธ๊ฐ ์๊ฐ ์ ๊ฐ
- ๋ฐ๋ณต์ ์ธ ๊ฐ์ด๋ ์์ ์๋ํ
- ์ ๋ฌธ๊ฐ๊ฐ ๊ณ ์ ๊ฐ์น ์์ ์ ์ง์ค ๊ฐ๋ฅ
- ์์ฐ์ฑ ํฅ์
- ๋น์ ๋ฌธ๊ฐ์ ์ ๋ฌธ๊ฐ ์์ค ๊ฒฐ๊ณผ ๋ฌ์ฑ
- ์์ฌ๊ฒฐ์ ์๋ ํฅ์
- ์ง์ ์์ฐํ
- ์ ๋ฌธ๊ฐ ์ง์์ ์์คํ ์ ์บก์ฒ
- ์กฐ์ง ๋ด ์ง์ ๊ด๋ฆฌ ๊ตฌ์ถ
์ ์ฌ์ ๋ฆฌ์คํฌ ๋ฐ ์ํ
| ๋ฆฌ์คํฌ | ์ค๋ช | ์ํ ์กฐ์น |
|---|---|---|
| ์ ๋ฌธ๊ฐ ์์กด์ฑ | ์์ ์ ๋ฌธ๊ฐ์ ์์กด | – ๋ค์ํ ์ ๋ฌธ๊ฐ ์ฐธ์ฌ – ์ปค๋ฎค๋ํฐ ๊ธฐ๋ฐ ์ง์ ๋ฒ ์ด์ค ๊ตฌ์ถ |
| ๊ท์น์ ์ ์ ์ฑ๊ฒฉ | ์๊ฐ ๊ฒฝ๊ณผ์ ๋ฐ๋ฅธ ๊ท์น ๋ ธํํ | – ๋์ ๊ท์น ์
๋ฐ์ดํธ ์์คํ
– ์ฌ์ฉ์ ํผ๋๋ฐฑ ๊ธฐ๋ฐ ๊ฐ์ |
| ๋๋ฉ์ธ ํนํ์ฑ | ํน์ ๋๋ฉ์ธ์ ๊ณผ๋ ์์กด ๊ฐ๋ฅ์ฑ | – ๋ฌผ๋ฆฌ์ ๋ฌด๊ด์ฑ ๊ท์น ์ค๊ณ – ๋ค๋ฅธ ๋๋ฉ์ธ ๊ฒ์ฆ |
| AI ์ฑ๋ฅ ํธํฅ | ํน์ ์๋๋ฆฌ์ค์์ ์ฑ๋ฅ ์ ํ | – ๋ค์ํ ํ
์คํธ ์ผ์ด์ค – ์ง์์ ๋ชจ๋ํฐ๋ง ๋ฐ ๊ฐ์ |
References
- Ancker, J. S., Senathirajah, Y., Kukafka, R., & Starren, J. B. (2006). Design features of graphs in health risk communication: A systematic review. Journal of the American Medical Informatics Association.
- Biselli, A., Stoyanov, S., & Nocera, A. (2025). Misleading visualizations in the era of disinformation. Journal of Information Science.
- Choe, E., et al. (2024). The visual analysis of high-dimensional data in engineering simulations. IEEE Transactions on Visualization and Computer Graphics.
- Deng, Y., et al. (2024). Defining AI agents: A comprehensive framework. Proceedings of the AAAI Conference on Artificial Intelligence.
- Franconeri, S. L., et al. (2021). The science of visual data communication: What works. Psychological Science in the Public Interest.
- Grammel, L., et al. (2010). The gap between data visualization and data analysis tools. IEEE Symposium on Visual Languages and Human-Centric Computing.
- Hoffman, R. R., et al. (1995). Eliciting knowledge from experts: A tutorial. The Knowledge Engineering Review.
- Lin, S., & Thornton, L. (2021). Beauty in data visualization: Trust and comprehension. Journal of Data Visualization.
- Rosen, M., et al. (2007). Managing expert bottlenecks in large organizations. Harvard Business Review.
- Vรกzquez, M. (2024). Are LLMs ready for generating visualization code? arXiv preprint.
- Yetiลtiren, M., et al. (2023). A framework for evaluating generated code quality. Journal of Software Engineering.
- Zhu, X., et al. (2023). LLMs with rules: Empirical evidence of 30% improvement. Proceedings of NeurIPS.