AI Agent 인사이트 & 액션: 트렌드 너머, 실전으로 가는 길

해당 아티클은 2025년 9월, 삼성SDS가 대외 고객을 대상으로 진행한 「REAL SUMMIT 2025」 행사 중, 삼성SDS 서비스컨설팅그룹 윤정빈 그룹장의 ‘AI Agent 인사이트 & 액션: 트렌드 너머, 실전으로 가는 길’ 세션 내용을 기반으로 작성되었습니다.

ChatGPT 등장 이후 AI 기술은 빠르게 발전하고 있으며, 관심의 초점도 변화하고 있습니다. LLM이 처음 등장했을 때, 세상은 ‘인간처럼 질문에 답변하는 능력’에 감탄했습니다. 이후에는 '정확한 답변을 얻기 위해 정교하게 질문하는 방안'에 대해 고민하게 되었고, 일상적인 활용을 넘어 '기업 내 전문 지식과 정보를 활용하기 위해 RAG 기술’을 적용하는 노력이 이루어졌습니다.

최근에는 업무 프로세스를 자동화할 수 있는 방안에 대한 지속적인 검토가 진행되고 있으며, 이 중에서 일하는 방식을 혁신적으로 바꿀 수 있는 AI 에이전트(AI Agent)의 '특징과 기술 변화', '기술 적용에 따른 업무 환경의 변화', 그리고 '파일럿 구현 사례에서 얻은 인사이트'에 대해 알아보고자 합니다.

[그림 1] 최근 AI Topic 변화(출처: 발표자 제작)

LLM - 프롬프트 엔지니어링 - RAG - AI Assistant - AI Agent

AI Agent 특징 및 동향

기술적인 발전을 설명하기에 앞서, AI Agent란 무엇일까요? AI Agent는 기존 LLM 모델이나 Assistant와 달리, 사용자의 의도를 파악하여 목표를 달성하는 데 필요한 작업을 자율적으로 계획하고 실행하는 지능형 시스템입니다. 이를 위해 AI Agent는 요약, 번역 등 단순한 작업뿐만 아니라 '목표 완수를 위해 계획을 수립'하고, ‘필요한 정보나 상황을 스스로 학습하여 실행 방법을 개선'할 수 있습니다. 또한, 회사 시스템 및 데이터를 활용하고 다른 Agent와의 상호작용하기 위한 다양한 기술이 탑재되어 있습니다.

AI Agent는 '모델(Model)', '오케스트레이션(Orchestration)', '툴(Tool)'의 세 가지 주요 요소로 구성됩니다. 모델은 LLM과 같이 사전 학습되거나 미세 조정된 지능형 모델로, 맥락을 직관적으로 이해하고 답변, 요약 및 문서 생성 등의 작업을 수행합니다. 오케스트레이션은 AI 에이전트의 핵심 구성 요소로, 작업 계획을 수립하고 전체 프로세스 흐름을 제어하는 역할을 합니다. 툴은 기업이 보유한 내/외부 시스템과의 연동 및 데이터를 활용하여 실제 작업을 실행합니다.

[그림 2] AI Agent 핵심 구성 요소(출처: Google AI Agents White paper, 발표자 제작)

User → User.query → Agent Runtime(Tool,Model,Orchestration[goal,instruction/memory/Reasoning/Planning]) → agent.response → User

구성 요소 별 역할

1. Model

LLM 같이 사전 학습 또는 FIne-tuning 된 지능 모델

직관적 이해/답변/요약/이미지/문서 생성 등

2. Orchestration

맥락/목적 이해. 추론 및 계획 수립. 흐름 제어

지휘자. 프로세스 관리자 역할

3. Tool

외부 API. 내부 함수/기능. Data 저장소 활용

Action 담당

그렇다면, 오케스트레이션은 프로세스의 흐름을 어떻게 계획하고 조정할까요? 오케스트레이션은 대표적으로 세 가지 ‘추론 프레임워크’가 적용됩니다. 추론 프레임워크는 LLM 사용의 초기 단계에서 정확한 답변을 얻기 위해 활용된 '프롬프트 엔지니어링' 기법에서 시작되었으며, 해당 기술을 바탕으로 보다 체계적인 추론이 가능하게 되었습니다.

첫 번째 추론 프레임워크는 CoT(Chain of Thought)입니다. 이 접근법은 복잡한 문제를 단계별로 분해하여 결론을 도출하는 방식으로, 다단계 추론이 필요한 산술이나 논리 문제에 적합합니다. 두 번째로, ReAct(Reasoning and Acting) 방식은 문제를 분석하고 툴을 적용하여 실행한 후 관찰된 결과를 기반으로 추론하는 과정을 반복적으로 수행합니다. 이미 구글의 'Gemini'와 같은 최신 AI Agent 솔루션에 탑재되어 있으며, API를 통해 외부 정보를 실시간으로 수집하고 이를 기반으로 계획을 조정하여 복잡한 작업을 처리할 수 있습니다. 마지막으로, ToT(Tree of Thoughts)는 여러 가능한 사고의 경로를 트리 구조로 생성하여, 탐색하고 평가하는 방식입니다. 이는 체스 게임에서 가능한 경우의 수를 시뮬레이션하여 최선의 수를 결정하는 것과 유사하며, 창의적인 문제 해결이나 다양한 선택지가 있는 의사결정에 적합합니다.

[그림3] Orchestration의 추론 전략(Reasoning Framework)(출처: 발표자 제작)

CoT(Chain of Thought) - 단계적 문제 해결(다단계 수학계산)

ReAct(Reasoning & Acting) - 추론과 행동의 반복(정보검색-요약 보고)

ToT(Tree of Thought) - 가능한 생각 경로 내 최적 방안 확인(체스게임)

AI Agent 발전 동향

AI Agent의 요소 기술이 발전함에 따라, 단순한 기술적 검증 단계를 넘어 비즈니스에서의 본격적인 활용을 고려하는 시대에 접어들었습니다. 최근 AI Agent의 발전 동향은 세 가지 측면으로 정의할 수 있습니다.

첫째, 개발 플랫폼 중심의 발전이 두드러집니다. AWS, Microsoft, Google 등 빅테크 기업들은 에이전트 개발 플랫폼과 도구를 적극적으로 출시하고 있습니다. 그러나, 아쉬운 점은 실제 업무에 바로 적용할 수 있는 사용 사례(Use Case)가 아직 많지 않다는 것입니다. 업무 현장에 적용할 수 있는 AI Agent를 개발할 수 있다면, 성장하는 AI Agent 시장을 선점할 수 있는 기회가 될 것입니다.

둘째, AI Agent는 스스로 계획하고 작업을 실행하는 것을 넘어, 러셀과 노빅의 Learning Agent 모델처럼 수행 결과를 인식한 후 목표 달성에 부족한 부분을 스스로 학습하고 개선하는 구조로 진화하고 있습니다. 예를 들어, 자율주행의 경우 이전 교차로에서 교통 체증이 발생했음에도 계획된 경로를 따라 진행하여 예상 도착 시간보다 지연된 것을 인지합니다. 이후, 교차로에서 교통 체증이 발생했을 때 우회 경로를 검토하도록 로직을 개선하고, 시간 단축이 예상될 경우 경로를 변경할 수 있습니다.

[그림 4] AI Agent - 스스로 개선하고 환경에 적응하는 구조로 고도화(출처: 발표자 제작)

Russell & Norvig Learning Agent 모델

환경 → 상황 인식 → 실행 결과 정보 → Critic → 평가결과 피드백 → Learning Element → 목표 전달 → Problem Generator → 작업 계획 → Performance Element(성과 미달 예상 시 Learning Element 에 재 검토 지시) → 성과 달성 예상 시 실행 지시 → 실행 → 환경

예시 - 자율주행

Critic(인지/평가)

기본 경로 따라 교차로에서 직진했더니, 예상도착 시간이 증가 (평가 ↓)

Learning Element(학습/개선)

교통 체증 시는 우회 경로 검토를 우선 하도록 Logic 개선

Problem Generator(성과 예상)

다양한 우회 경로 가능성 검토 및 경로 제시

Performance Element(방안 수립)

우회 경로 운행 시, 도착 시간 예측 하여 시간 단축 예상되면 경로 변경 지시

셋째, 도메인 특화 Vertical AI Agent의 가속화입니다. 회의 예약이나 회계 전표 처리 등 비교적 일반적인 작업을 지원하는 AI Agent와 달리, Vertical AI Agent는 특정 산업이나 업무 영역에 초점을 맞춘 AI 시스템으로, 해당 분야의 업무 데이터를 활용하여 법률 상담, 프로그램 작성 및 오류 분석, 고객 서비스와 같은 전문 서비스를 제공합니다. Vertical AI Agent의 가속화는 전문 인력 고령화와 인건비 상승 대비 ‘기술 발전에 따른 비용 효율성 향상', 'LLM fine-tuning 및 RAG 기술의 발전’ 및 ‘도메인 특화 데이터 확보' 등이 주요 요인으로 작용합니다. 실제로, 국내 스타트업 중 하나인 '인핸스'는 휴일과 주말을 포함한 24/7 온라인 쇼핑몰 관리를 위한 Vertical AI Agent를 구현하여 성과를 거두고 있습니다.

이렇게 AI Agent 기술이 발전하고 시장의 관심이 커지면서 기존 소프트웨어를 일부 개선하여 AI Agent로 홍보하는 경우가 가끔 있습니다. 그러나, 이러한 방식은 AI Agent의 진정한 가치와 효과를 제공하지 못할 뿐만 아니라, 향후 10년간 연평균 45% 이상 성장할 것으로 예상되는 AI Agent 시장에서 뒤처지거나 혁신의 기회를 놓칠 위험이 있음을 간과하지 말아야 합니다.

[그림 5] 글로벌 AI Agent 시장 규모(출처: Precedence Research)

글로벌 AI Agent 시장 규모

값의 단위는 USD Billion

• 2024 - 5.43
• 2025 - 7.92
• 2026 - 11.55
• 2027 - 16.84
• 2028 - 24.55
• 2029 - 35.80
• 2030 - 52.20
• 2031 - 76.12
• 2032 - 111.00
• 2033 - 161.87
• 2034 - 236.03

CAGR 45.82% ('25~'34)

업무 환경의 변화

아직 실제 업무 현장에 AI Agent가 적용된 사례가 많지 않지만, 일하는 방식이 변화할 것이라는 점은 분명합니다. 우리의 업무 환경은 어떻게 달라질까요?

첫 번째로 예상되는 변화는 직원들이 '디지털 신무기를 통해 역량이 강화'되어, 이전에는 물리적 또는 경험적 제약으로 인해 처리하기 어려웠던 업무에서도 성과를 낼 것입니다. 생성형 AI의 지원을 받아 데이터를 분석하거나 문서를 작성할 수 있으며, 근무 시간 외에도 기본적인 작업을 지시하는 등 보완적으로 활용할 수 있습니다. 또한, 효과성이 입증된 AI Agent 서비스는 영화 "매트릭스"의 스미스 요원처럼 복제하여 조직 전반에 걸쳐 빠르게 확대 적용이 가능하고, 수행 결과의 수준도 평준화할 수 있습니다.

두 번째 변화는 AI Agent의 업무를 위한 하나의 도구(Tool)가 아니라, '공동의 목표를 달성하기 위해 함께 일하는 협업 동료'로 인식하는 것입니다. AI Agent가 업무 목표를 이해하고, 스스로 작업을 계획하고 실행하며, 피드백을 바탕으로 사람과 함께 업무를 완수할 수 있다면, 디지털 공간에 존재하는 협업 파트너가 아닐까요?

[그림 6] 업무 환경의 변화 - AI Agent와 협업(출처: 발표자 제작)

업무 Tool - S/W 시스템 → Automation → Intefrated Automation

협업 동료 (Digital Colleague) - AI Agent는 Tool 을 넘어, 임직원과 함께 협력하는 파트너

세 번째 변화는 AI Agent가 스스로 학습 및 개선되고 자율성이 강화되어, ‘기존 방법에서 벗어나 혁신적인 방식으로 업무를 수행'하는 것입니다. 2025년 초 일레븐랩스 해커톤에서 우승한 팀의 홍보 영상은, 통화 중 주변 소음으로 인해 의사소통의 오류가 발생하자 AI Agent 스스로 효율적인 통신 방식으로 전환하는 모습을 보여줍니다. 이처럼, 간단한 호텔 예약의 경우에도 방대한 양의 데이터를 실시간으로 분석하여 이전에는 경험하지 못한 혁신적인 서비스를 제공하게 될 것입니다.

AI Agent가 업무를 지원하여 ‘직원의 역량과 생산성을 혁신’하는 것은 이미 우리 앞에 다가온 현실이며, 가까운 미래에는 ‘협업 팀원’으로서 역할을 맡아 상호 협력적으로 업무를 수행할 것입니다. 그리고, 언젠가는 AI Agent가 스스로 업무 방식을 혁신하고, ‘전체 업무를 자율적으로 수행’하게 될 것입니다.

[그림 7] 업무 환경의 단계적 변화(출처: Stanford Univ./MS, 발표자 제작)

Augmented Workforce(현재)

• 업무 수행을 지원하여 임직원의 업무 생산성을 높음
• 업무 지원 역할

Collaborative Workforce(가까운 미래)

• 임직원의 지시에 따라 역할 수행하는 협력적 팀원으로 업무 수행
• 특정 역할 수행

Autonomous Workforce(미래)

• AI Agent 스스로 전체 업무 수행하고 필요 시 , 임직원은 감독/관리
• 업무 방식도 스스로 혁신

파일럿 구현 사례

미래 업무 환경의 변화에 이어, AI Agent의 실제 구현 사례를 통해 현실과 준비해야 할 사항에 대해 살펴보겠습니다.

NVIDIA CEO 젠슨 황은 2025년 CES 기조연설에서 AI의 발전 과정이 'Perception AI'에서 'Generative AI'로, 그리고 'Agentic AI'를 거쳐 'Physical AI'로 진화하고 있으며, Agentic AI는 '프로그램 개발', '고객 서비스', '의료 지원' 분야에 적용 가능성이 높다고 설명했습니다. 이 중 유통 서비스 기업의 공통 업무인 '고객 서비스 Agent'를 파일럿 프로젝트로 선정했습니다. 해당 AI Agent의 역할은 '제품 및 기술적 해결 방법에 대한 문의 응답, 수리를 위한 부품 재고 확인 및 서비스 센터 자동 예약’을 수행하는 것입니다.

파일럿에서는 AI Agent가 ‘올바르게 설계되었는지’, ‘요구사항을 명확히 이해하는지’, ‘스스로, 목표에 적합한 실행 계획을 수립하는지’, ‘필요한 데이터를 파악하고, 수집 및 활용할 수 있는지’, 그리고 ‘성능과 실행 결과의 품질에 문제가 없는지’ 등을 검증하는 데 중점을 두었습니다. 실제 구현은 AWS 플랫폼을 활용했으며, 삼성SDS의 생성형 AI 서비스 플랫폼인 'FabriX'도 참고했습니다.

파일럿 과정에서 가장 먼저 고려한 것은 '아키텍처'입니다. Single Agent 구현의 경우, 실시간 검색과 업무 시스템 연동은 Action Group으로, 사내 지식 검색은 Knowledge Base로 처리해 테스트한 결과, 구현이 쉽고 응답 속도가 양호하다는 것을 확인했습니다. 그러나, 하나의 LLM으로는 개별 작업에 필요한 세부적인 지침을 제공하기 어려웠고, 복잡한 프로세스를 관리하는 데 한계가 있었습니다. 따라서, 사용자와 상호 소통하는 Supervisor Agent를 중심으로 서비스 센터의 개별적인 업무를 처리하는 Sub Agent를 배치하여 Multi Agent 구조로 전체 아키텍처를 설계했습니다. 각 Agent는 독립적인 LLM을 사용하며, 실시간 검색은 인터넷 검색 API를 활용했습니다. 그리고, 사내 지식은 Amazon S3 기반의 Knowledge Base를 통해 검색하고, 업무 시스템 통합은 AWS Lambda를 통해 가상 API를 호출하도록 구성했습니다.

[그림 8] 파일럿 - Agent 구현 아키텍처 선정(출처: 발표자 제작)

Single Agent

Lessons Learned

구현/관리 용이. 응답속도 빠른편

단일 LLM 사용으로 Token 발생 (비용) 절감 예상

단계별 업무 처리 아닌 단순 문의 응답에 적합

Multi Agent

Lessons Learned

구현은 복잡하나 여러 단계 업무 처리에 적합

업무별 개별 Agent 별 LLM 지정으로, 수행 최적화 가능

Agent 간 상호 피드백 가능하여, 복합적 문제 해결에 적합

두 번째, 각각의 Agent를 위한 'LLM 모델 선정’ 과정입니다. '다국어 지원이 중요한지', '한국어 최적화가 중요한지', '논리적 추론이 핵심인지', 또는 '창의적 아이디어 제시가 필요한지' 등 업무 목적에 따라 적합한 모델을 선택해야 하며, LLM에 따라 토큰당 비용이 5~20배까지 달라질 수 있으므로 비용적인 부분도 고려해야 합니다. 삼성SDS의 FabriX는 필요에 맞게 다양한 LLM 모델을 선택할 수 있는 옵션을 제공합니다.

세 번째 포인트는 'Agent Instruction 작성'입니다. 이는 Agent가 업무를 수행할 때 기본적으로 준수해야 하는 일종의 업무 가이드입니다. 예를 들어, Agent의 ‘수행 목적과 역할’, ‘대상 고객’, ‘해야 할 것과 하지 말아야 할 것’ 등을 문장 형태로 기술하는 것입니다. 프로그램 로직처럼 너무 상세하게 작성하면 Agent가 스스로 업무를 수행하는 자율성을 저해할 수 있으며, 너무 모호하면 원하는 결과를 얻지 못하거나 일관성이 부족할 수 있습니다. 각 업무 유형에 적합한 Instruction 패턴을 충분한 테스트를 통해 표준화하는 것이 중요하며, 삼성SDS의 FabriX는 업무 유형별 표준화된 Instruction 템플릿과 예제를 제공합니다.

[그림 9] 파일럿 - Agent Instruction 작성(출처: 발표자 제작)

Agent Instruction/지시문/지침?

Agent의 기본 업무 수행 가이드

고객의 요청을 정확하고 일관되게 처리토록 하는 일종의 프롬프트 엔지니어링

작성 항목(FabriX 예시)

역할, 대상 사용자

작업 처리 과정, 기본지침

해야 할 것 vs 하면 안되는 것 등이 예시와 함께 프레임 워크로 제공 (RACC, TIDD-EC 등)

Lessons Learned

Instruction이 명ㅎ롹해야 사용자가 원하는 역할을 효과적으로 처리할 수 있음

업무 유형 별 적합한 Instruction 패턴이 있으며, 충분한 테스트 통해 표준화가 중요 (프레임워크 활용 이유)

마지막 포인트는 '품질과 성능에 대한 평가'입니다. 이번 파일럿에서는 깊이 있게 다루지 않았지만, 동일한 요청에 대해 간혹 다른 결과가 나오는 경우를 보면서 품질의 중요성을 다시 한번 체감하게 되었습니다. 전형적인 IT 시스템 파일럿처럼 성능과 비용이 중요하지만, AI Agent의 경우, 편향성이나 윤리적으로 문제가 없는 '신뢰성(Reliability)'과 일관된 결과를 보장할 수 있는 '견고성(Robustness)' 역시 검증해야 할 중요한 측면입니다.

AI Agent, 이제 실전으로…

지금까지 AI Agent 기술의 발전 동향, 일하는 방식의 변화 모습, 그리고 파일럿 실행을 통해 확인한 고려 사항들을 공유했습니다. 그렇다면, AI Agent 시대를 위해 우리는 어떤 준비가 필요할까요?

먼저, 개개인의 관점입니다. 글로벌 인재 관리 회사인 '콘 페리'는 2030년까지 '8,500만 개의 일자리가 역량 부족으로 충원되지 않을 것’으로 추정하고 있습니다. 또한, 맥킨지는 2030년까지 '87%의 기업이 기술 발전과 시장 변화로 인해 직원의 역량 부족에 직면'할 것이라고 말합니다. 또한, 73%의 경영진들은 필요한 역량을 가진 인재를 채용하는 데 어려움을 느끼고 있으며, 최근 세계경제포럼의 보고서는 2030년까지 '직원의 절반 이상이 필요한 역량을 갖추기 위해 재교육’이 필요할 것이라고 합니다. 이러한 예측들이 시사하듯, AI 기술을 효과적으로 활용할 수 있도록 기술과 역량을 확보한다면 일자리에 대한 더 많은 기회가 있을 것입니다.

기업 관점에서는 업무에서의 실질적인 변화를 위해 특정 작업이나 역할을 수행하는 AI Agent를 도입하는 것도 중요하지만, 우선적으로 AI Agent가 협업 동료로서 일할 수 있도록 '일하는 방법', '관련 업무 지식', 그리고 '사용할 시스템과 다양한 도구'에 대해 설명하고 교육하는 것이 필요합니다.

[그림 10] 기업의 AI Agent 적용을 위한 준비 방향(출처: 발표자 제작)

임직원의 업무 처리: 프로세스 - 시스템/업무 도구 - 업무 지식(암묵知)

AI Agent의 업무 처리: AI Agent 적용에 적합한 Workflow - AI Agent 위한 Tech/Data 아키텍처 - 정제. 정리된 업무 지식(형식知)

즉, AI Agent 적용에 적합하도록 업무 프로세스를 정비하거나 세분화해야 하며, 개인들이 보유하고 있는 암묵지 형태의 직무 지식과 노하우를 Agent가 이해하고 활용할 수 있도록 정제하고 체계적으로 형식지화 해야 합니다. 또한, AI Agent가 기업 시스템 환경과 데이터를 효율적으로 활용할 수 있도록 아키텍처 관점에서 개선 방향과 과제를 수립하여 이를 단계적으로 준비해야 할 것입니다.

☞ 세션 발표자: 삼성SDS 서비스컨설팅그룹 윤정빈 그룹장(j.b.yoon@samsung.com)