최근 MIT의 NANDA 프로젝트가 발표한 ‘The GenAI Divide: State of AI in Business 2025’ 보고서에 따르면, 지난 2년간 기업들이 300억~400억 달러를 GenAI 이니셔티브에 투자했지만, 95%의 조직이 실패한 것으로 나타났습니다. [1] 이는 단지 5%의 조직만이 실질적인 성과를 창출했다는 의미로, 업계 전반에 큰 충격을 주었습니다.
이러한 실패의 배경에는 AI 도입을 단순한 기술 투자로 접근하고, 조직의 맥락과 운영 모델 혁신을 간과한 구조적 한계가 자리하고 있습니다. 그럼에도 불구하고, Meta, Shopify, Box, Duolingo 등 글로벌 기업들은 채용, 성과 평가, 위험 평가 등의 주요 업무에 AI를 우선적으로 사용하도록 정책을 시행하고 있습니다. [2] 이제 기업들에 있어 AI는 도입의 문제가 아니라, 어떻게 성공적으로 정착시키고 인간과 협업하여 새로운 운영 체계로 발전시킬 것인가가 핵심 과제로 부상하고 있습니다.
Agentic AI는 자율적으로 의사결정을 내리고 실행할 수 있는 AI 시스템을 말합니다. [3] 단순히 질문에 답하거나 특정 정보를 제공하는 수준을 넘어서, 스스로 목표를 인식하고 이를 달성하기 위해 다양한 도구와 자원을 활용할 수 있다는 점에서 주목받고 있습니다.
실제로 Agentic AI는 자연어 이해와 추론 능력을 바탕으로 비정형적이고 맥락적인 업무까지 수행할 수 있으며, 리서치, 전략 수립, 프로젝트 관리 등 지식 노동 영역에서 특히 높은 효율성을 보여줍니다. 또한 특정 산업이나 조직 특화 기능으로 빠르게 커스터마이징이 가능하고, 여러 에이전트들을 조합해 새로운 워크플로우를 구성할 수 있다는 장점이 있습니다.
그러나, 여전히 치명적인 한계가 존재합니다. 이는 크게 두 가지로 구분할 수 있습니다.
Agentic AI의 이러한 한계를 보완하기 위해 등장한 개념이 바로 Agentic Workflow입니다. Agentic Workflow는 사람, 에이전트, 프로세스가 동적으로 상호작용하며, 맥락 기반으로 오케스트레이션되는 체제입니다. [6] 즉, 실행보다는 업무 목적 달성에 최적화된 운영 구조라는 점에서 기존 접근 방식과 구별됩니다.
Agentic Workflow의 핵심은 맥락 기반의 오케스트레이션입니다. [7] 에이전트는 단순히 지시를 수행하는 데 그치지 않고, 업무의 전후 관계와 조직의 규범, 전략적 목표를 종합적으로 고려합니다. 또한 범용 AI 하나에 의지하지 않고, 데이터 수집, 분석, 규제 검증, 결과 요약 등 각 단계를 담당하는 특화 에이전트들이 분업과 협업을 통해 운영합니다. Agentic Workflow는 AI가 도구처럼 작동하는 것이 아니라, 환경에 따라 의사결정을 내리고, 행동을 취하며, 적응하는 자율적인 "에이전트"로 작동하는 시스템을 의미합니다. [8] 이는 사람처럼 작업을 계획하고, 결과를 모니터링하고, 목표 달성을 위해 단계를 동적으로 조정하기 때문에, Agentic AI보다 조금 더 인간 작업자의 작업 모델에 근접하다고 볼 수 있습니다. 워크플로우는 이를 통해 유연성과 확장성을 동시에 확보할 수 있습니다.
Agent | Monitor 🠗 | 🠔 Percepts 🠔 | Environment | |
---|---|---|---|---|
AI Models | Analyze Problem 🠗 | |||
Plan Solution 🠗 | ||||
Execute (Workflow) 🠖 | 🠖 Actions 🠖 |
다만 워크플로우의 완전한 자율성은 여전히 위험을 수반할 수 있기 때문에, Human-in-the-Loop(HITL) 구조가 반드시 병행됩니다. 이는 중요한 의사결정 단계에서 사람의 개입과 검증을 통해 책임성과 통제력을 보장하고, 동시에 AI가 생성할 수 있는 오류나 환각 문제를 최소화합니다. 더 나아가 Agentic Workflow는 적응적 거버넌스를 특징으로 합니다. [9] 이는 단순한 통제 절차를 넘어, 법적·윤리적 규제와 보안 기준을 워크플로우 내부에 내재화하고, 외부 환경 변화에 따라 규칙을 동적으로 조정할 수 있도록 설계합니다. 예컨대 금융업에서 규제나 보안 기준이 바뀔 경우, 워크플로우는 이를 자동으로 반영하고 업데이트하며, 기업은 새로운 환경 변화에 대응할 수 있습니다.
실무적으로 Agentic Workflow는 조직의 업무 프로세스를 근본적으로 재설계해야 하는 과제를 수반합니다. [10] 이는 단순한 기술 도입이 아니라, 업무 방식 자체를 혁신해야 한다는 것을 의미합니다. 따라서 변화 관리 역량은 성공적 도입 여부를 결정짓는 핵심 요소가 됩니다. 기술적으로는 에이전트 간 상호작용을 조율하는 오케스트레이션 레이어가 필수적이며, 이를 뒷받침하는 보안, API 연동, 데이터 거버넌스 체계 또한 필요합니다. 전략적으로는 Agentic Workflow가 기업에 단순 효율성 제고 이상의 가치를 제공할 수 있다는 점이 중요합니다. 이는 AI를 단순 도구가 아닌 전략적 자산으로 활용하게 함으로써, 장기적으로 지속 가능한 경쟁 우위를 창출할 수 있게 합니다.
Agentic Workflow는 단순한 AI 활용을 넘어 조직 운영 모델 자체를 혁신하는 새로운 프레임워크라 할 수 있습니다. Agentic AI가 보여주는 잠재력을 현실화하는 동시에 그 한계를 보완하는 방식으로, 사람-에이전트-프로세스의 유기적 통합을 통해 기업의 목적 달성을 위한 최적의 운영 구조를 제공합니다. 결국 AI 활용의 다음 단계는 개별 모델의 성능 향상이 아니라, 이를 어떻게 연결하고 조율하여 조직의 목표에 부합하는 운영 체계로 발전시킬 것인가에 달려 있으며, Agentic Workflow는 이에 대한 가장 현실적인 해답이 될 것입니다.
앞서 살펴본 것처럼, Agentic AI는 새로운 가능성을 보여주고 있지만, 동시에 치명적인 한계도 갖고 있습니다. [11] 문제는 이러한 한계가 단순히 AI 기술의 성능을 개선하는 수준으로는 해결하기 어렵다는 데 있습니다. Agentic AI만으로는 투자 대비 성과 부진, 조직 차원의 AI 내재화 요구, 리스크 통제의 절박성, 기술 인프라의 성숙 등에 대한 과제를 감당하기 힘들 수 있습니다. 이러한 맥락에서 Agentic Workflow는 가장 설득력 있는 솔루션이 될 수 있습니다.
투자 대비 성과 부진
개별 AI 애플리케이션을 도입하는 방식은 단기적 효율을 낼 수 있으나, 기업 목표 달성과는 직접적으로 연결되지 못합니다. 다시 말해, 단일 AI Agent는 특정 과업 수행에는 강점을 보이지만, 여러 업무와 조직 목표를 동시 달성하는 데는 한계가 있습니다. 이는 모델 성능의 부족이 아니라, 조직 프로세스와의 단절에서 비롯된 문제입니다. Agentic Workflow는 에이전트 실행을 업무 목적과 직접 연결하여 단순 자동화를 넘어 전략적 성과로 이어지도록 합니다. [6]
“AI 퍼스트”에서 “AI 내재화”로
글로벌 기업들은 핵심 업무에 AI를 우선 적용하고 있습니다. 이는 AI가 더 이상 선택이 아니라 조직 운영의 전제 조건이 되었음을 보여줍니다. 그러나 개별 AI 시스템만으로는 복잡한 맥락을 반영할 수 없습니다. Agentic Workflow는 여러 특화 에이전트와 기존 프로세스를 통합해 AI가 기업의 운영 체계 전반에 내재화할 수 있도록 합니다. [12]
리스크 통제와 규제 대응
Agentic AI 도입이 확대되면서 환각, 책임 소재 불명확성, 규제 준수 리스크가 급격히 부각되고 있습니다. 단순 성능 개선으로는 이러한 문제를 해결할 수 없습니다. Agentic Workflow는 Human-in-the-Loop(HITL) 구조를 통해 중요한 의사결정 단계에서 인간의 검증과 개입을 보장합니다. 동시에 적응적 거버넌스를 내재화하여 새로운 법적·윤리적 기준이 만들어지더라도 워크플로우가 자동으로 업데이트할 수 있도록 설계합니다. 이로써 기업은 AI 활용을 통제 불가능한 위험 요인이 아니라, 예측 가능하고 관리 가능한 시스템으로 전환할 수 있습니다. [13]
기술적 성숙
Agentic Workflow가 지금 실현 가능한 이유는 기술 인프라가 이미 충분히 성숙했기 때문입니다. 멀티에이전트 오케스트레이션 프레임워크(LangGraph, CrewAI 등), 벡터 데이터베이스(Weaviate 등), RAG 기반 에이전트 기술은 복잡한 워크플로우를 실제로 실행 가능한 수준으로 끌어올렸습니다. 예를 들어 Agentic RAG는 단순 정보 검색을 넘어, 검색-계획-도구 실행-결과 반영을 반복하며 맥락적 정확도를 높입니다. 이는 단순히 아이디어 수준이 아니라, 실제 업무 환경에 적용 가능한 기술적 토대를 마련했음을 의미합니다. [8]
따라서 지금 Agentic Workflow가 주목받는 이유는 명확합니다. AI 활용의 실패 원인을 해소할 수 있는 구조적 해법이자, 이미 구현 가능한 현실적 접근이기 때문입니다. 성과 창출, AI 내재화, 리스크 통제, 기술 실행 등 기업들이 직면한 과제는 모두 개별 모델 성능 개선으로는 해결할 수 없습니다. 오직 사람-에이전트-프로세스가 통합된 Agentic Workflow만이 이 요구에 부합할 것입니다.
Agentic Workflow는 단순한 자동화 프레임워크가 아니라, 사람과 에이전트, 그리고 프로세스가 서로 유기적으로 맞물려 돌아가는 새로운 운영 체계입니다. 따라서 이를 구성하는 핵심 요소를 이해하는 것은 워크플로우의 본질을 파악하는 데 매우 중요합니다. Miquido에서 제시한 Perception-Decision-Action-Feedback-Collaboration의 구조는 다섯 가지 축을 중심으로 설명할 수 있습니다. [14]
Perception(인식)
워크플로우의 출발점입니다. 이는 단순히 입력 데이터를 읽는 수준을 넘어, 센서, 카메라 등 다양한 소스에서 데이터를 수집하고 맥락을 해석하는 과정입니다. 내부 데이터베이스, 외부 API, 사용자 로그와 같은 다층적 채널을 통해 환경을 인식하고 문제를 정의합니다. 인식이 정확해야 이후 의사결정과 실행이 왜곡되지 않기 때문에, 이 단계는 전체 워크플로우의 정밀도를 좌우합니다.
Decision-Making(의사결정)
수집한 데이터를 바탕으로 최적의 전략을 도출합니다. 이 과정에서 대규모 언어모델(LLM)의 추론 능력과 강화학습, 딥러닝 기반 기법이 결합되며, 정확한 결과를 얻기 위해 프롬프트 엔지니어링이 중요한 역할을 합니다. 단순히 지시된 작업을 실행하는 것이 아니라, 조직의 전략적 목표와 규범, 규제 환경을 종합적으로 고려하여 계획을 세우는 것이 특징입니다. 예를 들어, 보고서를 작성한다고 했을 때 단순히 텍스트를 생성하는 데 그치지 않고, 기업의 전략 방향이나 규제 요건, 이해관계자의 요구사항까지 반영합니다.
Action Execution(실행)
의사결정된 계획을 실제로 실행합니다. 이때 에이전트는 데이터 분석 도구, 협업 플랫폼, 외부 API 등 다양한 시스템과 연동되며, 필요 시 자동화 스크립트를 통해 환경을 제어합니다. 중요한 점은 행동이 단발적인 출력으로 끝나지 않고, 다음 학습과 피드백의 기반이 된다는 것입니다. 실행은 결국 워크플로우의 구체적 성과로 이어지며, 이를 통해 기업은 자동화를 넘어서 전략적 성과를 창출할 수 있습니다.
Feedback & Learning(피드백 및 학습)
Agentic Workflow의 지속 가능성을 보장하는 핵심입니다. 실행 결과를 바탕으로 성과를 평가하고, 이를 다시 시스템에 반영해 개선해 나갑니다. 여기에는 사람의 개입(Human-in-the-Loop)이 반드시 포함하며, 중요한 의사결정 단계에서 인간의 검증을 통해 책임성과 통제력을 확보합니다. 또한 피드백 메커니즘을 통해 사용자 반응, 규제 변화, 성능 로그가 동적으로 반영되며, 이를 바탕으로 워크플로우는 끊임없이 진화합니다. 적응적 거버넌스를 통해 법적·윤리적 규제 변화가 발생했을 때 워크플로우 내부 규칙이 자동으로 업데이트될 수 있도록 설계함으로써, 기업이 새로운 환경에 즉각 대응할 수 있도록 돕습니다. [9]
Collaboration(협업)
Agentic Workflow의 가장 차별적인 특징입니다. 개별 에이전트가 독립적으로 움직이는 것이 아니라, 각기 다른 전문성을 가진 다수의 에이전트 또는 레거시 시스템과 협업하며 복잡한 목표를 달성합니다. 데이터 수집을 담당하는 에이전트, 규제 검증을 맡는 에이전트, 전략적 요약을 제공하는 에이전트가 서로 연계되고, 여기에 인간 의사결정자가 결합하면서 워크플로우는 훨씬 더 유연하고 확장 가능한 구조가 됩니다. 협업은 단일 에이전트의 성능 한계를 넘어서는 집단 지능적 운영 방식을 가능하게 하며, 이는 Agentic Workflow가 기존 AI 자동화 접근법과 구별되는 핵심적인 이유라고 할 수 있습니다.
이 다섯 가지 요소는 단절적으로 작동하지 않고 하나의 루프를 형성하며 상호작용합니다. Perception은 올바른 인식을 제공하고, Decision-Making은 전략적 판단을 내리며, Action은 이를 실행으로 전환하고, Feedback은 다시 Perception을 고도화합니다. 여기에 Collaboration이 결합되면서, 여러 에이전트가 동시에 조율되고 최적화되어 기업의 목적 달성을 위한 유기적 운영 체계를 만들어냅니다. 결국 Agentic Workflow는 단일 AI 모델의 성능에 의존하는 것이 아니라, 이러한 인지-결정-실행-학습-협업의 순환 구조를 통해 전략적 성과와 책임성을 동시에 확보하는 패러다임을 제시합니다.
Agentic Workflow를 성공적으로 구현하기 위해서는 단순히 여러 에이전트를 연결하는 것 아니라, Planning–Tool Use–Reflection이라는 세 단계의 순환 구조로 접근합니다. [15] 이 세 단계는 워크플로우가 단순 실행에 그치지 않고, 목표 달성을 위해 스스로 학습하고 개선하는 메커니즘을 내재화하도록 만듭니다. [16]
User query(UI) 🠖 Make a Plan (planning) 🠖 Execute actions with tools(Tool use) 🠖 Reflect on results(Reflection), Reflect on results(Reflection) 🠖 Result not ok 🠖 Make a Plan (planning), Reflect on results(Reflection)🠖 Result ok 🠖 Response
User query, Response 제외 Agnetic Wrokflow
(1) Planning 설계: 작업 분해와 실행 경로 설계
주어진 목표를 단순히 인간의 지시대로 수행하는 것이 아니라, 에이전트가 스스로 과제를 분석하고 하위 작업으로 분해한 뒤, 이를 논리적으로 배열하여 실행 경로를 설계합니다. 복잡한 프로젝트 관리나 전략적 리서치처럼 다양한 요인을 고려해야 하는 경우 효과적입니다.
User Query(UI) 🠖 Make a Plan(Planning) * 🠖 Plan(Planning) [Task1 - Task2 - Task3] 🠖 Execute Task * (⟷Tools **) 🠖 Results 🠖 All tasks completed? *, All tasks completed? * 🠖 No 🠖 Plan(Planning) [Task1 - Task2 - Task3], All tasks completed? * 🠖 Yes 🠖 Generate response * 🠖 Response(UI)
User Query, Response 제외 Agentic workflow
(2) Tool Use 설계: 도구 활용 및 실행
계획이 수립되면, 다음 단계는 이를 실제 업무에 적용하는 것입니다. 에이전트는 RPA, ERP, CRM, 데이터베이스 등 다양한 시스템을 호출하고, 외부 지식베이스를 탐색하며, API, 정보 검색, 웹 브라우저, 머신러닝 모델, 코드 인터프리터 등 도구를 활용합니다. 이 과정을 통해 단순한 언어 처리 이상의 실질적 실행력을 확보할 수 있습니다. 예컨대 고객 불만 처리 워크플로우에서는 NLP 기반 분석 에이전트가 불만 내용을 이해하고, RPA가 ERP 시스템에 입력하며, API 호출로 보상 절차까지 연결합니다.
Use Query(UI) 🠖 Select Tools(s) **[⟷ Web Search, Gmail, Vector Search, Slack **] 🠖 Use Tool(s )** 🠖 Resluts 🠖 Generate response * 🠖 Response(UI)
User Query, Response 제외 Agentic workflow
(3) Reflection 설계: 자기 평가와 지속적 개선
실행 결과를 평가하고, 오류를 교정하며, 학습을 축적하여 다음 실행에 반영합니다. 단순히 실패를 최소화하는 차원을 넘어, 시간이 지날수록 워크플로우의 자율적 자기 최적화를 가능하게 합니다. 의료, 금융처럼 높은 신뢰성이 요구되는 분야에서 특히 유용합니다.
User Query(UI) 🠖 Execute Task *[⟷ Tools **] 🠖 Resluts 🠖 Generate response * 🠖 Response(Reflection) 🠖 Refelct(Reflection) * 🠖 Reflected Response(Reflection) 🠖 Final Response(UI), Reflected Response(Reflection) 🠖 Response Ok 🠖 Final Response(UI), Reflected Response(Reflection) 🠖 Response not Ok 🠖 Execute Task *[⟷ Tools **]
User Query, Response 제외 Agentic workflow
Agentic Workflow는 3단계 순환 구조를 기본 설계 모델로 하되, 맥락에 따라 단일 모델로도 설계를 단순화할 수 있습니다. 업무 성격과 리스크 수준에 따라 단일 설계 모델을 이용해 워크플로우를 설계할 수 있습니다.
고정된 규칙 기반 업무에서는 Planning 설계를 생략하고 바로 Tool Use 설계를 진행할 수 있습니다. 즉, 저위험·반복 업무에서는 Tool Use 설계 하나만으로도 충분합니다. 예를 들어 단순 데이터 입력, 일정 관리, 알림 발송 같은 과제는 계획이나 자기 평가 단계를 별도로 두지 않고 자동 실행만으로 목적을 달성할 수 있습니다.
인간 검증이 필수적인 업무에서는 Reflection을 에이전트가 담당하지 않고 Human-in-the-Loop가 대신 수행할 수 있습니다. 중요한 의사결정 단계에서 인간이 최종 평가와 교정을 맡는 방식입니다. 핵심은 단계의 수가 아니라, 워크플로우가 조직의 목표와 리스크 프로파일에 얼마나 적합하게 설계되었는가입니다.
결론적으로 Agentic Workflow 설계 전략의 본질은 Planning–Tool Use–Reflection의 구조를 통해 지능적 실행과 자기 최적화 메커니즘을 내장하는 데 있습니다. 동시에, 상황과 업무 성격에 따라 이 구조를 축소, 단순화하여 단일 단계 워크플로우로 완성할 수도 있습니다.
Agentic Workflow는 단순한 기술 트렌드가 아니라, 기업 운영 모델 전환의 방향성을 제시하고 있는데, 향후 발전에 대해서는 세 가지 측면으로 전망해 볼 수 있습니다.
첫째, 완전 자율형 AI에서 인간-에이전트 하이브리드 모델로의 진화가 예상됩니다. 현재는 Human-in-the-Loop(HITL)가 핵심 안전장치로 자리잡고 있으나, 시간이 지남에 따라 규제 내재화, 다중 검증 에이전트, 표준화된 거버넌스 체계가 성숙해지면 사람의 개입 비중은 점차 줄고, 사람은 감독과 전략적 의사결정에 집중하는 구조로 이동할 것입니다.
둘째, Agentic Workflow 플랫폼으로 본격화될 것입니다. 현재는 개별 기업이 자체적으로 오케스트레이션을 설계하지만, 향후에는 표준화된 플랫폼과 프레임워크가 등장해 산업 전반에서 ‘Workflow as a Service’ 형태로 확산될 가능성이 높습니다. 이는 SaaS 생태계와 결합해 빠른 도입, 확장을 가능하게 하며, AI 운영 모델의 실제적인 민주화를 이끌 것입니다. 즉, 전문적인 지식이 없어도 쉽게 AI 워크플로우를 구축하고 활용할 수 있는 환경이 조성될 것으로 예상합니다.
셋째, 지능적 자기 최적화가 구현될 것입니다. 현재 AI 에이전트는 주로 정해진 규칙이나 학습된 패턴에 따라 작동하며, 성능 개선을 위해서는 인간의 개입이 필요합니다. 그러나 향후에는 에이전트들이 과거 실행 데이터를 기반으로 성과 지표를 학습, 분석해, 스스로 프로세스를 개선하는 방향으로 진화할 것으로 예상합니다. 이는 단순 자동화를 넘어, 조직의 전략적 목표와 외부 환경 변화에 따라 워크플로우가 동적으로 재구성되는 수준까지 발전할 수 있음을 시사합니다.
References
▶ 이 글은 저작권법에 의하여 보호받는 저작물로 모든 저작권은 저작자에게 있습니다.
▶ 이 글은 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
삼성SDS 전략마케팅팀
Corporate Strategy & Business Development, and Customer Success Lead