성공적인 에이전틱 AI 구축을 위한 핵심 전략과 고려 사항

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]

에이전틱 AI(Agentic AI)가 자율성과 적응성으로 기업의 자동화를 재정의하고 있습니다. 하지만 성공을 위해서는 오케스트레이션, 감독, 기업 문화의 준비가 필수입니다. 에이전트(Agent)라는 단어는 라틴어 agere 혹은 agens에서 유래한 것으로, 타인의 권한 아래에서 효과를 만들어내는 주체를 뜻합니다. 소프트웨어에서 에이전트란 일반적으로 사용자나 다른 프로그램을 대신해 행동하는 프로그램을 의미하며, 그 개념은 1970년대 병행 연산(Concurrent computation) 모델에서 출발했습니다. 이후 AI 기술이 등장하면서, 에이전트는 단순한 수행 이상의 기초적인 추론 능력, 자율성, 협업 능력 등의 특성을 갖추기 시작했습니다.

지난 수십 년간 소프트웨어 기반 자동화는 로보틱스 및 AI 기술과 함께 발전해 왔습니다. 기업은 간단한 스크립트와 봇부터 RPA(Robotic Process Automation), 클라우드 기반 자동화 플랫폼까지 새로운 자동화 패러다임을 점차적으로 도입해왔습니다.

이제 ‘에이전틱 AI’는 자율성과 적응력, 추론 능력을 갖춘 소프트웨어 에이전트로서 자동화의 새로운 경계를 열고 있습니다. 그러나 실제 도입은 기업마다 다릅니다. 일부 기업은 소규모 AI 어시스턴트 프로토타입을 시험적으로 운영하는 수준에 머무르고 있으며, 어떤 기업은 복잡한 업무 프로세스 전반에 걸쳐 다수의 에이전트를 어떻게 조율할지 고민하고 있습니다. 최근에는 앤트로픽(Anthropic)의 MCP(Model Context Protocol)이나 구글의 A2A(Agent to Agent) 같은 에이전트 프로토콜 프레임워크가 등장하며, 상호운용성과 통합 기능성 문제를 다루려는 시도도 이어지고 있습니다. 이는 또 다른 AI 스택의 레이어를 형성합니다.

여기서는 엔터프라이즈 환경에서의 에이전틱 AI의 등장을 다음 3가지 주요 주제를 통해 살펴봅니다.

• 진정한 에이전트 시스템의 핵심 특성
• 반자율적이면서도 견고한 AI 에이전트를 설계하기 위한 과제와 솔루션
• 컴플라이언스나 레거시 시스템으로 제약받는 기업 환경에 에이전틱 AI를 통합하기 위한 실용적인 접근법

우선 카네기멜론대학교 연구팀이 제시한 지능형 에이전트의 특성을 포함해, 에이전틱 AI의 본질적인 속성부터 정리합니다. 이어 설계 및 오케스트레이션 전략, 인간의 감독과 거버넌스, 구체적인 도입 및 확산 사례를 통해 이 기술이 실현되는 방식을 살펴봅니다.

에이전틱 AI의 정의

에이전틱 AI는 단순히 프롬프트를 입력하거나 챗봇을 사용하는 것이 아닙니다. LLM과 최근 부상한 대규모 추론 모델(Large Reasoning Models, LRM)의 등장으로, AI 에이전트는 더욱 광범위한 의미와 응용 가능성을 갖게 됐습니다. 기존의 프로그래밍된 명령어만 실행하던 소프트웨어와는 달리, 에이전틱 시스템은 추론을 기반으로 상황에 맞춰 자율적으로 의사결정을 할 수 있습니다. 단지 특정 목표를 수행하기 위한 소프트웨어 실행체에 그치지 않습니다.

에이전틱 AI와 이전 세대 솔루션의 본질적인 차이는 기본적인 추론과 자율성 위에 적응성과 자율적 의사결정 능력이 더해졌다는 점입니다. 이는 엄격한 규칙을 기반으로 혹은 사람의 지시로 움직이던 과거의 AI 시스템과 구별되는 핵심 요소입니다.

에이전틱 AI의 8가지 핵심 속성

카네기멜론대학교 연구진은 에이전트가 복잡한 환경을 효과적으로 탐색하고 의사결정을 지원하기 위해 필요한 8가지 특성을 다음과 같이 정의했습니다.

• 작업 중심(Task-driven): 에이전트는 “재고 수준 최적화”나 “월간 재무 보고 자동 조정”처럼 인간이 지시한 명확한 목표를 중심으로 업무를 수행합니다.
• 반자율성(Semi-autonomous): 에이전트는 스스로 작업을 시작할 수 있지만, 규제 환경이나 위험성이 높은 워크플로우에서는 사람이 정의한 제약 조건과 사람의 감독 승인이 필요합니다.
• 지속성(Persistent): 에이전트는 단일 요청에만 반응하는 일회성 존재가 아니라 시간이 지남에 따라 지속됩니다. 이러한 지속성은 반복적인 개입 없이도 변화를 모니터링하고 기능을 계속 수행할 수 있습니다.
• 신뢰성(Reliable): 에이전트는 사용자의 요구에 부합하는 안정적 성능을 제공해야 하며, 이는 성능에 대한 신뢰 형성의 기반이 됩니다.
• 능동성(Active): 에이전트는 수동적 쿼리 처리만 하는 것이 아니라, 사람의 개입이 없어도 환경을 모니터링하여 적극적으로 작업을 시작하거나 다음 작업을 제안할 수 있어야 합니다.
• 협업성(Collaborative): 다른 에이전트나 인간과 함께 작업하며, 데이터 공유, 갈등 해결, 프로세스 이양, 합의 기반 의사결정 등을 조율할 수 있어야 합니다.
• 적응성 및 예측성(Adaptive and anticipatory): 새로운 데이터나 정보를 통해 전략과 모델을 지속적으로 조정하며, 정확성과 효율성, 그리고 명시되지 않은 사용자 목표 달성까지 지원할 수 있어야 합니다.

기업의 에이전틱 AI 설계와 배치

기업 환경에 에이전틱 AI를 도입하려면 처음부터 아키텍처와 운영 측면의 과제를 해결해야 합니다. 에이전틱 AI는 혁신적인 가치를 약속하지만, 신중한 설계를 통해 완화해야만 하는 복잡성과 위험도 수반하기 때문입니다.

이는 클라우드 환경의 마이크로서비스나 RPA의 봇이 과도하게 늘어날 때 나타나는 문제와 유사합니다. 에이전틱 AI는 이보다 더 복잡한 인터랙션과 조정 레이어를 만들어냅니다. 기업 환경에서는 사용자 대면 에이전트, 범용 에이전트, 전문 에이전트, 그리고 나아가 개발자 대상의 서비스형 에이전(Agents as a Service)까지 다양한 유형이 공존하게 됩니다. 이런 기능은 MCP나 A2A 같은 에이전틱 프로토콜 프레임워크를 통해 등장했습니다. 이들 프레임워크는 워크플로우 통합을 위한 표준화된 통신 및 재사용 가능한 구성 요소를 제공한다는 점에서 미들웨어와 유사합니다.

엔터프라이즈 소프트웨어는 수십 년에 걸쳐 분산 컴퓨팅의 진화를 통해 소프트웨어 추상화 레이어의 혜택을 누려왔습니다. 그러나 이런 프레임워크 역시 미들웨어처럼 레거시 시스템과의 통합 및 호환성 문제라는 복잡성을 수반합니다. 여기에 위험성과 보안이라는 과제까지 더해지면, 신중한 접근과 여러 측면에 걸친 안정 장치가 필요합니다.

에이전트 인프라

에이전틱 AI의 도입에 대한 관심이 급증하면서, 이제는 에이전트 인프라의 설계 방식 자체를 재고할 필요가 있습니다. AI 기술이 본격화된 초기에는 DIY 기반의 에이전틱 애플리케이션이 주류였지만, 엔터프라이즈 수준의 요구사항을 충족하려면 안정적인 배포와 운영을 위한 다계층 인프라가 필요합니다. 일반적인 에이전트 인프라는 다음과 같은 계층형 구조로 구성됩니다.

• 파운데이션 플랫폼: 파운데이션 모델, 다중 에이전트 프레임워크, 관찰 가능성 계층 등
• 오케스트레이션 레이어: 라우팅, 에이전트 간 조율, 상태 유지, 업무 관리를 위한 시스템
• 데이터 서비스: 모델 메모리, 스토리지, 데이터 추출 및 변환(ETL) 등
• 도구: 브라우저 자동화, UI 통합, 서비스 탐색 보안 모듈 등
• 에이전트 프로토콜: 명명 방식, 탐색, 표준화된 상호작용 규칙이 정의되어야 함

에이전트 오케스트레이션

다수의 에이전트 간 효율적인 조율을 위해서는 오케스트레이션이 필수입니다. 대표적인 아키텍처는 다음과 같습니다.

• 계층형 구조(hub-and-spoke): 마스터 에이전트 또는 감독 에이전트가 중앙에서 전체를 제어합니다.
• 탈중앙형 구조(peer-to-peer): 공유 프로토콜을 통해 에이전트가 상호 탐색하고 조율합니다.
• 하이브리드 구조: 대부분 기업은 두 구조를 혼합한 방식이 필요합니다.

위험과 보안

AI 기반 자동화는 필연적으로 많은 위험에 노출됩니다. 데이터 오해석, 편향, 불완전한 로직, 과도한 확신의 추론(이른바 ‘환각’), 그리고 시간적 맥락적 오류, 모델 또는 프롬프트 오염과 같은 악의적 공격이 대표적입니다. 여기에 사이버공격 위협도 존재합니다.

특히 의료 분야(HIPAA), 금융 분야(SOX) 등 규제 산업군에서는 감사 추적 기능을 갖춘 의사결정 이력이 필수입니다. 데이터를 자율적으로 수집하고 행동하는 에이전트는 의사결정마다 디지털 흔적을 남겨야 합니다. 이를 위해 다음과 같은 안전장치가 필요합니다.

• 의사결정 이력 기록(Traceable decision logs): 인보이스를 반려하거나 의심스러운 청구를 감지했을 때, 그 근거를 명확하게 기록합니다.
• 통제된 위임(Controlled delegation): 고위험 의사결정에는 인간의 통제를 유지하되, 저위험 업무는 에이전트가 맡도록 분산합니다.
• 서킷 브레이커(Circuit breakers): 에이전트가 검증 없이 중요한 결정을 내리지 않도록 방지합니다.
• 지속적 모니터링 및 오류 복구: 인간의 감독 또는 시스템 조정으로 인한 오류를 감지하고 복구하는 절차를 포함합니다.
• 데이터 거버넌스: 접근 제어, 익명화 전략, 세이프 하버(Safe Harbor) 접근법을 통해 다중 데이터 소스를 참조하는 경우에도 규제를 준수합니다.

에이전트 감독과 인간의 개입

AI의 자율성이 높아질수록 수작업이 줄어드는 장점이 있는 반면, 안전성, 신뢰성, 윤리적 감시 등의 문제가 새롭게 부각됩니다. 특히 인간이 예외 상황에만 개입하게 되면, 해당 경고가 도착했을 때 이미 맥락 이해가 부족한 상태일 수 있습니다. 또한, 중요한 인프라의 경우 마지막에 사람의 개입으로 맥락이 바뀌면 위험이 커집니다.

이 문제에 대응하기 위한 전략은 다음과 같습니다.

• 주기적인 체크포인트와 마찰 삽입: 에이전트는 금융이나 의료와 같은 위험에 민감한 분야에서 특정 단계에 도달하면 인간이 검토할 수 있도록 일시 정지합니다. 이런한 위험성 높은 유즈케이스에는 추가적인 검증 단계가 삽입될 수 있습니다.
• 운영자의 참여 유지: 흐름의 상태를 파악하는 것은 인간의 참여가 필수입니다. 개입이 요청되지 않은 경우에도 운영자가 진행 중인 작업을 인식할 수 있도록 하는 대시보드나 알림만으로는 충분하지 않습니다. 기계와 인간이 함께 일하는 하이브리드 워크플로우에서 기술력, 관심 및 집중력을 유지하기 위해서는 교육 및 게임 시나리오를 통해 보강해야 합니다.
• 교육 및 문화적 인식: 운영자의 AI에 대한 인식과 기술을 최신 상태로 유지하고, 오류 처리에 피드백을 반영하며, 시스템의 한계에 대한 명확한 인식으로 운영자가 자신의 권한을 과도하게 포기하지 않도록 인간 운영자의 정기적인 교육을 위한 프로토콜이 필요합니다.

유즈케이스와 초기 사례의 교훈

에이전틱 AI는 실제로 여러 업무 흐름을 자동화하고 인간의 노력을 보완할 수 있습니다. 몇 가지 유즈케이스를 봅니다.

전력망 부하 분산

• 시나리오: 다수의 에이전트가 전력 수요, 신재생 에너지 투입, 전력망 안정성을 실시간으로 모니터링합니다.
• 결과: 전력망 효율성 향상, 정전 감소, 자동화된 부하 분산 및 예측 유지보수를 통한 비용을 절감합니다.

문서 대조 및 처리

• 시나리오: 에이전트가 복수의 ERP 시스템에서 데이터를 수집하고, 불일치를 사전에 감지한 뒤, 양식 작성 및 오류 수정을 자동으로 처리합니다. 단, RAG(Retrieval-Augmented Generation) 기반 리뷰로 해결할 수 없는 오류에만 인간이 개입합니다.
• 결과: 전반적인 업무 마감 속도가 빨라지고 수작업 오류가 줄어듭니다. 다만, 다양한 데이터 플랫폼과의 통합이 필수입니다.

고객 지원 및 티켓 처리

• 시나리오: 에이전트가 수신된 문의를 분류하고, 이를 지식 베이스와 대조해 처리 가능 여부를 판단한 뒤, 복잡한 문의는 전문 상담사에게 이관합니다. 시간이 지날수록 에이전트는 처리된 티켓을 학습해 이관 정확도를 높입니다.
• 결과: 응답시간 단축, 해결률 향상, 고객 만족도 개선이 가능해집니다. 단, 불확실한 쿼리에 대한 견고한 예외 처리 시스템이 전제되어야 합니다.

공급망 운영 모니터링

• 시나리오: 에이전트가 운송 데이터를 모니터링하며, 기상 상황, 공급업체 지연 등의 잠재적 차질을 예측하고, 관리자에게 사전 알림을 보냅니다.
• 결과: 다운타임이 감소하고, 보다 민첩하게 일정을 조정할 수 있으며, 사람이 최종 결정에 개입해 경로 변경 또는 공급업체 변경 등의 조치를 수행할 수 있습니다.

인간의 판단과 감독은 여전히 중요하다

이상의 유즈케이스에서 공통적으로 드러나는 점은 가드레일, 감독 체계, 그리고 인간의 판단력이 여전히 필수라는 사실입니다. 에이전트 간 오케스트레이션이 미흡하면, 상충되거나 잘못된 결과가 발생할 수 있습니다. 모델의 작은 오류라도 여러 단계에 걸쳐 여러 에이전트가 상호작용하는 과정에서 급속히 누적될 수 있습니다. 구글 딥마인드의 데미스 하사비스는 최근 이 같은 복잡한 시스템의 위험성에 대해 경고한 바 있습니다. 인간이 개입하되, 충분한 맥락을 이해하지 못한 채 나중에야 호출된다면 인지 과부하로 인해 AI-인간 하이브리드의 오류 가능성은 더욱 커집니다. 마지막으로, 조직 문화적 수용성은 자동화 도입의 핵심이며, 이는 에이전틱 AI에서도 예외가 아닙니다. 직무 상실에 대한 불안을 해결하지 못하고 구성원의 동의를 얻지 못하면, 조직 차원의 거부 반응도 충분히 발생할 수 있습니다.

과제와 향후 방향

소규모 PoC에서는 긍정적인 신호가 나타나고 있지만, 전사적 도입을 위해서는 강력한 인프라, 표준화된 툴킷, 사용자 교육이 필요합니다. 특히 에이전트는 결정 경로가 고정되지 않는 비결정적(Non-deterministic) 존재임을 인식해야 합니다. 전통적인 규칙 기반 소프트웨어와는 완전히 다릅니다. 에이전트의 행동을 교정하고 개선하려면 반복적인 데이터 개선과 학습이 필수입니다. 동시에, 에이전트 인프라는 라이프사이클 관리, 버전 관리, 내재된 학습 시스템, 그리고 특히 규제 산업에서 필요한 거버넌스 및 컴플라이언스 규칙을 포함해야 합니다.

현재의 LLM 및 LRM은 패턴 인식에는 강하지만, 논리적 판단이나 도메인 제약을 처리하는 데는 약합니다. 이에 대한 해법으로는 뉴로-심볼릭 하이브리드(Neuro-symbolic hybrid) 방식이 있습니다. 이 방식은 기호 추론(Symbolic reasoning) 모듈이 규칙과 지식 그래프를 통해 신뢰성을 보완하고, 신경망 기반의 적응력을 유지하는 방식입니다. 진정한 추론 능력이 강화될수록 LLM/LRM 기반 에이전트 시스템도 더 나은 성능을 보일 것입니다.

이미 여러 산업에서 “신뢰할 수 있는 AI(Trustworthy AI)”를 위한 감독위원회와 가이드라인이 요구되고 있으며, 의료, 금융 분야에서는 다음과 같은 수준의 대응이 필수입니다.

• 모델의 투명성, 추적 가능성, 설명 가능성: 에이전트가 특정 판단을 내린 이유를 문서화하고, 이를 규제 환경에서 테스트할 수 있어야 합니다.
• 컴플라이언스 기반 안전장치: 이상치가 사전 정의된 임계값을 초과할 경우 즉시 인적 검토를 수행합니다.
• 감사 수행: 통제 기준를 정의하고, 지속적인 테스트를 수행합니다.
• 에이전트 책임 구조 정의: 에이전트의 결정에 대해 책임 주체를 명시하고, 경우에 따라 보험 체계를 도입합니다.
• 에이전트 프레임워크에 대한 윤리 강령 및 컴플라이언스
• 품질 보증 표준 및 테스트: 시나리오 기반의 스트레스 테스트를 포함합니다.

조직 문화와 ‘준비된 수용’의 힘

에이전틱 AI는 기존 RPA와 같은 규칙 기반 시스템을 넘어서는 획기적인 자동화 도구입니다. 단순 규칙 기반 업무와 완전한 자율 지능형 애플리케이션 사이에는 광범위한 응용 가능성이 존재합니다. 하지만 성공적인 배포는 정교한 AI 모델과 에이전트 프레임워크 그 이상을 필요로 합니다. 기업은 조직은 변화에 대한 개방성, 강력한 프로세스, 위험 관리에 대한 균형 잡힌 접근 방식을 특징으로 하는 준비된 문화를 조성해야 합니다. 에이전틱 AI를 신중하게 통합함으로써 기업은 윤리적이고 책임감 있는 거버넌스를 유지하면서 새로운 효율성과 혁신을 실현할 수 있습니다.

다음 사항을 주의 깊게 살펴보고 통합할 것을 권장합니다.

• 강력한 오케스트레이션: 상호작용을 관리하기 위한 포괄적인 오케스트레이션 레이어를 구축해 이른바 “에이전트 스프롤(Agent Sprawl)”을 방지합니다. ‘감독자’ 에이전트를 구현해 원활한 조정을 보장하고 사람의 감독을 유지해 자율적 의사 결정과 관련된 위험을 완화합니다.
• 적응형 보안 및 데이터 거버넌스: 에이전트가 민감한 데이터에 대해 더 많은 자율성을 갖게 되면서 강력한 감사 추적, 보안 액세스 제어, 지속적인 컴플라이언스 점검과 같은 엄격한 조치가 컴플라이언스를 보장하는 데 필수적입니다.
• 인적 감독 및 참여: 윤리적/규제적 이유뿐만 아니라 기술 위축을 방지하고 책임감을 보장하기 위해서도 사람이 프로세스의 필수적인 부분으로 남아 있어야 합니다.
• 반복적 확장: 제한된 파일럿으로 시작해 신중하게 결과를 측정하고 확장합니다. 이런 접근 방식은 위험을 완화하고 이해관계자의 동의를 이끌어냅니다.
• 명확한 가이드라인이 있는 윤리 및 컴플라이언스 프레임워크
• 업계 표준: 데이터 거버넌스 및 보안뿐만 아니라 에이전트 기능 및 통합을 위한 프로토콜에도 적용됩니다.

궁극적으로 에이전틱 AI의 성공은 문화, 프로세스, 위험 허용 범위 등 조직의 준비 상태와 함께 에이전틱 AI의 혁신과 민첩성을 통합하는 균형 잡힌 접근 방식에 달려 있습니다. 이런 기본 요건을 준수함으로써 기업은 강력하면서도 책임감 있게 관리되는 새로운 자동화 시대의 혁신적 잠재력을 활용할 수 있습니다.

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.