엔터프라이즈 환경에서 Agentic AI 운영을 좌우하는 아키텍처 포인트

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]

핵심 인사이트

• Agentic AI란 목표 달성을 위해 여러 시스템을 넘나들며 스스로 판단하고 실행하는 자율형 AI입니다.
• Enterprise Agentic AI의 핵심 과제는 알고리즘이 아니라, 데이터 품질, 통합된 구조, 에이전트 계층을 포함한 엔터프라이즈 아키텍처의 성숙도입니다.
• Enterprise Agentic AI의 성공적인 도입은 완벽한 설계보다 180일 내 E2E Agentic 프로세스를 실제로 구현하는 실행 중심의 접근에서 시작됩니다.

많은 IT 리더는 Agentic AI에 투자하고 있다고 말하지만, 대기업이 보유한 복잡한 엔터프라이즈 아키텍처는 이 기술이 요구하는 수준을 따라가지 못하는 경우가 많습니다. 이 간극을 해소하기 위해서는 특정 영역에 집중해 아키텍처 성숙도를 끌어올리고, 기술 부채와 데이터 품질, 시스템 통합 문제를 함께 고려하면서 새로운 역량을 추가해야 할 것입니다.

Agentic AI는 지난 2년간 많은 기업이 도입해 온 생성형 AI 도구와는 근본적으로 다른 방식으로 작동합니다. ChatGPT 같은 어시스턴트가 데이터를 분석하고 사람이 실행할 행동을 추천하는 데 그쳤다면, Agentic AI 시스템은 비즈니스 목표를 달성하기 위해 스스로 여러 자율적인 행동을 수행합니다. 이러한 시스템은 프런트 오피스, 미들 오피스, 백 오피스 전반의 데이터는 물론 외부 데이터 소스까지 접근합니다. 또한 기존의 기능 중심의 사일로를 허물고, 사람의 개입 없이 기획부터 실행, 결과까지 비즈니스 전 과정을 하나로 연결해 자동화합니다.

액센추어(Accenture)가 지난해 말 전 세계 경영진 3,650명을 대상으로 실시한 ‘펄스 오브 체인지(Pulse of Change)’ 설문조사에 따르면, 응답자 가운데 67%는 AI가 기업의 핵심 영역을 상당 부분 또는 완전히 변화시킬 것이라고 답했습니다. 이 가운데 15%는 Agentic AI 관련 PoC를 진행 중이라고 밝혔으며, 31%는 특정 기능에서 파일럿 프로그램을 운영하고 있다고 답했습니다. 또, 31%는 이미 여러 기능에 걸쳐 에이전트를 실제로 배포하고 있다고 응답했습니다.

이는 에이전틱 AI가 이미 업무 현장에 자리 잡고 있지만 대부분의 기업이 여전히 초기 단계에 있음을 시사합니다. PoC나 제한적인 파일럿 단계를 넘어 확산하기 위해서는, 시스템 경계를 넘나드는 자율 운영을 지원할 수 있도록 인프라를 조정하는 작업이 필요합니다.

Enterprise Agentic AI 도입 핵심 체크리스트 3가지

1. 데이터 품질을 위한 새로운 기준과 안전장치 마련

자율 에이전트가 불완전한 데이터에 기반해 워크플로우를 변경할 경우, 문제가 인지되기 전에 오류가 여러 시스템으로 확산될 수 있급니다. 이를 방지하려면 사람의 개입 절차를 비롯해 감사 가능성(Auditability) 및 관찰 가능성(observability)을 갖춘 체계를 마련해야 합니다.

실행 방안:

비즈니스에서 중요한 하나의 도메인(예: 고객, 제품 또는 재무 데이터)을 선정해 품질 기준을 재정비합니다. 에이전트 운영에 영향을 미치기 전에 이상 징후를 감지할 수 있도록 자동화된 품질 모니터링을 구현합니다. 동시에 비즈니스 부서와 협력해 데이터 품질 거버넌스 모델을 수립하고, 이를 한 영역에서 테스트 및 검증한 뒤 다른 영역으로 확산하도록 합니다.

2. 통합 아키텍처를 에이전트 친화적으로 전환

기존 API와 같은 전통적인 인터페이스는 시스템 간 데이터 이동에는 효과적이지만, 에이전트가 비즈니스 기능 전반의 데이터를 이해하고 접근하며 조율하는 데 필요한 맥락까지 제공하지는 못합니다. 이를 위해서는 단순한 데이터 교환을 넘어, 에이전트가 스스로 해석하고 활용할 수 있는 에이전트 친화적 인터페이스가 필요합니다.

실행 방안:

에이전트가 특히 자주 오케스트레이션하게 될 시스템에 투자를 집중합니다. 실제로 고객사에서 가장 빈번하게 활용되는 영역은 고객 접점 운영, 재무 워크플로우, HR 플랫폼, IT 인프라, 컴플라이언스 입니다. 이러한 핵심 영역부터 먼저 에이전트 친화적 API를 구축하는 것이 중요합니다. 데이터만 전달하는 방식에서 벗어나, 에이전트가 스스로 이해할 수 있도록 비즈니스 맥락과 규칙까지 함께 전달하는 이벤트 기반 아키텍처를 우선 도입하는 것이 좋습니다. 특히 처리 속도가 중요한 업무의 경우에는 이벤트를 실시간으로 전달하고 처리하는 아키텍처 패턴 도입과 실시간 데이터 통합을 병행하는 것이 효과적일 수 있습니다.

3. 자율 운영을 가능하게 하는 새로운 아키텍처 계층을 구축

각 조직은 엔터프라이즈 아키텍처 내에 ‘에이전트 계층(agent tier)’을 새롭게 구성해야 합니다. 이 계층은 다음 요소로 구성됩니다.

• 추론 기능을 제공하는 인지형 AI(cognitive AI)
• 적절한 애플리케이션을 호출하는 자율 오케스트레이션 시스템
• AI 에이전트를 온보딩하고 업데이트하며 모니터링하는 에이전트 수명주기 관리
• 의미 기반 연결 계층(semantic spine) - 에이전트 친화적 API 등을 통해 서로 다른 데이터 사일로를 연결하며 추론할 수 있도록 돕는 추가적인 의미 계층

이러한 에이전트 계층은 기존 인프라를 대체하는 것이 아니라, 기존 인프라를 확장하고 보완하는 형태로 구축할 수 있습니다.

실행 방안:

부가가치가 높은 유즈케이스를 대상으로 에이전트 계층을 설계하고 구현할 전사 차원의 협업 팀을 구성해야 합니다. 고객 접점 또는 매출 창출과 직접적으로 연결된 프로세스에 집중하는 것이 바람직하며, 초기 구현 단계에서 아키텍처가 완벽하지 않을 수 있다는 점을 전제로 접근할 필요가 있습니다. 이 팀의 주요 목표는 Agentic 아키텍처가 제공할 수 있는 잠재적 가치를 보여주는 동시에, 향후 확산하려면 어떤 요건이 필요한지를 구체적으로 파악하는 데 있습니다.

전략에서 실행까지, 180일로 완성하는 첫 Agentic AI

대기업에서 엔터프라이즈 아키텍처를 구축하는 이니셔티브는 일반적으로 18개월에서 24개월에 걸쳐 진행됩니다. 그러나 Agentic AI의 높은 비즈니스 가치에 대한 기대가 커지면서, 기존보다 훨씬 빠른 속도로 추진해야 할 필요성이 커지고 있는 상황입니다. 액센추어(Accenture)의 설문조사에 따르면, 전체 기업의 21%는 AI를 중심에 두고 E2E(end-to-end) 프로세스를 재설계하고 있으며, 45%는 AI를 활용해 여러 프로세스를 하나로 통합하고 있습니다.

이 때문에 우리는 이제 보다 도전적인 이정표를 세울 필요가 있습니다. 전략 수립까지 60일, 에이전트 계층 구축까지 90일, 첫 E2E 애플리케이션 제공까지 180일을 목표로 삼는 것입니다. 이런 접근은 장기간의 계획 수립보다 빠른 실행을 통해 엔터프라이즈 아키텍처의 성숙도를 높이는 접근 방식입니다.

[1~60일 차] 전략 수립 및 진단

4~8주에 걸쳐 엔터프라이즈 아키텍처 성숙도 진단을 수행해, 에이전트가 대규모로 작동하는 데 문제가 될 수 있는 구체적인 이슈를 파악합니다. 동시에 고객 접점 프로세스, 매출 창출 가능성, 180일 내 구현 가능성 등을 기준으로 어떤 프로세스에 집중할지 평가합니다. 이 과정에서 자체 에이전트 개발이 차별적인 경쟁 우위를 만들 수 있는 영역도 함께 검토할 수 있습니다.

[61~90일 차] 기반 구축

선정한 유즈케이스를 중심으로 에이전트 계층을 구축합니다. 해당 유즈케이스에 필요한 시스템의 데이터 거버넌스와 API 역량을 업그레이드합니다. 감사 가능성과 관찰 가능성 메커니즘을 구현하고, 관련 시스템들의 데이터를 에이전트가 해석할 수 있도록 의미 기반 연결 계층(semantic spine)을 구축합니다.

[91~180일 차] 배포 및 검증

첫 E2E Agentic 애플리케이션을 출시합니다. 이후 자율적 의사결정이 효과적으로 작동하는 영역과 여전히 사람의 감독이 필요한 영역을 중심으로 성능을 면밀히 모니터링 합니다. 실제 구현 결과를 바탕으로 아키텍처 선택의 적절성을 검증하고, 전사 확산에 앞서 보완이 필요한 요소를 도출합니다.

파일럿 이후를 대비하라, Agentic AI 확산 전략

성공적인 초기 구현 사례를 확보한 뒤에는 12주 이내에 핵심 디지털 시스템 전반에 대한 진단을 수행해 Agentic 워크플로우의 전사 확산 계획을 수립합니다. 그동안 얻은 인사이트를 바탕으로, 빠르게 변화하고 전략적 중요도가 높은 프로세스에는 맞춤형 에이전트를 구축합니다. 동시에 백오피스 운영과 같이 표준화가 가능한 기능에는 상용 플랫폼을 도입해 자원 투입이 큰 프로젝트와 균형을 맞춥니다. 180일간의 구현 경험을 토대로 통합의 우선순위와 확장된 유스케이스를 위한 거버넌스 프레임워크를 정립하는 작업도 병행해야 합니다.

현재의 기업 역량과 에이전틱 AI가 요구하는 엔터프라이즈 아키텍처 수준에는 여전히 상당한 격차가 있습니다. 그러나 완벽하지 않더라도 180일 이내에 기초적인 Agentic 아키텍처를 구축한 기업은 경쟁사들이 여전히 파일럿 단계에 머무는 동안 실질적인 가치를 선점할 기회를 얻게 될 것입니다.

FAQ

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.