Samsung SDS

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]

AI 에이전트를 만드는 일은 이제 어렵지 않습니다. 정작 어려운 대목은 그 다음입니다. 만들어진 에이전트들이 서로 충돌하지 않고, 통제를 벗어나지 않고, 사람과 손발을 맞춰 일하게 하는 일 말입니다. 연주자가 아무리 많아도 지휘자가 없으면 오케스트라는 소음을 냅니다. 시험 삼아 몇 개의 에이전트를 돌려보던 기업이 수백, 수천 개를 운영 환경에 배포하는 순간, 승부처는 개별 에이전트의 성능에서 전체를 지휘하는 능력으로 옮겨갑니다. AI 에이전트 오케스트레이션 플랫폼이 올해 가장 주목 받는 AI 기술로 떠오른 배경입니다.

이 플랫폼은 역할 기반·작업 기반 AI 에이전트와 이들이 쓰는 도구, 데이터, 나아가 사람까지 하나의 다단계 워크플로로 통합합니다. 연결을 떠받치는 것은 두 가지 개방형 표준입니다. MCP(Model Context Protocol)는 에이전트가 정해진 정책 아래 도구와 데이터에 접근하게 해주고, A2A(Agent2Agent)는 서로 다른 플랫폼에서 만들어진 에이전트끼리도 서로를 찾아 작업을 넘길 수 있게 합니다. 오케스트레이션 계층은 그 위에서 라우팅과 공유 상태 관리, 가드레일, 거버넌스, 보안, 관측성(Observability)을 얹어 완전 자율형부터 사람의 검토를 거치는(Human-in-the-loop) 워크플로까지 안정적으로 돌아가게 만듭니다. 그러니 오케스트레이션은 모델이나 에이전트 하나의 층위에서 끝나는 이야기가 아닙니다. 인프라와 데이터, 모델, 애플리케이션을 관통하는 풀스택(Full-stack)의 과제입니다.

그런데 역설적이게도 지휘의 도구를 고르는 일부터가 만만치 않습니다. 시장에는 상용과 오픈소스를 합쳐 60개가 넘는 플랫폼이 나와 있습니다. 하이퍼스케일러는 물론 엔터프라이즈 SaaS, 프로세스 자동화, 고객 경험, 데이터 관리, AIOps, IT 인프라 영역의 공급업체까지 앞다투어 뛰어들었고, 데이터 패브릭이나 자동화 플랫폼이 그랬듯 기업은 두 개 이상을 병행하게 될 공산이 큽니다. 선택지가 많다고 선택까지 쉬워지지는 않습니다. 이제부터 살펴볼 다섯 가지 기준이 그 판단을 도울 것입니다.

AI가 AI를 움직이는 구조, 통제 장치부터 확인해야 합니다

판단은 다음의 세 가지 질문으로 시작하면 됩니다.

• ✓  누가, 혹은 무엇이 행동을 실행할 수 있는가.
• ✓  의사결정은 어떤 절차로 승인되는가.
• ✓  문제가 터졌을 때 책임은 어디에 있는가.

베린트(Verint)에서 글로벌 GTM 전략을 총괄하는 헤더 리처즈는 이 세 가지를 쉽게 정의할 수 없는 플랫폼, 즉 거버넌스와 가시성, 사람의 개입(Human Override)이 기본으로 깔려 있지 않은 오케스트레이션이라면 가치보다 위험을 먼저 키울 것이라고 경고합니다.

에이전트 간 상호작용과 의사결정 지점을 추적하는 관측성은 기본기에 해당합니다. 한 걸음 더 들어가면 컨텍스트 계층(Context Layer)이 나옵니다. 언어모델을 위한 검색 증강 생성(RAG), 지식 그래프(Knowledge Graph), 시맨틱 계층(Semantic Layer) 같은 자원에 대한 접근을 플랫폼이 어떻게 관리하는지가 사실 더 중요합니다. 어떤 컨텍스트가 쓰이는지 투명하게 보여주는지, 시스템과 에이전트와 사람 사이에서 작업을 배분하고 제어하는 계층이 있는지, 그리고 이런 거버넌스와 관측성이 나중에 덧붙인 것이 아니라 첫날부터 아키텍처에 설계돼 있었는지 확인할 필요가 있습니다.

신뢰의 문제도 있습니다. 임직원이 믿지 못하는 에이전트는 결국 쓰이지 않기 때문입니다. 플랫폼이 신뢰할 만한지는 다음의 몇 가지 질문으로 가려볼 수 있습니다.

• ✓  실제 비즈니스를 움직이는 시스템과 연결되는가.
• ✓  ERP와 공급망, 재무 플랫폼에서 미션 크리티컬한 로직을 믿고 실행할 수 있는가.
• ✓  비결정적인 AI에 결정적(Deterministic) 가드레일을 씌워 에이전트가 운영 환경에서 이탈하지 못하게 하는가.
• ✓  특정 LLM이나 프레임워크에 종속되지 않는가.
• ✓  완전한 감사 추적(Audit Trail)과 관측성으로 대규모 거버넌스가 가능한가.

이 다섯 가지를 통과한 플랫폼이라면 겉도는 AI 추론이 실제 실행으로 이어지고, 자율형 기업(Autonomous Enterprise)에도 한 걸음 다가설 수 있을 것입니다.

어려움은 배포가 아니라 그 다음 운영에서 시작됩니다

오케스트레이션 플랫폼에는 갈수록 많은 운영 워크플로가 모여듭니다. 중앙화가 효율을 낳는 건 분명하지만, 뒤집어 보면 여기가 무너질 때 전체가 멈추는 지점이 된다는 뜻이기도 합니다. 플랫폼의 보안과 성능, 안정성, 복원력이 규제 요건과 비기능적 요구사항(Non-functional Requirements)을 충족하는지 꼼꼼히 따져봐야 하는 이유입니다.

에이전트를 배포하는 것 자체는 어렵지 않습니다. 어려운 건 배포한 에이전트가 주변의 사람, 시스템과 조화를 이루며 안전하고 일관되게 굴러가도록 만드는 일입니다. 그래서 에이전트의 판단과 실행 사이에 통제 장치가 있는지, 장시간 실행되는 프로세스에서도 상태값을 잃지 않는지, 완전한 감사 추적을 기본으로 지원하는지를 확인해야 합니다. ID 관리와 모니터링, 에이전트 정확도 관리, 장애 대응 같은 에이전트 운영(Agentic Ops) 관행을 얼마나 받쳐주는지도 함께 볼 대목입니다.

한 가지 덧붙이자면, 워크플로 조율이나 에이전트 생애주기 관리에서 멈추는 솔루션으로는 부족합니다. 에이전트가 필요로 하는 답을 더 빠르고 정확하게 가져다주면서 보안·컴플라이언스 요건까지 챙기는 솔루션이어야 합니다. 서로 다른 인프라와 데이터 소스를 넘나들며 컨텍스트 수집과 결과 조합을 안전하게 처리하는 능력이 기업 AI의 성능은 물론 민첩성까지 좌우하기 때문입니다.

빨라진 개발 속도만큼 위험도 빨리 쌓입니다

AI 에이전트 테스트는 애플리케이션이나 API의 지속적 테스트(Continuous Testing)처럼 배포 전에 변경 사항을 검증하는 데서 출발합니다. 다만 거기서 끝나지 않습니다. 운영 환경에서 프롬프트와 응답, 실제 수행된 행동을 계속 평가하면서 에이전트가 예상 범위를 벗어나 표류하거나 통제를 이탈하지 않는지도 지켜봐야 합니다. 플랫폼 간 격차가 크게 벌어지는 지점이 바로 여기입니다. 에이전트 테스트를 어떻게 지원하는지, 운영 중 모니터링은 어떤 방식인지, 정확도를 끌어올릴 피드백을 한곳에 모아주는지를 견줘봐야 합니다.

배포 전 검증만으로는 부족하다는 전문가들의 지적도 새겨들을 만합니다. AI가 개발의 모든 단계를 가속하는 만큼, 딜리버리 파이프라인에 엄격한 자동 검증이 없으면 속도가 붙는 만큼 위험도 같이 쌓입니다(서클CI). 나아가 지속적인 결과 평가(Continuous Outcome Evaluation)가 플랫폼 자체의 핵심 기능이 아니라면 개선 속도가 떨어지고, 프로젝트는 결국 멈춰 서게 됩니다.

닫힌 플랫폼은 오래가지 못합니다

MCP와 A2A는 오케스트레이션 플랫폼이 개방형 표준을 지원하고 에이전트 생태계와 이어지는 대표적인 통로입니다. 여기에 더해 많은 플랫폼이 기반 AI 모델을 자유롭게 고르거나 갈아끼울 수 있게 하고, 여러 AI 코드 생성 도구와의 조합도 열어두고 있습니다. 이런 유연성이 있어야 성능과 정확도, 컴플라이언스, 비용, 그리고 아직 오지 않은 미래의 요구까지 놓고 최적점을 계속 조정할 수 있습니다.

실제 도입 기업도 같은 기준으로 플랫폼을 고릅니다. 금융 서비스 기업 프린시펄(Principal)은 조합 가능성(Composability)과 상호운용성(Interoperability)을 가장 먼저 봅니다. 지금 기능이 몇 개인지가 아니라, 회사의 AI 전략과 기술 스택, 달라지는 비즈니스 요구에 맞춰 모델과 데이터 소스, 에이전트 솔루션, 워크플로를 유연하게 연결할 수 있는지가 관건이라는 게 이 회사 최고데이터·분석책임자 라제시 아로라(Rajesh Arora)의 설명입니다. 에이전트 카탈로그 관리 기능이나 권한을 동적으로 구성하는 방식, 필요한 시스템과 바로 연동되는 사전 구축 커넥터(Prebuilt Connector)도 함께 확인하면 좋습니다.

플랫폼의 미래가 기술만으로 보장되는 것은 아닙니다. 오케스트레이션 플랫폼은 아직 신생 시장이라, 기술 리더는 재무·법무·컴플라이언스 부서와 손잡고 공급업체의 지속 가능성(Vendor Viability)까지 들여다봐야 합니다. 릴리스 노트와 로드맵에서 혁신과 거버넌스 사이의 균형 감각을 읽어내고, 고객 도입 사례와 지원 역량도 확인할 필요가 있습니다.

좋은 플랫폼은 에이전트와 워크플로, AI 도구 전반을 관통하는 통합 정책 계층을 갖춰, 현업은 자유롭게 만들고 IT와 보안 조직은 행동과 결과 수준의 가시성을 유지하게 해줍니다. 거버넌스가 현업의 개발 속도를 따라가지 못하면 혁신에 제동을 걸거나, 무엇이 만들어지고 있는지 놓치게 됩니다. 공급업체의 성숙도는 투자와 재무 건전성, 공개 로드맵의 명확성과 일관성, 커뮤니티의 규모와 활동성으로 가늠할 수 있습니다. 고객 기반이 넓은 공급업체일수록 이미 수많은 예외 상황을 겪어봤기 때문에, 실제 구축 과정도 그만큼 수월해집니다.

플랫폼을 고르는 일은 거버넌스를 설계하는 일입니다

수많은 선택지 앞에서 던져야 할 질문은 어떤 플랫폼이 가장 뛰어난가 보다 어떤 플랫폼을 우리가 확실히 통제할 수 있는가에 가깝습니다. 지금까지 살펴본 다섯 가지 기준, 즉 관측 가능한 통제와 신뢰, 안전하고 복원력 있는 운영, 통합된 테스트와 피드백, 상호운용성과 개방형 표준, 공급업체의 지속 가능성도 사실 하나의 물음을 다섯 각도에서 확인하는 것입니다. 이 플랫폼 위에서 에이전트의 자율성과 조직의 책임을 둘 다 지킬 수 있는가 하는 고찰입니다.

이 물음에 답하려면 시야를 플랫폼 하나에 가둬서는 곤란합니다. 오케스트레이션은 인프라와 데이터, 모델, 그리고 ERP·공급망 같은 실제 업무 시스템까지 전 계층이 맞물려야 비로소 작동하는 풀스택의 과제이기 때문입니다. 많은 기업이 아직 도입 초기에 있고, 개념검증(PoC)을 운영 환경으로 옮기는 길목에 서 있습니다. 에이전트를 만드는 역량이 이미 흔해지고 있는 지금, 앞으로의 격차는 얼마나 잘 만드느냐보다 얼마나 깊이 통제하며 지휘하느냐에서 벌어질 것입니다.

FAQ

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.