Samsung SDS

“단순히 명령을 이해하는 AI의 시대는 막을 내렸습니다. 이제 시장은 인간의 개입 없이 스스로 계획하고 사내 시스템과 연동해 복잡한 과제를 완수하는 ‘자율 실행형 AI 에이전트(AI Agent)’를 요구하고 있습니다.”

생성형AI(GenAI) 도입이 기업의 업무 효율을 무려 88% 향상시켰다는 혁신 가치에도 불구하고, 한 단계 진화한 ‘AI Agent’를 맞이하는 국내 기업 현장의 실태는 여전히 탐색과 혼돈의 경계에 서 있습니다. 기업의 직장인들은 이 패러다임 전환을 맞이할 준비가 되어 있을까요?

1. AI Agent, 들어는 봤지만, 실체는 모호하다.

국내 직장인들이 GenAI 기술 용어들에 대하여 얼마나 잘 이해하고 있는지를 조사한 결과, AI Agent(61%)가 거대 언어 모델(LLM, 53%)이나 프롬프트 엔지니어링 (51%)보다 높게 나타났습니다. 그러나 AI Agent를 잘 이해한다고 답한 응답자(61%)를 대상으로 AI Agent의 기술적 정의를 검증한 결과, AI Agent의 정확한 정의(목표 기반 자율 실행형 시스템)를 올바르게 선택한 응답자는 53%였으며, 이를 전체 응답자 기준으로 환산하면 약 32%에 불과합니다. 대다수의 직원은 여전히 AI Agent를 기존의 단순 대화형 챗봇이나 정해진 명령만 수행하는 자동화 툴과 혼동하고 있는 것으로 분석됩니다.

[그림1] 개념 별 인지 및 이해도(출처: 삼성SDS)

개념별 인지 및 이해도(5점 척도) / 인지 및 이해함%

Total

• 거대 언어 모델(LLM) 53%
• 프롬프트 엔지니어링 51%
• 환각 현상 50%
• RAG 46%
• 오케스트레이션 33%
• Al 에이전트 61%

IT 부서 700명(Base)

• 거대 언어 모델(LLM) 74%
• 프롬프트 엔지니어링 71%
• 환각 현상 68%
• RAG 58%
• 오케스트레이션 50%
• Al 에이전트 78%

IT이외 부서 1,050명(Base)

• 거대 언어 모델(LLM) 39%
• 프롬프트 엔지니어링 38%
• 환각 현상 38%
• RAG 37%
• 오케스트레이션 22%
• Al 에이전트 50%

[Base: 전체 응답자, n=1,750명, 5점 척도, unit:잘 이해함+전문가 수준 이해함%]

[그림 2] AI Agent 개념 이해 현황(출처: 삼성SDS)

Al Agent 개념 이해 현황 명확한 지시에 따라 특정 작업을 대신 수행하는 AI 시스템이라고 생각함 / 37% 일반적인 AI 챗봇과 유사하다고 생각함 / 10% 목표 기반으로 스스로 계획·도구를 연계하여 복합 문제를 해결하는 자율 실행형 AI 시스템이라고 생각함 / 53% [Base: Al Agent를 이해한다고 답한 응답자, n=1,065명, 단수 응답, unit: %]

2. 기업 내 정책 부재가 초래한 도입 지연

현재 AI Agent를 실제 업무에 적용하고 있는 직원은 전체 응답자의 17%로, 아직은 탐색 단계에 머물러 있습니다. 직장인들이 AI Agent를 실무에 선뜻 도입하지 못하는 핵심 원인은 개인의 거부감이 아닌 ‘기업 차원의 제도적 지원 미비’였습니다.

AI Agent를 쓰지 못하는 구체적인 이유로 ‘회사 내에 AI Agent를 어떻게 써야 하는지 안내나 정책이 없다’(34%)라는 응답이 가장 많았고, ‘회사에서 공식적으로 제공하거나 허용하지 않는다’(33%)가 바로 뒤를 이었습니다.

[그림3] AI Agent 미활용 이유(출처: 삼성SDS)

Al Agent 미활용 이유 (복수응답) 회사 내 Al Agent 가이드/정책 부재 : 34% 회사에서 Al Agent를 제공하지 않음 : 33% Al Agent 사용에 따른 비용 부담이 있음 : 23% 현재 업무에 적합한 Al Agent가 없음 : 23% 기존 GenAl Tool 만으로도 충분함 : 22% Al Agent의 신뢰가 부족함 : 17% 업무에 어떻게 적용할지 모름 : 16% [Base: Al Agent 개념을 정확하게 인지하는 응답자 가운데 비사용자, n=274, 복수 응답, unit:%]

실제로 조사 대상의 47%가 “회사의 AI 보안 지침이 부족하다”라고 진단했습니다. 반면 “업무 시 보안 수칙을 스스로 조심하며 지키고 있다”라는 응답은 54%에 달해, 실무자들의 안전한 AI 활용을 지원하기 위해, 기업의 공식적인 보안 가이드라인과 지침 수립을 서둘러야 할 필요성이 확인되었습니다.

이는 단순히 새로운 플랫폼이나 솔루션을 도입하는 것만으로는 AX(AI 전환)를 완성할 수 없음을 말해줍니다. 직원들이 실제 업무 현장에서 AI Agent를 성공적으로 안착시키기 위해서는 전사적 업무 프로세스 재설계, 거버넌스 및 보안 규칙 정립, 전사 변화 관리, 그리고 도입 이후의 안정적인 유지보수까지 아우르는 ‘종합적인 End-to-End 컨설팅’이 반드시 함께 이루어져야 합니다.

3. 현업이 직접 만드는 AI Agent 시대의 도래

AI Agent의 정의를 명확히 이해하고 있는 그룹에서는 의미 있는 변화가 일어나고 있습니다. 이들 중 39%는 이미 실무 생산성 향상을 위해 AI Agent를 직접 설계하거나 구축해 본 경험이 있었습니다.

특히 이들이 선택한 구현 방식을 보면, 외부 툴을 그대로 쓰기보다 ‘개인 PC 및 사내 내부 서버 구축(41%)’, ‘사내 업무 시스템 및 데이터베이스 연계(40%)’를 최우선으로 고려했습니다. 이는 중요 자산인 사내 데이터 유출을 원천 차단하면서, 기업 레거시 시스템(ERP, CRM 등)과의 긴밀한 결합을 통해 실질적인 업무 효율을 내기 위함입니다.

[그림4] AI Agent 구현 시 사용한 기술 및 개발 환경(출처: 삼성SDS)

Al Agent 구현 시 사용한 기술 및 개발 환경(복수응답)

• 로컬/프라이빗 환경 : 개인 PC/사내 폐쇄행 서버에 직접 모델 설치/연동 / 41%
• 사내 업무 시스템/데이터베이스 연계 : ERP, CRM, SCM 등 레거시 시스템, 이메일, 슬랙 / 40%
• 표준 프로토콜(MCP) 활용 : 데이터-모델 간 표준 연결 방식 적용 / 38%
• 노코드(No-code) AI 제작 도구 : 코딩 없이 워크플로우를 설계하는 도구 / 32%
• 고도화된 검색 기술 적용 : Graph RAG, Vector Rag 등 지식 베이스 구축 / 30%
• 플랫폼 내장 빌더 활용 : 기존 GenAl 서비스 내의 간이 에이전트 제작 기능 / 29%
• 전문 프레임워크 활용 : LangChain 등 라이브러리를 활용한 직접 개발 / 28%
• [Base: Al Agent 개념을 정확하게 인지하는 등답자 가운데 Al Agent 구축 경림자, n=221명, 복수 믕답, unit:%]

나아가 향후 비즈니스 현장에서 AI Agent를 과연 누가 만드는 것이 실무적으로 가장 효율적일지에 대해서는 ‘현업 부서와 사내 IT 부서의 혼합형 방식(34%)’이 가장 높은 선호도를 보였으며, ‘사내 IT 부서가 안전한 기본 템플릿을 제공하면 현업 담당자가 자기 직무에 맞게 직접 수정(Customize)해서 쓰는 방식(20%)’이 그 뒤를 이었습니다. 이를 통해 개발 과정에 현업이 주도적으로 참여하고자 하는 요구가 매우 강함을 알 수 있습니다.

4. 기업용 플랫폼의 필수 요건 : 보안과 연동성

국내 기업 재직자들이 AI Agent 도입 시 우려하는 페인 포인트(Pain Point)는 ‘사내 정보 및 개인정보 유출(52%)’이 압도적 1위였습니다. 이어서 가성비와 비용 부담(40%), 사내 시스템과의 연동 제한(36%)이 꼽혔습니다.

[그림5] AI Agent 활용 시 경험하거나 예상되는 우려 사항(출처: 삼성SDS)

Al Agent 활용 시 경험하거나 예상되는 우려 사항(복수응답)

• 보안·데이터 유출 우려 : 52%
• 비용 부담(구독료, API 호출 비용 등) : 40%
• 사내 시스템 연동 제한 : 36%
• 승인·정책 제약 : 33%
• 성능·정확성 불안정 : 32%
• 사용 복잡성(설정·연동 어려움) : 25%
• 활용 사례·가이드 부족 : 24%
• 외부 도구 연계 어려움 : 22%
• IT 지원·피드백 지연 : 17%

[Base: 전체 응답자, n=1,750명, 3순위 응답, unit:1+2+3순위%]

이러한 우려는 글로벌 시장에서도 동일하게 나타납니다. 맥킨지(McKinsey)가 발표한 ‘2026 AI Trust Maturity Survey’ 에 따르면, 글로벌 기업 리더의 60% 이상이 AI Agent 확장의 최대 걸림돌로 보안과 리스크 관리 문제를 지적한 바 있습니다.

하지만 역설적으로, 기업의 보안 규정을 완벽히 준수하는 전용 플랫폼만 제공된다면 전체 응답자의 95%가 AI Agent를 적극적으로 활용하겠다는 강력한 의사를 표명했습니다. 플랫폼 선택 시 가장 중요하게 보는 요소 역시 안전한 데이터 보호(54%)와 기존 사내 시스템과의 원활한 연동성(51%)이었습니다.

[그림6] AI Agent Platform 선택 시 고려 요소(출처: 삼성SDS)

Al Agent Platform 선택 시 고려요소 (복수응답)

• 기업 보안 정책 준수 및 데이터 보호 기능 : 54%
• 기존 사내 시스템과의 원활한 연동 및 확장성 : 51%
• 다양한 LLM 선택 및 전환 가능 여부 : 38%
• 비개발자도 Agent를 쉽게 설계/ 구축할 수 있는 직관적인 UI : 38%
• 합리적이고 투명한 비용 정책 : 34%
• Agent 성능 모니터링, 로그 분석 및 지속적인 개선 기능 : 24%
• Agent 공유 및 협업을 위한 마켓플레이스/라이브러리 기능 : 16%
• Low-code/No-code 개발 환경 제공 : 13%

[Base: Al Agent 개념을 정확하게 인지하는 음답자, n=566명, 복수 음담(최대 3개), unit:%]

마치며 : AX 성공을 위한 삼성SDS의 제언

국내 직장인들이 생각하는 기업 AI 전환(AX)의 최우선 성공 조건은 ‘명확한 AI 전환 전략 수립 및 방향성 공유(37%)’, ‘직무별 특화된 AI 환경 제공(31%)’, 그리고 ‘서버 및 인프라 투자(31%)’ 순이었습니다.

딜로이트(Deloitte)의 ‘2026 State of AI in the Enterprise’ 리포트는 2027년까지 글로벌 기업의 74%가 AI Agent를 도입할 것으로 전망하면서도, 이를 안전하게 통제하고 운영할 체계를 갖춘 기업은 21%에 불과하다고 경고했습니다.

현시점 시장이 필요로 하는 것은 단순한 기술 공급 기업이 아닙니다. 전사 비전 아래 부서별 맞춤형 환경을 설계해 줄 ‘전략적 컨설팅 파트너’와, 보안 울타리 안에서 시스템 연동을 완벽히 보장할 ‘안전한 플랫폼 제공자’의 결합입니다.

이번 조사 결과가 보여주듯 AI Agent의 성공은 기술보다 보안과 운영 체계에 달려 있습니다. 삼성SDS는 이러한 기업의 AI 전환 여정을 지원하는 통합 파트너로서, 기업들이 리스크 없이 비즈니스 혁신과 생산성 고도화에만 집중할 수 있도록 안전한 엔터프라이즈 AI Agent 환경 구축을 함께합니다.

※ 본 조사에 대한 더 자세한 내용은 첨부된 리포트에서 확인하실 수 있습니다.

원문 다운로드

FAQ