AXPERT INTERVIEW | ChatGPT Enterprise 도입, 기업의 의사결정 방식은 어떻게 달라질까요

핵심 인사이트

• ChatGPT Enterprise는 단순한 업무 보조를 넘어 조직 운영 방식과 의사결정 구조 자체를 고도화합니다.
• RAG(Retrieval-Augmented Generation)와 사내 시스템 연계를 통해 조직 단위의 지식 활용 역량을 비약적으로 높입니다.
• AI 성과는 기술 자체보다 조직, 데이터, 프로세스 준비에 따라 크게 달라집니다. 성공적인 도입을 위해서는 기술적 가능성 외에도 충분한 준비가 필요합니다.

ChatGPT Enterprise는 기업의 의사결정, 지식 노동, AX 실행 전략을 변화시키는 Enterprise AI 플랫폼입니다. 특히 기업 환경에서 보안과 관리 체계를 기반으로 생성형 AI를 활용할 수 있도록 설계되어, 많은 기업이 업무 혁신과 AX 전략의 핵심 도구로 검토하고 있습니다.

삼성SDS는 ChatGPT Enterprise 전문 리셀러로서 다양한 기업 고객과 함께 생성형 AI 도입과 활용 전략을 고민하고 있습니다. 세 차례의 인터뷰 시리즈를 통해 ChatGPT Enterprise를 중심으로 기업의 의사결정 구조와 지식 노동 방식, 그리고 AX 실행 전략이 어떻게 변화하고 있는지 살펴보았습니다.

그 가운데 이번 인터뷰에서는 ChatGPT Enterprise가 고객에게 제공하는 주요 가치와 함께, 도입 시 주의해야 할 점, 장기적인 성공을 위한 준비 사항을 자세히 살펴봅니다.

삼성SDS AI실행그룹 이준형 상무 (출처: 삼성SDS)

이준형 상무가 책상에 앉아 정면을 바라보며 환하게 웃고 있다

Q1. ChatGPT Enterprise 도입을 고려하는 기업들이 가장 궁금해하는 점은 무엇이며, 어떤 가치를 기대할 수 있을까요? 기존 방식으로는 한계가 있었던 영역을 구체적인 사례와 함께 설명해 주세요.

고객들이 가장 궁금해하는 점은 “우리 회사에 ChatGPT Enterprise가 실제로 어떤 변화를 가져올 수 있을까?”입니다. 단순히 업무 효율성을 높이는 것을 넘어, 조직 운영 방식 자체를 재설계할 수 있다는 점에 큰 관심을 보입니다.

예를 들어, 기존에는 여러 부서에 흩어져 있는 정보를 찾고 분석하는 데 많은 시간이 소요되었습니다. ChatGPT Enterprise 환경에서는 RAG 기반 사내 지식 검색과 시스템 연동을 통해 실시간 지식 어시스트 환경을 구축할 수 있습니다. 단순히 검색 결과를 보여주는 것이 아니라, 맥락을 이해하고 요약하며 비교 분석하여 인사이트를 도출하는 방식으로 지식 활용이 가능해집니다. 이를 통해 고객은 조직 단위의 지식 활용 역량을 비약적으로 끌어올릴 수 있습니다.

자료 분석 요약, 구조화된 리서치, 코드 및 데이터 분석 지원, 의사결정 옵션 비교, 정책 및 계약서 비교 분석과 같은 영역에서 고객은 기존보다 훨씬 더 빠르고 정교한 판단을 할 수 있습니다. 기존 방식에서는 이러한 업무가 개별 담당자의 역량과 시간에 크게 의존했기 때문에 속도와 품질 모두에서 한계가 있었습니다.

결국 ChatGPT Enterprise의 본질적인 가치는 인력을 그대로 유지하면서도 비용 부담을 크게 증가시키지 않으면서 조직 역량을 상향 평준화시켜 조직의 평균 사고 수준과 실행 속도를 동시에 끌어올릴 수 있다는 데 있습니다.

Q2. ChatGPT Enterprise 관련 기술 트렌드는 빠르게 변화하고 있습니다. 꾸준히 학습하지 않으면 고객에게 어떤 잘못된 판단이나 위험이 있을 수 있나요? 학습해야 할 주요 기술 트렌드는 무엇인가요?

AX Tech 관점에서 보면, ChatGPT Enterprise는 기술, 보안, 거버넌스, 가격 정책이 매우 빠르게 진화하는 플랫폼입니다. 앞서 말씀드렸듯이, 단순한 툴이 아니라 고객 조직의 업무 구조와 의사결정 구조를 바꾸는 인프라입니다.

지속적인 학습이 없으면 단순한 기술적 오판을 넘어 전략적 판단 오류로 이어질 수 있습니다. 예를 들어, 최신 모델의 성능 향상을 놓치면 경쟁사보다 뒤쳐질 수 있고, 보안 업데이트를 놓치면 데이터 유출 위험에 노출될 수 있습니다. 또한, 새로운 규제 변화에 대한 이해 부족은 법적 문제로 이어질 수 있습니다.

따라서 기업에 정확하고 책임 있는 방향을 제시하려면, 단순 기술뿐 아니라 보안, 거버넌스, 비용, 운영 모델까지 통합적으로 이해하는 지속 학습 체계가 필수라고 생각합니다.

Q3. ChatGPT Enterprise가 실제로 비즈니스 혁신으로 이어지기 위해, 기술 외에 조직, 데이터, 프로세스 측면에서 반드시 갖춰져야 할 전제 조건은 무엇이라고 보시나요? 각 조건에 대한 구체적인 실행 방안을 예시로 제시해 주세요.

ChatGPT Enterprise 도입의 본질은 기술 도입이 아니라 업무 체계 재설계라고 생각합니다. 기업이 실제 비즈니스 혁신을 이루려면 세 가지 전제 조건이 필요합니다.

첫째, 조직은 명확한 오너십과 거버넌스를 가져야 합니다. AI 활용 기준을 수립하고 관련 역할을 재정의하는 작업이 함께 이루어져야 합니다. 예를 들어, AI 거버넌스 위원회를 구성하여 AI 활용 정책을 수립하고, AI 윤리 가이드라인을 마련해야 합니다. 또한, 각 부서별로 AI 활용 담당자를 지정하여 AI 도입 및 확산을 주도해야 합니다.

둘째, 문서 표준화와 메타데이터 정비 등을 통해 정제된 내부 데이터 자산화를 추진해야 합니다. 데이터 신뢰성이 확보되지 않으면 AI가 참고하는 정보의 품질도 흔들릴 수밖에 없습니다. 예를 들어, 데이터 품질 관리 시스템을 구축하고, 데이터 표준화 가이드라인을 마련해야 합니다. 또한, 데이터 정제 및 보강 작업을 통해 데이터 품질을 개선해야 합니다.

셋째, 업무 프로세스를 AI 전제로 재설계해야 합니다. 중요한 것은 AI를 어디에 쓸 수 있는가를 나열하는 것이 아니라, 어디에 써야 가장 큰 효과를 낼 수 있는가를 정의하는 것입니다. 예를 들어, AI를 활용하여 반복적인 업무를 자동화하고, 의사결정 프로세스를 개선해야 합니다. 또한, AI 결과를 검증하고, 오류를 수정하는 프로세스를 구축해야 합니다.

이 세 가지가 갖춰지지 않으면 AI는 실험 단계에 머무를 수 있지만, 잘 갖춰진다면 전사 생산성 구조 자체를 바꾸는 혁신 도구로 활용할 수 있을 것입니다.

Q4. ChatGPT Enterprise 도입을 서두르는 기업들이 기술적으로 가능하더라도 지금은 권하지 않는 활용 방식이나 접근이 있다면 무엇인가요? 그 이유도 함께 설명해 주세요.

ChatGPT Enterprise 도입 초기에는 몇 가지 접근을 조심해야 합니다.

• 전사 차원의 전면 자동화: 모든 업무를 한 번에 자동화하려고 하면 예상치 못한 오류가 발생하고, 시스템 장애로 이어질 수 있습니다. 작은 규모부터 시작하여 점진적으로 자동화 범위를 확대하는 것이 좋습니다.
• 검증 없는 대외 커뮤니케이션 자료 자동 생성: AI가 생성한 콘텐츠는 정확성과 신뢰성이 떨어질 수 있습니다. 대외 커뮤니케이션 자료는 반드시 전문가의 검토를 거쳐야 합니다.
• 보안 및 거버넌스 설계 없는 커넥터 확장: 커넥터를 무분별하게 확장하면 데이터 유출 및 보안 취약점 발생 위험이 높아집니다. 보안 및 거버넌스 정책을 수립하고, 커넥터 사용을 통제해야 합니다.
• ROI 정의 없는 유행형 도입: ROI (Return on Investment)를 정의하지 않고 ChatGPT Enterprise를 도입하면 투자 대비 효과를 측정하기 어렵습니다. 도입 목적을 명확히 하고, ROI를 측정할 수 있는 지표를 설정해야 합니다.
• 모델에 과도한 의사결정 권한 부여: AI는 도구일 뿐이며, 최종 의사결정은 사람이 내려야 합니다. AI 결과를 참고하되, 최종 의사결정은 전문가의 판단에 따라 이루어져야 합니다.
• 프롬프트 역량을 개인 의존으로 방치: 프롬프트 엔지니어링은 ChatGPT Enterprise 활용의 핵심입니다. 프롬프트 역량을 개인에 의존하면 일관성 있는 결과를 얻기 어렵습니다. 프롬프트 엔지니어링 교육을 통해 조직 전체의 프롬프트 역량을 강화해야 합니다.

이러한 방식은 대부분 기술적으로 가능하다는 이유만으로 조직도 준비되어 있을 것이라고 가정에서 출발합니다. 하지만 실제로는 그 가정이 가장 위험할 수 있습니다. ChatGPT Enterprise를 안정적으로 활용하려면 기술 가능성보다 먼저 데이터 정비, 권한 구조 설계, 검증 프로세스 구축, 점진적 자동화와 같은 전제 조건이 함께 마련되어야 하기 때문입니다.

Q5. ChatGPT Enterprise 기술 전문가로서, 고객이 ChatGPT Enterprise를 단기 성과가 아닌 장기적인 기술 자산으로 활용하도록 돕기 위해 앞으로 어떤 역할을 하고 싶으신가요? 이를 위해 지금보다 더 강화하고자 하는 기술적·조직적 방향성이 있다면 말씀해 주세요.

삼성SDS는 고객이 ChatGPT Enterprise를 업무 보조 도구로 소비하는 것이 아니라, 조직 운영 방식을 혁신하고 이를 장기적인 기술 자산으로 축적할 수 있도록 돕는 역할을 하고자 합니다. 다시 말씀드리면, 고객 조직 안에 AI가 자연스럽게 내재화될 수 있도록 설계하는 아키텍트 역할을 지향하고 있습니다.

이를 위해 다음과 같은 노력을 강화하고 합니다.

• 기술 아키텍처 지원: SSO, 데이터 연계, 감사 및 로깅 체계, 비용 최적화 설계 및 구축과 같은 기술 아키텍처 지원을 강화하여 고객이 안정적으로 ChatGPT Enterprise를 활용할 수 있도록 돕습니다.
• AI 리더 양성: 고객 내부 AI 리더를 양성하여 고객 스스로 AI 전략을 수립하고 실행할 수 있도록 지원합니다.
• AI 활용 표준 가이드 수립: AI 활용 표준 가이드라인을 수립하여 고객이 일관성 있고 효율적으로 AI를 활용할 수 있도록 돕습니다.
• 확산 전략 설계: AI 확산 전략을 설계하여 고객이 조직 전체에 AI를 확산시킬 수 있도록 지원합니다.

궁극적으로는 고객이 단기 성과를 넘어 AI CoE (Center of Excellence)를 구축하고, AI 거버넌스 문화를 내재화할 수 있도록 돕는 것이 중요하다고 생각합니다. 이러한 부분이 고객에게 제공할 수 있는 차별화된 부가가치가 될 수 있다고 봅니다.

Q6. 향후 2~3년을 기준으로 볼 때, ChatGPT Enterprise 기술이 고객사의 의사결정 방식이나 일하는 구조를 어떻게 변화시킬 가능성이 크다고 보시나요?

인터넷과 스마트폰이 처음 나왔을 때는 단순히 호기심을 자극하는 도구로 보였지만, 지금은 일상생활과 기업 업무에 없어서는 안 될 필수 도구가 되었습니다. ChatGPT Enterprise 역시 앞으로 기업 업무에 없어서는 안 될 핵심 도구로 자리 잡을 가능성이 크다고 생각합니다.

고객에게 이 기술은 단순히 업무를 조금 더 빠르고 편하게 만드는 수준에 머무르지 않을 것입니다. 오히려 의사결정의 속도, 판단의 깊이, 조직의 역할 구조를 다시 설계하는 기술로 발전할 가능성이 큽니다.

예를 들어, 의사결정 과정에서 ChatGPT Enterprise가 다양한 시나리오를 분석하고, 최적의 의사결정 옵션을 제시할 수 있습니다. 또한, 업무 자동화를 통해 단순 반복적인 업무에서 벗어나, 창의적이고 가치 있는 업무에 집중할 수 있도록 돕습니다.

생성형 AI는 이제 단순한 기술 도입을 넘어 기업의 의사결정 구조와 업무 방식을 재설계하는 단계로 진입하고 있습니다. 앞으로 기업이 AI를 얼마나 빠르게 경험하고 조직 안에 확산하느냐에 따라 AX 혁신의 성과는 크게 달라질 가능성이 있습니다. 또한, AI 윤리 문제, 일자리 감소 등 예상되는 도전 과제에 대한 대비도 함께 이루어져야 할 것입니다.

FAQ