해당 아티클은 2025년 9월, 삼성SDS가 대외 고객을 대상으로 진행한 「REAL SUMMIT 2025」 행사 중, 삼성SDS 경영혁신팀 박광현 상무의 ‘우리는 이미 AI와 일하고 있다. 삼성SDS AI Journey ' 세션 내용을 기반으로 작성되었습니다.
현대 기업 환경에서 디지털 혁신을 담당하는 IT 리더의 역할이 변화하고 있습니다. 전통적인 IT 리더들은 시스템 운영을 지원하고 비용을 효율화하는 데 집중했습니다. 하지만 지난 10여 년간 '기술 기반 혁신(Technology-driven Innovation)'이 화두가 되면서 IT는 기업 경쟁력의 핵심 자산이자 비즈니스를 움직이는 동력으로 인식이 전환되었습니다. 특히, 생성형 AI의 등장은 IT 리더에게 단순한 솔루션 도입을 넘어, '조직 전체의 일하는 방식을 어떻게 바꿀 것인가'라는 새로운 미션을 제시하고 있습니다.
삼성SDS는 생성형 AI 도입을 갑자기 시작한 것이 아닙니다. 지난 수년간 클라우드 마이그레이션, 빅데이터/분석, RPA 등 다양한 디지털 트랜스포메이션 과제를 순차적으로 추진해 왔습니다. 이러한 혁신들은 단순한 IT 모더나이제이션이 아닌 'AI 도입을 위한 토양을 만드는 과정’이었습니다.
삼성SDS는 2017년부터 빅데이터 솔루션 'Brightics'를 출시하며 데이터 수집 및 분석 경험을 고도화했습니다. 빅데이터 기반 구축 이후 2018년에는 데이터 사이언티스트 양성 및 인증 체계를 기반으로 사내 데이터 전문가 확보에 집중했습니다. 2019년에는 'Brity RPA' 솔루션을 통해 내부 업무 생산성을 향상할 수 있는 구체적인 유스 케이스(Use Case)를 발굴하고, 자동화 기술의 실용적 가치를 체험했습니다. 그리고, 2021년에는 데이터 레이크를 기반으로 데이터를 통합·분석·공유할 수 있는 '사내 데이터 플랫폼'을 완성했습니다. 이렇게 축적되고 준비된 기술적·조직적 역량은 생성형 AI 도입 및 빠른 확산을 가능하게 하는 토대가 되었습니다.
[그림 1] 삼성SDS AI 도입 여정(출처: 발표자 제작)
그렇다면 삼성SDS는 비즈니스 경쟁력 확보를 위한 게임 체인저인 '생성형 AI'의 초기 도입 시점부터 최근 급부상하는 '에이전틱 AI(Agentic AI) 시대'까지 AI 트랜스포메이션(AX)의 전체 여정에서 무엇을 추진했고 무엇을 준비하고 있을까요?
2023년 생성형 AI를 본격적으로 도입하기 시작했을 때는 기대만큼이나 고민도 많았으며, 당시 고려해야 할 사항은 예상보다 복잡했습니다. 오픈소스 LLM의 한글 지원 부족, 고성능 GPU 확보의 어려움, 학습 데이터 확보의 한계 등이 대표적인 장벽이었습니다. 또한, 사내 데이터 연계 시 발생할 수 있는 데이터 유출에 대한 우려로 필터링이나 모니터링에 대한 도입도 고려해야 했습니다. 이러한 기술적 문제뿐만 아니라, 어디에 사용할지에 대한 아이디어 도출 역시 쉽지 않은 과제였으며, 사내 시스템 연계 및 해외 법인 확산 과정에서는 국가별 규제가 상이해 글로벌 규제까지도 종합적으로 검토글로벌 규제까지도 종합적으로 검토해야 했습니다.
이렇게 기술적, 법적 문제를 검토하며 준비했지만, 초기 임직원들의 AI 활용 범위는 업무 측면보다는 ‘단순 호기심이나 흥미 중심'이었기 때문에 생성형 AI에 대한 이해와 업무 적용 확대를 위한 전사적인 변화 관리도 매우 중요했습니다.
[그림 2] GenAI 도입 고려사항(출처: 발표자 제작)
삼성SDS는 도입 초기의 복합적인 고민과 경험을 바탕으로 '플랫폼(Platform)', '프로세스(Process)', '피플(People)'의 3P 프레임워크 관점에서 생성형 AI 도입과 확산의 여정을 나아가고 있습니다.
2023년은 생성형 AI의 본격적인 도입을 위한 준비의 시간이었습니다.
플랫폼 측면에서 삼성SDS는 2023년 10월 자체 개발한 생성형 AI 플랫폼인 '패브릭스(FabriX)' 베타 버전을 전사원에게 오픈했습니다. 초기에는 인도, 중국, 베트남 개발자와의 커뮤니케이션을 위한 '번역' 용도로 많이 활용했으며, 이는 직원들이 AI의 효용성을 자연스럽게 경험할 수 있는 진입점이 되었습니다.
프로세스 측면에서는 전 임직원 대상으로 '핵심 업무에 대한 문서화'를 추진했습니다. 이 과정에서 'AI가 이해할 수 있는 문서 표준화 체계'를 수립 및 적용하여 업무 방식의 근본적 변화를 이끌었습니다. 그 결과, 14,000여 개의 업무 문서가 수집되었고, 생성형 AI가 회사의 업무를 이해할 수 있도록 학습하는 데 활용했습니다. 또한, 생성형 AI 활용에 대한 아이디어를 도출하여 총 25개 유형으로 정의했으며 '시장 동향/기업 분석', '사내 FAQ', '시스템 모니터링' 및 '이상 상황 분석' 등에 대한 많은 활용 요구를 확인했습니다.
피플 측면에서는 전사적인 AI 교육 체계를 마련하여 전 임직원에 대한 AI 기본 교육을 완료했습니다. 생성형 AI에 대한 '기본적인 개념 교육'을 통해 전 직원의 AI 리터러시 기반을 마련했고, 효과적인 AI 활용을 위한 '프롬프트 엔지니어링 교육'을 실시했습니다. 또한, 'RAG(Retrieval Augmented Generation) 기술 교육'을 통해 'LLM이 학습하지 못한 지식 영역을 개인이 보유한 문서 기반으로 보조할 수 있는 활용법’을 전파하는 등 AI 도입을 위한 첫걸음을 시작했습니다.
[그림 3] AI 추진 전략(2023년): 준비 및 도입(출처: 발표자 제작)
2023년이 도입의 기초를 다졌다면, 2024년은 삼성SDS가 '본격적으로 활용 확산을 시도하고 실질적인 비즈니스 가치 창출에 집중한 해였습니다. 플랫폼 관점에서는 ‘FabriX’ 외 다양한 AI 서비스를 도입하고, 프로세스 관점에서는 실제 활용 가능한 Use Case를 발굴/적용했으며, 피플 관점에서는 현장의 자율적 도입 확산을 위한 교육과 홍보 활동을 강화했습니다.
삼성SDS는 AI 활용의 기반 기술인 3개 플랫폼을 차례로 도입했습니다.
첫째, ‘FabriX’는 모든 임직원이 활용할 수 있는 '공통 AI Chat Portal'을 제공하는 핵심 플랫폼으로서, ChatGPT와 같은 사용 환경을 사내 보안에 맞춰 제공하여 개인적인 업무를 보좌하는 역할을 수행하게 했습니다. 또한, FabriX는 API 기반의 확장성을 통해 사내 다양한 시스템 대상으로 LLM 연결을 지원하고, 보안 필터를 통해 기업 내에서 안전하게 서비스를 활용할 수 있는 체계를 구축했습니다. 이러한 FabriX는 현재 단순한 챗봇을 넘어, 엔터프라이즈 AI 플랫폼으로서의 역할을 수행하고 있습니다.
둘째, 삼성그룹 전 임직원이 활용하는 협업 솔루션인 'Brity Works'에 AI Copilot을 적용하여 사무 업무 효율화를 추진했습니다. 이를 통해, 메일 초안 작성 자동화, 연구 문서 번역, 화상 미팅 회의록 작성/요약/자동 공유 등 반복적이고 장시간 소요되는 사내 업무를 효율화하고 있습니다.
셋째, 삼성SDS의 핵심 업무인 IT 개발·운영을 위한 도메인 특화된 'AI Pro'라는 코드 어시스턴트를 2024년 5월에 도입했습니다. 이는 IT 통합 개발 도구(IDE, Integrated Development Environment)에 연계되어 코드 생성 및 수정뿐만 아니라, 리버스 엔지니어링을 통해 기존 코드를 기반으로 기능 사양서를 생성하는 역할까지 수행하고 있습니다.
[그림 4] AI 추진 전략(2024년): 확산 – AI 플랫폼/서비스 도입(출처: 발표자 제작)
3개 플랫폼 기반으로 AI를 활용하는 방식은 크게 4가지 유형으로 정의할 수 있습니다.
첫째는 'AI Chat' 유형으로 FabriX의 AI Chat Portal을 통해서 질문하고 답변을 받는 형태입니다. 가장 기본적인 사용 방식으로, 글로벌 딜리버리 센터와의 커뮤니케이션을 위한 '번역'과 '개발 업무'에 주로 활용했습니다. 또한, FabriX 플랫폼을 통해 구매/영업/재무 분야의 가이드 문서나 개인 문서를 '카탈로그'로 등록한 후, RAG 기술 기반으로 사내 업무에 대한 질의/응답에도 많이 활용하고 있습니다.
둘째는 API 기반 업무 프로세스를 통합하는 'PaaS' 유형입니다. FabriX API를 활용한 확장된 방식으로, 업무 프로세스에서 AI가 자동화 역할을 수행하도록 지원합니다. 삼성SDS는 마케팅, 개발 등 사내 7대 메가 프로세스 지원을 위한 다양한 레거시 시스템을 보유하고 있는데, 그중 40여 개의 사내 시스템에서 FabriX API를 기반으로 AI 기능을 활용할 수 있는 체계를 구축했으며, 현재 월 API 호출 건수는 약 100만 건에 달하고 있습니다. 영업 시스템의 예를 들어보면, 고객이 홈페이지를 통해 문의한 경우 AI가 사업 관련 질문 여부를 자동으로 판단하고, 사업 기회 질문의 경우에는 세일즈포스 영업 시스템에 등록해 줍니다. 또한, 영업 사원이 액티비티를 입력하면, 이를 기반으로 영업 활동을 요약하거나 보고서를 자동으로 작성해 줍니다.
셋째는 일반적으로 솔루션 업체에서 제공하는 AI 기능을 그대로 활용하는 'SaaS' 유형입니다. 삼성SDS는 현재 Brity Work에 탑재된 AI를 월 10만 건 정도 활용하고 있으며, Salesforce 'Einstein'이나 SAP 'Joule' 등 외부 AI 기능에 대한 도입을 검토 중입니다.
마지막으로 기존 솔루션에 'Plug-In' 형태로 AI 기능을 연계하는 방식입니다. 예를 들어, '이클립스(Eclipse)'나 'VS Code(Visual Studio Code)'와 같은 통합 개발 환경에 AI 코드 어시스턴트인 AI Pro를 플러그인으로 추가해 코드 작성/수정 및 테스트 등을 자동화할 수 있습니다.
[그림 5] AI 추진 전략(2024년): 확산 – 사용 유형/현황(출처: 발표자 제작)
이러한 4개의 AI 유형은 사내 공통 업무나 도메인 특화된 업무에서 상호 보완적으로 활용, 확대되고 있습니다. 여기서 두 가지 대표적인 생성형 AI 활용 사례를 살펴보겠습니다.
Use Case ① 데이터 처리 자동화
사무 업무에서 LLM은 요약, 번역 등의 단순 업무를 중심으로 대량 데이터 처리 자동화에 주로 활용되고 있습니다. 그중 Brity Copilot의 기능 중 하나인 Excel Add-in(SaaS 유형) 사례를 보면, 별도의 AI 플랫폼 화면이 아닌 엑셀 컬럼에서 직접 지시사항을 입력하면 LLM이 개인이 보유한 데이터를 대량 처리하여 분류, 평가, 요약, 교정, 번역 및 추출 등의 기능을 수행합니다. 해당 기능은 비개발자들이 시스템 개발 이전에 파일럿 테스트를 위해 적극적으로 활용하고 있습니다.
또 다른 사례는 외부 위험 감지 시스템 고도화(PaaS 유형)입니다. 삼성SDS의 물류 사업에서 기존의 머신러닝 기반 리스크 감지 시스템은 특정 항구의 화재나 루트 이슈 등의 물류 리스크 요소를 외부 뉴스나 정보를 크롤링하여 집계하는 방식으로 운영되었습니다. 하지만, 데이터와 언어의 복잡성이 증가함에 따라 한계에 부딪혔습니다. 기존 머신러닝 기능에 LLM을 보완/적용함으로써 외부 뉴스를 기반으로 위험 요소를 감지한 후, 정보 매핑/등급 분류 및 보고서 작성/메일링 작업을 자동화했습니다. 그 결과, 월별 감지된 위험 수가 증가했으며, 위험 감지 누락률도 크게 감소했습니다.
[그림 6] AI 사용 유형 – 데이터 처리 자동화 사례(출처: 발표자 제작)
엑셀을 통해 개인 보유 데이터를 AI 기반 대량 처리
사용자 지시사항 입력 → Excel(Brity Copilot 주요기능 - 분류, 평가, 요약, 교정, 번역, 추출) ↔ LLM 엑셀 데이터 지시사항 전달, 답변 생성
기본 AI 플랫폼 채팅 대비 AI 사용량 증가, 시스템 구축 전 비개발자의 Pilot Test 수행 가능
엑셀 테스트 결과 기반 기존 ML 대비 자동화 확대
| 업무 프로세스 | 외부 뉴스 위험 감지 → | 정보 매핑/등급 분류 → | 리포트 작성/메일링 |
|---|---|---|---|
| AS-WAS | ML | ML, 사용자 | 사용자 |
| AS-IS | ML | ML,LLM | LLM |
월 00만건 처리 중이며 위험 감지 누락 Zero化
Use Case ② IT 개발 업무 자동화
삼성SDS는 전체 개발 프로세스에서 수작업과 반복이 필요한 업무를 중심으로 AI 적용을 확대하고 있습니다. 분석/설계, 코딩, 검증 단계별로 AI 도구를 보유하고 있으며, 특히 ‘코드봇(CodeBot)’을 통한 검증 자동화(Plug-in 유형)가 대표적인 사례입니다. CodeBot은 AI 기반으로 코드 품질을 1차로 점검하고 리뷰를 자동으로 수행합니다. 고급 개발자의 반복적인 품질 검증 업무를 AI가 대신 처리함으로써 코드 리뷰 대기 시간을 50% 단축하고 동시에 품질을 향상합니다.
삼성SDS는 임직원들이 AI와 일할 수 있는 역량과 새로운 업무 문화를 확보하기 위해 체계적인 양성 체계를 구축하고 변화 관리 활동을 병행했습니다. 2024년에는 2023년의 3개 기본 교육을 바탕으로 개별 직무 특성과 기술 수준에 맞는 수십 개의 심화 학습 과정을 개발/제공했습니다.
또한, 단순 교육에 그치지 않고 현장에서 실질적으로 활용될 수 있도록 AI 경진대회 해커톤, 적극적 홍보 등 다양한 참여형 활동을 전개했습니다. 이러한 활동을 통해, 월 1회 이상 AI를 업무에 정기적으로 활용하는 인력이 지속적으로 확대되고 있으며, 앞서 설명한 3개 플랫폼을 동시에 활용하는 직원 비율도 크게 증가했습니다.
지금까지 생성형 AI 도입을 통해 분명 의미 있는 성과를 이뤄냈습니다. 그러나, 아직은 '어시스턴트'나 '코파일럿' 수준이며, 대규모 생산성 혁신 차원의 성과, 즉 진정한 하이퍼오토메이션을 이끌기에는 여전히 부족합니다. 또한, 최근 AI 기술은 기존 대화형 모델을 넘어 스스로 계획을 수립하고, 스스로 판단하며, 자동으로 작업을 수행하는 '에이전틱 AI(Agentic AI)'로 급변하고 있습니다. 이러한 변화는 일하는 방식을 혁신적으로 바꿀 수 있는 중요한 전환점이 될 것이며, 삼성SDS는 빠른 대응과 하이퍼오토메이션의 실현을 위해 3P 프레임워크 관점에서 추진 체계를 재정비하고 구체적인 실행을 준비하고 있습니다.
2024년 한 해 동안 다양한 AI 플랫폼과 서비스를 적극적으로 확보했으나, 나날이 발전하는 글로벌 수준의 기술을 적용하기 위한 내재화와 보안 검증에 상당한 시간이 소요되면서 기민한 대응이 필요하게 되었습니다. 에이전틱 AI 효과를 극대화하기 위해서는 플랫폼 차원에서 최고 수준의 기술을 빠르게 확보하는 것이 중요합니다.
이러한 측면에서 생성형 AI 플랫폼 FabriX는 사내 여러 시스템, 데이터와의 유기적 연동을 위해 ‘MCP(Model Context Protocol)’ 지원 기능을 구축, 진행하고 있으며, 사내 시스템이 보유하고 있는 '권한/인증 연계' 등 Agent 핵심 기능을 내재화하고 있습니다. 또한, 외부 AI 모델을 안전하게 즉시 활용할 수 있도록 데이터 분류 및 모니터링 등 '심의/보안 체계'를 구축하고 있습니다.
[그림 7] AI 추진 전략(2025년~): 실행력 강화 – 글로벌 SOTA 수준 기술 확보(출처: 발표자 제작)
MCP(Model Context Protocol) : AI와 시스템/데이터 등을 연계하기 위한 연결 표준
또한, 코드 어시스턴트 AI Pro에 에이전트 기능을 도입하여, 단순히 코드 제안 수준을 넘어 에이전트가 계획 수립, 코드 생성, 리뷰, 최종 검증 및 시스템 반영까지 IT 개발 전 과정을 지원할 수 있도록 준비하고 있습니다. 현재, 업무 지원을 위해 내부적으로 연간 50여 개의 소규모 개발 과제 수행이 요구되지만, 개발자나 비용의 한계로 전체 개발 진행은 어려운 상황입니다. 그러나, '코드 에이전트(Code Agent)'로 파일럿을 수행한 결과, 기존에 2~3개월 소요되던 개발 과제의 경우 개발자 없이 2~3일 내 MVP 수준의 개발이 가능했습니다. 물론, 실제 운영에 적용하기 위해서는 보안이나 CX 등 내부 검수 기준을 위한 추가 작업이 필요하지만, 이는 기존 IT 개발 체계의 근본적인 생산성 확대를 의미합니다.
에이전틱 AI를 기반으로 진정한 업무 프로세스 자동화를 실현하기 위해서는 AI 기술 고도화 이전에 '내부 시스템/데이터 연계'와 '데이터 표준화'가 선행되어야 합니다.
삼성SDS는 2024년부터 차세대 시스템 구축을 진행하고 있습니다. 여기서 가장 어려운 미션 중 하나는 모든 비즈니스 영역에 걸쳐 E2E 프로세스/데이터를 실시간으로 연결하는 것입니다. 영업 프로세스의 경우, 파트너 협업부터 BO 관리, 견적/계약, 과금/청구, 결산까지를 포함합니다. 이러한 E2E 시스템 연계는 상당히 어렵지만, 에이전틱 AI가 업무 프로세스 자동화를 실현하기 위한 기반입니다. 또한, 데이터가 사전에 표준화되지 않을 경우, AI와 사내 시스템의 연계를 위한 복잡한 데이터 전처리에 많은 시간과 비용이 소요됩니다. 이러한 관점에서 기준 정보 재정비와 데이터 표준화 등 데이터 거버넌스에 대한 근본적인 준비가 필요합니다.
[그림 8] AI 추진 전략(2025년~): 실행력 강화 – E2E 시스템 연계/데이터 표준 정비(출처: 발표자 제작)
AI 활용을 확대하기 위해서는 궁극적으로 사람과 조직의 실행이 필요하므로 변화 관리가 매우 중요합니다. 삼성SDS는 지난 2년간 AI에 대한 공감대를 형성해 왔으며, 경영진을 포함한 전 직원의 관심과 참여를 독려하고, 교육 및 양성 체계를 통해 AI에 대한 지식과 경험을 공유 및 확산하는 활동을 진행해 왔습니다.
2025년에는 현장 전문가인 'AI 크루(AI Crew) 제도'와 '전담 조직'을 신설하여 현장 중심의 인재 양성과 조직적인 실행을 강화하고 있습니다. 팀별로 AI에 대한 기본적인 이해와 관심이 높은 1명 이상 인력을 'AI Crew'로 선발하여, 업무 프로세스와 데이터에 대한 이해도를 바탕으로 AI 학습/역량 강화를 통해, AI 개발과 활용을 주도하도록 지원하고 있습니다. 또한, 전사 조직 차원에서 경영혁신팀 산하에 ‘AI 전담 조직’을 신설하고, 각 조직의 AI Crew와 협력하여 새로운 Use Case 발굴, 확산 및 거버넌스 등 변화 관리의 허브 역할을 수행하고 있습니다. 또한, 지표 수립/운영을 통해 보상이나 시상까지 연계하는 것을 목표로 하고 있습니다. 삼성SDS는 보다 체계적으로 실행 체계를 강화하고, AI를 단순한 도입을 넘어 실제 운영·확산을 통한 기업 역량으로 전환하기 위해 노력하고 있습니다.
삼성SDS는 AI 기반 혁신의 여정에서 많은 도전을 시도해 왔으며, 하이퍼오토메이션 완성을 위한 혁신을 지속하고 있습니다. 처음에는 단순히 생성형 AI를 도입한다는 막연한 기대감으로 시작했지만, 에이전틱 AI 기술이 등장하면서 우리가 일하는 방식을 혁신적으로 이끄는 ‘게임 체인저’임을 부인할 수 없게 되었습니다.
기업이 AI 기반 전략적 혁신을 통해 비즈니스 가치를 이끌어내기 위해서는 단순히 도구나 솔루션을 도입하는 것을 넘어, 3P 프레임워크(Platform, Process, People)를 기반으로 체계적인 준비와 실행이 필요합니다. 이러한 방향성을 바탕으로, '에이전틱 AI 구현을 위한 핵심 기술의 확보', 'E2E 프로세스 자동화 및 데이터 표준화', 'AI 전문가 확보 및 조직 변화 관리'와 같은 전략적 과제를 추진해야 하며, 이를 통해 기업은 구체적이고 가시적인 성과를 창출할 것입니다.
☞ 세션 발표자: 삼성SDS 경영혁신팀 박광현 상무(khyun.park@samsung.com)
![]()
삼성SDS 전략마케팅팀
IT 동향 분석, 프로세스 혁신 및 경영전략 수립의 컨설팅 업무 경험을 기반으로, 삼성SDS 닷컴 내 Digital Transformation 및 솔루션 페이지 기획/운영 업무를 수행하였고 SDS 주요 사업영역별 동향/솔루션 분석을 통한 컨텐츠 기획 및 마케팅을 수행하고 있습니다.