공공 부문 일하는 방식의 변화, 범정부 AX 혁신

2026-01-21 주현택

- 해당 아티클은 ‘25. 9월, 삼성SDS가 대외 고객을 대상으로 진행한 「Real Summit 2025」 세미나 중, 삼성SDS 공공컨설팅그룹 문병선 프로의 ‘공공부문 일하는 방식의 변화, 범정부 AX 혁신’ 세션 내용을 기반으로 작성되었습니다.

2022년 11월 ChatGPT의 등장 이후, 인공지능 기술은 예상을 초월하는 속도로 발전하고 있습니다. 초기의 단순 텍스트 생성을 넘어, 현재는 멀티모달 AI, 추론 능력 강화 모델(예: DeepSeek R1, 오픈소스 기반 Llama3), 그리고 AI Agent 기술이 본격적인 실무 적용 단계에 진입했습니다. 인공지능 기술 경쟁에 발맞추어 2025년 대한민국 정부는 ‘국가AI전략위원회’를 대통령 직속 기구로 설치하고, 과학기술정보통신부를 부총리급 부처로 격상하여 과학기술과 인공지능(AI) 정책을 총괄하도록 함으로써, 인공지능 3대 강국 도약을 향한 정부의 추동력을 강화했습니다.

이 글에서는 공공부문에서 AI를 선도적으로 도입하기 위한 핵심 인프라로서 ‘범정부 초거대 AI 공통 기반’ 및 ‘지능형 업무관리 플랫폼’을 중심으로 추진 방향, 업무 환경의 변화 및 사례, 적용 방안을 설명하고 성공적 추진을 위한 제언을 전달하고자 합니다.

공공부문 AX(AI 전환) 동향

디지털 전환(DX)을 넘어 인공지능 전환(AX, AI Transformation)은 전 세계적인 화두로 떠올랐으며, 대한민국 공공부문 역시 AI 기술을 행정 업무의 핵심 파트너로 도입하려는 움직임을 가속화하고 있습니다. AI 기술의 급속한 발전에 주목한 정부는 2019년 ‘인공지능(AI) 국가전략’를 발표하고, AI 발전을 기회로 경제·산업 전반의 활력을 제고하고 국가 경쟁력을 확보하기 위한 전략 과제를 제시했습니다.

한편, 코로나 상황과 패권 경쟁의 불확실한 경제 환경 속에서 지난 2022년 정부가 발표한 ‘대한민국 디지털 전략’에 따르면, 디지털 전환이 경제·사회 전 분야의 혁신을 촉발하는 촉매임에도 불구하고, 우리의 현주소는 AI·양자 등 핵심 기술 분야의 선도국 대비 기술 격차가 여전하고 공공·민간의 데이터 간 연계와 산업 활용이 미흡한 것으로 확인되었습니다.

2024년에는 ‘국가 AI 전략 정책 방향’을 통해 AI 인프라를 조기에 확충하고, 국가 재정 투입에 더해 민간이 적극적으로 AI 분야 투자를 확대할 수 있도록 투자 환경을 개선하는 것으로 했습니다. ‘AI G3 강국’을 실현하기 위해서는 민·관이 원팀이 되어 국내시장을 넘어서 세계를 선도할 수 있는 패러다임 전환이 요구되는 것입니다. 2024년 개청한 ‘국가정보자원관리원’ 대구 센터는 민관협력형 클라우드 사업(PPP)* 방식을 적용하고, 삼성SDS 등을 입점 기업으로 선정하고 범정부 AI 공통 기반을 확충해 나가고 있습니다. 2025년에는 중앙부처·지방자치단체 등이 최신 인공지능 기술을 더 쉽고 빠르게 이용하고, 다양한 유형의 인공지능을 활용할 수 있도록 '공통 인공지능(AI) 서비스' 도입을 추진하여 11월부터 ‘지능형 업무관리 플랫폼’ 시범 서비스를 개시하였습니다. * PPP (Public Private Partnership): 민관협력형 클라우드 사업을 의미하며, 공공기관이 기반 시설을 제공하고 민간 기업이 클라우드 장비를 구축하여 서비스를 제공하는 형태.
범정부 AI 도입 추진의 주요 추진 방향은 크게 인프라(기반) 조성과 업무 플랫폼의 지능화라는 두 가지 축으로 2025년 6월부터 본격적으로 사업이 전개되고 있습니다.

● 범정부 초거대 AI 공통 기반

정부나 지자체가 AI를 빠르고 안전하게 도입·활용 하도록 지원하는 핵심 인프라입니다. 민간의 최신 초거대 AI 모델을 정부 전용의 보안 환경에서 안전하게 활용할 수 있도록 지원하는 공통 플랫폼을 구축하여, 모든 중앙부처와 지자체가 신속하게 AI 서비스를 개발하고 활용할 수 있는 토대를 제공합니다.

● 지능형 업무관리 플랫폼

AI를 활용하여 업무 프로세스를 획기적으로 개선하는 혁신적 업무 환경으로 공통 기반을 활용한 선도 사업입니다. 단순히 결재 문서를 처리하는 도구를 넘어, AI가 문서 초안을 작성해 주고 유사한 정책 자료를 추천해 주는 등 공무원의 업무 생산성을 극대화하는 방향으로 개발되고 있습니다.

[그림 1] 범정부 AX 혁신 사업과 삼성SDS 솔루션 (출처: 세션 발표 자료)

범정부 AX 혁신 방향에 발맞추어 삼성SDS는 자사 솔루션과 구축 사업 역량을 기반으로 실행 사업에 참여하고 있습니다.

AX를 통한 업무 혁신

한국행정연구원이 실시한 공무원 인식 조사 결과에 따르면, “공무원들은 하루 평균 76분을 불필요한 문서 작업에, 56분을 쓸데없고 형식적인 회의에 소모한다고” 응답했습니다. "단순한 AI 기술 도입이 아니라, 일하는 방식의 근본적인 변화(Deep Change)가 필요하다"라는 인식이 중요합니다. AI 도입을 통해 반복적이고 소모적인 행정 업무를 자동화하여 공무원들이 창의적인 정책 수립과 현장 소통에 집중할 수 있게 하고, 결과적으로 정부의 정책 대응 속도를 높이고 대국민 서비스 품질을 개선하여 정부 혁신을 가속할 것으로 기대됩니다.

‘지능형 업무관리 플랫폼’은 유연한 업무 수행을 지원하는 업무공간(워크스페이스)에 여러 민간 SaaS 솔루션을 연계하여 활용하고, AI 행정서비스를 접목하여 도입 비용은 줄이면서 생산성을 높일 수 있는 방향으로 추진 중 입니다.

[그림 2] 지능형 업무관리 플랫폼 방향 (출처: 세션 발표 자료)

● 업무공간 (Workspace) 혁신

유연한 업무 수행을 지원하는 워크스페이스를 구축하여 공동 작업과 협업을 위해 문서를 실시간으로 공유하고 업무 이력을 파악할 수 있는 환경을 만듭니다. 이는 조직 내 협업 문화를 효율화하고, 흩어진 지식 정보를 통합하여 AI가 학습하고 활용할 수 있는 양질의 데이터 자산으로 축적하는 기능을 수행합니다. 권한 기반 접근 제어를 통해 비 권한자는 데이터 열람 및 AI 학습에 활용되지 않도록 보장합니다. * 워크스페이스(Workspace): 공공기관 내 개인 및 부서가 자유롭게 업무와 협업 기록을 작성하고 관리하는 통합형 디지털 공간
● 민간 SaaS 솔루션 연계

대구 민관협력형 클라우드(PPP)는 민간 클라우드 서비스가 국가정보원 보안 인증 중 가장 높은 등급인 '상등급' 보안 검증을 마치고 행정망에서 서비스를 제공하는 혁신적인 사례입니다. 공공업무에 특화되고 사용성이 높은 민간의 SaaS 솔루션 도입을 지속적으로 확대하여 공무원도 민간 SaaS* 생태계를 기반으로 업무 효율을 높일 수 있을 것입니다. 민간 SaaS 솔루션을 Seamless 하게 지능형 업무관리 플랫폼에 연계하기 위해서 표준 API 체계를 적용합니다. * SaaS (Software as a Service): 소프트웨어를 직접 설치하지 않고 인터넷을 통해 클라우드 기반으로 필요한 기능만 구독하여 사용하는 서비스 방식
● AI 서비스 적용

공공 행정망 내에 구축된 '초거대 AI 공통 기반'을 활용해 각 부처가 가진 고유 데이터에 특화된 AI 서비스를 구현합니다. 예를 들어, 법령 데이터를 학습한 AI가 복잡한 법률 해석을 돕거나, 민원 데이터를 학습한 AI가 민원 답변을 자동 생성하는 방식입니다. 이는 외부 데이터 유출 걱정 없이 기관별 자체 RAG 구축을 통해 고유 데이터를 기반으로 최신 AI 기술을 업무 깊숙이 적용하여 행정 업무를 혁신하는 모델입니다. * RAG (Retrieval-Augmented Generation, 검색 증강 생성): AI가 최신화된 외부 데이터베이스나 문서에서 필요한 정보를 검색해 답변 생성에 활용하는 기술

범정부 AX 기술 기반(AI Agent)

공공부문의 일하는 방식 혁신을 기술적으로 뒷받침하는 핵심 키워드는 바로 'AI Agent(에이전트)'입니다. 이는 기존의 생성형 AI 도입 패러다임을 완전히 뒤바꾸는 개념입니다. 초기의 생성형 AI가 사용자의 질문에 답하거나 텍스트를 요약해 주는 단순한 '단위 업무 보조 도구(Helper)'에 머물렀다면, 지금의 AI 기술은 업무 전반을 함께 수행하는 '동료(Co-Worker)'로 진화하고 있습니다. 공무원이 "이 민원 내용을 요약해 줘"라고 시키는 단계를 넘어, "최근 민원 트렌드를 분석해서 보고서 초안을 작성하고, 관련 부서에 협조 이메일을 준비해 줘"라고 지시하면, AI가 복합적인 과업을 수행하는 단계로 나아가고 있는 것입니다.

AI Agent는 단순히 언어 능력만 갖춘 것이 아니라 행동 능력을 갖춘 시스템입니다. 사용자의 복잡한 요청을 이해하면, AI Agent는 다음과 같은 3단계 프로세스를 거쳐 작동합니다.

작업 계획 수립: 목표를 달성하는 데 필요한 하위 작업을 스스로 쪼개고 순서를 정합니다.
의사결정: 각 단계에서 어떤 도구(검색 엔진, 데이터베이스, 계산기 등)를 사용할지 스스로 판단합니다.
자동 수행: 계획에 따라 실제 도구를 호출하여 작업을 수행하고 결과를 종합합니다.

이러한 AI Agent를 구현하기 위해서는 체계적인 접근이 필요합니다. ^{[1, 2]}

● 1단계: AI 대상 서비스 및 도구(Tool) 정의

공무원의 일상적이고, 단순/반복적인 행정업무(문서 작성, 지식 검색, 민원 분석 등)를 도와주는 각종 서비스를 Agent Tool로 등록 정의합니다. AI가 수행할 업무 범위를 명확히 하는 것입니다. Tool 명세서는 LLM이 이해하기 쉽게 작성되며, 예를 들어 "문서 생성 Tool"은 { "name": "create_document", "parameters": ["제목", "청중", "주요 내용", "형식"] } 형태와 같이 정의하여, 사용자가 "과제 보고서 만들어줘"라고 하면 LLM이 자동으로 적합한 Tool을 선택하고 파라미터를 채워 실행할 수 있도록 합니다. AI가 민원 처리를 돕기 위해서는 '법령 정보 시스템 검색', '민원 데이터베이스 조회 권한', '문서 작성기 호출 기능' 등의 도구를 AI에게 알려 주어야 합니다.

● 2단계: Agent 설계 및 개발

정의된 도구를 활용해 최적의 성과를 낼 수 있도록 ‘에이전트의 역할과 구성을 설계하고, 'Agent 모델을 평가' 합니다. ‘지능형 업무관리 플랫폼’ 사업은 범정부 초거대 AI 공통 기반에서 제공하는 공통 서비스 Agent와 각 부처·기관의 행정 업무를 위한 서비스 Agent를 연계 활용할 수 있도록 구성합니다. 예를 들면, 기관별 Agent는 부처 내부 RAG 벡터 DB를 활용해 맞춤 업무를 처리하고, 초거대 AI 공통 기반의 공통 Agent는 법령·정책 정보를 제공합니다. 두 Agent가 API로 협업하여 "민원 분석(기관 Agent) → 정책 검토(공통 Agent) → 보고서 생성" 같은 복합 작업을 수행할 수 있습니다.

모델 평가는 복수의 LLM(국내외산, 추론/비추론 혼합)을 대상으로 인지(Perception) → Tool 선택(Reasoning & Planning) → 실행(Action) → 종합 단계를 거쳐 진행합니다. 평가 결과, 모델 A와 D가 85~90% 성능을 보였으나, A 추론 모델이 한국어 Tool Calling에서 예상보다 약세를 드러내 한국어 특화 이해도가 더 중요하다는 결론을 얻을 수 있습니다. 공공 업무 특성상 부정확한 정보(환각 현상)*는 치명적이므로, AI가 내놓은 답변이 사실에 근거한 것인지, 편향되지는 않았는지 검증하는 평가 체계가 필수적으로 수반되어야 합니다. * 환각 현상 (Hallucination): AI가 사실이 아닌 정보를 마치 사실인 것처럼 그럴듯하게 생성해 내는 오류 현상
● 3단계: 확산 및 고도화 (MCP 기반)

개발된 AI 서비스를 특정 기관에만 국한하지 않고 확산하기 위해 2026년부터 MCP(Model Context Protocol)*기반의 서비스 확장이 추진될 것입니다. MCP는 각 기관의 기존 시스템을 MCP Server로 변환하고, 지능형 업무관리 플랫폼 내에 Agent를 MCP Client로 탑재하여 표준 프로토콜로 모든 시스템을 자동 연결합니다. 이는 유지보수 간소화와 신규 Tool을 즉시 추가 가능하게 할 것입니다. * MCP (Model Context Protocol): AI 모델 및 시스템 간 표준화된 대화 및 데이터 교환 프로토콜을 의미하며, 기존 레거시 시스템과 신형 AI 에이전트의 원활한 연동과 협업을 지원하는 핵심 기술

공공 AX 추진을 위한 제언

성공적인 공공부문 AX 전환을 위해서는 기술 도입을 넘어, 현실적인 전략과 지속적 추진 노력이 뒷받침되어야 합니다. 도입 초기에는 완벽함보다는 '업무 효율성 증대'에 초점을 맞추고, 점진적으로 정확도를 높여가는 현실적인 목표 설정이 중요하며, 제한된 자원 내에서 AX 기반을 마련하고 비용 효율성을 추구해야 할 것입니다. 또한, 중요한 장벽인 '보안' 문제를 해결하기 위해 '보안 상등급' 인증을 받은 민간 SaaS 솔루션을 공공 행정망 내로 안전하게 내재화하는 정책적 시도가 지속되어야 합니다. 마지막으로, 기술이 아무리 좋아도 쓰는 사람이 거부하면 무용지물입니다. 공무원들이 AI를 '내 일자리를 위협하는 존재'가 아니라 '칼퇴근을 돕는 유능한 조력자'로 인식하고 활용 가치를 체감할 수 있도록 교육과 조직 문화 개선이 이어져야 하겠습니다.^[3]

[그림 3] 공공 분야의 AX 전환 시 고려 사항 (출처: 세션 발표 자료)

국가적 AX 혁신은 정부 혼자 힘으로 달성하기 어렵습니다. 삼성SDS와 같은 민간 IT 기업들이 지속적인 AI 기술 개발 노력을 통해 확보한 노하우를 바탕으로, 국가 AI 정책에 발맞춰 공공 부문 AX 실행에 적극 참여하고 있습니다. 기업은 정부의 높은 보안 요구사항을 충족하는 기술을 개발하고, 정부는 이러한 민간 기업에 테스트베드와 시장을 열어주는 선순환 구조, 즉 '민관 협력(Public-Private Partnership)' 모델은 대한민국 행정 혁신의 열쇠가 될 것입니다.

☞ 세션 발표자: 삼성SDS 공공컨설팅그룹 문병선 프로(bsmoon@samsung.com)