대한민국 공공 IT는 ‘전자정부 선도국가’로서 눈부신 성장을 거듭하며 탄탄한 토대를 쌓아왔습니다. 기민한 기술 도입과 대규모 인프라 구축을 통해 완성된 우리 행정 시스템은 이제 글로벌 표준을 넘어 인공지능 전환(AX)이라는 새로운 지평을 열고 있습니다.
2026년 현재, 우리가 마주한 공공 AX는 과거의 정보화 단계를 넘어 디지털플랫폼정부(DPG)의 비전을 실질적인 행정 가치로 전환해야 하는 ‘성숙한 실행의 시대’를 맞이했습니다.[1][2] 이제는 잘 설계된 청사진을 바탕으로, 인공지능이 실제 행정 현장에서 어떻게 공무원의 업무를 돕고 국민의 삶을 개선하는지 결과로 증명해야 할 때입니다. 정부가 추진하는 대규모 AI 서비스 지원 사업[3]과 범정부 공통기반 구축은 이러한 변화를 선도하며, 국가 행정의 지능화를 완성하는 결정적인 동력이 되고 있습니다.
국가 차원의 AI 도입을 위한 인프라 표준과 범정부 운영 체계라는 정교한 설계도는 이미 준비되었습니다. 행정안전부와 NIA가 발간한 가이드라인은 각 기관이 파편적으로 AI를 도입하며 겪었던 예산 중복과 기술적 한계를 극복하기 위해, 누구나 표준화된 방식으로 AI를 가져다 쓸 수 있는 ‘공통 엔진’의 규격을 확정했습니다.[4] 설계도가 완성되었다는 것은 이제 엔진의 사양이 정해졌음을 의미하며, 이제 우리에게 남은 과제는 이 거대한 엔진을 각 기관의 특수한 행정 환경과 민원 맥락에 맞춰 어떻게 최적화하고 실질적으로 가동하느냐에 있습니다.
과거의 정보화 사업이 부처마다 각자의 데이터센터를 짓고 서버를 사들이는 ‘개별 구축’의 시대였다면, 이제는 행정망 내에 마련된 ‘초거대 AI 공통 플랫폼’이라는 단일 엔진을 공유하고 활용하는 체계로 완전히 전환되었습니다. 가이드라인에 따르면, 공공기관은 서비스형 소프트웨어(SaaS)나 플랫폼형 서비스(PaaS) 형태로 제공되는 범정부 공통기반을 활용함으로써 기술적 상향 평준화를 이룰 수 있습니다.[4]
도입 기간을 획기적으로 단축해 주는 이 인프라 위에서, 정보화 담당자들이 집중해야 할 지점은 공통 엔진에 어떤 ‘연료’를 채우고 어떻게 ‘튜닝’할 것인가입니다. 단순히 기성품 AI를 사용하는 것을 넘어, 우리 기관만이 가진 법령 해석 노하우나 고유한 행정 지식 데이터를 공통 플랫폼의 지능과 유기적으로 결합하여 ‘기관 특화형 지능 서비스’로 변모시키는 실질적인 운용 단계가 지금 우리가 마주한 압도적 실행의 핵심입니다.
이 과정에서 대규모 엔터프라이즈 환경에서 검증된 생성형 AI 플랫폼 역량을 가진 파트너의 존재는 필수적입니다. 공공의 보안 가이드라인을 준수하면서도 다양한 거대언어모델(LLM)을 유연하게 연동하고, 이를 행정 업무에 맞게 최적화할 수 있는 고도의 플랫폼 기술력이 뒷받침될 때 비로소 범정부 공통 엔진은 제 성능을 발휘할 수 있습니다.
인공지능의 지능 수준은 결국 그것이 섭취하는 데이터의 품질과 유기적 연결성에 의해 결정됩니다. 가이드라인에서도 강조하듯, 정교하게 가공된 데이터가 적시에 공급되지 않는다면 행정 현장의 AI는 파편화된 정보를 내뱉는 불완전한 도구에 그칠 수밖에 없습니다. 여기서 디지털플랫폼정부의 핵심 인프라인 ‘국가 공유데이터 플랫폼’의 진정한 가치가 발현됩니다.[5] 이제 실행 단계의 본질은 각 기관의 캐비닛 속에 잠들어 있던 데이터를 깨워 플랫폼으로 흐르게 하고, 이를 AI가 실시간으로 학습하여 정책적 판단을 내릴 수 있는 행정의 지능형 DNA로 재구성하는 데 있습니다.
과거에는 데이터를 특정 저장소에 쌓아두는 ‘데이터 레이크’ 구축에 만족했다면, 이제는 그 데이터가 실시간으로 소통하며 가치를 창출하는 ‘데이터 파이프라인’의 가동에 사활을 걸어야 합니다. 예를 들어, 복지 사각지대를 발굴하는 지능형 서비스를 실행할 때 행정안전부의 인구 통계와 보건복지부의 수혜 정보, 그리고 각 지자체의 현장 상담 데이터가 실시간으로 연계되어야 합니다. 실행 단계에서는 이러한 데이터 연계의 기술적 정합성을 맞추는 것을 넘어, AI가 오차 없이 맥락을 이해할 수 있도록 하는 데이터 표준화와 시맨틱 연결을 현장에 정착시켜야 합니다.
또한 단순히 데이터를 저장하고 연결하는 것을 넘어, AI가 즉시 이해할 수 있는 형태로 데이터를 정제하고 자산화하는 '데이터 엔지니어링' 역량이 더욱 필요할 것입니다. 수많은 행정 문서 속에 숨겨진 지식을 추출하여 벡터 데이터베이스(Vector DB)로 구축하고, 질문의 의도에 맞는 최적의 정보를 찾아내는 검색 증강 생성(RAG) 파이프라인을 정교하게 설계해야 합니다. 이는 단순히 기술적인 설정을 넘어, 공공 행정의 맥락을 깊이 이해하고 대규모 데이터를 다뤄본 풍부한 경험을 가진 전문 조직만이 수행할 수 있는 영역입니다. 데이터가 각 부처의 경계를 허물고 지능형 DNA처럼 유기적으로 연결될 때, 비로소 AI는 복잡한 사회 문제를 사전에 탐지하고 국민에게 최적화된 맞춤형 서비스를 제안하는 진정한 행정의 동반자가 될 것입니다.
[그림1] 행정의 지능형 DNA 정착 (작성자 제작)
공공 AX가 현장에서 마주하는 가장 큰 현실적 장벽은 공무원의 실질적 수용성입니다. 가이드라인의 활용 단계 프로세스를 보면, AI는 단순한 기능 추가를 넘어 실질적인 업무 프로세스 혁신을 지향해야 함을 알 수 있습니다. 아무리 뛰어난 지능을 가진 AI라 할지라도, 기존의 업무 프로세스와 동떨어져 있거나 별도의 학습을 요구한다면 행정 현장의 선택을 받기 어렵습니다. 따라서 실행 단계의 핵심은 AI를 독립된 시스템으로 인식시키는 것이 아니라, 공무원이 매일 대하는 전자결재, 업무 메일, 협업 툴 속에 자연스럽게 스며들어 ‘보이지 않는 조력자’로 기능하게 설계하는 것입니다.
이 지점에서 업무 몰입도를 높이는 '메일·메신저 통합형 AI 비서' 역량이 빛을 발합니다.[6] 공무원이 보고서 초안 작성을 요청하거나 과거 결재 문서를 요약해달라고 할 때, 별도의 화면으로 이동하지 않고 현재 일하고 있는 창 안에서 즉시 도움받을 수 있는 환경이 조성되어야 합니다. 특히 스스로 판단하고 작업을 수행하는 ‘에이전틱 AI(Agentic AI)’를 행정 워크플로우에 결합한다면, 단순 질의응답을 넘어 실제 행정 처리를 보조하는 수준까지 도달할 수 있습니다.
이는 기술적으로는 검색 증강 생성(RAG)의 정교한 구현을 의미하며, 정책적으로는 AI가 도출한 결과물에 대해 공무원이 신속하게 검증하고 최종 승인할 수 있는 ‘인간 중심의 지능형 업무 모델’을 정립하는 과정입니다. 결국 공공 AX의 최종 목적지는 화려한 시연이 아니라, 행정의 전문성을 상향 평준화하고 공무원이 더 가치 있는 정책 결정과 국민과의 소통에 집중할 수 있는 환경을 만드는 데 있습니다.
AI를 담는 그릇인 클라우드 정책 역시 중대한 변화의 시기를 지나고 있습니다. 과거의 클라우드 전환이 단순히 서버 위치를 옮기는 '리프트 앤 시프트(Lift & Shift)' 방식이었다면, 이제는 ‘클라우드 네이티브(Cloud Native)’로의 전면적인 실행 단계로 접어들었습니다.[7] 이는 행정 서비스의 수요가 폭주할 때 시스템이 자동으로 자원을 늘리고(Auto-scaling), 장애 발생 시 특정 기능만 분리해 복구할 수 있는 마이크로 서비스 아키텍처(MSA)를 도입하여 유연성을 확보하는 실질적인 엔지니어링 과정입니다.
[그림2] 클라우드 네이티브로의 전환 (작성자 제작)
클라우드 네이티브 전환 → 유연성 확보, 안정적인 운영 거버넌스, 전문적인 관리 서비스
공공 클라우드의 핵심은 ‘안정적인 운영 거버넌스’입니다. 수요가 폭주할 때 시스템이 자동으로 자원을 늘리고, 장애 발생 시 특정 기능만 분리해 복구할 수 있는 회복 탄력성을 확보하는 것입니다. 공공 부문에서 클라우드 네이티브 전환이 어려운 이유는 단순히 기술적 난이도 때문만이 아니라, 기존의 하드웨어 중심 예산 구조와 운영 방식이 클라우드의 유연성을 따라가지 못하기 때문입니다.
그 때문에 온프레미스와 멀티 클라우드가 혼재된 복잡한 환경에서 시스템을 중단 없이 관리하고, 비용을 효율적으로 통제할 수 있는 전문적인 관리 서비스(MSP) 역량이 필수적입니다. 단순히 인프라를 제공하는 것을 넘어, 공공의 까다로운 보안 요건을 충족하면서도 최신 클라우드 기술을 안정적으로 현장에 적용할 수 있는 운영 전문성이 뒷받침될 때 비로소 AX는 흔들림 없는 기반 위에 서게 됩니다. 이는 대규모 금융이나 공공 시스템의 클라우드 전환을 성공적으로 이끌어본 숙련된 전문가 그룹이 필요한 이유이기도 합니다. 시스템은 옮겼으나 운영 방식은 과거에 머물러 있다면, 클라우드 전환의 진정한 가치는 발현될 수 없습니다.
그동안 공공 AX의 확산을 가로막는 가장 큰 심리적·제도적 장벽은 '보안'이었습니다. 물리적 망 분리라는 철옹성 안에서 외부의 혁신적인 AI 모델을 활용하는 것은 사실상 불가능에 가까운 과제로 여겨졌기 때문입니다. 하지만 최근 정부는 데이터의 가치와 위험도에 따라 보안 등급을 차등 적용하는 '다층 보안 체계(MLS, Multi-Level Security)'로의 대전환을 선언하며 새로운 국면을 맞이했습니다.[8] 행정안전부가 발표한 최신 시책에 따라, 이제 민간의 초거대 AI 모델은 행정망 내부 업무 환경과 분리된 외산 기술이 아니라 '범정부 AI 공통기반'을 통해 유기적으로 연결되는 핵심 동력으로 자리 잡게 되었습니다.[9]
정부의 이번 전략은 공무원들이 개인정보 유출이나 국가 기밀 노출의 우려 없이, 행정망 안에서 GPT-5와 같은 민간의 최첨단 AI를 자유롭게 활용할 수 있는 환경을 구축하는 데 방점을 둡니다. 이는 국가 안보와 직결된 기밀 데이터는 철저히 통제하되(C 영역), 민생과 직결된 공개 데이터나 행정 지식은 AI가 자유롭게 학습하고 활용할 수 있도록(O 영역) 길을 열어주겠다는 파격적인 행보입니다. 결국 보안 설계의 패러다임이 과거의 일방적인 '차단'을 넘어, 혁신의 가용 범위를 극대화하는 '안전한 통로(Secure Gateway)' 구축으로 진화했음을 의미합니다.
본격적인 실행 단계에서는 이러한 정책적 유연성을 뒷받침할 '제로 트러스트(Zero Trust)' 철학이 실제 네트워크 설계에 완벽히 녹아들어야 합니다. "내부망이니까 안전하다"라는 기존의 고정관념에서 벗어나, 모든 데이터 접근과 흐름에 대해 실시간으로 인증하고 권한을 검증하는 체계를 갖추는 것이 필수적입니다. 특히 외부의 최신 AI 기술을 안전하게 수용하면서도 내부 민감 정보의 유출을 원천 차단하기 위해서는 비식별화 기술, 실시간 데이터 필터링, 이상 징후 탐지 등 고도화된 보안 기술이 AI 서비스 전 주기에 걸쳐 촘촘하게 설계되어야 합니다.
보안 설계가 정교할수록 AI가 행정 현장에서 발휘할 수 있는 능력의 범위는 비약적으로 넓어집니다. 이 지점에서 '엔터프라이즈급 AI 보안 및 게이트웨이 기술'을 보유한 파트너의 역량은 더욱 결정적인 차이를 만듭니다. 민간의 최신 엔진을 도입하면서도 공공의 엄격한 가이드를 충족하기 위해서는, 데이터 유출을 차단하면서도 AI의 연산 성능을 저하하지 않는 고난도의 보안 아키텍처 설계가 필요하기 때문입니다. 특히 다층 보안 체계(MLS)와 제로 트러스트 원칙이 복합적으로 적용된 환경에서 민간 AI와 내부 행정 지식 데이터베이스를 결합하는 과정은, 대규모 시스템 보안과 클라우드 운영 노하우를 동시에 갖춘 전문 조직만이 완수할 수 있는 과업입니다.
결과적으로 보안 설계가 견고해질수록 공무원이 AI를 통해 다룰 수 있는 데이터의 깊이와 행정 업무의 스펙트럼은 더 확장될 것입니다. 보안이 확립된 공통기반 위에서 민간의 혁신 기술이 자유롭게 흐를 때, 비로소 단순 질의응답을 넘어 고도의 정책 분석과 민원 해결을 지원하는 실질적인 'AI 행정 시대'가 완성됩니다. 혁신을 수용할 수 있는 보안 체계의 완성이야말로 공공 AX가 단발성 시범 사업을 넘어 범정부 차원의 표준 실행 체계로 안착하기 위한 가장 중요한 열쇠입니다.
현시점에서 각 기관이 가장 먼저 집중해야 할 과제는 '작지만, 확실한 성공 사례(Quick-Win)'를 창출하여 AX의 효용성을 내부적으로 입증하는 것입니다. NIA의 가이드라인 2.0에 따르면, 공공 AI 도입은 크게 '행정 효율화'와 '민원 지능화'라는 두 축으로 움직입니다.[4] 전면적인 도입에 앞서, 파급효과가 크고 데이터 정제가 용이한 특정 업무 분야를 선정해 파일럿 사업을 추진하는 것이 시행착오를 줄이는 지름길입니다.
가이드라인이 제시하는 대표적인 파일럿 후보군은 내부 행정 업무의 지능화입니다.[8] 예를 들어, 방대한 법령과 지침 속에서 필요한 정보를 즉시 찾아주는 '법령·규정 질의응답 서비스'나, 수년간 쌓인 민원 데이터를 분석해 보고서 초안을 작성해 주는 'AI 보좌관' 기능이 대표적입니다. 이러한 업무들은 이미 공무원들이 매일 수행하는 일상적인 과업이며, AI 도입 시 즉각적인 시간 단축 효과를 체감할 수 있는 영역입니다. 단순히 기술력을 검증하는 것을 넘어, 실제 사용자인 공무원들의 피드백을 실시간으로 반영해 서비스를 고도화하는 '애자일(Agile) 방식'의 접근이 필요한 이유입니다.
파일럿의 진정한 성공은 기술적 구현이 아니라 '현장 안착'에서 결정됩니다. 이를 위해서는 전략 수립부터 데이터 정제, 인프라 구축, 운영 및 변화 관리까지를 어우르는 통합 역량을 가진 파트너와의 협력이 필수적입니다. 기술 도입 따로, 데이터 정제 따로 이루어지는 파편화된 접근으로는 NIA 가이드라인이 경고하는 '데이터 품질 이슈'나 '시스템 간 불일치' 문제를 해결하기 어렵습니다. 특히, 수만 장의 행정 문서를 AI가 읽기 좋은 형태로 변환하고 자산화하는 고도의 데이터 엔지니어링 역량은 파일럿의 성패를 가르는 핵심 변수입니다.
파일럿의 성공을 위해서는 전략 수립부터 운영 안정화까지 실천적 역량을 보유한 파트너와 손을 잡아야 합니다. 기술 도입 따로, 데이터 정제 따로, 운영 따로 이루어지는 파편화된 접근으로는 결코 현장의 안착을 기대할 수 없습니다. 초기 단계부터 명확한 KPI를 설정하고, 도입 이후 공무원의 직무 변화와 조직 문화의 적응까지 고려한 포괄적인 실행 로드맵을 제시할 수 있는 파트너와 함께할 때 AX의 리스크는 최소화되고 성과는 극대화될 것입니다. 우리 기관에 가장 시급하고 효과적인 지점을 찾아 통합 역량을 가진 파트너와 성공 사례를 만드는 것. 이것이 성공적인 공공 AX을 향한 첫걸음이 될 것입니다.
[그림3] 성공적인 공공 AX 전략 (작성자 제작)
해외 선진국들도 공공 AI 도입을 위해 치열하게 달리고 있습니다. 영국의 'AI Playbook'이나 미국의 연방기관 AI 관리 지침은 우리에게 많은 시사점을 줍니다.[9] 그들이 공통으로 강조하는 것은 '중앙의 표준화된 가이드라인'과 '기관별 자율적 실행'의 조화입니다. 우리 역시 범정부 공통기반이라는 표준 위에, 각 기관이 창의적으로 AI를 활용할 수 있는 자율성을 부여해야 합니다.
대한민국은 이미 세계 최고 수준의 ICT 인프라와 높은 공공 서비스 수준을 보유하고 있습니다. 여기에 2026년 현재 가동되고 있는 범정부 AX 실행 전략이 결합한다면, 우리는 세계에서 가장 먼저 '지능형 플랫폼 정부'를 완성한 국가가 될 것입니다.[10] 이는 단순히 기술 강국의 위상을 높이는 일을 넘어, 저출산 고령화와 인력 부족이라는 국가적 난제를 지능형 행정으로 돌파하는 길입니다.
공공 AX의 청사진은 이제 책상 위를 떠나 현장의 실무자들 손으로 넘어왔습니다. 설계의 정교함에 감탄하던 시기는 지났습니다. 이제는 단 하나의 작은 업무라도 AI를 통해 실제로 편해졌는지, 국민이 복지 혜택을 받는 과정이 단 몇 초라도 줄어들었는지 결과로 말해야 합니다. 공공 AX의 다음 단계는 기술의 속도를 자랑하는 것이 아닙니다. 그 기술이 국가 행정의 신뢰를 높이고, 공무원의 전문성을 강화하며, 국민의 삶을 더 따뜻하고 안전하게 돌보는 지속 가능한 시스템으로 안착하는 것입니다.
![]()