Executive Summary
※ 아티클 내 일부 이미지는 ChatGPT GPT Image 2를 이용해 생성했습니다.
2026년 글로벌 테크 컨퍼런스를 관통하는 하나의 키워드를 꼽으라면 단연 온디바이스 AI다. 1월 CES는 AI가 모든 디바이스에 들어가는 시대를 선언하며 다양한 스마트 글래스가 소개되었고, 3월 GTC에서 엔비디아는 PC에서 구동되는 개인 Agent를 위한 소프트웨어 스택인 NemoClaw를 공개했다. 5월 Google I/O는 폰과 글래스, 워치를 넘나드는 Agentic AI인 Gemini Intelligence를 발표했으며(Agent platform으로 Gemini Spark도), 6월 초 COMPUTEX는 윈도우용 AI PC의 새 기준을 제시했다. 그리고, 6월 8일 WWDC에서 애플은 마침내 Gemini에 기반한 새로운 Apple Intelligece와 Siri를 내놓았다. 지난 4년의 AI 경쟁이 누가 더 큰 모델을 만드느냐의 싸움이었다면, 2026년의 경쟁은 누가 사용자 곁에서 Agent를 실행하느냐의 싸움으로 옮겨가고 있다. 이 경쟁의 핵심은 어떤 디바이스에서 무슨 Agent를 실행할 것이냐고 이것이 온디바이스 AI이다.
[그림 1] 2026년 온디바이스 핵심 어젠더 (출처: 자체 제작)
온디바이스 AI는 스마트폰, PC 그리고 스마트글래스처럼 사용자가 직접 사용하는 기기 안에서 AI를 구동하는 방식을 말한다. 기기에 탑재된 NPU와 메모리 같은 자원을 활용해 AI 연산을 처리하고 기기 안의 데이터와 센서 그리고 앱의 맥락을 바탕으로 사용자 의도를 이해해서 대신 기기를 Agent가 작동시킨다는 점이 핵심이다. 클라우드 AI가 사용자의 질문을 원격 서버로 보내 답을 받아오는 구조라면 온디바이스 AI는 기기가 먼저 이해하고 판단하는 구조다.
이 차이는 생각보다 크다. 그간 생성형 AI 사용 방식은 기기에서 주로 텍스트로 입력만 받아 실제 연산 처리를 클라우드의 FM(Foundation Model)이 계산했다. 반면 온디바이스 AI의 입력은 텍스트 데이터 외에 사용자의 위치, 일정, 메시지 또한 결제 내역과 카메라, 마이크 같은 센서로까지 확장되고 연산도 디바이스 내에서 처리된다. 묻기 전에 의도를 읽는 Intent 중심의 AI이면서, 민감한 개인 데이터가 외부 서버로 나가지 않으니 프라이버시에 유리하고 네트워크를 거치지 않으니 응답이 빠르며 토큰 비용 부담도 없다. 당연히 인터넷 연결이 되지 않는 비행기 안에서도 작동한다.
다만 온디바이스 AI가 클라우드 AI의 대체재는 아니다. 기기 안에서 구동되는 소형 모델은 복잡한 추론에서 클라우드의 거대 모델을 따라가지 못한다. 그래서 실제 온디바이스의 AI 작동 구조는 같이 작업 되는 분업 방식이다. 단말은 사용자의 현실 맥락을 포착하고 가벼운 작업은 기기 내에서 즉시 처리한다. 단, 고난도 추론은 클라우드로 보낸다. 이렇게 단말과 엣지와 클라우드가 하나의 시스템처럼 움직이는 하이브리드 AI가 온디바이스 AI의 실체다. 그리고, 그 사이에 실시간성이 중요한 추론을 처리하는 엣지가 자리할 기회가 생긴다.
이같은 온디바이스 AI를 이해하려면 Generative AI, Agentic AI, Embodied AI, Physical AI의 관계를 구분해야 한다. 생성형 AI는 생각하고 생성한다. 클라우드의 파운데이션 모델이 문장을 만들고 이미지를 만들고 코드를 만든다. Agentic AI는 판단하고 조율한다. 사용자의 목적을 달성하기 위해 어떤 도구를 호출할지 어떤 앱을 열지 어떤 API를 사용할지 결정한다. Physical AI는 현실 세계에서 행동한다. 로봇, 드론, 자율주행차, 공장 자동화 설비가 현실의 물체와 공간을 다룬다.
[그림 2] 온디바이스 AI 연결 관계 (출처: ChatGPT GPT Image 2)
지난 4년의 클라우드에서 생각하고 생성하는 Generative AI가 1단계였다면, 사용자의 의도를 판단하고 도구를 조율해 실행하는 Agentic AI가 2단계다. 이후, 현실 세계의 사물을 직접 움직이는 Physical AI가 3단계다. 온디바이스 AI는 생성형 AI와 에이전트 AI 사이에 놓인다. 사용자의 손안에 있는 스마트폰과 책상 위의 PC, 눈앞의 글래스가 사용자의 맥락을 포착하고 에이전트가 실행할 준비를 한다. 즉, 사용자의 현실 맥락을 이해해야 Agent가 제대로 일할 수 있고 그 맥락은 사용자가 늘 지니고 다니는 기기에서만 잡히기 때문이다. 동시에 온디바이스 AI는 Physical AI를 훈련시키는 데이터 수집 채널이 되기도 한다. LLM이 인터넷 텍스트로 학습했다면 로봇을 움직일 차세대 모델은 사람이 보고 듣고 움직이는 현실의 멀티모달 데이터를 필요로 한다. 그 데이터를 모을 수 있는 장비가 바로 폰이고 글래스다.
이같은 작동 흐름을 따라가 보면 온디바이스 AI가 만들어내는 새로운 AI 워크로드가 보인다. 음성이나 카메라나 센서로 사용자의 의도가 입력되면 기기 안의 SLM이 개인 컨텍스트를 파악하고, 이어서 Agent가 실행한다. SLM과 Agent의 중간에서 라우터가 사용자가 요청한 작업을 기기 안에서 처리할지 클라우드를 호출할지 외부 앱을 실행할지 결정한다. 짧고 민감한 작업은 로컬 SLM이 처리하고, 실시간성이 높은 추론은 엣지가 맡으며, 복잡한 추론은 클라우드의 파운데이션 모델이 담당한다. 실행 결과는 다시 기기로 돌아와 사용자의 반응과 함께 메모리에 반영된다. 질문 하나에 답변 하나를 돌려주던 단순한 워크로드가 단말과 엣지와 클라우드를 넘나드는 분산형 워크로드로 바뀌는 것이다.
이같은 온디바이스 AI가 부상하는 첫 번째 이유는 속도다. 사용자가 “지금 통화 내용을 회의록으로 정리해 줘”라고 말했을 때 음성 인식과 요약의 일부는 단말에서 바로 처리되는 편이 빠르다. 매번 클라우드로 데이터를 보내고 응답을 기다리면 실시간 경험이 깨진다. 스마트글래스가 눈앞의 일본어 메뉴를 번역하거나 작업자가 공장에서 설비 부품을 보며 조립 절차를 확인하는 상황에서는 1초의 지연도 사용자 경험을 망친다. 온디바이스 처리는 이런 순간에 필요하다.
두 번째 이유는 프라이버시다. AI가 진짜 개인 비서가 되려면 메시지, 사진, 건강 정보, 결제 내역, 업무 문서, 사내 시스템 접근 기록을 이해해야 한다. 하지만 이 데이터를 모두 외부 클라우드로 보내는 것은 법적·사회적 부담 그리고 기업과 개인의 보안, 개인정보보호에 대한 이슈가 크다. 애플이 WWDC 2026에서 Siri AI와 Apple Intelligence를 설명하며 온디바이스 모델과 Private Cloud Compute를 강조한 것도 이 때문이다. 애플은 개인 맥락 이해, 화면 인식, 앱 실행 기능을 Siri AI의 핵심으로 제시하면서 민감한 데이터가 저장되거나 애플이 접근할 수 없도록 설계했다고 설명한다.
세 번째 이유는 비용이다. 모든 요청을 거대 모델이 처리하면 토큰 비용과 추론 인프라 비용이 감당하기 어렵다. 예를 들어 “오늘 저녁 7시 회의 30분 전 알림을 만들어줘” 같은 요청은 수천억 파라미터급 모델이 처리할 필요가 없다. 단말 안의 작은 모델과 OS 권한 처리만으로 충분하다. 반대로 “지난 1년간 영업 데이터를 분석해 다음 분기 지역별 전략을 제안해 줘” 같은 요청은 클라우드의 대형 모델과 기업 데이터 분석 시스템이 필요하다. 앞으로 AI는 모든 요청을 한 곳에서 처리하지 않을 것이다. 단말은 맥락을 맡고 엣지는 실시간 추론을 맡으며 클라우드는 복잡한 추론을 맡는 구조로 분산된다. 하이브리드 AI의 본질도 여기에 있다.
이같은 하이브리드 AI 작동에 있어 가장 중요한 것은 사용자가 내린 명령에 대한 의도를 이해하는 맥락에 대한 정보다. 예를 들어 사용자가 스마트폰에 “엄마 생신 선물 주문해 줘”라고 말한다고 할 때, 생성형 AI는 선물 후보를 제안할 수 있다. 하지만 에이전트가 실제로 쓸모 있으려면 더 많은 맥락이 필요하다. 사용자의 캘린더에서 생신 날짜를 확인해야 하고, 과거 메시지에서 어머니가 건강식품보다 꽃을 좋아한다는 단서를 찾을 수 있어야 한다. 또한 실제 실행을 하려면 주소록에서 배송지를 확인해야 하며, 결제 권한을 받아야 한다. 이 대부분은 단말과 앱 안에 있기에 이 데이터에 접근해 해석할 수 있어야 한다.
PC에서도 마찬가지다. “이번 주 고객사 제안서 초안을 만들어줘”라는 요청을 생각해 보자. 클라우드 모델은 좋은 문장을 만들 수 있다. 하지만 실제 업무 제안서에는 지난 미팅의 회의록, 고객사의 기존 계약 조건, 내부 가격 정책, 경쟁사 비교 자료, 담당자의 이메일 톤, 회사의 템플릿이 있어야 완성도를 높일 수 있다. 이 정보는 PC와 기업 시스템에 흩어져 있다. 따라서 AI PC의 본질은 NPU 성능 자체가 아니다. 업무 프로세스를 이해하고 회사 시스템에 Agent가 연결할 수 있어야 한다.
앞으로 보급될 글래스는 앞서 제시한 것처럼 온디바이스 AI가 Physical AI로 이어지는 데이터 수집 장치로서의 역할을 수행할 수 있다. LLM이 인터넷 텍스트를 학습하며 발전했다면 다음 세대의 로봇과 물리 AI는 현실 멀티모달 데이터를 필요로 한다. 사람이 무엇을 보고 어떤 상황에서 어떤 판단을 하며 어떤 행동을 취하는지에 대한 데이터가 중요해진다. 스마트글래스는 이 데이터를 가장 자연스럽게 포착할 수 있는 기기다. 즉, “현실 맥락을 지속 감지하고 공간과 사물을 인식하며 장기 기억과 컨텍스트 그래프를 구성하는 장치”가 될 수 있다. 그런 면에서 온디바이스 AI의 대표 이들 3가지 기기는 각자 특징을 가지고 있다.
실제 온디바이스 AI는 어떻게 얼마나 사용되고 있을까?
삼성전자는 2월 25일 갤럭시 언팩에서 갤럭시 S26 시리즈를 진정한 Agentic AI의 시작이라 선언하며 공개했다. 갤럭시 S26에서 빅스비는 대화형 기기 에이전트로 진화했다. 설정 메뉴의 정확한 이름을 몰라도 눈이 피로하다고 말하면 빅스비가 화면 보호 모드를 제안한다. 여기에 Gemini와 Perplexity까지 사용자가 선택할 수 있는 복수의 Agent가 탑재됐다. 이때 실제 앱을 호출하고 실행하는 것은 구글의 제미나이 인텔리전스에 맡긴다. 일례로, Gemini에게 택시를 불러달라고 말하면 Agent가 앱을 열고 목적지를 입력하고 옵션을 정리해 사용자에게는 확인 버튼 하나만 남긴다. 사용자는 의도만 말하고 실행은 Agent가 맡는 구조가 상용 제품에서 구현된 것이다. 이를 뒷받침하는 것이 기기 안에서 사용자의 선호를 학습하는 Personal Data Engine과 데이터를 앱 단위로 격리해 보호하는 Knox의 보안 체계다. 맥락 학습은 깊게 하되 데이터는 기기 밖으로 내보내지 않겠다는 설계다.
[그림 3] 갤럭시 S26 언팩 (출처: 삼성전자)
애플은 6월 8일 WWDC 2026에서 공개된 새로운 Siri는 2024년 약속했던 개인화 Siri의 재도전이자 애플 AI 전략의 대전환이다. 가장 큰 변화는 삼성처럼 구글에 AI를 의존했다는 점이다. 애플은 차세대 Apple Foundation Models를 구글 Gemini 기반으로 약 1.2조 파라미터로 구축한다고 공식화했다. 연간 약 10억 달러 규모로 알려진 이 계약을 통해 Siri는 Gemini의 지능을 빌린다. 그러나, 구동 방식은 철저히 애플의 방식으로 Siri를 호출해서 애플이 직접 운영하는 보안 클라우드인 Private Cloud Compute 안에서 운영되며 사용자 데이터는 저장되지 않고 학습에도 쓰이지 않는다. 빌린 두뇌도 자기 금고 안에서만 돌리겠다는 것이다. 새로운 Siri는 개인 컨텍스트를 이해하고 화면 위의 내용을 분석하며 앱을 가로질러 작업을 수행한다. 여러 번의 대화에 걸쳐 맥락을 유지하며 다단계 작업도 처리한다. 그리고 이 경험은 아이폰에 머물지 않고 아이패드와 맥 등 애플 기기 전반으로 확장된다. 쉬운 작업과 민감한 작업은 기기의 온디바이스 모델이 처리하고 어려운 추론은 PCC와 클라우드 모델로 라우팅하는 전형적인 하이브리드 구조다. iOS 27에서는 사용자가 서드파티 AI 모델을 기본 비서로 선택할 수 있는 확장 구조까지 열었다.
[그림 4] 애플 Siri 탑재 라인업 (출처: 애플)
삼성과 애플이 서로 다른 길을 가는 동안 그 중심에 구글이 있다는 점에 주목해야 한다. 5월 19일 Google I/O 2026에서 구글은 Agent 시대의 플랫폼 전략을 가장 선명하게 보여줬다. 순다르 피차이가 공개한 Gemini Spark는 클라우드의 전용 가상머신 위에서 24시간 작동하는 개인 AI Agent다. Gemini 3.5 모델과 Antigravity라는 에이전트 하니스로 구동되며 사용자가 노트북을 닫아도 백그라운드에서 장기 작업을 이어간다. Gmail과 캘린더를 뒤져 하루를 정리해 주고 이메일과 채팅으로 일을 시킬 수 있으며 여름부터는 Chrome 안에서 직접 웹을 조작하는 에이전틱 브라우저로 확장된다. 단말 쪽에서는 Android에 Halo라는 새 UI 영역이 생겨 Agent가 지금 무슨 일을 하고 있는지 화면 상단에서 실시간으로 보여준다. 단말의 Agent 경험과 클라우드의 백그라운드 Agent를 이원화해 양쪽을 모두 장악하는 전략이다. 여기에 구글은 삼성 그리고 퀄컴과 함께 만든 Android XR 글래스를 공개하며 폰 다음의 기기까지 Gemini를 심었다. 젠틀몬스터와 와비파커가 디자인한 오디오 글래스가 올가을 출시되고 시야에 정보를 띄우는 디스플레이 글래스가 뒤를 잇는다.
[그림 5] 오디오 글래스 (출처: 애플)
PC는 올 초에 OpenClaw 같은 오픈소스 개인 Agent 프로젝트가 개발자 커뮤니티에서 폭발적으로 주목받았다. 사용자의 PC에 설치되어 애플리케이션을 조작하고 콘텐츠를 만들고 반복 업무를 자동화하는 이 Agent들은 클라우드가 아니라 내 기기에서 내 데이터로 작동한다는 점에서 온디바이스 AI의 가장 급진적인 형태다. 이 흐름을 정조준한 것이 6월 1일 COMPUTEX에서 젠슨 황이 공개한 NVIDIA RTX Spark다. 엔비디아는 RTX Spark를 개인 Agent 시대를 위해 PC를 재발명한 새로운 등급의 윈도우 PC라고 정의했다. 최대 1페타플롭의 AI 연산 성능과 128GB의 통합 메모리를 갖춰 대형 모델도 기기 안에서 구동한다. 윈도우에는 마이크로소프트의 새 보안 체계 위에서 Agent를 안전하게 실행하는 NVIDIA OpenShell 런타임이 올라가고 OpenClaw와 Hermes 같은 인기 Agent 프로젝트들이 이를 통합한다. ASUS와 Dell과 HP와 Lenovo와 Microsoft Surface가 올가을 RTX Spark PC를 출시한다. 엔비디아가 이 제품으로 2,000억 달러 규모의 PC CPU 시장에 도전한다고 평가했다. 40년을 지배해온 윈텔 구도가 Agent라는 새 워크로드 앞에서 흔들리며 윈비디아라는 새로운 동맹을 시작한 것이다.
[그림 6] 엔비디아 CEO 젠슨 황 COMPUTEX 키노트 - NVIDIA Vera CPU for Agents (출처: 엔비디아)
글래스에 들어간 AI는 사용자가 스마트폰을 꺼내고 보지 않아도 현실 위에 정보를 얹을 수 있다. 해외 식당 메뉴를 바라보면 번역이 보이고, 공장 설비를 보면 부품명과 교체 순서가 안내된다. 의사가 수술 장면을 보며 환자 기록과 실시간 체크리스트를 확인할 수 있다. 물류 작업자는 양손을 쓰면서 다음 피킹 위치를 확인할 수 있다. 이런 제대로 된 AI 경험은 스마트폰보다 글래스가 자연스럽다. 이런 AI Glass의 사용자 경험을 “hands-free·eyes-on” 인터랙션이라 말한다. 핵심은 사용자의 시야, 공간, 소리, 번역 대상, 환경을 포착해 디지털과 현실의 경계를 줄이는 것이다. 이것은 Embodied AI와 Physical AI로 가는 데이터 파이프라인이기도 하다. 로봇이 현실 세계를 제대로 이해하려면 사람이 실제 공간에서 어떻게 판단하고 행동하는지에 대한 데이터가 필요하다. 글래스는 그 데이터를 수집하는 가장 가까운 장치가 될 수 있다.
다만 글래스 시장은 기술보다 신뢰의 문제가 더 크다. 사용자가 늘 카메라가 켜진 안경을 쓰고 다니는 세상을 사회가 받아들일 것인지는 아직 확실하지 않다. 기업 현장에서는 먼저 확산할 가능성이 높다. 제조, 물류, 의료, 건설, 정비, 교육 같은 현장에서는 양손을 자유롭게 쓰면서 정보를 확인해야 하는 요구가 분명하기 때문이다. 소비자 시장에서는 디자인, 배터리, 가격, 프라이버시 표시, 촬영 제한, 사회적 합의가 함께 해결되어야 한다.
단, AI 글래스는 스마트폰의 대체재가 아니다. 스마트글래스는 스마트폰과 다른 데이터를 가진다. 스마트폰은 사용자의 손안에 있는 데이터다. 글래스는 사용자의 눈앞에 있는 데이터다. 이것이 차세대 AI 디바이스로서 글래스가 중요한 이유다. 그처럼 폰과 PC 그리고 글래스는 각자 서로 경쟁하지 않는다. 폰은 위치와 결제와 메시지가 쌓이는 생활 맥락의 입구이고, PC는 문서와 코드와 이메일이 흐르는 업무 맥락의 입구이며, 글래스는 시야와 공간과 음성을 잡는 현실 맥락의 입구다. 각 기기가 서로 다른 맥락을 포착하며 하나의 Agent 생태계로 수렴한다.
[그림 7] AI 글래스 (출처: ChatGPT GPT Image 2)
온디바이스 시장이 커질수록 주목받는 기술이 있다. 기기에서 실행되는 Agent의 실행 품질을 높이는 기술이다.
첫째는 라우터다.
사용자의 요청을 로컬에서 처리할지 엣지로 보낼지 클라우드로 올릴지를 비용과 속도와 보안 기준으로 실시간 결정하는 기술이다. 하이브리드 AI의 두뇌에 해당한다. 같은 질문이라도 배터리 상태와 네트워크 환경과 데이터 민감도에 따라 최적의 실행 위치가 달라진다. 이 결정을 가장 싸고 빠르고 안전하게 내리는 사업자가 하이브리드 AI 시대의 관문을 쥔다. 기기 제조사와 OS 사업자와 모델 기업과 통신사가 모두 이 자리를 노리고 있다.
[그림 8] 온디바이스 AI 라운팅 (출처: ChatGPT GPT Image 2)
둘째는 SLM 즉 소형 언어모델이다.
엔비디아 연구진은 지난해 발표한 논문에서 소형 언어모델이 Agentic AI의 미래라고 단언했다. 후속 연구들에 따르면 함수 호출과 구조화된 출력과 도구 조작 같은 에이전트 작업의 80에서 90%는 SLM으로 충분하며 비용은 대형 모델 대비 10분의 1에서 30분의 1 수준이다. 평소에는 SLM이 처리하고 어려운 작업만 대형 모델로 올리는 SLM 기본에 LLM 보조 구조가 업계 표준 아키텍처로 자리 잡고 있다. 기기마다 NPU 사양이 제각각인 상황에서 모델을 증류하고 양자화해 단말에 최적화하는 경량화 솔루션의 수요도 함께 커진다. 애플이 경량 모델 전문기업인 다윈AI를 2024년초 인수한 것도 이 때문이다.
셋째는 오케스트레이션이다.
사용자는 하나의 Agent를 쓰지만 그 뒤에서는 여러 모델과 여러 클라우드와 여러 앱이 동시에 연결된다. 이 복잡한 실행을 끊김 없이 완결시키는 조율 기술이 오케스트레이션이다. 어떤 모델을 언제 호출할지 결정하는 모델 라우팅과 앱과 결제와 인증을 통합 호출하는 Action 레이어 그리고 세션을 넘어 개인의 맥락을 누적하는 Context Graph 메모리가 여기에 포함된다. COMPUTEX에서 공개된 OpenShell과 마이크로소프트의 실행 컨테이너처럼 Agent를 안전하게 가두고 권한을 통제하는 보안 런타임도 오케스트레이션의 핵심 구성요소다. Agent가 내 결제와 내 문서에 손을 대는 시대에 신뢰 계층 없는 실행은 불가능하기 때문이다.
넷째는 네트워크 쪽에서 부상하는 AI-RAN이다.
단말이 처리하지 못하는 추론을 가장 가까운 곳에서 받아줄 후보가 바로 통신 기지국이다. 기지국의 연산 장비를 AI 추론까지 수행하는 엣지 데이터센터로 바꾸는 것이 AI-RAN이다. 엔비디아는 지난해 10월 노키아에 10억 달러, 올해 4월 마벨에 20억 달러를 투자하며 AI 네이티브 기지국 개발에 나섰고, T-Mobile과 함께 기지국 단에서 AI 워크로드를 처리하는 실증을 진행하고 있다. 시장조사기관 옴디아는 AI-RAN 시장이 2030년까지 누적 2,000억 달러를 넘어설 것으로 전망했다. 통신망이 연결을 파는 사업에서 추론을 파는 사업으로 확장되는 것이다. 온디바이스 AI가 만들어내는 분산형 워크로드가 통신사에게 수십 년 만의 새로운 수익원을 열어주고 있는 셈이다.
[그림 9] 엔비디아 CEO 젠슨 황 COMPUTEX 키노트 - A-RAN Computer (출처: 엔비디아)
이 밖에도 보안 솔루션의 기회가 크다. 에이전트가 결제와 예약과 이메일 발송을 대신하는 순간 해킹 피해는 훨씬 커진다. 악성 프롬프트가 사용자의 에이전트를 속여 결제를 유도하거나 민감한 파일을 외부로 보내게 만들 수 있다. 따라서 프롬프트 인젝션 방어, 에이전트 행동 감사, 권한 최소화, 샌드박스 실행, 정책 기반 승인, 디지털 위임장, AI 신원 인증이 필요하다. NemoClaw가 OpenShell 정책 제어와 샌드박싱, 보안 가드레일을 강조하는 것도 이 시장의 가능성을 보여준다.
AI 워크로드가 학습에서 추론으로 전환되면서 관련 기술 솔루션과 사업 기회가 커진 것처럼 온비다이스 AI는 새로운 비즈니스 기회를 만들어낸다.
첫째는 에이전트 경제의 부상이다.
인터넷의 첫 30년은 사람이 검색하고 클릭하고 비교하고 구매하는 구조였다. 검색 광고는 사용자의 검색 의도 위에 세워졌다. 모바일 광고는 사용자의 앱 사용 시간 위에 세워졌다. 커머스 플랫폼은 사람이 상품을 비교하고 장바구니에 담고 결제하는 과정에서 수수료를 받았다. 즉, 사람의 시선을 붙잡아 광고를 보여주고 사람의 클릭에서 수수료를 떼는 구조다. 그런데 Agent가 검색하고 비교하고 결제까지 끝내는 세상에서는 사람의 시선이 머물 화면 자체가 사라진다. 광고 모델의 토대가 흔들리는 자리에 Agent 간 거래라는 새로운 경제가 들어서고 있다. 에이전트가 후보를 추리고 조건을 비교하며 가격을 확인하고 재고를 확인하고 배송 가능성을 검토한다. 사용자는 마지막 승인만 한다. 그러면 광고의 위치도 바뀐다. 광고 노출을 많이 하는 것보다 에이전트가 선택할 수 있는 신뢰 가능한 상품 데이터와 가격 정보와 결제 프로토콜을 제공하는 것이 더 중요해진다.
이미 인프라 경쟁이 치열하다. 구글과 코인베이스가 주도하고 60여 개 기관이 참여한 AP2는 Agent에게 결제 권한을 위임하는 인증 프로토콜이고 OpenAI와 Stripe가 만든 ACP는 특정 가맹점과 금액에 묶인 일회용 결제 토큰으로 Agent의 구매를 처리한다. HTTP 결제 프로토콜인 x402는 출시 후 수개월 만에 1억 건이 넘는 기계 간 결제를 처리했다. 사람이 보지 않는 곳에서 Agent가 Agent에게 데이터와 연산과 서비스의 대가를 지불하는 경제가 이미 가동되기 시작한 것이다. 이 신경제에서 수익은 노출이 아니라 실행의 완결에서 나온다. 사용자의 의도를 안전한 실행으로 완결시키는 플랫폼이 거래마다 수수료를 가져가는 AI 실행 거래소가 새로운 BM의 중심이 된다. 또한, 구체적으로 구글 I/O 2026에서 Universal Cart와 Universal Commerce Protocol, Agent Payments Protocol을 발표한 것은 이 방향을 보여준다. 구글은 Agentic Commerce의 기반을 만들고 있다고 설명하며 Search, Gemini, YouTube, Gmail을 넘나드는 Universal Cart를 제시했다. 또한 AP2를 통해 사용자가 정한 조건과 한도 안에서 에이전트가 구매를 수행할 수 있도록 투명하고 검증 가능한 결제 연결을 만들었다. 이는 에이전트가 단순 추천자가 아니라 거래 수행자가 되는 흐름이다.
[그림 10] Agent Payments Protocol (AP2) (출처: 구글)
이 변화는 비즈니스 모델을 바꾼다. 기존에는 플랫폼이 광고비와 거래 수수료를 받았다. 앞으로는 에이전트 간 거래 수수료, API 호출 수수료, 인증·결제·정산 수수료, 에이전트 신뢰 점수, 기업용 에이전트 운영 구독, 에이전트 마켓플레이스 수익이 커질 수 있다. 예를 들어 여행 에이전트가 항공권 에이전트, 호텔 에이전트, 보험 에이전트와 협상하고 사용자의 조건에 맞는 조합을 만든다고 하자. 이때 가치를 만드는 지점은 광고 노출이 아니라 에이전트 간 데이터 교환과 조건 검증과 최종 승인이다.
단, 에이전트 경제가 바로 완성되기는 어렵다. 보안과 신뢰, 분쟁 등 해결해야 할 문제가 많다. 먼저 에이전트가 누구를 대리하는지 확인해야 한다. 사용자의 예산과 금지 조건을 어떻게 강제할지 정해야 한다. 또한, 거래가 잘못됐을 때 책임 주체가 누구인지 정해야 한다. 에이전트가 특정 플랫폼이나 상품을 편향적으로 선택하지 않도록 투명성을 확보해야 한다. 그래서 앞으로 중요한 사업 기회는 단순한 AI 쇼핑봇이 아니라 에이전트 신원, 위임장, 권한 관리, 결제 보안, 거래 감사, 분쟁 처리 인프라가 될 가능성이 높다.
둘째는 반도체의 기회다.
단말에서의 AI 성능은 연산 능력보다 메모리가 좌우한다. 수십억 파라미터의 모델을 기기에 상주시키려면 고대역폭과 대용량과 저전력을 동시에 만족하는 메모리가 필요하다. 스마트폰에는 차세대 LPDDR이 그리고 AI PC에는 대용량 통합 메모리가 요구된다. RTX Spark가 128GB 통합 메모리를 전면에 내세운 것이 이를 대변한다. 발열 제약이 큰 글래스는 연산을 엣지로 넘기는 만큼 엣지 데이터센터의 고속 고용량 메모리와 반도체 간 메모리 전송의 병목을 줄여주는 차세대 고속 인터페이스인 CXL(Compute Express Link)의 수요가 커진다. 데이터센터와 기지국과 단말이라는 세 개의 전장에서 동시에 메모리 수요가 열리는 것이다. AI 반도체의 격전지가 클라우드에서 사용자의 손안까지 확장되고 있다.
[그림 11] 삼성전자 LPDDR6 칩 (출처: 삼성전자)
그렇게 온디바이스 AI는 기기 내 반도체 시장에 새로운 수요를 만든다. 데이터센터 AI는 HBM과 고성능 GPU 수요를 폭발시켰다. 온디바이스 AI는 여기에 더해 LPDDR, 고속 스토리지, 온디바이스 NPU, 저전력 메모리, 엣지 서버용 메모리, CXL 메모리 같은 수요를 키운다. 단말에서 AI가 잘 돌려면 연산 성능만으로 부족하다. 모델과 컨텍스트를 메모리에 올려야 하며 사용자 데이터를 빠르게 읽고 처리해야 한다. 결국 메모리 대역폭, 용량, 전력 효율이 제품 경험을 좌우한다. 실제 스마트폰에서는 LPDDR5X와 향후 LPDDR6 같은 저전력 고대역폭 메모리가 중요해진다. AI 모델이 상주하고 사진과 음성, 메시지 맥락을 빠르게 처리하려면 메모리 용량도 늘어야 한다. PC에서는 대용량 메모리와 고속 SSD가 중요하다. 로컬 에이전트가 문서와 코드와 이메일과 브라우저 기록을 다루려면 단순 8GB 노트북으로는 한계가 있다. 글래스에서는 발열과 배터리가 가장 큰 제약이므로 초저전력 메모리와 엣지 오프로드가 함께 필요하다.
IDC는 2025년 GenAI 스마트폰 출하량이 3억 7,000만 대를 넘고 전체 스마트폰의 약 30%를 차지할 것으로 전망했다. 또한 2029년에는 온디바이스 GenAI 기능이 중급 스마트폰에서도 표준이 될 수 있다고 봤다. 다만 IDC는 2026년 스마트폰 전체 출하량은 메모리 부족과 지정학적 요인으로 감소할 수 있다고도 전망했다. 이는 중요한 시사점을 준다. AI 폰 시장은 단순한 출하량 성장만으로 보아서는 안 된다. 더 비싼 메모리와 NPU, 더 높은 ASP, 더 긴 교체 주기, 더 강한 생태계 락인이라는 관점에서 봐야 한다. AI PC도 마찬가지다. NPU 40 TOPS는 출발점일 뿐이다. 실제 사용성은 메모리와 런타임 품질, 보안 정책, 로컬 모델 생태계에 달려 있다. 로컬 에이전트가 큰 컨텍스트와 대형 모델을 다루려면 메모리 병목이 심각해지기 때문이다.
셋째는 AI 인프라의 재편이다.
지난 2년 AI 인프라 투자가 초대형 데이터센터에 집중됐다면 온디바이스 AI는 투자의 무게중심을 사용자 가까이로 분산시킨다. 단말과 클라우드를 잇는 하이브리드 AI 솔루션과 사용자 근접 지역의 엣지 데이터센터 그리고 기지국을 추론 노드로 바꾸는 AI-RAN이 새로운 수요처다. 수익의 기준도 바뀐다. GPU를 몇 장 보유했느냐가 아니라 사용자의 요청에 얼마나 빠르고 싸고 안전하게 응답하느냐가 인프라의 경쟁력이 된다. 추론의 시대가 AI 인프라의 1차 변곡점이었다면 온디바이스 AI는 2차 변곡점을 예고한다.
그런데, 온디바이스 AI로 인한 인프라에 대한 요구의 가장 핵심은 신뢰다. 단말 내에서 사용자, 기업 데이터를 다루기 때문에 안전, 보안, 개인정보보호에 대한 신뢰가 필요하다.
그 신뢰는 크게 3가지로 구분된다. 첫째는 데이터 신뢰다. 사용자는 AI가 내 데이터를 어떻게 읽고 저장하고 사용하는지 알아야 한다. 둘째는 실행 신뢰다. 에이전트가 결제, 예약, 이메일 발송, 파일 삭제 같은 행동을 할 때 사용자는 언제 개입하고 언제 자동 실행할지 통제할 수 있어야 한다. 셋째는 결과 신뢰다. 에이전트가 잘못된 판단을 했을 때 추적과 복구가 가능해야 한다. 이 신뢰를 확보하지 못하면 온디바이스 AI는 거부감을 낳는다. 사용자가 “AI가 내 휴대폰을 마음대로 조작한다”고 느끼면 편리함보다 불안이 커진다. 기업도 마찬가지다. 사내 에이전트가 고객 정보를 잘못 보내거나 승인 없는 발주를 실행하면 생산성 향상보다 리스크가 커진다. 그래서 온디바이스 AI 시대의 핵심 기술은 모델 성능만이 아니다. 권한, 승인, 보안, 감사, 정책, 라우팅, 비용 관리가 모두 포함된다.
결국 온디바이스 AI의 본질은 “기기 속 AI”가 아니다. 사용자 곁의 맥락을 이해하고 클라우드와 엣지와 단말을 연결하며 앱과 시스템과 결제를 안전하게 실행하는 구조다. 이 구조가 만들어지면 AI는 검색창이나 챗봇을 넘어 사용자의 일상과 업무를 대신 수행하는 실행 계층이 된다. 앞으로의 승자는 가장 큰 모델을 가진 기업을 넘어 가장 많은 단말 접점을 가진 기업, 가장 신뢰받는 OS를 가진 기업, 가장 많은 앱 실행 권한을 가진 기업, 가장 가까운 엣지 인프라를 가진 통신사, 가장 효율적인 메모리와 NPU를 제공하는 반도체 기업, 가장 안전한 에이전트 플랫폼을 운영하는 기업이 함께 경쟁한다. 온디바이스 AI 시대는 클라우드 AI의 종말이 아니라 AI 워크로드의 재배치다. 그리고 그 재배치의 중심에는 사용자 맥락과 실행 권한이 있다.
그런 이유로, 통신사는 AI-RAN과 엣지 DC를 통해 이 실행 구조의 인프라 파트너가 될 수 있다. 반도체 기업은 단말과 엣지와 데이터센터 전반의 메모리 병목을 해결하는 공급자가 될 수 있다. AX 사업자는 기업의 업무 프로세스를 에이전트가 호출 가능한 도구로 재구성하는 사업자가 될 수 있다. 이 세 축이 결합할 때 온디바이스 AI는 단말 기능을 넘어 산업 인프라가 된다.
웹 시대의 승부는 검색을 누가 장악하느냐였다. 모바일 시대의 승부는 소셜을 누가 장악하느냐였다. 온디바이스 AI 시대의 승부는 사용자의 의도가 실행으로 바뀌는 순간을 누가 장악하느냐다. 사용자는 더 이상 수십 개의 앱을 옮겨 다니며 일을 처리하고 싶어 하지 않는다. “해줘”라고 말하면 에이전트가 맥락을 읽고 적절한 모델을 호출하고 필요한 앱을 열고 비용과 보안을 계산하고 승인을 받아 실행하는 경험을 기대하게 된다. 그 지점을 장악하는 기업이 차세대 인터넷 패권 경쟁의 승자가 될 것이다.
그 과정에 KPI도 변경된다. 앱스토어 시대의 KPI가 설치 수였다면 온디바이스 AI 시대의 KPI는 맥락 이해와 실행 완결도다. AI 모델 기업과 플랫폼사, 제조사와 통신사가 모두 이 관문을 향해 달려가고 있다. 그 길목에 라우터와 SLM과 오케스트레이션과 AI-RAN이라는 새로운 기술 솔루션의 기회가 있고 에이전트 경제와 엣지 인프라와 차세대 메모리라는 새로운 비즈니스의 기회가 있다.
기업의 관점에서 이는 생성형 AI 시대와는 다른 새로운 AX 전환을 필요로 한다. 많은 기업은 이미 생성형 AI를 도입했다. 사내 챗봇을 만들고 문서 요약 기능을 붙이고 코딩 보조 도구를 도입했다. 하지만 이 단계는 아직 “답변형 AI”에 가깝다. 다음 단계는 “실행형 AI”다. 직원이 자연어로 요청하면 에이전트가 사내 시스템을 호출하고 승인 절차를 거쳐 결과를 실행해야 한다. 예를 들어 인사팀 직원이 “다음 달 입사자 온보딩 일정을 만들어줘”라고 말하면 에이전트는 채용 시스템, 조직도, 교육 일정, 계정 발급 시스템, 보안 교육, 사내 메신저, 회의실 예약 시스템을 연결해야 한다. 구매 담당자가 “지난 분기 반복 구매 품목 중 단가 상승 위험이 큰 품목을 찾아줘”라고 말하면 ERP, 계약서, 이메일, 외부 원자재 가격 데이터, 승인 정책이 연결되어야 한다. 이처럼 에이전트가 실제로 일하려면 기업 시스템이 Agent-ready가 되어야 한다. 그 과정에 Cloud나 인트라넷이 아닌 구성원 PC에서 Agent가 실행되는 새로운 온디바이스 AI가 본격화한다.
이에 컨설팅, SI 사업자의 기회가 생긴다. 기업은 자체 모델 하나로 모든 문제를 풀 수 없다. 기업마다 사용하는 ERP, CRM, SCM, 그룹웨어, 문서관리 시스템, 보안 정책이 다르다. 따라서 필요한 것은 기업별 에이전트 플랫폼이다. 이 플랫폼은 모델 라우팅, 권한 관리, 데이터 커넥터, 감사 로그, 비용 관리, 보안 정책, 사용자 승인 UI, 실패 복구를 제공해야 한다.
더 나아가 이 변화는 이들 기업을 넘어 AX를 필요로 하는 전통 기업애도 새로운 혁신의 기회를 준다. 제조사는 제품을 에이전트가 이해할 수 있는 데이터와 API로 제공해야 한다. 유통사는 에이전트가 신뢰할 수 있는 가격과 재고와 배송 정보를 제공해야 한다. 금융사는 에이전트 위임 결제의 보안과 책임 구조를 설계해야 한다. 통신사는 엣지 추론 품질을 보장해야 한다. 기업은 업무 시스템을 에이전트가 호출 가능한 형태로 다시 정리해야 한다.
지난 4년, AI 경쟁의 질문은 "누가 가장 큰 모델을 만드는가"였다. 이제 질문이 바뀌었다. "누가 사용자 곁에서 실행하는가." 모델의 크기가 아니라 사용자와의 거리가, 답변의 품질이 아니라 실행의 완결이 승부를 가른다. AI는 클라우드의 거대한 두뇌에서 내려와 사용자의 주머니와 책상과 눈앞으로 들어오고 있다. 의도가 실행으로 바뀌는 그 짧은 순간, 거기에 차세대 인터넷의 패권과 우리 기업의 기회가 함께 놓여 있다.
온디바이스 AI는 스마트폰, PC, 스마트글래스 등 사용자가 사용하는 기기 내부에서 AI를 직접 구동하는 방식입니다. 클라우드 서버를 거치지 않아 응답 속도가 매우 빠르고, 민감한 개인 데이터가 외부로 유출되지 않아 프라이버시 보호에 유리하며, 서버 통신 비용(토큰 비용) 부담이 없다는 점 때문에 주목받고 있습니다.
하이브리드 AI는 단말(디바이스), 엣지, 클라우드가 하나의 시스템처럼 협업하는 분산형 AI 구조입니다. 단말은 사용자의 현실 맥락을 포착해 가벼운 작업을 즉시 처리하고, 실시간성이 중요한 추론은 엣지(기지국 등)가 고난도의 복잡한 추론은 클라우드의 거대 모델이 담당하는 분업 방식을 통해 효율성을 극대화합니다.
생성형 AI는 텍스트나 이미지 등을 '생성'하는 1단계 AI이며, 에이전틱 AI는 사용자의 목적 달성을 위해 어떤 도구를 사용할지 판단하고 조율하여 '실행'하는 2단계 AI입니다. 피지컬 AI는 로봇이나 자율주행차처럼 현실 세계의 사물을 직접 움직이는 3단계 AI를 의미합니다. 온디바이스 AI는 이 중 에이전틱 AI가 원활하게 작동하도록 현실 맥락을 제공하는 핵심 역할을 수행합니다.
각 기기는 서로 다른 '맥락의 입구' 역할을 합니다. 스마트폰은 위치, 결제, 메시지 등 '생활 맥락'을, AI PC는 문서, 코드, 이메일 등 '업무 맥락'을, AI 글래스는 시야와 공간, 음성 등 '현실 맥락'을 포착합니다. 이 세 기기가 서로 다른 맥락을 수집하며 하나의 통합된 에이전트 생태계로 수렴하게 됩니다.
작업의 처리 위치를 결정하는 '라우터', 효율적인 실행을 가능케 하는 '소형 언어모델(SLM)', 여러 모델과 앱의 실행을 조율하는 '오케스트레이션', 그리고 기지국을 추론 노드로 활용하는 'AI-RAN'이 핵심입니다. 또한 에이전트가 안전하게 결제와 문서에 접근할 수 있도록 돕는 보안 런타임과 신뢰 계층 기술이 필수적입니다.
에이전트 경제는 사람이 직접 검색하고 클릭하여 구매하는 방식에서, AI 에이전트가 최적의 조건을 비교하고 결제까지 수행하는 '기계 간 거래' 중심으로의 변화를 의미합니다. 기존의 광고 노출 중심 비즈니스 모델에서 벗어나, 에이전트 간 데이터 교환, 조건 검증, 실행 완결성을 제공하는 플랫폼 중심의 새로운 수익 모델로 전환되는 것이 특징입니다.
단순히 질문에 답을 주는 '답변형 AI(챗봇)' 도입을 넘어, 기업의 ERP, CRM 등 내부 업무 시스템을 AI 에이전트가 직접 호출하고 실행할 수 있는 형태로 재구성하는 것입니다. 이를 위해 모델 라우팅, 권한 관리, 데이터 커넥터, 보안 정책 등이 포함된 기업 전용 에이전트 플랫폼을 구축하여 '실행형 AI' 체제로 전환하는 전략을 의미합니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
김지현 | 테크라이터
기술이 우리 일상과 사회에 어떤 변화를 만들고, 기업의 BM 혁신에 어떻게 활용할 수 있을지에 대한 관심과 연구를 하고 있습니다.
