가트너(Gartner)는 2030년까지 1조 파라미터 규모 모델의 추론(Inference) 비용이 2025년 대비 90% 이상 하락할 것으로 전망합니다. 비용이 이 속도로 붕괴하는 기술 계층은 더 이상 차별화 요소가 될 수 없습니다.
경쟁사는 여러분과 동일한 모델을 빌릴 수 있지만, 여러분의 데이터와 축적된 업무 지식, 그리고 이를 적시에 정확하게 모델에 전달하는 그라운딩(Grounding) 파이프라인은 빌릴 수 없습니다. 모방이 어렵고 시간이 지날수록 가치가 쌓이는 이 계층이 진정한 경쟁 우위(Moat)입니다.
불완전한 요약, 일관성 없는 답변, 자신 있게 틀리는 환각(Hallucination)은 대부분 모델의 문제가 아니라 그라운딩의 문제입니다. 해결책은 언제나 데이터 계층에 있습니다.
리더가 투자해야 할 곳은 데이터 기반, 모델 교체가 쉬운 아키텍처, 그리고 검색(Retrieval)에 대한 관찰성(Observability)입니다. 결국 AI 경쟁력은 어떤 모델을 골랐는가가 아니라, 그 모델을 자사 비즈니스의 현실에 얼마나 잘 그라운딩했는가에서 결정됩니다.
지난 몇 년간 기업 AI 현장에서 가장 자주 반복된 질문은 “우리도 자체 LLM을 만들어야 하는가”였습니다. 모델은 AI의 엔진이자 두뇌이며, 반드시 소유해야 할 자산처럼 보이기 때문입니다. 그러나 기업 AI 인프라와 그라운딩 현장을 오래 지켜본 전문가의 결론은 정반대입니다. 모델은 AI 전략에서 가장 수명이 짧은 요소라는 것입니다.
많은 기업이 경영진의 관심, 우수한 엔지니어, 투자 자본이라는 가장 귀한 자원을 가장 빠르게 범용화(Commoditization)되는 계층에 쏟아붓고 있습니다. 반면 AI의 신뢰성과 정확성, 그리고 방어할 수 있는 경쟁력을 실제로 좌우하는 그라운딩 계층은 단순한 배관(Plumbing) 정도로 취급됩니다. 이 우선순위의 역전이야말로 지금 기업들이 AI에서 범하고 있는 가장 비싼 실수입니다.
그렇다면 기업이 진짜 소유해야 할 것은 무엇일까요? 이 글은 그 답이 모델이 아니라 그라운딩에 있음을 경제성, 실패 사례, 투자 우선순위의 세 측면에서 짚어봅니다.
모델은 자산이 아닌, 감가상각되는 엔진
가트너는 2030년이 되면 1조 파라미터 규모 모델의 추론 비용이 2025년 대비 90% 이상 하락하고, 동급 초기 모델보다 최대 100배 비용 효율적인 모델이 등장할 것으로 전망합니다. 기반 기술의 비용이 이 정도 규모와 속도로 무너지면, 그 기술은 더 이상 경쟁 우위가 사는 곳이 아닙니다. 그렇게 빨리, 그렇게 싸지는 것은 차별화 요소가 될 수 없기 때문입니다.
혁신적으로 보이던 모델도 몇 달 안에 더 싸고 더 나은 모델에 추월당하는 일이 반복되고 있습니다. 경쟁력이 특정 모델에 묶여 있다면, 기술의 최전선이 이동하는 순간 그 경쟁력도 증발합니다. 그리고 최전선은 언제나 이동합니다. 반면 어떤 모델에든 자사의 고유한 맥락을 안정적으로 공급하는 역량에 투자한 기업은 다릅니다. 그 투자는 모델 세대가 바뀌어도 그대로 이전됩니다. 더 나은 모델이 나오면 연결만 바꿔 즉시 성능 향상을 흡수할 수 있습니다. 어렵고 오래가는 작업은 이미 한 계층 아래에서 끝나 있기 때문입니다.
자체 LLM 구축 논쟁이 번번이 핵심을 비껴가는 이유도 여기에 있습니다. 파운데이션 모델을 학습시키거나 의미 있는 수준으로 파인튜닝(Fine-tuning)하는 데는 막대한 비용이 들지만, 작업이 끝나는 순간 오픈소스와 상용 모델의 최전선은 이미 그 앞을 지나가 있습니다. 결국 거액을 들여 감가상각되는 자산을 소유하게 되는 셈입니다. 기업이 원하는 역량, 즉 ‘우리 비즈니스를 아는 AI’는 애초에 모델의 가중치(Weights)에서 나오는 것이 아닙니다. 모델 앞에 무엇을 놓아주는가에서 나옵니다.
경쟁사가 빌릴 수 없는 자산, 그라운딩
그라운딩은 범용 모델을 기업의 최신·공식 정보와 연결하는 규율이며, 가장 대표적인 방식이 검색증강생성(Retrieval-Augmented Generation, RAG)입니다. 모델이 학습 과정에서 유용한 정보를 기억하고 있기를 기대하는 대신, 질의가 들어오는 순간 자사 시스템에서 관련 사실을 실시간으로 검색해 모델에 전달함으로써 정확한 답변에 필요한 맥락을 공급하는 방식입니다.
경쟁사는 여러분이 쓰는 것과 정확히 같은 모델을 빌릴 수 있습니다. 그러나 여러분의 데이터, 조직에 축적된 업무 지식, 업무 프로세스, 그리고 이 모든 것을 정확한 순간에 정확하게 표면화하는 파이프라인의 품질은 빌릴 수 없습니다. 이 파이프라인은 독점적이고, 복제하기 어려우며, 시간이 갈수록 가치는 복리로 쌓입니다.
업계에서도 이러한 변화를 인식하기 시작했습니다. 가트너는 2027년까지 기업이 범용 LLM보다 특정 업무에 특화된 소형 모델을 최소 세 배 이상 많이 사용할 것으로 예측합니다. 실제 업무 워크플로우에서 정확도를 좌우하는 것은 모델의 규모가 아니라 도메인 맥락이기 때문입니다. 그런데 소형 모델은 설계상 파라미터에 담는 정보가 적어, 최신의 공식 맥락을 실시간으로 공급하는 검색에 오히려 더 크게 의존합니다. 모델은 더 작아지고 더 교체하기 쉬워지지만, 그라운딩은 무게를 지탱하는 계층이 됩니다. 가트너는 같은 분석에서 데이터 측면의 결론도 내놓았습니다. 기업을 구분 짓는 것은 자사 데이터를 얼마나 잘 준비하고, 검증하고, 버전 관리하고, 운영하느냐는 것입니다. 차별화 요소는 모델이 아니라 데이터 규율입니다.
잘못된 답변의 원인은 그라운딩의 부재
이러한 분석은 현장의 경험과도 일치합니다. 뛰어난 모델을 확보하는 일이 어려웠던 적은 거의 없고, 시스템이 무너진 지점도 대부분 모델이 아니었습니다. 실패는 모델을 올바른 데이터 소스와 효율적으로 연결하지 못하거나 검색을 제대로 조율하지 못했을 때 발생했습니다. 패턴은 반복됩니다. 데이터가 누락되면 요약이 불완전해지고, 문서가 잘려 검색되면 핵심이 빠진 답변이 나오며, 잡음 섞인 맥락은 무관하거나 혼란스러운 응답을 만듭니다.
그라운딩이 부재하면 답변은 사용자마다 달라집니다. 검색이 빈손으로 돌아오면 모델은 그 공백을 환각이나 무의미한 내용으로 채웁니다. 오래된 데이터는 자신 있게 틀린 답을 내놓고, 검색 누락은 원론적인 답변으로 이어지며, 낮은 데이터 품질은 속도와 결과물을 동시에 끌어내립니다. 이 중 어느 것도 모델의 문제가 아닌, 그라운딩의 문제입니다. 그리고 시스템이 경영진에게 틀린 답을 건넸을 때, 이사회의 누구도 모델이 얼마나 정교했는지 묻지 않습니다. 중요한 것은 틀렸다는 사실이며, 해결책은 언제나 그라운딩 계층에 있습니다.
실제 기업 환경의 한 사례가 이를 잘 보여줍니다. 그라운딩을 사용할 수 없는 상황에서 AI 어시스턴트가 같은 질문에 실행 환경마다 다른 답을 내놓았고, 일부 답변은 서로 정면으로 모순되기까지 했습니다. 원인은 돌아보면 단순했습니다. 그라운딩이 없자 시스템은 공유된 단일 진실 원천(Source of Truth) 대신 자체 내부 지식에 의존했고, 구성과 맥락이 바뀔 때마다 응답도 표류한 것입니다. 피해는 기술적 결함에 그치지 않았습니다. 같은 질문에 같은 답을 두 번 하지 못하는 어시스턴트를 사용자들은 더 이상 신뢰하지 않았습니다. 이것이 부실한 그라운딩의 실제 비용이며, 운영 환경에서 일관성과 신뢰성을 결정하는 것이 모델이 아니라 데이터 계층인 이유입니다. 어떤 모델 업그레이드도 이 문제를 고치지 못했을 것입니다.
AI 투자의 우선순위는 어디에 두어야 하는가
첫째, 조직의 데이터 기반을 서둘러 통과해야 할 사전 요건이 아니라 일급 AI 투자로 대우해야 합니다. 지식을 정제하고, 구조화하고, 거버넌스를 세우고, 버전을 관리하는 화려하지 않은 작업이 AI 품질을 결정합니다. 평범한 모델과 탁월한 검색 파이프라인, 그 반대의 조합 중 하나를 물려받아야 한다면 언제나 전자를 선택해야 합니다.
둘째, 첫날부터 모델 이식성(Model Portability)을 전제로 설계해야 합니다. 오늘 쓰는 모델은 1년 안에 교체된다고 가정하는 편이 맞습니다. 실제로 그렇게 되기 때문입니다. 모델 교체가 고통스럽다면 아키텍처가 잘못된 계층에 결합돼 있다는 뜻입니다. 그라운딩 인프라, 평가 프레임워크, 데이터 계약(Data Contract)이 안정적인 핵심이 되고, 모델은 최소한의 중단으로 갈아 끼울 수 있는 부품이 되어야 합니다.
셋째, 모델만이 아니라 검색에 대한 관찰성과 평가에 투자해야 합니다. 가트너는 신뢰 요구가 기술 자체를 앞지르면서, LLM 관찰성 투자가 현재 생성형 AI 구축 사례의 15%에서 2028년 50%까지 확대될 것으로 예상합니다. 시스템이 왜 그 맥락을 검색했는지, 그 맥락이 정확했는지를 아는 것이 AI 산출물을 방어할 수 있고 감사 가능하게 만듭니다. 실질적인 규제나 평판 리스크 아래에서 운영되는 조직이라면 이는 선택이 아닙니다.
AI 경쟁력은 그라운딩 역량에 달려있다
결국 이 논의는 도입부의 질문으로 돌아옵니다. 자체 LLM을 만들어야 하는가가 아니라, 어떤 모델이 오더라도 흔들리지 않는 기반을 소유하고 있는가가 진짜 질문입니다. 물론 모델이 무의미하다는 뜻은 아닙니다. 여전히 뛰어난 모델이 필요하고 잘 고르는 일도 중요합니다. 다만 이제 모델 선택은 여러 훌륭한 대안 중 하나를 고르는 조달(Procurement)의 문제일 뿐, 지속적인 차별화의 원천이 아닙니다. 지속되는 차별화는 모델을 둘러싼 모든 것에서 나옵니다.
이 원칙을 내재화한 조직은 몇 년 뒤, 여전히 자체 모델 학습을 고민하는 조직보다 의미 있게 앞서 있을 것입니다. 더 과감한 베팅을 해서가 아니라, 더 오래가는 베팅을 했기 때문입니다. 누구나 똑같이 뛰어난 모델에 접근할 수 있는 세계에서, 우위는 그 모델을 자사 비즈니스의 현실에 가장 잘 그라운딩한 기업의 몫입니다. 모델은 빌리는 것입니다. 그라운딩은 소유하는 것입니다. AI 전략은 이 공식 위에 세워야 합니다.
FAQ
그라운딩(Grounding)이란 무엇입니까?
범용 AI 모델을 기업이 보유한 최신의 공식적인 정보와 연결하는 체계적 규율입니다. 대표적인 구현 방식이 검색증강생성(RAG)으로, 질의 시점에 사내 시스템에서 관련 사실을 실시간 검색해 모델에 맥락으로 제공함으로써 정확한 답변을 끌어냅니다.
자체 LLM 구축은 왜 신중해야 합니까?
파운데이션 모델의 학습이나 대규모 파인튜닝에는 막대한 비용이 들지만, 완성 시점에는 이미 오픈소스와 상용 모델의 최전선이 앞서가 있는 경우가 많습니다. 가트너 전망처럼 추론 비용이 2030년까지 90% 이상 하락하는 환경에서는, 거액을 들여 빠르게 감가상각되는 자산을 소유하게 될 위험이 큽니다.
AI의 환각이나 일관성 없는 답변은 모델을 바꾸면 해결됩니까?
대부분 해결되지 않습니다. 불완전한 요약, 모순된 답변, 자신 있게 틀리는 응답은 데이터 누락, 검색 실패, 낮은 데이터 품질 등 그라운딩 계층의 문제에서 비롯되는 경우가 많습니다. 해결책은 모델 업그레이드가 아니라 데이터와 검색 파이프라인의 개선에 있습니다.
소형 특화 모델(sLLM)의 확산은 그라운딩과 어떤 관련이 있습니까?
가트너는 2027년까지 기업이 범용 LLM보다 업무 특화 소형 모델을 세 배 이상 많이 쓸 것으로 예측합니다. 소형 모델은 파라미터에 담는 지식이 적은 만큼 실시간 검색에 더 크게 의존하므로, 모델이 작아질수록 그라운딩의 중요성은 오히려 커집니다.
그라운딩 역량을 강화하려면 무엇부터 투자해야 합니까?
세 가지가 우선입니다. 데이터의 정제·구조화·거버넌스·버전 관리를 일급 투자로 대우하고, 모델을 쉽게 교체할 수 있도록 아키텍처를 설계하며, 검색 과정에 대한 관찰성(Observability)과 평가 체계를 구축하는 것입니다. 특히 관찰성 투자는 2028년까지 생성형 AI 구축 사례의 50%로 확대될 전망입니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
