Samsung SDS

핵심 인사이트

• 피지컬 AI의 실질적인 상용화를 가로막는 3대 핵심 병목 현상인 정밀 조작, 데이터, 스킬 러닝의 기술적 한계를 분석하고, 이를 극복하기 위한 최신 하드웨어 및 소프트웨어 전략을 제시합니다.
• 단순한 모방 학습을 넘어 강화학습과 플릿 러닝(Fleet Learning)으로 진화하는 학습 체계를 살펴보고, 인간의 숙련된 노동 경험을 로봇 지능으로 전환하는 '데이터 플라이휠' 구축의 중요성을 강조합니다.
• 물류와 제조 현장에서 시작해 가정으로 확산될 로봇의 '챗GPT 모멘트'가 2027년에서 2030년 사이에 도래할 것으로 예측하며, 미래 로봇 산업의 주도권이 하드웨어 제조에서 '로봇 데이터 플랫폼' 생태계로 이동할 것임을 전망합니다.

유튜브에서 종종 보게 되는 중국 로봇들을 보면, 이제 터미네이터와 같은 영화 속에서나 보던 로봇을 일상에서 만날 수 있는 세상이 현실이 되었음을 실감한다. 로봇이 춤을 추고, 무술을 하며, 사람보다 더 안정적으로 더 빨리 마라톤을 달리기도 한다. 그렇다 보니 당장 공장이나 가정에 로봇이 들어오는 것 아닌가 하는 기대와 우려가 커지고 있다. 로봇이 인류를 노동에서 해방하게 되는 것인가? 우리 일자리를 위협하는 것은 아닌가? 영화에서 미래를 그리듯 인류 문명에 위기를 가져오는 것은 아닌가? 로봇은 어디까지 왔고, 앞으로 로봇으로 인해 우리의 미래 사회는 어떤 변화가 있게 될까?

로봇은 어떻게 작동되는가?

로봇이 춤을 추는 것과 일하는 것은 완전히 다른 문제다. 춤과 무술은 미리 정해진 동작을 반복하거나 제한된 조건에서 강화학습으로 최적화할 수 있다. 반면 가정에서 구겨진 셔츠를 집어 세탁기에 넣고 바닥에 떨어진 양말을 치우고 모양이 서로 다른 컵을 씻는 작업은 매번 조건이 달라진다. 중국의 화려한 로봇 영상 중 상당수는 사전 프로그래밍되거나 사람이 원격으로 조작한 시연이며 중국 휴머노이드도 정밀성·손재주·실시간 자율성 측면에서는 아직 제한된 작업과 현장별 실증 단계에 머물러 있다.

미국의 앞선 로봇 스타트업인 Figure AI, 1X, Physical Intelligence, Skild AI, Generalist, Dyna Robotics 등의 회사는 2026년부터 이미 공장·물류·가정에서 상업적 배치를 시작하고 있지만 제한적이다. 그 이유는 로봇 지능이 생성형 AI에 비유하면 대체로 GPT-1과 GPT-2 사이의 수준이기 때문이다. 아직 사회와 산업에 구조적 충격을 줄 ‘ChatGPT 모멘트’까지 오지 못했고, 전문가 견해에 따라 다르지만 대략 3~5년이 더 필요하다. 물론, 그렇다고 로봇 기술이 느리게 발전하고 있다는 뜻은 아니다. 오히려 반대다. 로봇은 지금까지의 10년보다 앞으로의 3년 동안 훨씬 빠르게 발전할 가능성이 크다. 다만 로봇의 진전을 판단하려면 달리기 속도나 공중제비가 아니라 새로운 작업을 얼마나 빨리 배울 수 있는지에 대한 범용성이다. 또한, 처음 보는 물건을 얼마나 안정적으로 다룰 수 있는지, 실패했을 때 스스로 복구할 수 있는지, 몇 시간 동안 사람의 개입 없이 일할 수 있는지를 봐야 한다.

이런 로봇의 두뇌는 하나의 거대한 AI 모델로만 구성되지 않는다. “식기세척기에 컵을 넣어라”라는 명령을 해석하고 작업 순서를 정하는 고차원 판단과 손가락을 몇 도 구부리고 팔꿈치에 어느 정도 토크를 가할지를 계산하는 실시간 제어는 요구 조건이 다르다. 전자는 상대적으로 느리지만 넓은 맥락을 이해해야 하고 후자는 수십 밀리초 또는 그보다 짧은 주기로 움직여야 한다. NVIDIA의 GR00T N1은 이를 인간의 대뇌와 소뇌에 가까운 이중 구조로 구현한다. System 2는 비전 언어모델을 이용해 환경과 지시를 이해하고 행동 계획을 만든다. System 1은 그 계획을 연속적인 관절 움직임으로 바꾼다. NVIDIA는 인간 시연 데이터와 시뮬레이션 데이터를 함께 학습시키고 로봇별·작업별 데이터로 후학습할 수 있도록 설계했다.

Google DeepMind의 Gemini Robotics는 지연시간과 연결 단절 문제를 줄이기 위해 로봇 내부에서 직접 실행되는 방향을 택했다. Google은 이 모델이 네트워크가 불안정한 환경에서도 작동하며 새로운 작업을 50~100회의 시연 데이터로 파인튜닝할 수 있다고 발표했다. 옷을 접고 가방의 지퍼를 열고 정밀한 벨트 조립 작업을 수행하는 시연도 공개했다. 이는 로봇이 반드시 클라우드에 계속 접속해야만 작동하는 것은 아니라는 점을 보여준다. 다만 복잡한 장기 계획과 대형 모델 추론은 여전히 클라우드나 현장 엣지 서버의 지원을 받는 하이브리드 구조가 현실적이다.

따라서 미래의 로봇은 데이터센터, 엣지, 로봇 내부가 역할을 나눠 갖는 구조가 될 가능성이 높다. 데이터센터의 대형 월드모델과 로봇 파운데이션 모델은 수많은 로봇의 데이터를 학습한다. 공장이나 건물에 설치된 엣지 서버는 현장 지도, 작업 계획, 여러 로봇의 협업과 관제를 맡는다. 로봇에 탑재된 소형 행동 모델은 시각 입력을 즉시 해석하고 손과 팔, 다리를 실시간으로 제어한다. 충돌 방지나 과토크 차단처럼 안전과 직접 연결된 기능은 통신망이나 클라우드가 아니라 로봇 내부에서 독립 제어기가 담당해야 한다.

LWM, RFM·sLLM, SLM의 구분도 이 구조와 연결된다. 데이터센터의 대형 월드모델은(LWM) 세상이 어떻게 변하는지를 예측하고 현장 RFM은 특정 산업과 환경의 작업 맥락을 이해하며(sLLM) 로봇 내부 SLM은 제한된 연산과 전력 안에서 빠르게 행동을 실행한다. 스마트폰 시대에 클라우드, 통신망, 단말이 하나의 서비스 구조를 만들었던 것처럼 로봇 시대에는 학습 데이터센터, 현장 엣지, 로봇 내부 컴퓨팅이 하나의 동기화된 시스템으로 작동해야 한다.

로봇 기술의 바틀넥은 무엇이고 어떻게 극복되고 있나?

그렇다면 똑똑한 두뇌를 가진 로봇은 당장 현장에 투입이 가능할까? 그렇지 않다. 피지컬 AI의 진짜 병목은 세 가지로 압축된다. 인간과 같은 정밀 조작을 가능하게 하는 손, 로봇이 물리 세계를 배우는 데 필요한 데이터 그리고 데이터를 실제 작업 능력으로 바꾸는 스킬러닝이다. 오늘날의 AI 로봇은 사람과 비슷하게 두뇌와 몸, 경험으로 구성된다. 로봇의 눈과 귀는 카메라, 마이크, 거리 센서, 관성 측정장치, 힘·토크 센서, 촉각 센서다. 액추에이터는 근육과 관절 역할을 하고 배터리는 에너지를 공급한다. 로봇의 두뇌는 카메라 영상과 언어 명령을 해석하고 행동을 결정하는 AI 모델이다. 여기에 반복 작업과 실패 경험이 데이터로 축적되면서 로봇은 점차 특정 업무에 능숙해진다.

그중 가장 어렵고 당장 극복해야 하는 것이 손이다. 아무리 좋은 AI 모델이 있어도 로봇의 손이 물건을 잡지 못하면 일을 할 수 없다. 반대로 손이 아무리 정교해도 어떤 물체를 어디에 어떤 힘으로 잡아야 하는지 학습하지 못하면 움직이는 마네킹에 불과하다. 피지컬 AI는 하드웨어와 소프트웨어 중 하나가 다른 하나를 대체하는 산업이 아니라 둘이 서로의 한계를 보정하는 산업이다.

첫 번째 병목, 걷는 다리보다 일하는 손

최근 휴머노이드가 빠르게 달리고 계단을 오르고 외부 충격에도 균형을 회복하는 모습을 보면 이동 문제는 상당 부분 해결되고 있다. 물론 비정형 지형, 에너지 효율, 장시간 내구성이라는 과제가 남아 있지만 강화학습과 시뮬레이션의 발전으로 보행 기술은 이미 상당한 수준에 도달했다. 반면 로봇이 무엇을 할 수 있는지를 실질적으로 결정하는 정밀 조작 즉 덱스터리티는 여전히 최대 난제다. 프로젝트 내부에서도 로코모션(Locomotion)보다 덱스터리티(Dexterity)가 핵심 경쟁력이라는 판단이 반복적으로 제기됐다. 로코모션은 공간상에서의 이동을 말하고, 덱스터리티는 물체에 대한 정밀한 조작을 뜻한다.

사람의 손은 단순한 집게가 아니다. 여러 손가락과 손바닥, 손목이 함께 움직이면서 물체의 모양, 무게, 표면 마찰, 온도, 미끄러짐을 감지한다. 컵을 집을 때 사람은 컵의 위치만 보는 것이 아니라 손끝에 전달되는 힘을 이용해 쥐는 압력을 실시간으로 조절한다. 종이컵은 찌그러지지 않게 잡고 유리컵은 미끄러지지 않게 잡으며 물이 담긴 컵은 기울지 않게 움직인다.

로봇 손에 사람과 비슷한 기능을 넣으려면 좁은 손가락 내부에 모터, 감속기, 케이블, 힘 센서, 촉각 센서, 제어 회로를 넣어야 한다. 자유도를 늘리면 손동작은 정교해지지만 부품 수와 무게, 발열, 전력 소비, 고장 가능성이 함께 증가한다. 모터를 손가락 안에 넣으면 손이 무거워지고 모터를 팔뚝에 두고 힘줄처럼 케이블로 연결하면 케이블 마모와 정밀 제어 문제가 생긴다. 손가락 끝에 촉각 센서를 붙이면 감각은 좋아지지만 반복 충격과 오염, 물, 세제, 기름을 견뎌야 한다.

2026년 들어 이 병목을 정면으로 해결하려는 기술이 잇따라 공개됐다. 1X는 2026년 7월 9일 NEO용 25자유도 힘줄 구동 손을 발표했다. 손가락과 손바닥에 22자유도와 손목에 3자유도를 배치하고 모든 관절이 힘을 감지하며 외부 힘에 따라 뒤로 밀릴 수 있는 백드라이버블 구조라고 설명했다. 손가락 표면의 촉각 센서는 압력과 전단력, 미끄러짐을 감지하고 방수·방진 IP68 구조를 적용했다. 1X는 수백 개의 손을 이미 생산했으며 2026년에 1만 개 생산 능력을 확보하겠다고 밝혔다. 다만 인간 수준의 손재주를 달성했다는 평가는 1X의 자체 발표와 시연에 기초한 것으로 다양한 가정에서 장기간 자율 운용한 독립적인 검증 결과는 아직 충분하지 않다.

Figure AI의 Helix 02도 촉각을 전면에 내세웠다. Figure 03의 손가락 촉각 센서는 회사 발표 기준 약 3그램 수준의 힘을 감지하며 손바닥 카메라는 머리 카메라에서 가려진 물체를 다시 볼 수 있게 한다. Figure가 공개한 완전 자율 시연에서는 로봇이 병뚜껑을 돌려 열고 약통에서 작은 알약을 꺼내며 주사기에서 5밀리리터를 밀어내고 뒤엉킨 금속 부품을 하나씩 집었다. 4분 동안 식기세척기에 그릇을 넣고 빼는 작업에서는 이동과 손 조작을 결합한 61개의 행동을 연속 수행했다. 회사 시연이라는 한계는 있지만 시각만으로 접근했던 로봇 조작이 촉각과 손바닥 시각을 결합하는 방향으로 바뀌고 있음을 보여준다.

Meta는 Digit 360이라는 인공 손끝을 통해 촉각 자체를 하나의 멀티모달 데이터로 만들고 있다. Meta 발표에 따르면 Digit 360은 18개 이상의 감각 특성과 800만 개 이상의 촉각 화소를 이용해 1밀리뉴턴 수준의 힘을 감지한다. 온도, 진동, 변형 등 여러 신호를 로봇 손끝에서 처리하는 온디바이스 AI 가속기도 탑재했다. 이는 로봇의 손끝이 단순한 센서가 아니라 사람의 말초신경처럼 즉각 반응하는 지능형 장치로 발전하고 있음을 뜻한다. Meta는 한국의 원익로보틱스와 차세대 Allegro Hand를 개발하는 협력도 추진했다.

NVIDIA도 2026년 5월 Unitree H2 몸체와 Sharpa의 22자유도 촉각형 5지 손, Jetson Thor, GR00T 소프트웨어를 결합한 개방형 휴머노이드 참조 모델을 공개했다. 대학과 연구기관이 몸, 손, AI 모델, 데이터 수집, 시뮬레이션을 각각 처음부터 연결하지 않고 하나의 표준 플랫폼에서 연구하도록 만들려는 시도다. 스마트폰에서 안드로이드 참조 설계가 하드웨어 생태계의 진입 장벽을 낮췄듯이 NVIDIA는 로봇에서도 개발 표준을 선점하려 한다.

특히 휴머노이드 로봇에 놀라운 성과를 보이고 있는 중국은 손을 양산 산업으로 본격화하고 있다. Reuters가 2026년 5월 보도한 중국 Linkerbot은 회사 주장 기준 고자유도 로봇 손 시장의 80% 이상을 점유하고 있으며 월 5,000개 수준의 생산량을 1만 개로 확대하려 한다. LinkerSkillNet에는 나사 돌리기, 부드러운 물체 잡기, 실 꿰기 등 500개 이상의 손 기술을 축적했다고 밝혔다. 370그램짜리 O6 손이 최대 50킬로그램 하중을 다룰 수 있다는 주장도 내놓았다. 시장점유율과 성능 수치는 회사 설명에 의존하므로 그대로 확정하기 어렵지만 중국이 손 하드웨어와 스킬 데이터를 동시에 대량생산하려 한다는 방향은 분명하다.

여기서 중요한 변화가 나타난다. 로봇 손은 이제 완제품 휴머노이드에만 붙는 부품이 아니다. 중국 공장에서는 휴머노이드 전체를 사는 대신 기존 산업용 로봇 팔에 다지형 손만 붙이려는 수요도 늘고 있다. 다리가 필요 없는 공정에서는 두 팔과 손, 이동식 베이스만으로도 충분하기 때문이다. 이는 휴머노이드의 확산이 반드시 사람과 똑같은 이족 보행 로봇의 확산을 의미하지는 않는다는 사실을 보여준다.

앞으로 로봇 손의 경쟁력은 자유도 숫자만으로 평가하기 어려워진다. 손가락이 많아도 고장이 잦으면 쓸 수 없고 촉각 센서가 정교해도 수집한 신호를 행동 모델이 제대로 해석하지 못하면 가치가 없다. 세척 가능한지, 케이블과 관절을 쉽게 교체할 수 있는지, 반복 작업 후에도 정밀도가 유지되는지, 다양한 몸체에서 같은 스킬을 이전할 수 있는지가 더 중요하다. 손은 독립된 부품이 아니라 데이터 생성 장치이자 AI 모델의 학습 인터페이스가 된다.

두 번째 병목, 인터넷에 존재하지 않는 데이터

ChatGPT가 빠르게 발전할 수 있었던 가장 큰 이유는 인터넷에 문서, 책, 논문, 웹사이트, 대화, 코드가 이미 존재했기 때문이다. 언어모델은 인간이 수십 년 동안 디지털 공간에 남긴 데이터를 대규모로 수집해 학습할 수 있었다. 로봇은 그렇지 않다. 유튜브에는 사람이 셔츠를 개는 영상이 많지만 손가락 관절이 어떤 각도로 움직였는지, 손목이 어느 방향으로 회전했는지, 옷감에 얼마의 힘을 가했는지, 옷이 미끄러졌을 때 어떤 보정 동작을 했는지는 기록돼 있지 않다. 사람 눈에는 똑같이 보이는 행동도 로봇에게 필요한 액션 데이터는 완전히 다르다.

피지컬 AI가 필요로 하는 데이터는 영상만이 아니다. 작업자의 1인칭 시야, 손과 팔의 궤적, 물체의 3차원 위치, 관절 각도, 힘과 토크, 촉각, 소리, 작업 성공 여부, 실패가 발생한 순간, 실패를 복구한 과정이 시간 축에 맞춰 동기화돼야 한다. 특히 정밀 조작에서는 성공 영상보다 실패와 수정 데이터가 더 가치 있을 수 있다.

현재 로봇 데이터는 크게 세 경로로 만들어진다. 인터넷 영상은 양이 많지만 행동값이 없다. 시뮬레이션과 합성 데이터는 빠르게 늘릴 수 있지만 현실의 마찰, 변형, 접촉을 완벽하게 재현하기 어렵다. 실제 로봇을 사람이 원격 조작하거나 현장에 배치해 얻는 데이터는 가장 정확하지만 비용이 높고 수집 속도가 느리다. 그래서 글로벌 기업들은 세 종류를 혼합하면서도 최종적으로는 실제 현장 데이터 플라이휠을 구축하려 한다. 프로젝트 조사에서도 Real World Data가 가장 희소하고 가치가 높은 자원이며 중국의 데이터 팩토리와 미국 기업의 실배치가 핵심 경쟁으로 정리됐다.

이 과정에서 전혀 새로운 산업이 생겨나고 있다. 사람이 하던 노동이 로봇에 의해 대체되기 전에 먼저 로봇을 가르치는 데이터 생산 노동으로 전환되는 현상이다. 최근 미국의 대표적 사례가 Shift다. 이 스타트업은 2026년 5월 뉴욕에서 집을 무료로 청소해 주는 서비스를 시작했다. 청소비 대신 작업자가 머리에 카메라가 달린 장비를 착용하고 바닥 청소, 설거지, 침구 정리, 세탁물 접기, 냉장고 정리 같은 가사 노동을 1인칭 시점으로 촬영한다. Shift는 이 영상을 익명화하고 라벨링한 뒤 가정용 로봇 학습 데이터로 라이선스한다고 설명한다. 회사는 15개국 이상에서 1만 곳이 넘는 기업·가정과 작업하고 있다고 밝히고 있으며 청소 외에 요리, 배관, 건축 작업으로 데이터 수집 범위를 넓힐 계획이다.

Shift의 사업 모델은 피지컬 AI 데이터의 경제적 가치를 단적으로 보여준다. 집주인은 무료 청소를 받고 청소 노동자는 일을 하면서 데이터를 생산하며 Shift는 그 데이터를 로봇 기업에 판매한다. 청소 서비스보다 영상 데이터의 가치가 더 높다고 판단하기 때문에 가능한 구조다. 그러나 집 내부 영상이 촬영되고 외부 라벨러에게 전달될 수 있다는 점에서 개인정보 보호, 촬영 동의, 데이터의 2차 활용 범위, 노동자의 권리라는 새로운 문제가 생긴다. Shift는 얼굴·화면·문서 등을 흐리게 처리하고 광고에는 사용하지 않는다고 설명하지만 피지컬 AI 데이터 사업은 기술 문제만이 아니라 신뢰와 데이터 거버넌스 문제라는 사실을 보여준다.

미국의 긱 노동 플랫폼 Instawork도 비슷한 방향으로 움직이고 있다. Instacore라는 장비는 머리, 가슴, 양쪽 손목 등에 다섯 대의 카메라를 달고 8시간 작업을 기록할 수 있는 컴퓨팅 백팩과 연결된다. 조리사가 채소를 썰고 매장 직원이 선반을 정리하며 물류 작업자가 물건을 포장하는 과정이 로봇 학습 데이터로 바뀐다. 회사는 참여가 자발적이고 데이터를 익명화한다고 설명한다. 과거 긱 플랫폼이 사람과 일자리를 연결했다면 앞으로는 사람의 작업과 로봇 학습을 연결하는 데이터 플랫폼으로 확장하려는 것이다.

인도에서는 이 산업이 더 빠르게 커지고 있다. 인도 가사서비스 플랫폼 Pronto는 고객이 매번 사전 동의하면 작업자가 작은 카메라를 착용하고 설거지, 빨래 개기, 주방 정리 같은 작업을 촬영하는 시범 사업을 운영하고 있다. Pronto는 영상을 48시간 안에 삭제하고 얼굴과 개인식별정보를 흐리게 처리하며 데이터 생성에 참여한 작업자에게 추가 수익을 제공한다고 설명한다. 또한, Objectways는 1인칭 영상, 원격조작, 로봇 궤적, 멀티모달 라벨링을 하나의 데이터 사업으로 제공하고 있다. 회사는 2,200명 이상의 데이터 전문가, 5억 개 이상의 라벨 생성 경험, 100곳 이상의 고객을 보유했다고 밝힌다. Humyn Labs는 인도뿐 아니라 베트남, 나이지리아, 이집트, 한국, 브라질 등 20개국 이상에서 카메라, 관성 정보, 소리, 동작 정보를 동시에 수집하는 구조를 제시한다. 단순히 영상을 많이 모으는 것이 아니라 어떤 사람이 어떤 장비로 언제 어디서 데이터를 만들었는지 출처와 품질을 추적하는 것이 경쟁력이 된다는 주장이다. 이런 인도의 데이터 수집 사업이 주목받는 이유는 낮은 수집 비용만이 아니다. 가정, 공장, 시장, 농업, 물류 등 환경이 다양하고 숙련노동부터 비공식 가사 노동까지 폭넓은 작업을 확보할 수 있기 때문이다. 서구의 정돈된 실험실이나 표준화된 가정에서만 학습한 로봇은 좁은 공간, 다양한 도구, 서로 다른 생활양식이 존재하는 글로벌 시장에서 쉽게 실패할 수 있다. 인도는 이 다양성을 데이터 상품으로 만들 수 있다.

단, 이 산업에는 불편한 질문이 따라온다. 작업자는 자신의 동작이 미래에 자신을 대체할 로봇을 학습시키는 데 쓰인다는 사실을 충분히 이해하고 있는가, 일회성 촬영비만 받을 것인가, 데이터가 반복 판매될 때 추가 보상을 받을 것인가, 작업자의 얼굴은 지웠더라도 숙련된 손동작과 작업 방식의 소유권은 누구에게 있는가, 공장에서 생산성을 떨어뜨리지 않으면서 데이터를 수집할 수 있는가, 인도 공장 노동자들이 자신의 작업을 촬영하면서 “로봇이 우리를 대체한 뒤에는 누가 돈을 줄 것인가”라고 문제를 제기한 사례는 피지컬 AI 데이터 경제가 노동의 가치 배분을 새롭게 설계해야 함을 보여준다.

중국은 이 데이터 경쟁을 국가적 규모로 확대하고 있다. 중국 전자상거래 기업 JD.com은 장쑤성 쑤첸 지방정부와 함께 2년간 1,000만 시간의 로봇 학습 데이터를 만들겠다는 계획을 추진하고 있다. 주민이 집안일을 촬영하고 요양시설 직원과 농장 노동자가 머리 장착 카메라를 쓰며 향후 10만 명의 직원과 50만 명의 외부 인력을 데이터 수집에 참여시키겠다는 구상이다. 광둥성의 전자·포장 공장에서는 작업자가 머리 카메라와 손목 센서를 착용해 조립 동작을 기록하는 사업도 진행 중이다. 본 프로젝트에서 조사한 베이징 국가급 휴머노이드 혁신센터는 가정, 편의점, 물류, 공장 환경에서 데이터를 수집하고 누적 데이터 약 270만 건을 2026년 1,000만 건으로 확대하는 목표를 가진 것으로 파악됐다. 데이터뿐 아니라 하드웨어, 소프트웨어, 시험 생산 시설을 함께 제공해 스타트업이 데이터 수집부터 시제품 검증까지 공동으로 수행할 수 있도록 한다.

다만 데이터를 많이 모은다고 반드시 범용 로봇 지능이 만들어지는 것은 아니다. 동일한 환경에서 셔츠를 수백만 번 접은 데이터는 그 셔츠를 잘 접게 만들 수 있지만 처음 보는 옷과 세탁물, 조명, 가구 배치에 곧바로 대응하게 해주지는 않는다. 중국의 대규모 1인칭 영상과 원격조작 데이터가 임의의 환경에서 작동하는 범용 로봇으로 이어질지는 아직 실증되지 않았다. 그래서, 피지컬 AI의 데이터 경쟁은 양보다 다양성과 구조가 중요하다. 동일한 성공 행동보다 실패한 행동과 복구 과정, 서로 다른 사람과 환경, 물체의 재질과 모양, 힘과 촉각이 함께 기록된 데이터가 더 큰 가치를 가질 수 있다. 결국 데이터 팩토리는 단순 영상 촬영 공장이 아니라 어떤 작업을 어떻게 분해하고 어떤 센서로 기록하며 품질을 어떻게 검증하고 다른 로봇 몸체에 어떻게 이전할지를 설계하는 지식 산업이어야 한다.

세 번째 병목, 시연을 스킬로 바꾸는 학습

로봇에게 사람이 하는 작업을 보여주는 것만으로는 충분하지 않다. 사람의 시연을 관찰한 로봇은 평균적인 행동은 따라 할 수 있지만 작은 실수가 발생했을 때 어떻게 복구해야 하는지를 알지 못한다. 예를 들어 셔츠를 접는 과정에서 로봇 손이 옷자락을 2센티미터 잘못 잡았다고 가정해 보자. 학습 데이터에는 대개 사람이 정확히 옷자락을 잡는 성공 장면이 들어 있다. 로봇이 잘못 잡은 순간부터 현재 상태는 학습 데이터에 없던 상태가 된다. 그다음 행동은 더 부정확해지고 오류가 연쇄적으로 커져 결국 작업 전체가 실패한다.

Physical Intelligence는 이 문제를 모방학습만의 구조적 한계로 설명한다. 이 회사의 π*0.6은 먼저 사람의 시연으로 기본 동작을 배우고 전문가의 개입으로 실수를 교정한 뒤 로봇이 스스로 반복 수행하며 강화학습으로 성능을 높이는 방식을 사용한다. 회사 발표에 따르면 이 방식은 일부 어려운 작업에서 처리량을 두 배 이상 높이고 실패율을 절반 이하로 줄였다. 로봇이 하루 동안 에스프레소 음료를 만들고 처음 보는 집에서 다양한 빨래를 접고 실제 공장용 상자를 조립하는 실험도 공개했다. 이 변화는 스킬러닝의 단계를 보여준다. 첫 단계는 사람의 동작을 따라 하는 모방학습이다. 두 번째는 로봇이 실패하려 할 때 사람이 개입해 올바른 방향을 알려주는 교정학습이다. 세 번째는 로봇이 반복 작업의 결과를 평가하며 스스로 더 빠르고 안정적인 전략을 찾는 강화학습이다. 네 번째는 여러 로봇의 실패와 성공 경험을 모아 공통 모델을 개선하는 플릿 러닝이다.

일반적으로 말하는 연합학습은 원본 데이터를 중앙으로 보내지 않고 각 로봇이나 현장에서 모델을 학습한 뒤 업데이트만 공유하는 방식이다. 보안이 중요한 공장과 병원에서는 유용할 수 있다. 하지만 현재 로봇 산업에서 실제로 더 널리 논의되는 형태는 엄밀한 의미의 연합학습보다는 여러 현장의 로그와 개입 데이터를 중앙 모델로 모으는 플릿 러닝에 가깝다. 로봇마다 센서와 몸체, 작업환경이 달라 단순히 모델 업데이트만 합치기 어렵기 때문이다.

스킬러닝의 속도를 높이기 위해 합성 데이터도 중요해지고 있다. NVIDIA는 GR00T용 데이터 생성 도구를 사용해 11시간 동안 78만 개의 합성 궤적, 인간 시연 약 6,500시간에 해당하는 데이터를 만들었으며 실데이터와 결합했을 때 자체 평가에서 성능이 40% 향상됐다고 발표했다. 이후 GR00T-Dreams를 이용해 사람이 수작업으로 수집하면 약 3개월 걸릴 데이터를 36시간에 생성해 GR00T N1.5를 개발했다고 설명했다.

그러나 시뮬레이션만으로 손 문제를 해결하기는 어렵다. 단단한 박스를 옮기는 작업은 비교적 시뮬레이션하기 쉽지만 천이 접히는 방식, 비닐이 달라붙는 현상, 케이블이 휘어지는 움직임, 젖은 컵이 미끄러지는 상황은 정확히 재현하기 어렵다. 정밀 조작에서는 접촉과 마찰, 변형이라는 현실의 미세한 차이가 결과를 좌우한다. 결국 합성 데이터는 실제 데이터를 대체하기보다 적은 실데이터를 수백·수천 가지 조건으로 증폭하는 역할을 맡게 된다.

로봇 기업들은 수많은 현장에서 블루컬러 노동자들이 하던 일을 로봇이 대신할 수 있도록 다양한 작업들을 가르치는 여러 학습 방법을 연구하고 개발 적용하고 있다. 그 과정에 이런 학습을 가능하게 하는 AI 모델로서 VLA(Vision Language Action)가 표준이 될지, 월드모델이 VLA 위에서 계획을 담당할지, 새로운 물리 전용 아키텍처가 등장할지도 정해지지는 않았다. 앞으로 이런 학습을 성공적으로 증명한 로봇 기업이 OpenAI나 앤트로픽과 같은 위상에 다다르게 될 것이다.

언제 로봇의 ChatGPT 모멘트가 오는가?

2018년 GPT-1으로 공개된 OpenAI 모델은 2022년 11월 30일 GPT-3.5 기반의 연구용 프리뷰 버전을 무료로 공개했다. 세상 사람들이 ChatGPT에 열광하면서 본격적으로 사용한 시기는 이 버전이 오픈된 5일 후부터 100만 명 그리고 2개월 만에 월간 1억 명이 사용하면서 AI 열풍이 왔다. 로봇은 그런 ChatGPT 모멘트가 언제 올까? ChatGPT가 오픈되기 이전인 4년 전부터 다양한 모델이 공개되면서 모델 성능, 사용 인터페이스, 컴퓨팅 비용, 대중 접근성이 시도되면서 동시에 임계점을 넘었을 때 폭발적으로 확산했다.

로봇도 이처럼 여러 조건이 함께 충족돼야 한다. 새로운 작업을 로봇에 가르치는데 수개월이 아니라 수시간 또는 수일이 걸려야 한다. 단일 동작 성공률이 아니라 수백 단계 작업을 장시간 안정적으로 수행해야 한다. 실패했을 때 스스로 복구하거나 원격지원으로 빠르게 돌아와야 한다. 로봇 구매비, 유지비, 전력비, 원격운영비를 합친 총비용이 사람이나 전용 자동화 설비보다 낮아져야 한다. 그리고 한 현장에서 얻은 스킬이 다른 장소와 다른 로봇으로 이전돼야 한다.

이 기준으로 보면 2027년부터 물류 창고, 자동차 공장, 전자 조립, 데이터센터, 상업용 세탁, 호텔 등 제한된 환경에서 로봇 도입이 본격화할 가능성이 높다. 초기 작업은 박스와 부품 운반, 선반 적재, 단순 피킹과 포장, 순찰과 점검, 세탁물·냅킨접기처럼 업무 범위와 성공 조건이 명확한 영역이 될 것이다. 그러나 이것을 곧바로 범용 휴머노이드 시대라고 부르기는 어렵다. 2027~2028년의 로봇은 한 대가 모든 일을 하는 만능 노동자라기보다 몇 개의 업무를 배우고 예외 상황에서는 원격 도움을 받으며 제한된 구역에서 일하는 준자율 작업자에 가까워질 가능성이 높다. 이후 2030년 즈음에는 공장과 물류센터뿐 아니라 호텔, 병원, 대형 리테일 매장, 일부 가정에서 로봇을 조금씩 보게 될 가능성이 있다. 특히 고령화와 노동력 부족이 심하고 임금 수준이 높으며 디지털 인프라가 잘 갖춰진 한국·일본·미국·유럽의 일부 시장이 초기 수요처가 될 수 있다. 데이터 확보 속도, 손의 내구성, 안전 규제, 원가, 사회적 수용성이 지연되면 상용화 시점도 늦어질 수 있다.

그런데, 휴머노이드 로봇의 보급 과정에 산업용 로봇은 상당한 변수가 될 것이다. 초고속 용접, 반도체 이송, 정밀 도장, 대량 팔레타이징처럼 작업이 고정된 공정에서는 휴머노이드 로봇보다는 전용 산업용 로봇이 더 빠르고 저렴하며 안전하다. 휴머노이드는 사람을 위해 만들어진 계단, 문, 손잡이, 선반, 공구를 설비 변경 없이 사용할 수 있고 여러 작업을 바꿔가며 수행할 때 경제성이 생긴다. 범용성에 지불할 가치가 없는 공정에서는 굳이 사람 모양일 필요가 없다. 그렇다 보니 산업용 로봇의 발전과 폭넓은 적용은 휴머노이드 로봇 확산의 걸림돌이 될 수 있다. 그럼에도 공장에 적용되는 로봇은 상당히 빠른 속도로 확산되어갈 것이다.

하지만, 가정용 로봇은 공장용보다 훨씬 늦을 가능성이 높다. 가정은 문턱, 계단, 아이, 반려동물, 깨지기 쉬운 물건, 서로 다른 가구와 생활 습관이 존재하는 가장 복잡한 작업 환경이다. 사고 발생 가능성이 더 높아 안전에 치명적인 문제가 발생할 수도 있다. 단, 가정은 80~90%의 도움만으로도 사용자에게 가치를 줄 수 있고 가장 다양한 데이터를 얻을 수 있다는 장점도 있다. 그래서, 가사 로봇을 개발 중인 1X와 Weave Robotics 기업의 로봇 보급 대수와 기술 발전 속도가 중요한 신호가 될 것이다.

따라서 로봇의 ChatGPT 모멘트는 휴머노이드 판매량이 갑자기 폭증하는 한순간이라기보다 산업별로 다른 시점에 도래할 가능성이 높다. 물류와 제조의 단순 반복 작업에서는 먼저 나타나고 호텔과 리테일, 병원으로 이동한 뒤, 마지막에 복잡한 가정으로 확산할 것이다.

로봇 산업의 화룡점정은 안전하다는 신뢰

생성형 AI 시대의 핵심 자산은 인터넷 데이터, GPU, 대형 모델이었다. 피지컬 AI 시대에는 여기에 현실 세계를 접촉하는 손, 작업 현장의 데이터, 스킬 학습과 배포 운영이 추가된다. 완제품 하드웨어는 시간이 지나면서 표준화되고 가격이 내려갈 가능성이 높다. 반면 어느 작업에서 로봇이 자주 실패하는지, 어떤 데이터로 성능을 높였는지, 어떤 손과 센서를 써야 하는지, 안전하게 배포하려면 어떤 검증이 필요한지에 관한 경험은 쉽게 복제되지 않는다.

로봇이 현장에 배치되면 성공과 실패 데이터가 발생한다. 이 데이터가 모델 개선으로 이어지고 개선된 모델이 더 많은 현장 배치를 가능하게 하며 더 많은 배치가 다시 데이터와 매출을 만든다. 이 순환이 만들어지는 순간 로봇 기업의 경쟁력은 제품 사양이 아니라 데이터 플라이휠과 스킬 라이브러리에서 나온다.

그래서 미래의 로봇 산업에서는 하드웨어 제조사만 중요한 것이 아니다. 가사와 공장 작업을 촬영하는 데이터 수집기업, 작업을 의미 있는 에피소드로 가공하는 데이터 플랫폼, 합성 데이터를 만드는 시뮬레이션 기업, 로봇별로 모델을 후학습하는 스킬 개발사, 현장에 로봇을 배치하고 관제하는 운영사, 저지연 네트워크와 엣지컴퓨팅을 제공하는 인프라기업이 함께 생태계를 구성하게 된다. 한마디로 ‘Robot Data Platform’이라는 로봇 학습과 훈련을 위한 데이터 관련 파이프라인 즉, 체화 데이터, 합성 데이터, 특화 스킬, 컴퓨팅, 로봇 접근성을 하나의 구조로 연결하는 사업이 새로운 사업 기회가 될 것이다.

최근 유튜브에 올라오는 로봇의 놀랄만한 사람 흉내를 내는 것과 실제 인간의 노동을 대체하는 것 사이에는 상당한 거리가 있다는 것에 주목해야 한다. 이 둘의 간극을 줄이는 것은 화려한 데모가 아니다. 손끝에서 미끄러짐을 감지하는 촉각, 낯선 가정과 공장에서 수집되는 데이터, 실패를 경험으로 바꾸는 학습, 수백 단계의 작업을 이어가는 기억, 실수해도 사람과 설비를 보호하는 안전 구조가 핵심이다.

로봇의 ChatGPT 모멘트는 로봇이 사람처럼 보이는 순간에 오지 않는다. 로봇이 처음 보는 일을 배우고 실수했을 때 멈추거나 고치며 매일의 경험을 다른 로봇과 공유하면서 결국 사람에게 맡길 만한 신뢰를 얻는 순간에 온다. 그때 피지컬 AI는 시연을 위한 기술에서 노동과 산업을 다시 설계하는 범용 인프라로 바뀌게 될 것이다.

FAQ

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.