01 월드 액션 모델과 로보틱스의 마지막 단계

│한상기 테크프론티어

지난 1월과 2월 두 달에 걸쳐 피지컬 AI를 위한 기본 플랫폼과 주요 기업의 접근 방식의 차이를 설명했다. 이번에는 지난 4일 20일에 세콰이어 캐피탈 AI 어센트 2026에서 엔비디아의 임베디드 오토노머스 리서치 그룹의 리더인 짐 판(Jim Fan)이 발표한 내용을 중심으로 월드 액션 모델이 앞으로 피지컬 AI의 미래를 어떻게 변화시킬 것인가에 대한 소개를 해보고자 한다.¹⁾ 짐 판은 일 년 전 같은 행사에는 ‘피지컬 튜링 테스트’라는 개념을 발표했다 (이 내용은 뒤에 다시 설명할 예정이다). 그는 이제 로보틱스의 최종 단계(엔드게임)에 진입했으며 그 플레이북은 이미 작성되었는데 이는 과거 LLM이 걸어온 길과 유사하다고 말한다.

AI 어센트는 실리콘밸리의 대표 벤처캐피탈인 세콰이어 캐피털이 매년 4월 샌프란시스코에서 주최하는 비공개 초청 방식의 AI 콘퍼런스이다. 2023년에 처음 시작되어 2026년 기준으로 4회째를 맞은 연례행사로 150여 명 규모의 AI 분야 최상위 창업자와 연구자만 초청하는 클로즈드 이벤트이다. 일반 티켓 판매가 없고, 세콰이어가 직접 큐레이션 한 사람들만 참석할 수 있으며, 발표 영상 일부만 사후에 세콰이어 유튜브 채널을 통해 공개하는 행사다.

위대한 평행 이론

짐 판은 로보틱스가 LLM의 진화 경로를 따라간다는 것을 소위 ‘위대한 평행 이론’이라는 이름으로 발표했다. 지금까지 LLM은 다음의 세 단계로 진화했다.

• 2020년 GPT-3를 통해 사전 학습이 만들어지고, 이는 다음 토큰을 예측하면서 구조 학습을 이룩했다.

• 2022년 인스트럭트GPT가 나오면서 지도 방식의 파인 튜닝(SFT)을 통해 인간의 선호에 대한 얼라인먼트가 이루어졌다.

• 2024년 오픈AI의 o1이 등장하면서 강화 학습을 통한 논증이 구현되었다. 이는 모방 학습을 넘어서는 것이었다. 

이를 하나로 통합하는 것이 2026년 우리가 보는 자동연구(오토리서치)로 AI가 AI를 개선할 수 있는 능력을 보이는 것이다. 이것이 LLM의 최종 단계(엔드게임)이다.

그림 1 LLM의 진화 과정 [출처: 세콰이어 유튜브 채널]

이를 로보틱스에 투영해 정리해 본 결과가 소위 ‘위대한 평행 이론’이다.

먼저 월드 모델링을 통해 다음 토큰이 아닌 다음 물리 상태를 예측한다. 그다음은 액션 파인 튜닝을 통해 실제 로봇에 필요한 시뮬레이션에 얼라인먼트가 이루어지게 하며, 마지막으로 피지컬 강화 학습을 한다. 이를 전체로 통합해 로봇이 다음 로봇을 설계하는 자동 연구가 이루어질 수 있다. 그는 이것이 로보틱스의 엔드게임이며 LLM이 검증한 스케일링 법칙을 그대로 빌려 쓰자는 전략이다. 

그림 2 위대한 평행 이론 [출처: 세콰이어 유튜브 채널]

왜 VLA는 부족한가?

지난 3년간 로봇 학습의 지배적 아키텍처는 VLA(Vision-Language-Action) 모델이었다. PaLM-E, 엔비디아 GR00T N1.5, 피지컬 인텔리전스의 π0.7 등이 대표 사례다.²⁾ 짐 판은 VLA에 대해 신랄한 비판을 가하고 있다. VLA는 사실상 LVA(Language-Vision-Action)라는 것이다. 대부분의 파라미터가 언어에 할당되어 있고, 비전과 액션은 머리 위에 접붙인 형태다. 그는 이를 ‘머리만 무거운 아키텍처’라고 부른다. 그 결과 VLA는 명사와 지식에는 강하지만, 동사와 물리에는 약하다.

예를 들어 ‘콜라 캔을 테일러 스위프트 사진 쪽으로 옮겨라’는 데모를 보면 모델이 보지 못한 셀럽으로도 일반화에 성공하지만, 이는 물리적 능력이 아니라 의미적 일반화일 뿐이다. 물체 인식과 언어 매칭은 잘하지만, 정작 ‘옮긴다’는 물리 행위 자체는 빈약하다는 것이다. 판은 이 시기 로보틱스를 "LLM에 사로잡힌(LLM-pilled)" 상태라고 비판한다. 언어를 백본으로 깔고 그 위에 로봇을 얹는 발상에서 벗어나야 한다는 것이다.

판이 제시하는 돌파구는 비디오 생성 모델이다. Veo 3(V3), 소라(Sora) 같은 모델은 누구도 명시적으로 가르치지 않았음에도 중력, 부력, 반사, 굴절 같은 물리 법칙을 학습해냈다. 단순히 ‘다음 픽셀 덩어리(next blob of pixels)’를 예측하는 것만으로 가능했다. 더 놀라운 것은 ‘시각적 계획(visual planning)’의 창발이다. Veo 3에게 미로 영상을 주고 "이 미로를 풀어라"라는 식의 프롬프트를 줬을 때, 모델이 다음 프레임들을 생성하면서 미로 안의 캐릭터/공이 출구로 빠져나가는 영상을 만들어낸다. 즉 모델이 다음 픽셀을 예측하는 과정에서 일종의 시뮬레이션을 앞으로 굴려 미로의 해결 방안을 찾아내는 셈이다. 이게 ‘시각적 계획의 창발’이라는 발견의 핵심이다. 때로는 미로를 풀다가 벽을 아예 없애 버리는 영상을 만들어 풀어내는 ‘치트키’를 사용하기도 했다. 

판은 이를 ‘물리 슬롭(physics slop)’의 시대라고 부른다. 의도하지 않았지만, 스케일만으로 물리 이해가 떠오른다는 것이다. 다만 그는 비디오 월드 모델의 가장 과대평가된 활용처가 짧은 영상 클립을 양산하는 ‘AI 비디오 슬롭’이라는 점을 지적하면서, 진짜 잠재력은 로보틱스의 토대가 될 것이라고 강조한다.

이를 두 번째 사전 학습 패러다임으로 선언하는데, 첫 번째는 LLM의 다음 단어 예측, 두 번째는 다음 물리 상태 예측, 즉 월드 모델링을 말한다. 엔비디아가 제시하는 새 패러다임은 월드 액션 모델(WAM)이며 대표작이 드림제로(DreamZero)이다. 

VLA가 언어를 1순위로 두었다면, WAM은 다음 단어가 아니라 다음 물리 상태를 예측하며, 미래의 픽셀과 관절 토크를 동시에 ‘꿈꾼다’는 의미로 드림제로라는 이름을 붙였다. 다시 말해 비전과 액션을 동급으로 다룬다는 의미이다.

중국 푸단 대학, 상하이 혁신 연구소, 싱가포르 국립 대학에서 2026년 5월에 발표한 논문 ‘세계 행동 모델: 체화된 AI의 차세대 프론티어’에 따르면, VLA 모델에서 월드 액션 모델로 진화가 필요한 이유를 다음과 같이 설명하고 있다.³⁾

 "비전-언어-액션(VLA) 모델은 체화된 정책 학습에서 강력한 의미론적 일반화를 달성했지만, 물리적 세계가 개입하에서 어떻게 진화하는지를 명시적으로 모델링하지 않고 반응적인 관찰-행동 매핑을 학습한다. 이러한 한계를 해결하기 위해 환경 역학의 예측 모델인 월드 모델을 행동 생성 파이프라인에 통합하는 연구가 점차 늘어나고 있다. 우리는 이러한 새로운 패러다임을 월드 액션 모델(WAM)이라고 부른다. WAM은 예측 상태 모델링과 행동 생성을 통합하는 체화된 기반 모델로, 행동만이 아닌 미래 상태와 행동에 대한 공동 분포를 목표로 하고 있다.”

이 논문에서는 WAM을 공식적으로 정의하고 관련 개념과 구별하며, 이 패러다임의 기원이 된 VLA 및 세계 모델 연구의 기초와 초기 통합 과정을 추적했다. 기존 방법을 계층형 및 결합형 WAM의 구조화된 분류 체계로 정리하고, 생성 방식, 조건화 메커니즘 및 행동 디코딩 전략에 따라 세분화해서 정리한 최초의 체계적인 분석이다.

그림 3 WAM의 시대적 진화와 분류 [출처: 각주 3의 논문]

엔비디아의 드림제로, 에고스케일, 드림도조

엔비디아의 드림제로는 다음과 같은 핵심 특징을 갖고 있다.

• 다양성 우위: ‘반복 데모 많이’가 정답이라는 기존 통념을 깨고, 다양한 데이터에서 더 잘 학습한다.

• 픽셀이 만국 공용어: 서로 다른 로봇 형태 간 지식 전이가 전통적으로 어려웠는데, 비디오를 1순위로 두면 픽셀이 다른 하드웨어를 잇는 다리가 된다. 

• 놀라운 적응력: 한 번도 본 적 없는 새 하드웨어에서 단 55개 궤적(약 30분 분량 원격조작)만으로 적응하고, 제로샷 프롬프팅 능력까지 유지한다. 즉 로봇-로봇, 인간-로봇 전이가 실제로 작동한다.

짐 판은 이를 로보틱스 월드 모델의 ‘GPT-2 모먼트’라고 평했다. 판은 많은 기업이 사용하는 원격조작은 그 한계로 인해 더 이상 의미가 없을 것이라고 평가한다. 하루 24시간이라는 물리적 제약으로 인간 조작자의 시간을 늘릴 수 없고, 로봇이 자주 고장 나고 멈추기 때문에 데이터 수집도 멈출 수밖에 없다. 다시 말해 수백만 시간이 필요한 범용 학습에 원격조작은 그 한계가 명확하다.

엔비디아의 대안은 센서화된 인간 데이터 개념으로 인간 손에 착용하는, 놀랍도록 단순한 액추에이터이며 로봇을 거치지 않고 데이터를 모은다는 UMI(범용 조작 인터페이스)와 수천 시간의 인간 1인칭 영상으로 운동 사전 지식(motor prior) 형성하는 에고센트릭 스케일링이다. 이를 통해 학습 데이터셋은 향후 1년 안에 1,000만 시간 규모로 확장될 수 있다고 전망한다.

이 흐름의 결정적 증거가 에고스케일(EgoScale) 프로젝트인데, 20,854시간의 인간 1인칭 영상으로 사전 학습한 결과, 거의 완벽한 로그-선형 스케일링 법칙을 발견했다. 인간 영상 데이터를 늘릴수록, 로봇의 제로샷 손재주(zero-shot dexterity)가 향상된다면, 인간 영상이 로봇 성공을 예측한다. 즉 같은 작업을 인간이 영상으로 더 잘 보여줄수록, 로봇도 더 잘 해낸다. 이로써 ‘compute = environment = data(컴퓨트 = 환경 = 데이터)’라는 새 스케일링 만트라가 성립한다는 것이다. 더 많은 컴퓨트는 더 많은 시뮬레이션 환경을 의미하고, 더 많은 환경은 곧 더 많은 데이터라는 의미이다.

데이터 병목을 우회하는 엔비디아의 또 다른 카드는 생성형 시뮬레이션이다. 판은 두 단계로 설명한다:

• 1단계 — 디지털 사촌: 아이폰 스캔으로 만든 실세계 객체들에 절차적 변형을 가해 무한히 변주된 환경을 생성하며 이를 ‘디지털 사촌’이라 부른다.

• 2단계 — 시뮬레이션 2.0 (드림도조: DreamDojo): 고전 물리 방정식을 데이터 주도 비디오 생성으로 대체한 신경 시뮬레이터이다. 10 FPS 이상의 실시간 센서 상태를 출력한다. 로봇은 모델의 ‘꿈 공간(dream space)’ 안에서 강화 학습을 돌릴 수 있다.

드림도조가 여는 가능성은 다음과 같다. 

• 꿈속 라이브 원격조작: VR 컨트롤러를 연결해 가상 로봇을 실시간 원격조작한다. 유니트리 G1 + PICO 헤드셋 + RTX 5090 한 장으로 데모를 보였다. 

• 정책 평가: 실세계가 아니라 신경 시뮬레이터 안에서 정책 체크포인트를 굴린다. 드림도조의 예측 성공률이 실세계 결과와 강하게 상관을 갖기 때문에 모터 하나 사용하지 않고 체크포인트를 순위 매김할 수 있다.

• 모델 기반 계획: 여러 액션 후보를 병렬 시뮬레이션해서 최적 미래를 선택한다. 과일 포장 작업에서 실세계 성공률 +17%를 달성했다. 

이런 기술과 프로젝트가 이 보고서의 올해 2월에 소개한 엔비디아의 코스모스와 어떻게 연관되는 것인가를 이해할 필요가 있다.

코스모스는 한 마디로 피지컬 AI 시대의 GPT-3에 해당하는 기반이다. 드림제로는 사전 학습된 비디오 디퓨전 백본 위에 만든 WAM인데 그 백본이 바로 코스모스 프레딕트(Predict)이다. 코스모스 프레딕트는 2억 개의 영상으로 다음 물리 상태를 예측하는 능력을 사전 학습했다. 중력, 반사, 객체 운동 같은 물리 법칙이 여기서 학습된다. 다만 이 단계에서는 액션이 명시적으로 포함되지 않으며, 어디까지나 픽셀 미래만 예측하는 모델이다.

드림도조의 월드 모델은 코스모스-프레딕트 2.5로 초기화된 뒤, 4만 4,000시간 분량의 1인칭 인간 영상과 In-lab/EgoDex 데이터셋으로 추가 사전 학습한다. 여기서 잠재 액션(latent action) 공간을 학습해, 액션을 입력받아 미래 영상을 생성할 수 있게 된다. 이를 ‘AC-WM(Action-Conditioned World Model)’이라고 부르는데, "이 행동을 하면 어떤 영상이 펼쳐질까?"를 시뮬레이션하는 단계이다. 

드림도조가 액션을 받아 영상을 예측하는 모델이라면, 드림제로는 영상과 액션을 동시에, 한 번의 포워드 패스에서 같이 예측한다. 이게 짐 판이 발표에서 강조한 WAM의 진정한 의미이다. 드림제로 역시 코스모스 프레딕스 백본 위에 얹혀 있다. 

정리하면, "코스모스는 엔비디아의 피지컬 AI 파운데이션 플랫폼이고, 드림도조와 드림제로 WAM은 코스모스 프레딕트 위에서 자란 응용 모델이다. 짐 판이 말하는 '위대한 평행 이론’'은 사실 코스모스를 GPT의 자리에, 드림 시리즈를 InstructGPT/o1의 자리에 놓겠다는 엔비디아의 전략적 그림이다." 라고 말할 수 있다. 

피지컬 튜링 테스트

짐 판은 마지막으로 세 가지의 마일스톤을 제시한다. 앞으로 2~3년 안에 인간과 구별하기 어려운 우아함으로 작업을 수행하는 피지컬 튜링 테스트를 통과할 것이며, 구성 가능한 로봇 함대를 위한 피지컬 API를 만들고 2040년에는 로봇이 스스로 다음 세대 로봇을 설계·개선·제작하는 인간 능력을 한참 넘어서는 피지컬 자동 연구가 가능해질 것이라고 본다.

왜 2040년인가 하면, 알렉스넷에서 AI 과학자까지 도달하는 데 14년이 걸렸고, 다음 단계로 14년을 더하면 2040년이기 때문이다. 기술은 선형적이 아니라 지수적으로 진보하기 때문에 이에 대한 확신을 95% 수준에서 갖고 있다고 한다.

그는 마지막으로 "우리는 지구를 탐험하기엔 너무 늦게 태어났고, 별을 탐험하기엔 너무 일찍 태어났다. 그러나 로보틱스를 풀기엔 딱 맞춰 태어났다.”고 하면서 지금이 우리가 로봇을 중심으로 하는 피지컬 AI의 새로운 혁신을 이끌어 갈 수 있다고 말했다. 

마치면서

WAM의 본질은 단순하다. 로봇 데이터가 부족하니, 인간이 세상을 살아가며 만드는 영상을 토대로 삼자는 것이다. WAM은 픽셀과 액션을 같이 학습하므로 동사, 즉 운동 자체를 모델 내부에 새긴다. 이게 신발 끈 풀기, 마네킹 모자 벗기기 같은 본 적 없는 정밀 조작 작업에서 드림제로가 39.5%, 특정 작업에서는 85.7%의 진행률을 기록한 이유이다. 또한 LLM처럼 스케일이 답이라고 한다.

그러나 얀 르쿤 같은 학자는 이 문제는 스케일로 풀리지 않는다고 반론을 취한다. 우선 현재 WAM은 모두 2D 픽셀 공간에서 작동한다. 그런데 물리 세계는 3D이다. 모델은 객체가 시야에서 벗어나면 그 존재 자체를 잃어버리는 경향이 있고(객체 영속성 문제), 보이지 않는 영역을 환각으로 채우며, 시간이 길어질수록 표류합니다. 이건 단순한 버그가 아니라 표상의 차원이 부족하다는 구조적 문제이다.

둘째로 물리 같은 영상과 물리적으로 정확한 영상은 다르다. Veo 3나 소라가 중력과 반사를 학습한 것처럼 보이지만, 실제로 VideoPhy-2 같은 벤치마크로 측정해 보면 물리 상식 점수는 여전히 낮다. 픽셀이 그럴듯하다고 해서 모델이 뉴턴 역학을 이해하는 건 아니라는 것이다. 

세 번째는 오차 누적과 추론 비용의 문제인데, 자기 회귀적으로 미래를 굴리면 오차가 빠르게 쌓일 수 있으며, 하드웨어 환경에 강하게 종속되어 있다. 

얀 르쿤이 주장하는 ‘픽셀 예측은 낭비이고 추상적 표상 공간에서 예측해야 한다’는 것은 그의 JEPA 모델이 추구하는 방향이다. 그럼에도 당분간은 WAM 모델이 유리할 수 있는 점은 비디오 생성 모델이라는 거대한 산업적 자원(소라, Veo, 코스모스)을 그대로 빌려 쓸 수 있다는 점이다. 데이터, 컴퓨트, 인재가 이미 그쪽에 몰려 있는 것에 반해 JEPA는 아직 학계 모델 규모이고, 표상 공간 학습의 핵심 난제(붕괴 방지, 다중 추상 수준)가 충분히 풀리지 않았다. 

다만 5-10년의 중장기로 본다면 두 모델의 장점이 적절히 융합할 수 있다. 이미 그런 흐름을 보이고 있다. 엔비디아 쪽도 점차 잠재 액션 공간을 도입하고 있고(드림도조의 경우) 르쿤 진영도 LeWM처럼 픽셀로부터 직접 학습하는 JEPA를 시도한다. 

WAM은 ‘로봇 데이터 병목’이라는 가장 현실적인 문제를 가장 영리한 방식(인간 영상)으로 우회하는 시도다. 단기적으로는 강력한 패러다임이 될 것이 거의 확실하다. 그러나 픽셀 공간에 갇혀 있다는 본질적 약점과 물리 정확성과 시각적 그럴듯함을 혼동하는 위험은 남는다.

참고문헌

1) 이번 발표는 유튜브에서 볼 수 있다. https://www.youtube.com/watch?v=3Y8aq_ofEVs 

2) 이 보고서 시리즈의 2026년 1월 ‘피지컬AI 플랫폼 1부’를 참고하기 바란다.

3) Siyin Wang, et. al., “World Action Models: The Next Frontier in Embodied AI,” arXiv, May 12 2026