02 ​GTC 2026을 통해 살펴본 엔비디아 피지컬 AI 관련 기술

│한상기 테크프론티어 대표

엔비디아가 매년 개최하는 GTC(GPU Technology Conference)는 이제 단순 GPU 개발자 행사가 아니라 사실상 AI 산업의 방향을 정의하는 글로벌 플랫폼이다. GTC에서는 AI 로드맵 발표, GPU 및 시스템 아키텍처 공개, 산업별 AI 적용 사례 공유 (헬스케어, 자율주행, 로보틱스 등), 글로벌 기업·연구 기관 네트워킹 등이 이루어진다. 특히 젠슨 황 CEO의 키노트는 사실상 AI 산업의 연간 선언문이라고 할 수 있다.

천 개가 넘는 수많은 기술 세션과 산업별 트랙이 있고 스타트업과 생태계를 위한 전시와 네트워킹이 이루어지기 때문에 엔비디아는 이제 단순한 칩 메이커가 아니라 AI 생태계 오케스트레이터가 되었음을 알 수 있다. 

이번 달에는 GTC 2026의 발표 내용 중에서 필자가 관심을 많이 갖고 있는 피지컬 AI 분야를 위해 엔비디아가 새로 발표한 기술과 제품에 대해 정리해서 소개하도록 한다.

피지컬 AI 데이터 팩토리 블루프린트

이번 GTC에서 가장 눈에 띄는 발표인데, 피지컬 AI를 위한 대규모 학습에 드는 비용, 시간 및 복잡성을 줄이기 위해 학습 데이터의 생성, 증강 및 평가 방식을 통합하고 자동화하는 개방형 참조 아키텍처인 피지컬 AI 데이터 팩토리 블루프린트를 공개했다.

이를 통해 개발자는 NVIDIA 코스모스 오픈 월드 파운데이션 모델과 선도적인 코딩 에이전트를 사용하여 제한된 학습 데이터를 대규모의 다양한 데이터 세트로 변환할 수 있다. 여기에는 실제 세계에서 포착하기 어렵고, 비용이 많이 들고, 시간이 오래 걸리며, 종종 비현실적인 드문 예외 사례와 장기 시나리오를 포함한다. 엔비디아는 마이크로소프트 애저 및 네비우스와 협력해 오픈 소스 블루프린트를 클라우드 인프라 및 서비스에 통합함으로써 개발자가 가속화된 컴퓨팅 성능을 대용량 학습 데이터로 전환할 수 있도록 했다. 

필드AI, 헥사곤 로보틱스, 링커 비전, 마일스톤 시스템즈, 로보포스, 스킬드AI, 테라다인 로보틱스 및 우버와 같은 주요 피지컬 AI 개발업체들은 이 블루프린트를 사용하여 로봇 공학, 비전 AI 에이전트 및 자율주행 차량 개발을 더 빠르게 실행할 것이다. 

피지컬 AI 데이터 팩토리 블루프린트는 모듈식 자동화 워크플로를 통해 팀이 원시 데이터에서 모델 학습 세트로 전환할 수 있도록 지원하는 단일 참조 아키텍처 역할을 한다. 아래와 같은 주요 기능으로 설명할 수 있다.

• 큐레이션 및 검색: 코스모스 큐레이터는 대규모 실제 및 합성 데이터 세트를 처리, 정제 및 주석 처리한다.

• 증강 및 확장: 코스모스 트랜스퍼는 엄선된 데이터를 기하급수적으로 확장하고 다양화하여 실제 및 시뮬레이션 입력을 증폭시켜 다양한 환경과 조명 조건에서 발생하는 희귀하고 드문 시나리오를 더욱 효과적으로 포착한다.

• 평가 및 검증: 코스모스 이밸류에이터는 코스모스 리즌을 기반으로 하며 현재 깃허브에서 사용할 수 있고, 생성된 데이터를 자동으로 채점, 검증 및 필터링하여 물리적 정확성과 교육 준비 상태를 보장한다.

블루프린트는 엔비디아에서는 알파마요 학습이나 평가에 사용하고 있고, 스킬드 AI는 범용 로봇 파운데이션 모델을 발전시키고 있으며, 우버는 자율주행차 개발을 가속하는 데 사용하고 있다. 

많은 로봇 개발자들은 대규모 데이터 생성을 위해 필요한 복잡한 AI 인프라를 구축하고 관리할 역량이 부족하다. 그래서 제공하는 오스모(OSMO)는 오픈 소스 오케스트레이션 프레임워크로, 컴퓨팅 환경 전반에 걸쳐 이러한 워크플로우를 통합 및 관리하여 수동 작업을 줄이고 개발자가 모델 구축에 집중할 수 있도록 한다. 에이전트 컨텍스트 파일과 함께 CLI 형태로 제공되는 오스모는 AI 코딩 에이전트가 개발 환경에 대한 완벽한 상황 인식을 갖춘 피지컬 AI 플랫폼 전문가가 되게 해 준다. 코딩 에이전트는 단순히 작업을 제출하는 것 외에도 파이프라인에 대해 추론하고, 실행 중인 워크플로를 쿼리하고, 사용 가능한 GPU 용량을 확인하고, 플랫폼 활동을 실시간으로 모니터링할 수 있다. 오스모는 이제 클로드 코드, 오픈AI 코덱스, 커서와 같은 주요 코딩 에이전트에 통합되어 에이전트가 리소스를 사전에 관리하고 병목 현상을 해결하며 대규모 모델 제공을 가속화하는 AI 기반 운영을 지원한다.

마이크로소프트 애저는 블루프린트를 개방형 피지컬 AI 툴체인에 통합했으며, 툴체인은 이제 깃허브에서 사용할 수 있다. 블루프린트는 애저 IoT 오퍼레이션즈, 마이크로소프트 패브릭, 리얼 타임 인텔리전스 및 마이크로소프트 파운드리를 포함한 애저 서비스와 통합되어 엔터프라이즈급 에이전트 기반 워크플로를 통해 피지컬 AI 시스템을 신속하고 대규모로 학습 및 검증할 수 있도록 지원한다. 블루프린트는 4월 중에 깃허브에서 공개할 예정이라고 한다. 

차세대 지능형 로봇을 위한 기술

이번 GTC에서 엔비디아는 새로운 아이작 시뮬레이션 프레임워크, 새로운 엔비디아 코스모스 3, 아이작 그루트 모델을 공개했다. 아이작은 개방형 로봇 개발 플랫폼으로 시뮬레이션 및 로봇 학습 프레임워크, 쿠다 가속 라이브러리, AI 모델, 그리고 자율 이동 로봇(AMR), 로봇 팔, 매니퓰레이터, 휴머노이드 로봇을 제작하기 위한 참조 워크플로로 구성한다. 나머지는 지난 1월과 2월 원고를 참고하기 바란다.

그림 1 엔비디아의 아이작과 관련 기술 그룹

엔비디아 플랫폼을 기반으로 사업을 구축하는 업계 선도 기업으로는 ABB 로보틱스, AGIBOT, 애질리티, 화낙(FANUC), 피규어, 헥사곤 로보틱스, 쿠카(KUKA), 스킬드 AI(Skild AI), 유니버설 로봇츠, 월드 랩스 및 야스카와가 있다. 

전 세계적으로 200만 대 이상의 로봇을 설치한 화낙, ABB 로보틱스, 야스카와 및 쿠카는 엔비디아 옴니버스 라이브러리와 아이작 시뮬레이션 프레임워크를 자사의 가상 시운전 솔루션에 통합하여 물리적으로 정확한 디지털 트윈을 통해 복잡한 로봇 애플리케이션과 전체 생산 라인을 개발 및 검증하고 있다. 생산 라인에 고급 인텔리전스를 구현하기 위해서는 젯슨(Jetson) 모듈을 컨트롤러에 통합하여 엣지에서 실시간 AI 추론을 실행하고 있다. 

필드AI와 스킬드AI는 코스모스 월드 모델을 활용한 데이터 생성과 아이작 시뮬레이션 프레임워크를 이용한 시뮬레이션 정책 검증을 통해 일반화된 로봇 두뇌를 구축하고 있다. 월드 랩스는 아이작 심을 이용해 자체 생성형 월드 모델을 검증하고 있으며, 제네랄리스트 AI는 코스모스를 활용하여 합성 데이터 생성을 연구하고 있다. 

차세대 휴머노이드 개발을 위해 1X, AGIBOT, 애질리티, 애자일 로보츠, 보스톤 다이나믹스, 피규어, 헥사곤 로보틱스, 휴머노이드, 멘티, 뉴라 로보틱스 등은 코스모스 월드 모델, 아이작 심 및 아이작 랩을 사용해 개발과 검증을 가속하고 있다. 

엔비디아는 이번에 엔비디아 DGX급 인프라에서 더 빠르고 대규모의 로봇 학습을 가능하게 하는 아이작 랩 3.0을 얼리 액세스 버전으로 출시했다. 새로운 뉴턴 물리 엔진 1.0과 엔비디아 PhysX 소프트웨어 개발 키트를 기반으로 구축된 아이작 랩 3.0은 다중 물리 시뮬레이션을 추가하고 복잡하고 정교한 조작을 위한 지원을 개선했다. 

아이작 랩은 모듈형 아키텍처와 GPU 기반 병렬 처리를 기반으로 환경 설정부터 정책 학습까지 로봇 학습을 위한 포괄적 프레임워크를 제공한다. 모방 학습과 강화 학습을 모두 지원하며, 뉴턴, PhysX, 워프, 뮤조코(MuJoCo) 등 다양한 물리 엔진을 활용할 수 있다. 아이작 랩은 아이작 그루트 플랫폼의 핵심 로봇 학습 프레임워크이다. 

그림 2 아이작 랩 구성도 (출처: 엔비디아)

이번에 그루트 N1.7을 상용 라이선스를 통해 얼리 액세스 버전으로 출시했으며, 이를 통해 고급 정밀 제어를 포함한 일반화된 로봇 기능을 생산 현장에 바로 적용할 수 있다고 발표했다. 그루트 N 모델을 사용하는 기업에는 AGIBOT, 휴머노이드, LG 전자, 뉴라 로보틱스, 그리고 노블 머신즈가 있다. 

또한 젠슨 황은 기조연설에서 드림제로의 연구를 기반으로 하는 차세대 로봇 모델인 그루트 N2를 공개했는데, 새로운 세계 행동 모델 아키텍처를 기반으로 구축된 이 모델은 기존의 비전 언어 행동 모델보다 로봇이 새로운 환경에서 새로운 작업을 두 배 이상 더 성공적으로 수행할 수 있도록 지원한다. N2는 연말 출시 예정이다. 

로보택시 플랫폼 확대

키노트에서 젠슨 황은 엔비디아의 로보택시 플랫폼이 BYD, 현대, 닛산, 지리자동차 등 새로운 자동차 제조업체 파트너들을 끌어들이고 있다고 밝혔다. 또한 이러한 차량을 우버의 차량 호출 네트워크에 배치하기 위한 우버와의 파트너십을 강조했다. 

엔비디아의 자율주행차 연구 담당 수석 이사인 마르코 파보네는 자율주행 개발을 위한 개방형 AI 모델, 시뮬레이션 도구 및 데이터 세트 제품군인 알파마요에 대한 업데이트를 발표했다. 최신 버전인 알파마요 1.5 추론 VLA 모델은 내비게이션 텍스트 안내 기능과 모델의 추론과 동작 간의 연결을 강화하는 새로운 학습 후 얼라인먼트 도구를 추가하여 개발자가 "자신의 데이터 세트에 맞게 모델을 맞춤 설정할 수 있도록" 한다. 

엔비디아가 자율주행을 기본으로 하는 로봇택시 영역에서 이번에 발표한 주요 내용은 다음과 같다.

• 우버와 전략적 협력 확대: 우버는 엔비디아의 '로보택시 레디(Robotaxi-Ready)' 플랫폼을 활용해 글로벌 로보택시 네트워크를 구축할 계획이다. 양사는 2026년부터 수천 대의 레벨 4(L4) 자율주행 차량을 온라인화하고, 2027년까지 로스앤젤레스 등 주요 도시로 서비스를 확장할 예정이다.

• 글로벌 자동차 제조사 합류: 현대자동차, 기아, BYD, 닛산, 지리(Geely) 등이 엔비디아 드라이브 하이페리온 플랫폼을 채택하여 로보택시 및 자율주행 차량을 개발하고 있다.

• 닛산 & 웨이브(Wayve) 프로토타입: 닛산과 AI 스타트업 웨이브는 닛산 리프(LEAF)를 기반으로 한 로보택시 프로토타입을 공개했다. 이 차량은 고정밀 지도 없이 실시간으로 도로 상황을 학습하는 '엔드 투 엔드' AI를 탑재했다.

• 위라이드 GXR 공개: 자율주행 스타트업 위라이드는 동남아시아 시장을 겨냥한 로보택시 모델 'GXR'을 GTC 현장에서 선보였다.

관련 기술 발표 내용으로는 아래와 같은 내용이 있다.

• 엔비디아 드라이브 하이페리온 10: L4 자율주행을 위한 차세대 개발 플랫폼으로, 강력한 토르 SoC(System-on-a-Chip)와 고해상도 카메라 14대, 레이더 9대, 라이다 1대 등으로 구성된 센서 스위트를 포함한다.

• 데이터 팩토리 및 시뮬레이션: 우버와 엔비디아는 코스모스 플랫폼을 기반으로 공동 데이터 팩토리를 구축하여, 시뮬레이션과 합성 데이터를 통해 자율주행 모델을 지속적으로 개선하고 있다.

글로벌 산업 소프트웨어 회사와 협력

엔비디아가 이번 GTC에서 발표한 내용 중 하나는 글로벌 산업용 소프트웨어 선도 기업에게 쿠다-X, 옴니버스, GPU 가속 산업용 소프트웨어와 도구를 제공함으로써 설계, 엔지니어링 및 제조 속도를 향상시키겠다는 것이다. 이들 소프트웨어 선도 기업들은 엔비디아 기반 에이전트 솔루션을 도입하여 고객들이 차세대 AI 시대에 대비할 수 있도록 지원할 예정이다.

이러한 솔루션은 AWS, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라(OCI)와 같은 주요 클라우드 서비스 제공업체와 델, HPE, 슈퍼마이크로와 같은 장비 제조업체의 엔비디아 AI 인프라에서 실행되어 설계 및 시뮬레이션 속도를 향상시킬 것이다. 

젠슨 황은 “물리적 AI와 자율 AI 에이전트가 설계, 엔지니어링, 제조 방식을 근본적으로 재창조하는 새로운 산업 혁명의 시대가 도래했다.”라고 하면서 “엔비디아는 소프트웨어 대기업, 클라우드 제공업체, OEM으로 구성된 글로벌 생태계를 통합하여 모든 산업이 이러한 비전을 이전에는 불가능했던 규모와 속도로 현실화할 수 있도록 지원하는 풀 스택 가속 컴퓨팅 플랫폼을 제공하고 있다.”고 자랑했다.

차세대 차량 설계를 가속화하기 위해 지멘스 및 시놉시스와 협력하여 전산 유체 역학(CFD) 및 전자기학을 위한 GPU 가속 도구를 제공하고, 혼다는 시놉시스의 앤시스 플루언트(Ansys Fluent)를 그레이스 블랙웰 플랫폼으로 가속하여 CPU를 사용할 때보다 34배 빠른 속도로 공기역학 시뮬레이션을 실행함으로써 개발 주기를 단축한다.

JLR과 메르세데스-벤츠는 엔지니어링 워크플로우를 혁신하기 위해 엔비디아 가속 인프라에서 지멘스의 심센터 STAR-CCM+ 소프트웨어를 활용한다. 다쏘 시스템즈의 SIMULIA 아바쿠스와 파워플로우는 엔비디아 AI 인프라의 가속을 통해 리비안의 차량 시뮬레이션 테스트를 지원하는 데 사용한다. 

항공기 이륙 시뮬레이션과 같은 매우 복잡한 CFD 시뮬레이션은 케이던스의 기술을 사용하며, 어센던스는 케이던스 기술로 하이브리드 전기 추진 및 수직 이착륙 항공기 시나리오를 시뮬레이션하고 있다. 이를 통해 대규모 CPU 기반 고성능 컴퓨팅으로는 불가능했던 전체 공기역학 시뮬레이션 캠페인을 당일 완료할 수 있다. 

에너지 업계 선두 기업들은 시뮬레이션 처리 시간 단축, 처리량 증대, CPU 전용 컴퓨팅의 한계 극복을 위해 클라우드 및 온프레미스 환경 전반에 걸쳐 엔비디아 AI 인프라 기반의 GPU 가속 CFD 워크플로우를 도입하고 있으며, 이를 통해 더욱 깨끗한 에너지 솔루션을 위한 가스 터빈 혁신을 가속화하고 있다. 

삼성과 SK하이닉스는 엔비디아 가속 델 파워엣지 서버와 HPE 시스템에서 케이던스 페가수스, 시놉시스 프라임심, 지멘스 캘리브리 소프트웨어를 사용하여 대용량 컴퓨테이셔널 리소그래피 및 물리적 검증을 간소화하고 DRAM 및 플래시 메모리 생산을 가속화하고 있다. TSMC는 첨단 제조 분야의 핵심 워크로드를 가속화하기 위해 HPE 및 슈퍼마이크로 시스템에서 시놉시스 도구를 사용하고 있다.

또한 산업 생태계 파트너들은 고정밀 산업용 디지털 트윈을 활용하여 가상 계획과 실제 실행을 연결함으로써 제품 라인, 공장, 창고 및 조선소의 디지털화를 가속화하고 있다. 지멘스가 새롭게 출시한 디지털 트윈 컴포저는 엔비디아 옴니버스 라이브러리를 활용하여 폭스콘, HD 현대, 펩시코, 키온과 같은 기업들이 대규모 산업용 메타버스 환경을 구축할 수 있도록 지원한다.

그림 3 지멘스의 디지털 트윈 컴포저 [출처: 지멘스]

카이온(KION)은 지멘스, 엔비디아, 액센츄어와 협력하여 자율 창고 솔루션을 발전시키고 있는데, 엔비디아 옴니버스와 액센츄어가 개척한 피지컬 AI 기반 디지털 트윈 및 시스템 아키텍처를 활용하여 세계 최대의 위탁 물류 제공업체인 GXO를 위해 젯슨 기반 자율 지게차 차량을 교육하고 테스트하는데 필요한 대규모의 물리적으로 정확한 창고 디지털 트윈을 구축했다. 

엣지에서 오픈 소스 모델을 실행하는 젯슨(Jetson)

엔비디아 젯슨은 엣지에서 오픈 소스 모델을 실행하는 데 널리 사용되는 플랫폼이 되었다. 이 플랫폼은 다양한 오픈 모델과 AI 프레임워크를 지원하여 개발자가 엣지 환경에서 거의 모든 생성형 AI 워크로드에 대한 유연성을 확보할 수 있도록 한다.

산업계가 경직된 자동화에서 피지컬 AI로 나아가면서, 복잡한 환경에서 자율적이고 안전에 중요한 기계를 구동하기 위해 실시간 감지 및 추론이 가능한 새로운 유형의 지능형 엣지 컴퓨팅 장치가 필요하다. 이러한 수요를 충족하기 위해 IGX 토르를 정식 출시했다. IGX 토르는 고속 센서 처리, 엔터프라이즈급 신뢰성 및 기능 안전성을 통해 엣지에서 실시간 피지컬 AI를 제공하는 강력한 산업용 플랫폼이다.

캐터필러는 작업자 생산성과 안전성을 향상시키기 위해 IGX 토르 기반의 차량 내 대화형 AI 비서를 개발하고 있으며, 히타치 레일은 IGX 토르를 사용하여 철도망에 고급 예측 유지보수 및 자율 검사 시스템을 배포하고 있다.

그림 4 IGX 토르 [출처: 엔비디아]

오린(Orin)부터 토르(Thor)에 이르기까지, 엔비디아 젯슨 제품군은 엔비디아 네모트론, 코스모스, 아이작 GR00T와 같은 모델은 물론 Qwen, 젬마, 미스트랄 AI, GPT-OSS, PI 등 점점 더 늘어나는 커뮤니티 모델들을 실행하는 데 널리 사용하고 있다. 젯슨은 컴퓨팅과 메모리를 시스템 온 모듈(SoM)로 통합하여 고객의 하드웨어 설계를 가속화하고, 개별 부품 방식보다 소싱 및 검증을 더 쉽게 만들었다. 

캐터필드의 캣 AI 어시스턴트는 엔비디아 젯슨 토르에서 동작하며 (이미 CES에서 306 CR 미니 굴삭기에서 활용을 선보임), Qwen3 4B는 vLLM을 통해 로컬에서 지원하기 때문에 클라우드 연결이 필요 없다. 차량 내 AI 어시스턴트인 '캣 AI 어시스턴트'는 신뢰할 수 있는 기계 컨텍스트와 함께 음성 및 언어 모델을 로컬에서 실행하여 운전자 안내 및 안전 기능을 지원한다. 

공급망 솔루션 기업인 키온 그룹은 IGX 토르와 헤일로스 아웃사이드-인 세이프티 워크플로우를 활용하여 "외부에서 내부로" 인식하는 기능을 구현하고 있다. 이는 AI 에이전트가 인프라에 설치된 카메라와 동적 가상 안전 펜스를 사용하여 자율 로봇의 기능 안전 메커니즘을 강화하는 것을 의미한다. 

애질리티와 헥사곤 로보틱스는 안전한 휴머노이드 로봇에 실시간 AI 추론 및 다중 모드 센서 융합을 위해 IGX 토르를 도입하고 있으며, 존슨앤존슨은 IGX 토르를 자사의 폴리포닉 디지털 수술 플랫폼에 도입하여 수술실에 실시간 AI 추론 기능을 제공하고 있다. 

플래닛 랩스는 IGX 토르를 도입하여 수 테라바이트에 달하는 다차원 위성 데이터를 더 낮은 비용으로 궤도상에서 실행 가능한 정보로 변환하고 있다. 또한 CERN의 연구원들은 IGX 토르를 사용하여 고급 물리 기반 AI 모델을 실행하고, 대규모 데이터 스트림을 높은 처리량으로 처리하고 있다.

의료 로봇 공학을 위한 오픈 소스 피지컬 AI 모델 

이번 GTC에서 발표한 의료 로봇 공학을 위한 피지컬 AI 기술들은 개발자들이 차세대 의료 로봇을 통해 의료 서비스 제공 방식을 혁신하는 데 필요한 강력하고 개방적인 인프라를 제공한다. 여기에는 다음과 같은 것을 포함한다.

• 오픈-H: 세계 최대 규모의 의료 로봇 데이터 세트이다. 약 30여 개 기관과의 협력을 통해 구축된 Open-H는 실제 수술 과정의 다양성과 복잡성을 반영하며, 700시간 이상의 수술 영상을 제공하여 첨단 로봇 시스템 개발을 가속화하는데 기여한다. 

• 코스모스-H: NVIDIA 코스모스 기반의 개방형 모델 제품군으로, 코스모스-H-서지컬을 포함하여 도메인별 물리 기반 합성 데이터를 대규모로 생성할 수 있다. 코스모스-H는 프롬프트, 참조 이미지 또는 비디오, 그리고 로봇 운동학 정보를 입력받아 수술 영상을 생성하는 세 가지 모델을 제공한다. 이를 통해 개발자는 실제 데이터셋에 실감 나는 시뮬레이션을 추가하고, 수술 환경의 미래 상태를 예측하여 로봇 정책을 평가할 수 있다.

• 그루트-H: 아이작 그루트 N 기반의 이 비전 언어 동작(VLA) 모델은 임상 작업을 설명하는 텍스트 명령을 처리하고 동작 토큰이라고 하는 동작 명령을 생성한다. 오픈-H로 학습된 이 모델은 의료 환경에서 복잡한 물리적 동작을 수행하도록 개발된 로봇을 학습 및 평가하는데 사용할 수 있다.

리오(Rheo): AI 의료 로봇 공학을 위한 ‘헬스케어를 위한 아이작’ 개발자 프레임워크 내에서 제공되는 이 개발자 블루프린트은 개발자가 병원 환경을 물리적으로 정확하게 시뮬레이션할 수 있도록 지원한다. 임상 워크플로, 의료 기기 상호 작용, 인체 움직임 및 병원 물류를 시뮬레이션하여 자동화 전략을 안전하게 개발하고 대규모로 테스트하는 데 사용할 수 있다.

수술 로봇, 영상 진단 및 병원 자동화 분야의 선도 기업들은 이미 의료 로봇 분야에 엔비디아의 피지컬 AI 기술을 활용하고 있다. CMR 서지컬은 그루트-H 사전 학습을 돕기 위해 약 500시간 분량의 수술 비디오를 오픈-H에 제공하고 있다. 또한, 코스모스-H를 사용하여 물리적으로 정확한 합성 수술 데이터를 생성하고 새로운 로봇 수술 정책을 평가하고 있다.

그림 5 헬스케어를 위한 아이작 플랫폼

존슨앤존슨 메드테크는 코스모스 기반의 파운데이션 모델과 AI 기반의 의학용 로봇 개발 플랫폼인 ‘아이작 포 헬스케어(Isaac for Healthcare)’의 해부학적 시뮬레이션을 활용하여 비뇨기과용 MONARCH 플랫폼의 교육 후 워크플로우에 필요한 데이터를 생성하고 개선하고 있다. 페리타스AI는 헬스케어를 위한 아이작과 리오를 사용하여 휴머노이드 로봇과 VLA 모델을 훈련시켜 수술 환경에 체화된 지능을 도입하고 있다. 이를 통해 실시간 상황 인식, 무균 조정, 기구, 임플란트 및 수술실 워크플로의 지능형 관리를 통해 수술팀을 지원한다. 이 연구는 라이트휠 및 어드벤트 헬스 병원과 협력하여 진행한다. 프락시미는 코스모스-H를 사용하여 수술실 이미지와 수술 중 비디오를 결합하는 멀티모달 비전 언어 모델을 학습시키고 있다. 이러한 모델은 수술 과정 전반에 걸쳐 수술 관련 통찰력과 조율을 제공하는 실시간 AI 에이전트를 구동한다.

오픈-H, 코스모스-H 및 그루트-H 는 이제 개발자가 특정 수술 시나리오에 맞게 사후 학습 및 조정할 수 있도록 깃허브 및 허깅 페이스에서 사용할 수 있다. 이러한 도구는 헬스케어를 위한 아이작 및 리오 블루프린트와 함께 수술 로봇의 학습 및 평가를 위한 시뮬레이션 파이프라인을 구축하는 데 활용한다. 

나가며

GTC는 이제 과거 GPU 개발자를 위한 행사가 아니라 향후 일년 엔비디아의 주요 기술이 AI 분야에서 어떻게 발전하고 어떤 전략적 방향을 취할 것인가를 알 수 있는 매우 중요한 행사가 되었다. 특히 올해에는 피지컬 AI에 매우 중요한 방점을 찍고 있는 현재 엔비디아의 전략적 목표가 무엇이고 앞으로 어떤 기술 플랫폼을 키우고 육성할 것인지 볼 수 있는 기회였다.

옴니버스, 코스모스가 계속 업데이트되고, 실제 현장에서 개발자들이 필요로 하는 것이 무엇인지를 빨리 확인하면서 이를 위한 도구들을 빠르게 내놓는 것을 보면 엔비디아가 칩 회사가 아니라 소프트웨어 기업이 아닌가 하는 생각이 들 정도이다. 

우리나라의 피지컬 AI 전략 수립에 있어 엔비디아는 매우 중요한 참고 모델이며, 대기업들에게는 핵심 파트너가 될 수밖에 없는 현실도 직시하면서 우리 정책 방향을 수립해야 할 것이다. 

참고문헌

1) https://developer.nvidia.com/isaac/lab 

2) https://dreamzero0.github.io/