무엇이 공개됐나
NVIDIA는 2026년 7월 27일 Cosmos-H-Dreams를 공개했습니다. 초기 RGB 장면과 수술 로봇의 운동 입력을 받아 다음 상태 영상을 짧은 블록으로 생성하는 행동 조건부 월드 모델입니다. 사람이 키보드·Meta Quest로 조작하거나 학습된 로봇 정책을 연결해 합성 장면 안에서 결과를 관찰할 수 있습니다.
실시간화 방법
기존 양방향 Cosmos-H-Surgical-Simulator를 인과적 소수 단계 학생 모델로 증류하고, FlashDreams 런타임의 제한 메모리 KV 캐시, CUDA Graph와 컴파일을 사용합니다. NVIDIA는 단일 RTX PRO 6000에서 표준 시뮬레이터의 약 10fps를 대화형 약 160fps로 높였다고 보고했습니다. 공개 체크포인트는 dVRK 탁상 봉합에 특화됐습니다.
왜 중요한가
실제 수술 로봇 실험은 비싸고 실패를 반복하기 어렵습니다. 행동에 반응하는 생성 시뮬레이터는 정책 평가, 조작 연습과 합성 데이터 생성의 초기 단계를 가속할 수 있습니다. 모델·코드·적응 레시피는 공개됐지만 NVIDIA Open Model License와 지원 GPU·BF16·Linux 조건을 확인해야 합니다.
의료 안전 한계
생성 영상은 실제 조직의 물리 법칙이나 환자 결과를 보장하지 않습니다. 학습 범위를 벗어난 장면, 가려짐, 조직 변형과 도구 충돌에서 그럴듯하지만 틀린 결과가 나올 수 있습니다. 실제 수술이나 임상 판단에 직접 사용하지 말고, 독립 물리 시뮬레이션·전문가 검토·실기 시험과 규제 절차를 거쳐야 합니다.