영상 생성이 아니라 영상에서 행동을 배우는 모델
NVIDIA는 9월 10일 Skild AI의 S1 로봇 기반 모델을 소개했습니다. 작업자가 원하는 공정을 영상으로 한 번 보여주면 S1이 의도, 물체와 순서를 해석하고 눈앞의 로봇 행동으로 옮깁니다. 새 데이터 세트와 작업별 후학습 없이 문맥 내 학습으로 낯선 작업을 처리한다는 설명입니다. 이는 영상을 만드는 AI가 아니라 영상을 로봇용 프롬프트로 쓰는 물리 AI 사례입니다.
Skild는 화분 심기, 팬케이크와 핸드드립 커피 만들기, 키트 조립처럼 수십 단계로 이어지고 최대 10분 걸리는 작업을 제시했습니다. 한 화분 실험에서는 촬영부터 실제 하드웨어의 자율 실행까지 11분이 걸렸다고 합니다. 새 다단계 작업에서 단계별 성공률 약 66%, 비교 시스템 9%를 보고했고, 짧은 영상 하나가 약 380개의 직접 훈련 예와 비슷하다고 추정했습니다.
단계 성공률은 전체 작업 성공률이 아니다
수치는 Skild와 NVIDIA가 선택한 작업·환경에서 보고한 공급사 결과이며 독립 실험이 아닙니다. 단계별 66%가 여러 단계를 모두 완수할 확률과 같지 않고, 비교 시스템·실패 정의·반복 횟수의 세부 조건도 공개 글만으로 충분히 판단하기 어렵습니다. 공장 배치 사례 역시 모든 교란과 안전 조건을 통과한 일반 성능을 뜻하지 않습니다.
실제 도입에서는 작업 전체 성공률, 실패 복구 시간, 새로운 물체·조명·카메라 각도, 힘 제어와 사람 접근 상황을 따로 시험해야 합니다. 영상 시범의 개인정보와 작업 데이터 사용권, 비상 정지와 사람 승인도 모델 성능과 함께 검증해야 합니다.