예쁜 영상만으로 부족하다: CADRE가 묻는 월드 모델의 반응 속도

Kyutai 연구진은 영상 압축 방식이 월드 모델의 지연과 행동 추종에 미치는 영향을 비교했다. 카메라와 작업에 따라 유리한 설계가 달랐다.

초당 프레임과 조작 반응은 같은 지표가 아니다

2026년 10월 21일 공개된 CADRE 논문은 상호작용형 월드 모델에 영상 생성용 압축기를 그대로 적용하는 관행을 재검토했다. 시간축에서 여러 프레임을 한 묶음으로 압축하면 처리할 정보가 줄지만, 묶음이 완성될 때까지 행동의 결과를 보여주지 못할 수 있다. 따라서 초당 생성 프레임이 높다는 이유만으로 사용자의 조작에도 즉시 반응한다고 볼 수는 없다. 연구진은 여러 시공간 압축을 지원하는 인과적 오토인코더를 만들어 이 관계를 비교했다.

고정 카메라와 움직이는 카메라의 답이 다르다

저자들은 조작과 이동 영역의 네 환경에서 동일한 구조의 월드 모델을 압축 설정별로 학습했다. 고정 카메라의 조작 장면에서는 시간 압축의 손실이 상대적으로 작았고, 카메라가 움직이는 이동 장면에서는 공간 압축을 활용하는 편이 유리했다고 보고했다. 비교 결과는 영상의 선명도뿐 아니라 움직임과 행동 추종까지 함께 평가해야 한다는 설계상의 근거를 제공한다.

다만 이는 환경별로 학습한 연구 모델의 결과다. 범용 월드 모델이나 실제 로봇의 정책 학습·계획에서 같은 이득이 재현되는지는 아직 확인되지 않았다. 논문은 동료평가 전 공개 연구로 구분해야 하며, 상용 시뮬레이터 출시나 실세계 안전성 검증으로 읽어서는 안 된다. 독자가 시스템을 평가할 때에는 영상 품질과 처리량에 더해 입력 후 결과가 나타나는 지연, 행동 추종 실패와 시험한 카메라 조건을 별도 항목으로 기록하는 것이 유용하다.

공식·1차 출처