모델과 로봇 사이에 작은 행동 언어를 둔다
9월 9일 공개된 Show‑Harness는 범용 비전언어모델(VLM)의 추론을 로봇 제어로 옮길 때 하드웨어마다 다시 학습해야 하는 문제를 다룹니다. VLM은 잡기, 이동, 정렬처럼 이해하기 쉬운 이산 의미 행동 단위를 고르고, 로봇별 해석기가 이를 지역 좌표와 실제 구동 명령으로 결정적으로 변환합니다.
연구진은 같은 인터페이스로 비공개 프런티어 VLM의 zero-shot 제어와 소형 오픈 VLM의 저비용 적응을 모두 시연했다고 주장합니다. 또한 GUMI라는 GUI 조작 인터페이스를 제안해 전용 원격조종 장비 없이 사람이나 에이전트가 여러 로봇의 시범 데이터를 수집하도록 했습니다.
‘플레이한다’와 안전하게 일한다는 다르다
저자들은 대표 에이전트·VLA 방식보다 여러 작업과 로봇에서 높은 일반화를 보고하지만, 이는 9월 9일 공개된 연구 결과이며 동료평가 완료가 확인되지 않은 프리프린트입니다. 실험에 포함되지 않은 하드웨어, 접촉 역학, 센서 오류와 사람 주변의 안전까지 일반화할 수 없습니다.
의미 인터페이스는 모델 교체 비용을 낮출 수 있지만 실제 배치에는 충돌 제한, 힘·속도 경계, 비상정지, 작업 공간 격리와 사람 감독이 별도 안전 계층으로 필요합니다.