느린 실제 로봇 학습을 줄이는 방법
7월 29일 공개된 SymmGrid는 시뮬레이터가 아니라 실제 로봇에서 강화학습을 반복할 때 걸리는 시간을 줄이려는 궤적 증강 방법입니다. 상태·행동 쌍에 허용되는 대칭 변환을 병렬로 만들고, 1인칭·외부 카메라 영상과 로봇의 자체 상태를 공간적으로 일치시켜 재생 버퍼를 확장합니다.
실제 조작 과제 결과
연구진은 핀 삽입, 케이블 배치, 물체 이동의 접촉 과제를 실제 로봇에서 훈련했습니다. 저자 보고에서 기존 최신 방법 대비 학습 수렴 시간은 1.37~2.17배 빨라졌고 평가 성공률은 1.09~1.27배 개선됐습니다. 가장 빠른 수렴 시간은 과제별 16.6분, 10.9분, 79.3분이었고 전체 궤적 성능은 최대 2.59배 개선됐습니다.
같은 경험을 좌우 반전하거나 공간적으로 변환해도 물리적으로 유효한 경우, 새로운 시행처럼 재사용해 데이터 효율을 높인다는 아이디어입니다.
의미와 한계
현장 학습 시간이 줄면 공장과 서비스 환경에서 로봇이 새로운 배치에 적응하는 비용을 낮출 수 있습니다. 다만 안전 경계, 충돌 감시와 사람이 즉시 중단할 수 있는 장치는 학습 속도와 별도로 필요합니다.
세 가지 조작 과제와 특정 하드웨어에서 나온 동료평가 전 결과입니다. 모든 대칭 변환이 현실에서 유효한 것은 아니며, 복잡한 변형 물체·이동 로봇·장기 작업에 같은 속도 향상이 재현된다고 볼 수 없습니다.