긴 시각 문맥의 병목
7월 30일 공개된 ReToken은 비전 언어 모델이 많은 이미지나 긴 영상을 볼 때 관련 장면을 놓치는 문제를 다룹니다. 모든 시각 토큰을 한꺼번에 처리하면 GPU 메모리가 커지고, 방해 이미지가 늘수록 검색 성능도 떨어집니다.
연구진은 하나의 학습 가능한 임베딩을 명시적인 검색 목표로 두고, 미리 채운 시각 KV 캐시에서 질문과 관련된 토큰만 희소하게 선택했습니다. 작은 이미지 질의응답 데이터로 학습한 뒤 이미지와 영상 검색에 전이했습니다.
저자가 보고한 결과
Visual Haystacks에서 Qwen3VL-8B는 13.4점, InternVL3.5는 12.4점 올랐고, 긴 영상 LVBench에서는 Qwen3VL-8B가 별도 학습 없이 8.0점 향상됐다고 저자들은 보고했습니다. 학습과 긴 영상 추론이 각각 단일 H100에서 가능했다고 설명하며 코드도 공개했습니다.
적용과 한계
기업 영상 검색, CCTV 검토, 긴 강의 탐색처럼 ‘전체를 다시 읽지 않고 관련 구간을 찾는’ 작업에 유용할 가능성이 있습니다. 다만 논문은 동료평가 전 프리프린트이고, 특정 모델·벤치마크에서 저자들이 측정한 수치입니다. 실제 환경에서는 검색 누락, 캐시 구축 비용, 영상 길이와 질의 유형별 지연을 함께 재현해야 합니다.