무엇을 제안했나
Apple Machine Learning Research 등이 참여한 7월 28일 프리프린트 MODUS는 텍스트와 RGB뿐 아니라 깊이, 표면 법선, 에지, 분할, 객체 위치와 DINO 특징을 하나의 디코더 전용 모델에서 다룹니다. 각 모달리티에 별도 헤드·손실·작업 파이프라인을 두지 않고 모든 입력과 출력을 공통 토큰 순서로 처리합니다.
새로 가능한 조합
모델은 RGB에서 깊이, 텍스트에서 이미지처럼 직접 변환할 뿐 아니라 RGB→에지→표면 법선처럼 중간 모달리티를 거치는 연쇄 생성을 수행합니다. 같은 모델이 생성 이미지에서 객체 위치나 VQA 답을 다시 예측해 후보 간 일관성을 점수화하는 교차 모달 자체 검증도 제안합니다.
발표된 평가
논문 표에서 MODUS는 한 모델로 MMMU 51.1, GenEval 0.81, RefCOCO val 54.5 등을 보고했습니다. 텍스트-이미지 후보 4개 가운데 자체 VQA와 위치 검증을 사용하면 GenEval이 0.81에서 0.84로 올랐습니다. 일부 비교 모델 결과는 연구진이 재현했으며 저자 일부가 비교 대상 4M 개발에도 참여했다는 이해상충 공개가 있습니다.
한계와 의미
이는 동료평가 전 연구이며 모든 전문 모델보다 우수한 것은 아닙니다. 예를 들어 MMMU는 GPT-4o의 논문 표 수치보다 낮습니다. 가치는 최고 점수 하나보다 서로 다른 표현을 한 모델에서 조합하고 검증하는 구조에 있습니다. 코드와 자료가 공개됐지만 상용 배포 전 라이선스, 계산량, 데이터 편향과 실패 사례를 별도로 확인해야 합니다.