멀티모달 학습이 무엇을 바꿨는가
MMDiff는 언어 모델과 멀티모달 적응 모델의 sparse autoencoder(SAE)를 비교해 이미지 학습으로 달라진 내부 특징을 찾는 프레임워크입니다. 연구진은 LLaVA‑MORE, PaliGemma 2, InternVL3.5 세 계열에서 시각 공간 이해, OCR과 멀티모달 안전 행동을 조사했습니다.
저자 보고에 따르면 발견한 특징을 제거했을 때 목표 행동은 공간 과제에서 평균 12%, OCR에서 17% 감소했고, 멀티모달 안전 공격 성공률은 24% 줄었습니다. 일반 VQA 성능에는 영향이 없었다고 합니다. 반대로 특징을 조향하면 기존 단일 레이어 방식보다 공간 정확도는 평균 3.6%포인트, OCR은 1.8%포인트 개선됐습니다.
왜 흥미로운가
모델 전체를 다시 학습하지 않고 특정 시각 행동과 연결된 내부 방향을 감사하고 조절할 가능성을 보여줍니다. 이미지 속 유해 지시를 줄이거나 OCR·공간 기능을 강화하는 연구 도구가 될 수 있습니다. 다만 ‘해석 가능한 특징’이라는 이름만으로 인간이 이해한 개념과 완전히 같다고 가정하면 안 됩니다.
연구의 경계
세 모델 계열과 선택된 벤치마크에 대한 동료평가 전 프리프린트이며 수치는 저자 실험입니다. 다른 아키텍처, 실제 서비스, 복합 공격에서 동일한 분리성과 무부작용이 유지되는지 독립 재현이 필요합니다.