과학적 장면을 제대로 움직이는가
Sci‑VBench는 표면적으로 그럴듯한 영상이 아니라 과학 지식과 인과관계를 시간 흐름에 맞게 표현하는지를 평가합니다. 연구진은 자연과학, 의료, 인문·사회과학, 공학의 4개 분야 60개 주제에서 전문가가 주석한 1,253개 사례를 구성했습니다.
저자들은 상용·오픈소스 최전선 영상 모델 16개를 비교했습니다. 자동 지각 품질 점수는 모델 사이에 비교적 촘촘히 모였지만, 프롬프트 충실도와 과학·인과 정확성은 차이가 컸고 상용 모델과 오픈 모델 사이 격차도 관찰됐다고 보고합니다. 즉 더 매끄러운 영상이 더 정확한 시뮬레이션을 뜻하지 않습니다.
교육·설명 영상에서 확인할 것
과학 영상은 모양뿐 아니라 힘의 방향, 물질 변화, 생물학적 순서와 시간 척도가 맞아야 합니다. 제작자는 원문 자료에서 검증 가능한 사건 목록을 만들고, 분야 전문가가 각 프레임의 원인과 결과를 검수해야 합니다. 의료나 안전 교육에서는 생성 영상만을 증거로 사용하면 안 됩니다.
연구의 경계
16개 모델과 자체 루브릭을 평가한 동료평가 전 프리프린트입니다. 연구진은 비전문가와 MLLM 판정이 전문가와 비교적 높은 합의를 보였다고 보고하지만, 이것이 모든 과학 분야의 자동 채점을 보장하지는 않습니다.