예쁜 그림이 아니라 근거에 맞는 그림
7월 29일 공개된 SciFigQual-Bench는 과학 도표를 일반 사진처럼 선명도만 평가하지 않습니다. 2020~2025년 주요 컴퓨터과학 학회의 과학 이미지 6,308개를 캡션, 이를 인용한 문장과 논문 전체 문맥에 연결하고 여러 분야 전문가가 독립 평가했습니다.
다섯 평가 축과 초기 결과
평가 축은 명료성, 레이아웃, 캡션 적합성, 문맥 관련성과 오도 가능성입니다. 연구진은 여러 모달의 근거를 단계적으로 모으는 SFQ-Agent도 제안했습니다.
저자 보고에서 GPT-5.6 Sol을 사용한 SFQ-Agent F3는 1,200개 테스트 하위 집합에서 평균 절대 오차 0.418, 일관성 93.4%로 비교한 대형 모델 방식 가운데 가장 좋은 결과를 냈습니다. 도표만 보는 직접 평가보다 본문과 캡션을 함께 보는 방식이 유리했다는 설명입니다.
적용과 한계
논문 작성자는 AI를 최종 심사자로 두기보다 축 라벨 누락, 캡션-본문 불일치, 비교 기준과 오도 가능성을 찾는 사전 검수기로 활용할 수 있습니다. 원 데이터와 코드가 도표의 결론을 실제로 뒷받침하는지는 사람이 확인해야 합니다.
컴퓨터과학 학회 중심 데이터이며 저자들이 만든 평가 에이전트를 같은 벤치마크에서 검증한 동료평가 전 결과입니다. 다른 학문 분야, 언어와 출판 형식으로의 일반화는 추가 검증이 필요합니다.