見栄えではなく根拠との整合
7月29日のSciFigQual-Benchは科学図を一般写真の鮮明度だけで評価しません。2020〜2025年の主要コンピューター科学会議から6,308画像を集め、キャプション、引用文、論文文脈と結び、複数分野の専門家が独立採点しました。
五つの軸と初期結果
明瞭性、レイアウト、キャプション適合、文脈関連性、誤解リスクを評価します。著者は複数モダリティの証拠を段階的に集めるSFQ-Agentも提案しました。
1,200件のテストでGPT-5.6 Solを使うSFQ-Agent F3は平均絶対誤差0.418、一致率93.4%で、比較した大規模モデル方式中最良と報告されました。図だけでなくキャプションと本文を読む効果と説明しています。
用途と限界
最終査読者ではなく、軸ラベル漏れ、キャプションと本文の不一致、比較基準、誤解表現の事前確認に使えます。原データとコードが結論を支えるかは人が確認します。
コンピューター科学会議中心で、著者の評価システムを新ベンチマークで検証した査読前結果です。他分野、言語、出版形式への一般化は未確認です。