見栄えのよさと編集の正確さを分ける
2026年10月20日公開のABACUS論文は、物体の追加・削除・種類の変更で、正確な数と元の場面の保存を同時に調べる評価方法を提案した。三つ追加する指示でも、元からある物体を流用したり別の物体を消したりすれば成功とは扱わない。公開記録にはWACV 2027のEvaluations & Datasetsトラック採択と記載されている。新しい生成モデルではなく、検収方法の研究だ。
数える評価者も点検する
分割の正解情報と検出器の合意から、物体ごとの状態を確認する。VLMが個数を数えたり最終点数を付けたりしない点が特徴だ。ただし珍しい曖昧な切り抜き画像の種類確認には補助的に用いるため、全工程が言語モデル不要とはいえない。
対象はCOCOの80物体カテゴリで、あらゆる画像編集を代表するわけではない。商用APIの測定は2026年6月と8月であり、10月公開の論文を最新モデルの現在順位として読んではいけない。制作では見た目、指定数、既存物体の保存、背景の変化を別々に確認し、数量が重要な商品・説明画像は最後に人が数え直したい。