新評価が必要な理由
コンピューター操作エージェントはクリック後の画面が本当の結果か判断します。しかし入力、描画、撮影が非同期なため、古い・一時的・無関係な画面を進捗と誤認し得ます。
7月28日の Desktop-Delta Bench は最終成功や単一画面の位置検出ではなく、操作が生んだ因果的変化を測ります。
データと課題
約15のLinuxアプリと50作業領域から人手確認2,013件を収録し、3画面の順序463件と、5種類の操作・入力値による前後1,550件を含みます。一部には別軌跡の偽画面があります。
結果
8つの公開・非公開モデル系で最高正解率は偽画面なし65.1%、あり65.7%でした。作業文脈は偽画面識別を6.9ポイント上げましたが通常順序を2.2ポイント下げ、提示されたA-B-C順をコピーする誤りもありました。
限界と実務
査読前のオフライン評価で実環境の復旧までは測りません。操作後に期待変化、実際変化、出所アプリを照合し、遅延再試行、状態ハッシュ、独立検証を試す必要があります。