会計実務を再現した評価
7月29日公開のAPEX-Accountingは、最先端モデルが会計実務を完了できるかを調べます。MercorとRampは会計専門家と、照合、費用計上、取引入力、報告書作成を含む160の非公開課題を10環境に構成しました。会計システム、表計算、PDFなど複数資料を同時に扱います。
部分点と完全成功の差
著者報告では9モデル中Claude Fable 5 MaxがMean Criteria@3で56.4%、Muse Spark 1.1 xHighが52.6%でした。しかし全基準を反復で満たすPass^8の最高はGPT-5.6 Sol Max+Proの2.6%、8回中一度でも完全成功するPass@8の最高はMuse Spark 1.1 xHighの21.5%でした。
予算を1ドルから50ドルへ増やすと全体点は上がりましたが、同一条件内ではトークン消費が多い難問ほど低得点となるSimpsonのパラドックスも報告されました。
実務上の意味と限界
会計自動化では平均点だけでなく取引検証、残高照合、承認、復旧を測る必要があります。AIは資料整理と初稿を担当し、決算、税務判断、最終入力は有資格者が確認する設計が現実的です。
査読前で、非公開評価セットのため独立再現には制約があります。特定ツール環境の結果で、モデル名と性能も変化します。