速度だけではない評価
7月29日のOmegaUse-OfficeValは、文書、表計算、プレゼンをまたぐ長時間業務を成果物品質と経済価値で評価します。成功率だけで人の時間や費用につながらない既存評価を補います。
100業務と経済指標
実務家が提案しプライバシー保護手順で調整した100課題を含み、人は一件あたり平均2.32時間を要しました。各課題に人の作業時間と価格proxyがあり、労働費、LLM推論費、価値加重性能を比較できます。
詳細rubricをコード検証器にし、複数のフロンティアLLMと人を比較した結果、全モデルは速く安価でしたが成果物品質は人間水準に届かなかったと報告されています。
導入で見る指標
時間短縮だけでは修正・審査費を見落とします。初稿までの時間、承認までの人の修正、再実行費、重大エラーを一緒に測ります。
完全代替より、下書き、整理、形式変換など確認しやすい区間から始め、最終成果物は決定的検査と人の確認を通すべきです。
限界
査読前で、100課題、選択モデル、価格仮定に限られます。価格、品質、賃金、セキュリティ、教育費は組織ごとに異なります。公開コードとデータへ自社業務を入れて再評価する必要があります。