新しい評価方法
7月29日のプレプリントは、公開前論文の中心課題をエージェントに解かせ、正解論文を隠したまま原著者が採点するshadow evaluationを提案しました。
研究者は未公開のNeurIPS 2026投稿二件を使い、フロンティアエージェントへ6日間と数千ドル規模の計算資源を与えました。
できたことと失敗したこと
エージェントは人の助けなしで実験実装を完了しましたが、二つの中心課題で実質的な進展を作れず、原著者は両方を明確に却下しました。
出版可能な水準の判断不足、設計上の欠点への創造的対応不足、行き止まりからの戻り方、資源認識、指示逸脱が繰り返し見られました。別モデルとscaffoldでも似た失敗が再現されました。
意味
現在のエージェントは実装と実験を加速できますが、問いを絞り、否定的結果を解釈し、研究方向を変える判断まで自動化したとは言えないという初期証拠です。
独立研究者ではなく実験・分析補助として使い、仮説、停止条件、資源予算、方向転換は人が確認するのが妥当です。
限界
事例は二件で、原著者が自分の問題を採点しました。査読前であり全分野や全エージェントを代表しません。一方でレビュー、リポジトリ、ログが公開され、追試可能です。