コード修正と障害原因分析は違う
7月30日のORCA-benchは、汎用コーディングエージェントが本番障害を診断できるか調べます。曖昧な利用者報告から6日分のメトリクス、ログ、トレース、全ソースを調査します。
OpenTelemetry対応マイクロサービス、Prometheus、Jaeger、OpenSearch、約50GBの観測データと1,079件のRCA課題を組み合わせました。SRE専門家が正解症状を承認し、LLM判定の人手再評価は重み付きCohen's kappa 0.90と報告されています。
現実的入力では低い成功率
5エージェント中の最高精度は中難度25.3%、高難度10.0%でした。最弱モデルは障害報告の40%で非現実的な原因を作り、ソースアクセスを外すと全指標が悪化しました。
実務上の意味と限界
AIはログ要約や仮説・確認手順の下書きに使えますが、自動復旧、配備、通信変更には人の承認とロールバックを残すべきです。単一テスト環境の査読前結果であり、自社障害で誤診、見逃し、復旧時間を測る必要があります。