코드 수정과 장애 원인 분석은 달랐다
7월 30일 공개된 ORCA-bench는 코딩 에이전트가 운영 장애의 근본 원인을 찾을 수 있는지 평가합니다. 모호한 사용자 신고에서 시작해 6일치 메트릭·로그·트레이스와 전체 소스코드를 조사해야 하는 실제형 환경입니다.
연구진은 OpenTelemetry를 적용한 마이크로서비스, Prometheus·Jaeger·OpenSearch 인터페이스와 50GB 규모의 관측 데이터를 제공하고 1,079개 원인 분석 과제를 만들었습니다. 증상 정답은 SRE 전문가가 확인했고 LLM 판정 결과도 사람이 다시 평가해 가중 Cohen's kappa 0.90을 보고했습니다.
아직 낮은 성공률
다섯 프런티어 에이전트 가운데 최고 정확도는 현실적 입력에 가까운 중간 난도에서 25.3%, 어려운 난도에서 10.0%였습니다. 가장 약한 모델은 장애 보고의 40%에서 그럴듯하지 않은 원인을 만들어냈고, 소스코드 접근을 제거하면 모든 지표가 나빠졌다고 저자들은 보고했습니다.
실무 의미와 한계
AI는 로그 요약, 가설 목록과 확인 명령 초안을 만들 수 있지만 자동 복구·배포·트래픽 변경 권한을 바로 주기에는 근거가 부족합니다. 출처가 연결된 증거, 재현 명령, 사람 승인과 롤백을 게이트로 둬야 합니다.
이는 공개된 단일 테스트베드의 동료평가 전 결과이며 실제 시스템은 더 크고 조직별 관측 체계도 다릅니다. 모델 순위보다 자사 장애 기록으로 오탐·누락·복구 시간을 평가해야 합니다.