완성된 저장소가 아니라 만드는 과정을 평가한다
NLPCC 2026 Shared Task 연구진은 9월 10일 AgentActionBench를 공개했습니다. 기존 평가는 에이전트가 마지막에 만든 코드 저장소만 보는 경우가 많아, 논문을 잘못 해석했는지 환경 구성이나 실행에서 실패했는지 구분하기 어렵습니다. 새 벤치마크는 MCP 기반 Action Recorder로 파일, 명령과 도구 사용의 흐름을 기록하고 논문별 루브릭으로 중간 과정을 평가합니다.
데이터는 머신러닝 논문 120개와 AI4Science 논문 30개, 총 150개입니다. 10%는 사람이 직접 주석을 달았고, 모델 보조 확장으로 전체 평가 항목을 1만개 이상 만들었습니다. 저자 실험에서는 현재 시스템이 여전히 제한적이며, 핵심 병목이 계획 문장보다 코드를 실행하고 오류를 고쳐 결과를 산출하는 단계에 있다고 보고했습니다.
자동 평가의 신뢰도와 재현 성공은 다른 문제다
저자들은 모델이 만든 루브릭과 사람 주석 사이의 Pearson·Spearman 상관이 높다고 보고하지만, 이는 자동 루브릭이 유용할 수 있다는 근거이지 실험 결과가 과학적으로 재현됐다는 보증은 아닙니다. 150개 논문과 10% 사람 주석은 분야 전체를 대표하지 않을 수 있고, 논문은 동료평가 전 프리프린트입니다.
연구 자동화 도구를 평가할 때는 최종 코드 존재 여부 외에 환경 고정, 데이터 출처, 실행 로그, 실패 후 복구, 수치 재현 오차와 사람이 확인한 핵심 주장까지 함께 봐야 합니다. 에이전트가 많은 행동을 했다는 사실도 올바른 결과와 같지 않습니다.