새로운 평가 방식
7월 29일 공개된 프리프린트는 AI 에이전트가 개방형 AI 연구를 수행할 수 있는지 평가하는 shadow evaluation을 제안했습니다. 기존 논문의 핵심 연구 질문을 에이전트에 다시 풀게 하되, 정답 논문은 비공개로 유지하고 원 저자가 결과를 심사하는 방식입니다.
연구진은 미공개 NeurIPS 2026 제출 논문 두 편을 대상으로 프런티어 에이전트에 6일과 수천달러 규모의 컴퓨팅 자원을 제공했습니다.
무엇을 해냈고 무엇을 놓쳤나
에이전트는 사람 도움 없이 실험 코드와 엔지니어링 작업을 완료했습니다. 그러나 두 핵심 연구 질문 모두에서 실질적인 진전을 만들지 못했고, 원 저자는 두 결과를 명확히 거절했습니다.
연구진은 반복된 실패를 출판 가능한 연구 수준에 대한 판단 부족, 설계 결함에 대한 창의적 대응 부족, 막다른 경로에서의 비효율적 후퇴, 자원 인식 부족과 지시 이탈로 정리했습니다. 두 번째 모델과 scaffold를 사용한 견고성 확인에서도 비슷한 문제가 재현됐습니다.
어떤 의미인가
현재 에이전트가 AI 연구의 구현·실험 자동화에는 유용하지만, 좋은 질문을 좁히고 부정적 결과를 해석하며 연구 방향을 바꾸는 판단까지 자동화했다고 보기는 어렵다는 초기 증거입니다.
연구 조직은 에이전트를 독립 연구자보다 실험 실행자와 분석 보조자로 배치하고, 연구 가설·중단 기준·자원 예산과 방향 전환은 사람이 검토하는 편이 안전합니다. 실행 로그와 실패한 가설도 결과물로 남겨야 합니다.
중요한 한계
사례가 두 건뿐이고 원 저자가 자신의 문제를 채점했습니다. 이는 동료평가 전 프리프린트이며 모든 연구 분야나 에이전트 구조를 대표하지 않습니다. 다만 평가 자료와 로그를 공개해 후속 재현이 가능하도록 했다는 점은 의미가 있습니다.