‘AI가 AI를 개선한다’를 실행 가능한 문제로
8월 20일 공개된 AI4AI‑Bench는 10개 학습 알고리즘 계열의 고정 연구 저장소를 제공합니다. 에이전트는 B300 한 장에서 4시간 동안 학습 알고리즘 코드를 다시 쓰고, 결과는 숨겨진 평가기로 최대 12시간 처음부터 재학습됩니다. 데이터 수집이나 단순 하이퍼파라미터 조정이 아니라 모델이 배우는 방식을 바꿨는지 분리하려는 설계입니다.
서로 다른 지표는 무정보 모델 0, 원 저장소 알고리즘 0.1, 과제 최적값 1.0으로 정규화됩니다. 6개 시스템·29개 설정의 평균은 0.166, 최고는 0.250이었습니다. 최강 시스템도 기존 알고리즘에서 최적값까지 남은 차이의 5분의 1 미만만 줄였습니다. 실제 학습 방식을 바꾼 제출은 평균 0.226, 그렇지 않은 제출은 0.126이었습니다.
추론을 늘리면 무엇이 달라졌나
추론 노력을 높이자 학습 알고리즘 자체를 바꾼 제출 비율이 8%에서 64%, 평균 점수가 0.094에서 0.196으로 늘었다고 저자들은 보고합니다. 그러나 이는 동료평가 전 프리프린트의 10개 과제·특정 컴퓨트 예산 결과입니다. 재귀적 자기개선이 실현됐다는 증거가 아니라, 현재 에이전트가 알고리즘 연구에서 어디서 실패하는지 반복 측정할 시험대에 가깝습니다.