무엇을 조사했나
2026년 7월 24일 공개된 프리프린트 The Regression Tax는 두 사무 자동화 벤치마크와 세 에이전트 하네스에서 약 6천회 실행을 비교했습니다. 연구진은 스킬 없이 성공했지만 스킬을 추가한 뒤 실패한 경우를 ‘회귀’, 양쪽 모두 실패한 경우를 ‘잔여 실패’로 분리했습니다.
발견한 세 가지 회귀
- 스킬 설명 삼투: 호출되지 않은 스킬도 문맥에 존재하는 것만으로 행동을 바꿉니다.
- 그라운딩 대체: 정해진 절차가 실제 입력과 상황 해석을 덮어씁니다.
- 검증 대체: 스킬 절차가 원래 수행하던 결과 확인을 약화합니다.
연구진은 성능이 좋은 스킬이 더 많은 신규 성공을 만들기보다 기존 성공을 덜 망가뜨려서 앞서는 경우가 많았다고 보고합니다. 평균 성공률만 보면 이런 손실이 가려집니다.
개발자가 바꿀 평가 방식
스킬을 추가할 때 전체 점수뿐 아니라 ‘신규 성공’, ‘회귀’, ‘계속 실패’를 각각 기록해야 합니다. 입력 근거를 명시하고, 절차가 끝난 뒤 원자료와 결과를 대조하는 독립 검증을 둬야 합니다. 스킬이 호출되지 않는 작업도 회귀 세트에 포함하고, 모델·하네스가 바뀔 때 다시 시험하는 것이 좋습니다.
한계
이 연구는 동료평가를 거치지 않은 프리프린트이며, 두 벤치마크와 세 하네스의 결과가 모든 에이전트에 그대로 일반화되지는 않습니다. 정확한 회귀율은 모델, 스킬 설계와 작업 분포에 따라 달라집니다. 핵심은 ‘스킬이 나쁘다’가 아니라 순효과를 분해해 측정하자는 제안입니다.