어떤 문제를 다뤘나
7월 28일 공개된 프리프린트 Pass the Baton은 온폴리시 증류의 ‘잘못된 접두부’ 문제를 다룹니다. 학생 모델이 초기에 잘못된 추론 방향을 택하면 이후 토큰도 그 오류 위에 쌓이고, 교사가 그 상태에 답해도 유용한 학습 신호가 되기 어렵습니다.
Relay-OPD의 방식
연구진은 실패한 접두부에서 교사와 학생의 다음 진행 방향이 달라지는 순간을 라벨 없는 인계 신호로 사용했습니다. 그 지점에서 교사가 짧은 구간을 생성해 궤적을 바로잡고, 제한된 예산 안에서 학생이 다시 이어받도록 합니다. 모든 토큰을 교사로 대체하지 않아 학생 정책과의 거리를 제한합니다.
발표된 결과
Qwen3-4B-Instruct-2507을 교사로, 0.6B·1.7B 학생을 사용해 8개 수학 추론 벤치마크를 평가했습니다. 연구진은 1.7B에서 표준 OPD보다 평균 5.73%, 강한 비교 방식 FastOPD보다 1.49% 높았고, 학습 궤적 길이는 50% 이상 줄었다고 보고했습니다.
한계와 적용 조건
이는 동료평가 전 프리프린트이며 수학 문제와 특정 Qwen 계열에 집중합니다. 코드 생성·대화·도구 사용에서 같은 효과가 나는지, 교사 호출 비용까지 포함한 총 학습비가 줄어드는지는 추가 검증이 필요합니다. 실제 적용에서는 정확도뿐 아니라 교사 토큰, 학습 시간과 실패 유형을 함께 비교해야 합니다.