왜 새 평가가 필요한가
컴퓨터 사용 에이전트는 클릭이나 드래그 뒤 캡처된 화면이 실제 결과인지 판단해야 합니다. 그러나 원격 입력, 앱 렌더링과 스크린샷은 비동기라서 오래된 화면·일시 상태·다른 작업 화면을 진행 결과로 착각할 수 있습니다.
7월 28일 프리프린트 Desktop-Delta Bench는 최종 작업 성공률이나 한 장의 위치 찾기 대신, 행동 전후의 인과적 화면 변화를 복원하는 능력을 측정합니다.
데이터와 과제
벤치마크는 약 15개 Linux 앱과 50개 작업 영역에서 수집한 사람 검증 사례 2,013개로 구성됩니다. 세 화면의 시간 순서를 맞추는 463개 사례와, 클릭·드래그 등 5개 행동 및 입력값에서 다음 상태를 찾는 1,550개 사례를 포함합니다. 일부에는 다른 실행에서 가져온 미끼 화면이 섞입니다.
결과와 의미
8개 공개·비공개 모델 계열을 평가했을 때 시간 순서 정확도의 최고치는 미끼가 없을 때 65.1%, 있을 때 65.7%였습니다. 작업 맥락은 미끼 식별을 6.9%포인트 높였지만 일반 순서 정확도는 2.2포인트 낮췄습니다. 모델이 제시된 A-B-C 순서를 그대로 복사하는 체계적 오류도 발견됐습니다.
한계와 실무 적용
이는 동료평가 전 오프라인 벤치마크이며 실제 운영의 복구 행동까지 측정하지 않습니다. 그래도 에이전트는 클릭 후 즉시 성공으로 간주하지 말고, 예상 변화·실제 변화·출처 앱을 비교한 뒤 다음 단계로 넘어가야 한다는 근거를 줍니다. 지연 재시도, 상태 해시와 독립 검증기를 함께 시험할 가치가 있습니다.