속도만 보지 않는 사무 에이전트 평가
7월 29일 공개된 OmegaUse-OfficeVal은 문서·스프레드시트·프레젠테이션을 넘나드는 장기 사무작업을 결과물 품질과 경제적 가치로 함께 평가합니다. 기존 평가가 작업 성공률만 보여 주고 사람 시간이나 실제 비용과 연결되지 않는 문제를 겨냥했습니다.
100개 업무와 경제 신호
벤치마크는 실무자가 제안한 요청을 개인정보 보호 절차로 다듬은 100개 과제로 구성됩니다. 사람은 과제 하나를 완료하는 데 평균 2.32시간이 필요했습니다. 각 과제에는 사람 작업 시간과 작업 가격 proxy가 붙어 있어 사람 비용과 LLM 추론 비용, 가치 가중 성능을 비교할 수 있습니다.
세부 루브릭은 코드 기반 verifier로 구현됐습니다. 연구진은 여러 프런티어 LLM과 사람 기준선을 평가한 결과, 모든 모델이 사람보다 빠르고 저렴했지만 실제 납품물 품질은 사람 수준에 도달하지 못했다고 보고했습니다.
기업이 봐야 할 지표
에이전트 도입 여부를 시간 절감만으로 결정하면 수정·검수 비용을 놓칩니다. 첫 결과물 생성 시간, 최종 승인까지의 사람 수정 시간, 재실행 비용과 치명적 오류를 함께 측정해야 합니다.
완전 대체보다 초안 생성, 자료 정리와 형식 변환처럼 사람이 쉽게 검증할 수 있는 구간부터 적용하고, 최종 납품물은 결정적 규칙과 사람 검토를 통과하게 하는 편이 현실적입니다.
한계
이는 동료평가 전 프리프린트이며 100개 과제, 선택된 모델과 가격 가정에 한정됩니다. 가격과 모델 품질은 빠르게 바뀌고 조직별 임금·보안·교육 비용도 다릅니다. 코드와 데이터가 공개돼 있으므로 기업은 자체 업무와 가격을 넣어 재평가해야 합니다.