한 화면에서 잘해도 실제 업무에는 부족하다
9월 9일 공개되고 EMNLP 2026 메인 콘퍼런스에 채택된 JarvisGUI는 기존 GUI 에이전트 평가가 한 기기와 미리 정해진 작업에 치우쳤다는 문제를 다룹니다. 현실에서는 휴대폰에서 정보를 찾고 Windows 문서에 옮긴 뒤 Ubuntu 도구로 처리하는 식으로 중간 결과와 상태가 기기 사이를 이동합니다.
연구진은 GUI 작업을 가벼운 타입 시스템의 입력–출력 변환으로 표현해 여러 단계를 동적으로 조합합니다. Android, Windows와 Ubuntu 가상 환경을 하나의 평가 흐름으로 연결하고, 에이전트가 앞 단계의 산출물을 다음 기기에서 올바르게 찾아 사용했는지 확인합니다. 고정된 클릭 순서를 외우는 대신 작업 의존성을 추적하는 능력을 보려는 설계입니다.
최신 에이전트도 상태 전달에서 흔들렸다
저자들은 평가한 최신 오픈소스 GUI 에이전트가 기기 간 상태 인식, 플랫폼이 바뀔 때의 문맥 추론과 긴 의존 관계 관리에서 어려움을 보였다고 보고합니다. 다만 논문 결과는 가상 환경과 선택된 에이전트에 한정되며 모든 상용 시스템을 대표하지 않습니다.
실무적으로는 ‘클릭 성공’만 기록하지 말고 입력과 산출물의 타입, 파일·계정 경계, 기기 전환 시 체크포인트, 실패 후 재개 가능성을 별도 평가해야 한다는 의미가 큽니다.