화면을 보는 모델에서 작업 절차를 작성하는 모델로
OpenAI의 GPT‑6 Astra 컴퓨터 유즈 가이드는 브라우저와 데스크톱을 다루는 기본 접근을 두 가지로 나눕니다. 첫째는 모델이 Playwright나 PyAutoGUI 코드를 작성하고 애플리케이션이 이를 실행하는 코드 실행형, 둘째는 모델이 마우스와 키보드의 구조화된 행동을 반환하는 컴퓨터 도구형입니다. 두 방식 모두 지원하지만 Astra에는 코드 실행을 권장합니다.
차이는 단순한 인터페이스가 아닙니다. 클릭형은 화면을 확인하고 한두 동작을 반환하는 루프에 가깝지만, 코드 실행형은 한 번의 호출에서 여러 행동과 반복문, 조건 분기를 묶을 수 있습니다. 브라우저 테스트에서 같은 형태의 항목을 순회하거나, 요소가 나타났을 때만 다음 단계로 이동하고, 완료 상태를 코드로 확인하는 작업에 유리합니다.
모델이 컴퓨터를 직접 소유하는 것은 아니다
공식 문서가 설명하는 구조에서 실행 주체는 개발자의 애플리케이션입니다. 애플리케이션이 격리된 브라우저나 데스크톱 환경을 제공하고, 모델이 만든 코드를 실행한 뒤 스크린샷과 결과를 돌려줍니다. 세션을 호출 사이에 유지하면 Astra가 앞선 상태를 이어서 작업할 수 있습니다. 기존 함수 호출이나 원격 MCP로 UI 기능을 노출한 시스템은 그 인터페이스를 계속 사용할 수도 있습니다.
따라서 “Astra가 사용자의 PC를 마음대로 조종한다”는 해석은 부정확합니다. 실제 접근 범위, 로그인 상태, 네트워크와 실행 제한은 통합 애플리케이션이 결정합니다.
혁신은 클릭 정확도보다 작업 단위의 변화에 있다
코드 실행은 동작 묶음과 검증을 표현하기 쉽지만 안전을 자동 보장하지 않습니다. 생성 코드가 접근할 사이트와 API, 최대 실행 시간과 횟수를 제한하고, 짧은 행동 묶음마다 화면과 실제 상태를 다시 확인해야 합니다. 결제·전송·삭제처럼 되돌리기 어려운 동작은 별도 승인 단계가 필요합니다.
이번 변화의 핵심은 GUI 에이전트를 “다음 좌표를 고르는 모델”에서 “관찰하고 작은 프로그램을 작성하며 결과를 검증하는 실행 에이전트”로 확장했다는 데 있습니다. 실제 도입 평가는 데모 성공 여부보다 완료율, 잘못된 변경, 복구 가능성, 승인 횟수와 총 실행 비용을 함께 봐야 합니다.