도구 하나가 전체 작업을 멈추던 병목을 줄인다
기존 함수 호출은 모델이 도구 결과를 받을 때까지 현재 턴을 멈추는 방식이 일반적이었습니다. GPT‑6 Astra의 비동기 도구 호출은 함수나 사용자 정의 도구에 `async: true`를 지정하면, 애플리케이션이 느린 조회나 처리를 실행하는 동안 모델이 독립적인 부분을 답하거나 다른 도구를 호출하고 다음 단계를 준비할 수 있게 합니다.
도구 실행이 OpenAI로 이동하는 것은 아닙니다. 애플리케이션이 작업 큐와 실패·재시도를 관리하고, 완료된 결과를 원래의 `call_id`와 함께 이후 Responses API 요청으로 전달해야 합니다. 응답 자체를 백그라운드에서 생성하는 Background mode와도 다른 기능입니다.
사용자는 끝날 때까지 기다리지 않고 방향을 바꿀 수 있다
Mid-turn steering은 WebSocket으로 Astra가 작업하는 도중 요구사항을 추가하거나 방향을 바꾸는 기능입니다. 예를 들어 긴 조사 중 “유럽 시장은 제외하고 중소기업 사례를 우선하라”는 조건을 보낼 수 있습니다. 완료된 작업은 보존되고 업데이트는 이어지는 응답에 반영됩니다.
하지만 steering은 이미 전송된 출력이나 시작된 도구를 취소하거나 되돌리지 않습니다. 서버가 메시지를 수락했다는 이벤트도 모델이 새 조건을 이미 반영했다는 뜻이 아니라 대기열에 들어갔다는 뜻입니다. 애플리케이션은 실행 중인 작업의 취소 가능 여부와 결과 채택 기준을 별도로 설계해야 합니다.
실시간 대화형 작업자로 바뀌는 에이전트
두 기능을 함께 사용하면 에이전트는 순차적인 질문·답변기를 넘어섭니다. 장시간 리서치, 여러 데이터 소스 조회, 문서 작성과 검토를 병렬화하면서 사용자가 중간 결과를 보고 우선순위를 조정할 수 있습니다. 반면 미완료 도구, 늦게 도착한 결과, 중복 continuation과 비용 상한을 관리하는 상태 머신이 필요합니다.
좋은 제품은 “동시에 많이 실행한다”보다 작업별 상태, 원래 호출 ID, 최신 지시 버전, 취소 여부와 결과 채택 여부를 사용자에게 보여줘야 합니다. 혁신의 가치는 기다림을 숨기는 데 있지 않고, 진행 중인 일을 이해하고 통제할 수 있게 만드는 데 있습니다.