검색 엔진 뒤의 소프트웨어도 에이전트가 시험한다
OpenAI는 9월 14일 Perplexity의 GPT‑6 Astra 활용 사례를 공개했습니다. Perplexity 공동창업자 Johnny Ho는 모델이 웹과 내부 정보를 찾는 프로그램을 작성하는 데 그치지 않고, 실제 시스템을 수정하고 관찰하는 단계까지 쓰인다고 설명했습니다. 특히 사람이 모든 통합 테스트를 직접 만들기 어려울 때 언어 모델 API나 커넥터가 보낼 법한 응답을 생성하는 작은 모의 서비스를 만들고, 애플리케이션이 처음부터 끝까지 제대로 반응하는지 확인하는 방식입니다.
흥미로운 지점은 코드 생성량보다 검증 범위입니다. 에이전트가 구현 코드와 테스트 더블을 함께 만들면 여러 서비스가 연결된 실패 경로를 빠르게 탐색할 수 있습니다. 다만 같은 모델이 구현과 판정을 모두 맡으면 동일한 오해를 반복할 수 있으므로, 계약 테스트·고정 회귀 세트·실제 서비스의 제한된 샌드박스 결과를 별도로 비교해야 합니다.
고객 사례는 독립 벤치마크가 아니다
공개 자료는 OpenAI가 작성한 고객 사례이며 작업 수, 실패율, 비용, 이전 모델과의 정량 비교를 제공하지 않습니다. “확인 빈도를 줄였다”는 평가는 Perplexity 관계자의 경험이지 모든 코드베이스에서 재현된 성능 지표가 아닙니다. 운영 시스템 수정과 모니터링 역시 읽기 전용 관찰, 승인된 변경, 배포 전 검증으로 권한을 나눠야 합니다.
실무에서는 에이전트가 만든 모의 응답의 스키마와 오류 조건을 사람이 검토하고, 테스트 통과를 성공의 유일한 기준으로 삼지 않아야 합니다. 프로덕션 변경에는 최소 권한, 승인, 감사 로그, 롤백과 독립 모니터링이 필요합니다.