데이터베이스를 제품 코드에서 분리한 이유
OpenAI는 9월 11일 ChatGPT, API와 Codex가 사용하는 온라인 스토리지 플랫폼 Habitat의 첫 기술 보고를 공개했습니다. 회사 집계로 Habitat는 거의 40개 지역에서 초당 7천만건이 넘는 요청과 500페타바이트 이상의 데이터를 처리하며, 주간 10억명 이상이 이용하는 제품을 지원합니다. 2023년 Azure Cosmos DB에 연결한 Python 라이브러리로 시작했지만, 서비스와 지역이 늘면서 배포 조정이 병목이 됐습니다.
OpenAI는 저장소 접근을 중앙 서비스로 옮겨 라우팅, 권한, 암호화, 요청 제한, 연결 풀과 감사 기능을 한곳에서 관리했습니다. 임의 SQL과 무제한 탐색 대신 객체와 직접 연결을 다루는 제한된 NoSQL API를 택해 요청 비용을 예측 가능하게 만들고, 복잡한 분석은 변경 데이터 캡처로 분리된 시스템에 보냈습니다. 기능이 적은 API가 대규모 안정성의 일부가 된 셈입니다.
Codex를 썼다는 것보다 검증 가능한 전환이 중요하다
OpenAI는 2026년 2분기에 엔지니어 2명이 Codex와 GPT‑5.5를 활용해 서비스를 Rust로 다시 작성했고, 새 서비스가 운영 요청의 95%를 처리한다고 밝혔습니다. 회사 측 측정에서는 Python보다 CPU 효율이 6배, 메모리 효율이 15배 높았습니다. 이는 특정 내부 서비스의 공급사 수치이며 다른 시스템의 자동 변환 효과를 보장하지 않습니다.
핵심 교훈은 AI가 한 번에 재작성했다는 이야기가 아닙니다. 먼저 API 범위를 제한하고 관측·섀도 트래픽·점진 전환을 갖춘 뒤 언어를 바꿨다는 순서입니다. 대규모 재작성은 기능 동등성, 데이터 일관성, 지연 꼬리, 장애 격리와 롤백을 실제 트래픽에서 검증해야 합니다.