AI 코딩 비용은 “질문을 몇 번 했는가”보다 매 요청에 얼마나 많은 저장소 컨텍스트를 다시 보내고, 얼마나 긴 답을 받고, 몇 번의 도구 호출과 재시도를 반복했는가에 따라 커집니다. 모델 가격만 비교하면 가장 큰 낭비가 숨어 있는 실행 구조를 놓치기 쉽습니다.
이 리뷰는 2026년 7월 29일 확인한 OpenAI, Anthropic, Google과 GitHub의 공식 문서를 기준으로 일곱 가지 절감 방법을 비용 효과, 품질 위험, 구현 난이도로 평가합니다. 가격은 바뀌므로 특정 모델의 달러 금액보다 각 공급사의 최신 가격표와 응답의 사용량 필드를 연결하는 방법에 초점을 둡니다.
결론부터: 가장 먼저 할 세 가지
- 요청별 입력·캐시·출력·도구·재시도 비용을 기록한다.
- 전체 저장소 대신 관련 파일·심볼·diff만 보낸다.
- 작은 모델을 기본으로 쓰고 테스트 실패나 복잡도 조건에서만 상위 모델로 올린다.
그다음 반복 컨텍스트에는 캐싱을 적용하고, 즉시 응답이 필요 없는 코드 분류·문서화·평가 작업은 Batch API로 이동합니다.
비용은 토큰 하나가 아니라 다섯 항목의 합이다
한 요청의 대략적인 비용은 다음 항목을 각 공급사의 최신 단가와 곱해 합산합니다.
새 입력 토큰 + 캐시 쓰기 + 캐시 읽기 + 출력·추론 토큰 + 서버 도구·검색·실행 비용
| 기록 항목 | 왜 필요한가 | 놓치기 쉬운 비용 |
|---|---|---|
| 새 입력 | 매번 새로 처리한 문맥 | 전체 저장소 재전송 |
| 캐시 쓰기 | 공통 접두사 저장 비용 | 너무 자주 바뀌는 캐시 |
| 캐시 읽기 | 재사용된 입력 | 적중하지 않는 접두사 |
| 출력·추론 | 생성·내부 추론 사용량 | 과한 설명·높은 추론 수준 |
| 도구·재시도 | 검색·셸·테스트 반복 | 실패 루프와 중복 호출 |
OpenAI는 응답 usage에서 캐시·추론 관련 항목을 확인할 수 있고, Anthropic은 입력·캐시 생성·캐시 읽기·출력을 분리합니다. Gemini도 캐시 적중과 입력·출력 사용량을 제공하며 countTokens API로 요청 전 크기를 셀 수 있습니다. 공급사 이름을 하나의 공통 필드로 억지로 맞추기보다 원본 usage를 저장하고 내부 비용 스키마로 정규화하는 것이 안전합니다.
1. 계측 없이 프롬프트부터 줄이지 않는다 — 평가 5/5
먼저 작업 유형, 모델, 입력, 캐시 쓰기·읽기, 출력, 도구 호출, 재시도, 지연시간, 성공 여부를 요청 단위로 기록합니다. 일평균 비용만 보면 특정 대형 저장소나 실패한 에이전트 루프가 전체 비용을 끌어올리는 이유를 알 수 없습니다.
추천 핵심 지표는 성공한 작업당 비용입니다. 비용이 절반이어도 테스트 통과율이 떨어져 사람이 다시 요청하면 실제 단가는 오릅니다.
2. 전체 저장소 대신 관련 컨텍스트만 보낸다 — 평가 5/5
AI 코딩에서 가장 즉각적인 절감은 프롬프트 문장을 짧게 쓰는 것이 아니라 보내는 코드 범위를 줄이는 것입니다. 현재 diff, 호출 관계가 있는 심볼, 오류 스택과 관련 테스트를 우선하고 다음 항목은 기본 제외합니다.
- 빌드 산출물, 바이너리, lock 파일 전체와 중복 vendor 코드
- 오래된 로그, 커버리지 결과, 생성된 문서
- 현재 문제와 무관한 채팅 기록과 이전 도구 출력
- 이미 요약했지만 다시 원문으로 붙이는 동일 문서
| 컨텍스트 방식 | 장점 | 위험 | 권장 사용 |
|---|---|---|---|
| 전체 저장소 | 누락이 적어 보임 | 비용·잡음·장문 단가 | 초기 1회 지도 생성 |
| 검색 상위 파일 | 빠르고 저렴 | 검색 실패 | 명확한 버그·기능 |
| 심볼·호출 그래프 | 구조적 정확성 | 색인 필요 | 대형 코드베이스 |
| diff + 테스트 | 변경 집중 | 배경 지식 부족 | 리뷰·수정 반복 |
| 계층형 요약 | 장문 절감 | 낡은 요약 | 반복 세션, 버전 관리 필수 |
컨텍스트를 줄인 뒤에는 관련 테스트와 파일 누락률을 함께 측정합니다. 무조건 적게 보내는 것이 아니라 작업 성공에 필요한 최소 집합을 찾는 과정입니다.
3. 모델 라우팅을 적용한다 — 평가 5/5
한 모델을 모든 단계에 쓰면 포맷팅과 파일 분류에도 고급 추론 비용을 지불합니다. 작업을 단순 변환, 일반 코딩, 고난도 판단으로 나누고 상향 조건을 명시하세요.
| 작업 | 기본 경로 | 상향 조건 |
|---|---|---|
| 분류·요약·형식화 | 소형·저가 모델 | 구조 검증 실패 |
| 테스트 생성·단순 수정 | 균형형 코딩 모델 | 반복 테스트 실패 |
| 아키텍처·난해한 버그 | 고성능 추론 모델 | 처음부터 복잡도 높음 |
| 보안·마이그레이션 | 강한 모델 + 사람 검토 | 항상 승인 게이트 |
| 대량 문서화·평가 | 저가 모델 + Batch | 긴급 요청만 실시간 |
라우팅 기준은 “파일 수가 많다”보다 테스트 실패 횟수, 교차 모듈 변경, 보안 민감도, 되돌리기 비용처럼 품질 위험과 연결해야 합니다. 작은 모델이 실패한 동일 프롬프트를 무한 반복하지 말고 정해진 횟수 뒤 상향하거나 사람에게 넘깁니다.
4. 반복되는 긴 접두사에 캐싱을 쓴다 — 평가 4/5
캐싱은 저장소 규칙, 고정 시스템 지침, 안정된 도구 스키마처럼 긴 공통 접두사가 반복될 때 효과적입니다. 자주 바뀌는 날짜, 사용자 질문, diff는 뒤쪽에 둡니다.
- OpenAI는 공통 접두사를 재사용하는 캐싱을 제공하며 모델별 쓰기·읽기 단가와 usage를 확인해야 합니다.
- Anthropic은 캐시 쓰기와 적중을 별도 과금하며 공식 가격 문서상 캐시 읽기는 기본 입력보다 크게 낮습니다.
- Gemini는 지원 모델에서 암시적 캐싱을 제공하고, 반복되는 큰 컨텍스트에는 명시적 캐시와 TTL·저장 비용을 함께 계산합니다.
캐시 쓰기 비용과 보관 비용이 있으므로 한두 번만 재사용할 문맥을 무조건 캐시하면 오히려 손해일 수 있습니다. 적중 토큰 ÷ 캐시 대상 토큰, 재사용 횟수, TTL을 함께 기록하세요.
5. 비대화형 작업은 Batch로 옮긴다 — 평가 5/5
OpenAI, Anthropic과 Gemini의 공식 문서는 모두 비동기 Batch 처리에 표준 실시간 단가 대비 50% 할인 구조를 안내합니다. 테스트 케이스 대량 생성, 코드 분류, 문서화, 정적 분석 설명, 평가 세트 실행처럼 즉시 응답이 필요 없는 작업에 적합합니다.
Batch는 최대 완료 시간, 실패 항목 재처리, 작업 순서와 상태 저장을 설계해야 합니다. 사용자가 기다리는 IDE 자동완성이나 대화형 디버깅에는 맞지 않습니다.
6. 출력·추론·도구 루프에 예산을 건다 — 평가 4/5
“자세히 설명하라”는 지시가 코드 패치보다 긴 해설을 만들 수 있습니다. 에이전트에는 산출물 계약을 명확히 둡니다.
- 먼저 계획만, 승인 후 수정하거나 작은 안전 작업은 바로 패치
- 변경 파일, patch, 테스트 결과, 남은 위험만 반환
- 출력 상한과 추론 수준을 작업 난이도에 맞춤
- 검색, 셸, 테스트의 최대 호출 수와 동일 오류 재시도 제한
- 반복 실패 시 중단하고 필요한 입력을 요청
도구 설명과 스키마도 입력 토큰입니다. 현재 작업에 필요하지 않은 도구는 노출하지 않고, 웹 검색·코드 실행처럼 별도 요금이 있을 수 있는 서버 도구는 호출 수를 따로 기록합니다.
7. 비용과 품질을 함께 회귀 테스트한다 — 평가 5/5
최적화 전후에 같은 대표 작업 세트를 실행합니다. 단순 문법 문제만으로 평가하면 작은 모델이 항상 이기므로 실제 저장소에서 버그 수정, 테스트 생성, 리팩터링, 리뷰, 문서화 등 작업군을 섞습니다.
| 지표 | 계산 | 통과 기준 예시 |
|---|---|---|
| 작업 성공률 | 완료·테스트 통과 ÷ 전체 | 기준선 이하로 하락 금지 |
| 성공당 비용 | 총 비용 ÷ 성공 작업 | 주 목표 |
| 재시도율 | 추가 요청 ÷ 전체 | 증가 시 원인 조사 |
| 캐시 적중률 | 캐시 읽기 ÷ 대상 입력 | 접두사 설계 검증 |
| 사람 수정 시간 | 최종 수정 분 | 비용 절감의 숨은 비용 |
| 지연시간 | 중앙값·상위 백분위 | 대화형·배치 분리 |
공급사 기능 리뷰
| 기능 | OpenAI | Anthropic | Gemini | 판단 |
|---|---|---|---|---|
| 요청 전 토큰 계산 | tokenizer·usage 활용 | token counting endpoint | countTokens API | 대형 요청 전 사용 |
| 프롬프트 캐싱 | 공통/명시 접두사, 모델별 단가 | 쓰기·적중 분리, TTL | 암시적 + 명시적 캐시 | 반복 컨텍스트에 유효 |
| Batch 할인 | 24시간 창, 50% 할인 | 입력·출력 50% 할인 | 표준 대비 50% | 비긴급 작업 최우선 |
| 도구 비용 | 모델·도구별 확인 | 서버 도구 별도 가능 | grounding 등 별도 가능 | usage 외 항목 확인 |
| 장문 구간 | 모델별 장문 단가 확인 | 장문 임계 단가 존재 | 모델별 구간 단가 | 컨텍스트 상한 관리 |
가격표와 지원 모델은 계속 바뀝니다. 위 표는 기능 선택 구조이며 실제 배포 전 각 공식 가격 페이지를 다시 확인해야 합니다.
최종 추천 순서
- 일주일간 요청별 usage와 성공 여부를 저장한다.
- 비용 상위 작업 10개에서 불필요한 저장소·로그·대화 기록을 제거한다.
- 작업 분류별 기본 모델과 상향 조건을 설정한다.
- 반복 접두사를 안정화해 캐시 적중을 측정한다.
- 비긴급 대량 작업을 Batch로 이동한다.
- 출력, 도구 호출과 재시도 예산을 설정한다.
- 주간 회귀 평가에서 성공당 비용과 사람 수정 시간을 비교한다.
결론
가장 효과적인 절감 방법은 한 번의 프롬프트 요령이 아니라 관찰 가능한 실행 정책입니다. 관련 코드만 보내고, 작업 난이도에 맞는 모델을 선택하며, 반복 문맥은 캐시하고, 비긴급 작업은 배치로 처리하세요. 마지막으로 성공률과 사람 수정 시간을 함께 측정해야 “싸지만 두 번 해야 하는 자동화”를 피할 수 있습니다.
공식 자료
- OpenAI API pricing
- OpenAI — Model guidance and prompt caching
- OpenAI — Batch API
- Anthropic — Pricing
- Gemini API pricing
- Gemini — Context caching
- Gemini — Batch API
- Gemini — Counting tokens
- GitHub Copilot — Models and pricing
가격, 모델, 할인, 토큰 계산과 약관은 변경될 수 있습니다. 운영 적용 전 공식 가격표와 실제 API usage를 다시 확인하세요.