OpenAI "Rate Limit Exceeded"(429) 오류 수정 방법 — RPM, TPM 및 재시도

이 오류의 의미

인증이 성공한 후 OpenAI는 요청 및 토큰을 소비하는 속도를 측정합니다. 버킷 한도를 초과하면 API는 429를 반환합니다:

{
  "error": {
    "message": "org-xxx 조직의 gpt-4o에 대한 분당 요청(RPM) 속도 제한에 도달했습니다: 한도 500, 사용량 500, 요청 1.",
    "type": "tokens",
    "code": "rate_limit_exceeded"
  }
}

타사 릴레이는 동일한 문자열 또는 일반 429 래퍼를 표시할 수 있습니다. 이는 잘못된 API 키 오류(401) 또는 콘텐츠 차단 오류(400)와 다릅니다. 키는 유효하지만, 현재 할당량 등급에 비해 너무 빠르거나 너무 무겁습니다.

일반적인 원인

1. 버스트 트래픽 — 동일한 초에 많은 병렬 사용자 또는 에이전트가 요청을 실행.
2. 높은 max_tokens — 큰 완성은 중간 RPM에서도 TPM을 빠르게 소모.
3. 재시도 폭풍 — 앱이 백오프 없이 429를 즉시 재시도하여 한도를 더 악화.
4. 공유 조직 키 — 여러 서비스가 하나의 키를 재사용하고 하나의 RPM/TPM 버킷을 공유.
5. 무료 / 낮은 등급 한도 — 새 OpenAI 계정 및 저렴한 릴레이는 처리량을 공격적으로 제한.
6. 모델별 제한 — 최첨단 모델은 종종 gpt-4o-mini보다 낮은 RPM을 가짐.
7. 스트리밍 + 도구 — 에이전트 루프가 사용자 동작당 호출을 배가.

수정 방법

1. 429 응답 헤더 읽기

OpenAI는 종종 x-ratelimit-limit-requests, x-ratelimit-remaining-requests 및 retry-after를 보냅니다. 재시도하기 전에 retry-after초 동안 대기하세요.

2. 지터가 있는 지수 백오프 구현

import time, random
from openai import OpenAI, RateLimitError

client = OpenAI()
for attempt in range(6):
    try:
        return client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[{"role": "user", "content": "hello"}],
        )
    except RateLimitError:
        time.sleep(min(60, (2 ** attempt) + random.random()))

429에서 빡빡한 루프를 절대 돌리지 마십시오 — 중단 시간을 연장할 뿐입니다.

3. 부하 줄이기

• 가능한 경우 max_tokens 낮추기.
• 동일한 프롬프트 캐싱.
• 제한 없는 클라이언트 병렬 처리 대신 서버 측 요청 대기열(worker + Redis) 사용.
• 분류 또는 라우팅 단계에 더 저렴/작은 모델 사용.

4. 공식 한도 높이기

OpenAI: 결제 추가, 등급 증가 요청, 또는 프로젝트/조직 간 워크로드 분할 책임 있게 (여전히 정책 적용).

5. 자동 폴백이 있는 게이트웨이 사용

프로덕션 앱은 단일 업스트림 RPM 버킷에 의존해서는 안 됩니다. LLM 게이트웨이는 다음을 수행할 수 있습니다:

• 하나가 429를 반환할 때 다른 공급자 또는 채널로 라우팅
• 허용되는 경우 키 또는 지역 간 트래픽 분산
• 에지에서 대기열을 표시하여 앱이 하드 실패를 덜 보게 함

APIMaster는 다중 채널 라우팅이 있는 OpenAI 호환 집계기입니다. 한 경로가 제한될 때 트래픽을 사용 가능한 대안으로 이동할 수 있습니다. $1부터 충전하고, SDK를 https://apimaster.ai/v1로 지정하고, 모든 공급업체 한도를 수동 조정하지 않고 계속 구축하세요.

APIMaster 시작하기 →

APIMaster가 도움이 되는 방법

429가 너무 자주 발생하나요? APIMaster는 세 가지 측면에서 도움을 줍니다:

장점	제공하는 것
할인	마켓플레이스 가격 — 공식 정가 대비 최대 ~90% / ~85% 할인; 같은 예산을 더 확장합니다.
안정성	업스트림이 RPM/TPM 한도에 도달할 때 자동 폴백 — 단일 공급업체 429 중단 감소(앱 수준 백오프와 함께 사용).
모델 정확도	장애 조치 후 모델 테스터 사용; 키 테스터로 키 확인.

https://apimaster.ai/v1 · $1 충전부터, 종량제.

APIMaster 등록 →

관련 API 오류

• 잘못된 API 키 — 401 인증
• api error 400 content blocked — 중재 400
• Claude / Anthropic 529 overloaded — 용량 문제, RPM 할당량 아님
• 모든 API 오류 수정 가이드 — 전체 색인

FAQ

OpenAI rate limit exceeded란 무엇인가요? HTTP 429는 조직 및 모델에 대한 RPM, TPM 또는 관련 할당량을 초과했음을 나타냅니다. 백오프와 함께 기다렸다가 재시도하거나, 폴백이 있는 게이트웨이를 통해 라우팅하세요.

429와 529의 차이점은 무엇인가요? 429는 일반적으로 사용자의 할당량/속도(OpenAI RPM/TPM)입니다. Anthropic의 529는 서버 과부하 — 서비스가 일시적으로 용량에 도달한 것입니다. 수정 패턴이 다릅니다. 529 가이드를 참조하세요.

OpenAI 등급을 업그레이드하면 모든 429가 해결되나요? 한도를 높이지만 버스트 에이전트 트래픽은 여전히 한도에 도달할 수 있습니다. 게이트웨이와 대기열이 프로덕션의 내구성 있는 수정 방법입니다.

APIMaster가 rate limit을 완전히 제거하나요? 어떤 플랫폼도 무제한 최첨단 모델 처리량을 제공하지 않습니다. APIMaster는 업스트림이 제한될 때 채널 간 라우팅으로 가용성을 향상시킵니다 — 여전히 앱에서 백오프를 구현해야 합니다.