Cách Khắc Phục Lỗi "Rate Limit Exceeded" (429) của OpenAI — RPM, TPM & Retries

Lỗi Này Nghĩa Là Gì?

Sau khi xác thực thành công, OpenAI sẽ đo tốc độ bạn tiêu thụ request và token. Vượt quá giới hạn (bucket) và API sẽ trả về mã 429:

{
  "error": {
    "message": "Rate limit reached for gpt-4o in organization org-xxx on requests per min (RPM): Limit 500, Used 500, Requested 1.",
    "type": "tokens",
    "code": "rate_limit_exceeded"
  }
}

Các relay bên thứ ba có thể hiển thị cùng một chuỗi lỗi hoặc một trình bao bọc (wrapper) 429 chung chung. Lỗi này khác với API key không hợp lệ (401) hoặc nội dung bị chặn (400) — key của bạn hợp lệ, nhưng bạn đang gửi quá nhanh hoặc quá nặng so với hạn mức của gói hiện tại.

Nguyên Nhân Phổ Biến

1. Burst traffic — nhiều người dùng hoặc tác nhân (agent) song song gửi request trong cùng một giây.
2. max_tokens cao — các bản hoàn thiện (completions) lớn đốt cháy TPM nhanh chóng ngay cả ở RPM vừa phải.
3. Bão retry — ứng dụng của bạn thử lại ngay lập tức các lỗi 429 mà không có backoff, làm cho giới hạn càng tệ hơn.
4. Dùng chung key tổ chức — nhiều dịch vụ dùng chung một key và chia sẻ một bộ đếm RPM/TPM.
5. Giới hạn gói Miễn phí / Thấp — tài khoản OpenAI mới và các relay giá rẻ giới hạn thông lượng một cách khắt khe.
6. Giới hạn theo từng mô hình — các mô hình tiên tiến (frontier) thường có RPM thấp hơn gpt-4o-mini.
7. Streaming + công cụ — các vòng lặp tác nhân (agent) nhân số lượng request lên cho mỗi hành động của người dùng.

Cách Khắc Phục

1. Đọc các header phản hồi 429

OpenAI thường gửi các header x-ratelimit-limit-requests, x-ratelimit-remaining-requests, và retry-after. Hãy chờ cho đến khi hết số giây trong retry-after trước khi thử lại.

2. Triển khai exponential backoff với jitter

import time, random
from openai import OpenAI, RateLimitError

client = OpenAI()
for attempt in range(6):
    try:
        return client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[{"role": "user", "content": "hello"}],
        )
    except RateLimitError:
        time.sleep(min(60, (2 ** attempt) + random.random()))

Đừng bao giờ lặp lại chặt chẽ (tight-loop) khi gặp lỗi 429 — bạn sẽ chỉ kéo dài thời gian gián đoạn.

3. Giảm tải

• Giảm max_tokens khi có thể.
• Lưu cache cho các prompt giống hệt nhau.
• Xếp hàng đợi các request ở phía máy chủ (worker + Redis) thay vì xử lý song song không giới hạn từ phía client.
• Sử dụng các mô hình rẻ hơn/nhỏ hơn cho các bước phân loại hoặc định tuyến.

4. Tăng giới hạn chính thức

Trên OpenAI: thêm phương thức thanh toán, yêu cầu nâng cấp gói, hoặc phân chia khối lượng công việc giữa các project/tổ chức một cách có trách nhiệm (vẫn tuân theo chính sách).

5. Sử dụng gateway với cơ chế dự phòng tự động

Các ứng dụng sản xuất không nên phụ thuộc vào một bộ đếm RPM thượng nguồn duy nhất. Một LLM gateway có thể:

• Định tuyến đến một nhà cung cấp hoặc kênh khác khi một kênh trả về lỗi 429
• Phân tán lưu lượng qua nhiều key hoặc khu vực nếu được cho phép
• Cung cấp hàng đợi ở biên (edge) để ứng dụng của bạn ít gặp lỗi cứng (hard failure) hơn

APIMaster là một bộ tổng hợp tương thích với OpenAI với định tuyến đa kênh — khi một đường dẫn bị giới hạn tốc độ, lưu lượng có thể được chuyển sang các lựa chọn thay thế khả dụng. Nạp tiền từ $1, trỏ SDK đến https://apimaster.ai/v1, và tiếp tục xây dựng mà không cần phải tinh chỉnh thủ công từng giới hạn của nhà cung cấp.

Bắt đầu với APIMaster ngay →

APIMaster Giúp Gì Cho Bạn

Thường xuyên gặp lỗi 429? APIMaster giúp bạn trên ba phương diện:

Lợi thế	Bạn nhận được gì
Giảm giá	Giá Marketplace — giảm tới ~90% / ~85% so với giá niêm yết chính thức; kéo dài ngân sách hơn nữa.
Ổn định	Dự phòng tự động khi một nguồn thượng nguồn đạt đến giới hạn RPM/TPM — giảm thiểu sự cố gián đoạn 429 từ một nhà cung cấp duy nhất (kết hợp với backoff ở cấp ứng dụng).
Trung thực mô hình	Sau khi chuyển đổi dự phòng, hãy sử dụng Model Tester; kiểm tra key với Key Tester.

https://apimaster.ai/v1 · Nạp tiền từ $1, trả theo mức sử dụng.

Đăng ký APIMaster →

Các Lỗi API Liên Quan

• API key không hợp lệ — Lỗi xác thực 401
• Lỗi API 400 nội dung bị chặn — Lỗi kiểm duyệt 400
• Claude / Anthropic 529 quá tải — Vấn đề về dung lượng, không phải hạn mức RPM
• Tất cả hướng dẫn sửa lỗi API — Danh sách đầy đủ

FAQ

Lỗi vượt quá giới hạn tốc độ của OpenAI là gì? HTTP 429 cho biết bạn đã vượt quá RPM, TPM hoặc các hạn mức liên quan khác cho tổ chức và mô hình của bạn. Hãy chờ và thử lại với backoff, hoặc định tuyến qua một gateway có cơ chế dự phòng.

429 so với 529 — khác biệt là gì? 429 thường là do hạn mức / tốc độ của bạn (RPM/TPM của OpenAI). 529 trên Anthropic là do máy chủ quá tải — dịch vụ tạm thời hết dung lượng. Các cách khắc phục khác nhau; hãy xem hướng dẫn về lỗi 529 của chúng tôi.

Nâng cấp gói OpenAI có sửa được tất cả lỗi 429 không? Nó tăng các giới hạn, nhưng lưu lượng burst từ agent vẫn có thể chạm tới giới hạn. Sử dụng gateway kết hợp xếp hàng đợi là giải pháp bền vững cho môi trường sản xuất.

APIMaster có loại bỏ hoàn toàn giới hạn tốc độ không? Không có nền tảng nào cung cấp thông lượng không giới hạn cho các mô hình tiên tiến. APIMaster cải thiện tính khả dụng bằng cách định tuyến qua các kênh khác nhau khi một kênh thượng nguồn bị giới hạn tốc độ — bạn vẫn nên triển khai backoff trong ứng dụng của mình.