Rate limit

Rate limit mencegah satu klien yang lepas kendali menghabiskan kapasitas untuk semua pengguna lain. Batasnya longgar: sebagian besar aplikasi tidak pernah mencapainya.

Batasnya

• Permintaan per kunci — setiap kunci API dapat mengirim hingga 6.000 permintaan per menit secara default. Sebarkan traffic berat ke beberapa kunci di proyek berbeda jika satu layanan membutuhkan lebih banyak, atau hubungi dukungan.
• Pekerjaan yang sedang berjalan — jumlah permintaan yang sangat besar yang sedang berjalan sekaligus akan di-throttle sementara.
• Autentikasi gagal — permintaan berulang dengan kunci yang tidak valid akan diperlambat.

Tidak ada batas token per menit dan tidak ada batas harian.

Token Plan juga tidak memiliki batas per jam, harian, atau mingguan — hanya kredit bulanan.

Saat Anda mencapai batas

Anda akan menerima 429 dengan header Retry-After yang berisi jumlah detik yang harus ditunggu:

{ "error": { "message": "Too many requests. Try again shortly." } }

Tunggu selama itu, lalu coba lagi. SDK OpenAI dan Anthropic melakukannya untuk Anda. Lihat error untuk loop retry.

Tetap di bawah batas

• Gunakan satu kunci per layanan, agar batch job yang sibuk tidak men-throttle aplikasi web Anda.
• Antrekan pekerjaan batch dan kirim dengan kecepatan stabil, bukan sekaligus.
• Gabungkan input jika endpoint mengizinkannya — embedding menerima array teks dalam satu permintaan.
• Gunakan streaming untuk balasan panjang, bukan polling.
• Jangan coba lagi error 4xx selain 429; error tersebut tidak akan berhasil saat dicoba lagi.