Límites de tasa
Los límites de tasa evitan que un solo cliente descontrolado deje sin recursos a todos los demás. Son generosos: la mayoría de las apps nunca los alcanzan.
Los límites
- Solicitudes por clave: de forma predeterminada, cada clave de API puede enviar hasta 6000 solicitudes por minuto. Si un servicio necesita más, reparte el tráfico intenso entre claves de distintos proyectos o contacta a soporte.
- Solicitudes en curso: una cantidad muy grande de solicitudes simultáneas en curso se limita brevemente.
- Autenticación fallida: las solicitudes repetidas con una clave no válida se ralentizan.
No hay límites de tokens por minuto ni topes diarios.
Los Token Plans tampoco tienen límites por hora, por día ni por semana: solo el crédito del mes.
Cuando alcanzas un límite
Recibes un 429 con un header Retry-After que indica los segundos que debes esperar:
{ "error": { "message": "Too many requests. Try again shortly." } }
Espera ese tiempo y vuelve a intentarlo. Los SDK de OpenAI y Anthropic lo hacen por ti. Consulta errores para ver un bucle de reintentos.
Cómo mantenerte por debajo del límite
- Usa una clave por servicio, para que un proceso por lotes muy activo no limite tu app web.
- Pon en cola el trabajo por lotes y envíalo a un ritmo constante en lugar de todo de una vez.
- Agrupa las entradas cuando el endpoint lo permita: los embeddings aceptan un array de textos en una sola solicitud.
- Usa streaming para respuestas largas en lugar de hacer polling.
- No reintentes errores
4xxdistintos de429; no tendrán éxito al reintentarlos.