AI API / deep divesInformational
Rate limits prin Router by MP
Cum gestioneaza Router by MP rate limit-urile upstream și cum poti seta limit propriu pe cheie.
Raspuns scurt
Rate limit are doua nivele: cel din upstream provider și cel din Router. Cheia ta poate avea propriul rate limit pentru a proteja de spike trafic.
Problema concreta
Aplicatiile care lovesc rate limit din provider primesc 429 și esueaza neasteptat. Fără limit propriu, un bug poate consuma toata capacitatea cheii.
Cum o rezolva Router by MP
Rate limit per cheie configurabil in Router by MP (RPM = requests-per-minute, TPM = tokens-per-minute). Când atinge limit, gateway-ul intoarce 429 controlat sau coadeaza, după configurare.
Fluxuri uzuale
- Configurare RPM și TPM per cheie.
- Aplicatia gestioneaza 429 cu retry-backoff.
- Audit log arată incidentele.
- Tuning periodic pe baza traficului real.
| Control | De ce conteaza |
|---|---|
| Doua nivele | Upstream + Router pentru protectie strict. |
| Configurabil | RPM/TPM pe cheie. |
| Audit | Vezi unde s-au atins limit-urile. |
Reguli si limite
- Burst legitim. Pentru burst lansare, mareste temporar limit-ul.
- Retry backoff. Aplicatia trebuie sa gestioneze 429 cu backoff.
- Latency. Coadarea crește timp de răspuns; alegi intre 429 vs coada.
Integrare rapida
Foloseste endpointul https://api.megapromoting.com/v1, trimite cheia caAuthorization: Bearer <router_api_key> si verifica pagina/modelsinainte de productie.