GatewAI
Async job queue · OpenAI-compatible proxy · LLM gateway
Features
Section titled “Features”Config-driven
Ajouter un modèle = un bloc YAML, aucun changement de code.
Async + sync
Upload vers S3, queue Redis, ou proxy OpenAI-compatible direct.
LLM proxy
OpenAI / Anthropic / Ollama / vLLM avec traduction de format.
Response cache
Cache Redis exact-match, header X-Cache, TTL configurable.
Rate limiting + PII
Limites par consumer/user-type, détection email/IBAN/SIREN.
Observabilité
Prometheus metrics, top-N consumers, KEDA autoscaling.