Extension Otoroshi · Open source
Otoroshi LLM Extension
L’AI gateway open source pour Otoroshi.
Connectez, configurez, sécurisez et gérez simplement vos LLM via une API universelle compatible OpenAI. Plus de 50 fournisseurs, guardrails, cache sémantique, budgets, MCP et AI Studio.
- Étoiles
- 19
- Langage
- Scala
- Licence
- Apache-2.0
- Dernière mise à jour
- aujourd’hui
Fonctionnalités
Ce qu’il y a dedans
API unifiée compatible OpenAI
Une seule interface pour plus de 50 fournisseurs, dont des fournisseurs européens souverains (Mistral, Scaleway, OVHcloud, Cloud Temple) et des modèles locaux avec Ollama.
Load balancing, fallbacks, retries
Répartissez la charge entre fournisseurs et rattrapez automatiquement les requêtes en échec.
Cache simple & sémantique
Accélérez les requêtes répétées, améliorez les temps de réponse et réduisez les coûts.
Quotas, budgets & coûts
Quotas de tokens par consommateur, budgets, suivi des coûts et reporting de l’impact écologique.
Guardrails
Validez prompts et réponses contre les fuites de données personnelles et de secrets, l’injection de prompt, la toxicité, le charabia et bien plus.
MCP, agents & workflows
Connecteurs MCP, serveurs MCP virtuels et registre, tool calling, mémoires persistantes et workflows agentiques.
Multimodal
Audio (TTS, STT, traduction), images, vidéo, embeddings et vector stores via la même passerelle.
Coffre de clés & autorisations fines
Conservez les clés des fournisseurs dans les vaults Otoroshi et encadrez l’usage des modèles par identité, clé d’API ou tout autre attribut de la requête.
AI Studio
Une console IA en libre-service au-dessus de la passerelle, avec workspaces, playground, logs et budgets.
- OpenAI
- Anthropic
- Mistral AI
- Gemini
- Ollama
- Azure AI
- Groq
- DeepSeek
- Scaleway
- OVHcloud
- Cohere
- Hugging Face
- Cloudflare AI
- ElevenLabs
- + beaucoup d’autres, modèles locaux inclus
AI Studio
Tous les modèles.
Une seule API.
AI Studio est une console à la OpenRouter servie directement par Otoroshi : workspaces, fournisseurs en bring-your-own-key, clés d’API, playground de chat, activité, logs et budgets — le tout stocké sous forme d’entités Otoroshi standard, gérables via l’API d’administration, Kubernetes ou GitOps.
- Workspaces
- Clés d’API & BYOK
- Playground de chat
- Activité & logs
Guardrails
Des prompts sûrs.
Des réponses sûres.
Les guardrails valident prompts et réponses avant que quoi que ce soit n’atteigne un modèle ou un utilisateur : informations personnelles et sensibles, secrets, injection de prompt, contenus toxiques ou hors sujet. Chaînez-les par route, par modèle ou par workspace.
AI Studio Enterprise
Partagez AI Studio avec toute votre organisation
Votre login d’entreprise, des membres et des rôles dans chaque workspace, des secrets gardés côté serveur et un journal d’audit : le même studio, en application autonome pour toutes vos équipes.
Autres projets open source
En production,sans opérer Otoroshi.
Nos extensions sont disponibles sur Otoroshi Managed, entièrement opéré par ceux qui les ont écrites. Ou bénéficiez d’un support professionnel pour vos propres clusters.