LiteLLM est un logiciel open source qui met une seule API, au format OpenAI, devant plus de 100 fournisseurs de modèles de langage. En version proxy, c'est un serveur que vous hébergez : vos applications l'appellent, il relaie vers Anthropic, OpenAI, Mistral ou un modèle ouvert servi chez vous, avec vos propres clés.
Ce que la passerelle apporte en entreprise, c'est du contrôle. Des clés par équipe, des budgets, un suivi des coûts, un repli d'un modèle sur un autre et une journalisation centralisée, sans qu'aucun intermédiaire commercial ne voie vos prompts. En échange, vous exploitez un service de plus.
Cet article explique ce que fait LiteLLM, ce qu'il faut exploiter, ce qui relève de l'offre payante et dans quels cas s'en passer. Les faits viennent de la documentation et du dépôt GitHub de LiteLLM, consultés le 19 novembre 2026.
Ce qu'il faut retenir
- LiteLLM existe en bibliothèque Python et en serveur proxy, tous deux au format de l'API OpenAI
- La passerelle centralise les clés (clés virtuelles), les budgets, le repli entre modèles et la journalisation
- Elle se branche aussi bien sur des fournisseurs externes que sur un modèle ouvert servi avec vLLM ou Ollama
- Vous exploitez l'hébergement, la base de données, les mises à jour et la protection des clés
- Pour un seul fournisseur et un petit volume, l'appel direct reste plus simple
LiteLLM, c'est quoi exactement ?
LiteLLM est un projet open source qui se présente, sur son dépôt, comme une passerelle IA auto-hébergée pour plus de 100 modèles. Il s'utilise de deux façons.
- La bibliothèque Python. On importe
litellmdans son code et on appelle n'importe quel fournisseur avec la même syntaxe. LeRouterde la bibliothèque gère les nouvelles tentatives et les replis. - Le serveur proxy (AI Gateway). Un service central que toutes les applications appellent. Il expose des points d'accès compatibles OpenAI (
/chat/completions,/embeddings,/responsesentre autres) et une interface d'administration.
Le point utile pour une équipe, c'est que le code applicatif ne change pas. Selon la documentation, les clients gardent leur code OpenAI et changent seulement l'URL de base et la clé. Cette compatibilité est la même que celle d'OpenRouter, avec une différence de fond sur l'hébergement.
Parmi les fournisseurs, la documentation cite OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI, Mistral, Groq, Ollama et vLLM. Les deux derniers comptent pour les projets souverains, car ils permettent de brancher un modèle ouvert hébergé chez vous derrière la même interface que les modèles externes.
Qu'apporte une passerelle LLM en production ?
Une passerelle LLM apporte un point de contrôle unique entre vos applications et les modèles. Plutôt que de distribuer la clé de chaque fournisseur à chaque projet, vous gérez l'accès, la dépense et la panne à un seul endroit.
Une interface pour plusieurs fournisseurs et un modèle interne
Une application appelle un nom de modèle de votre choix, par exemple assistant-principal. La passerelle décide quel modèle se cache derrière. Changer de fournisseur, ou basculer vers un modèle servi en interne, devient une modification de configuration, sans redéploiement des applications. C'est la condition pour appliquer la méthode décrite dans notre article sur le changement de modèle d'un RAG ou d'un agent en production, qui reste à faire avec une évaluation avant de basculer.
Chez ModelRH, un de nos cas clients, le LLM est interchangeable pour pouvoir basculer vers un modèle interne. Une passerelle est l'une des façons de tenir cette promesse.
Des clés virtuelles, des budgets et un suivi des coûts
La passerelle génère ses propres clés, que vous remettez à une équipe ou à une application. Selon la documentation, l'endpoint /key/generate accepte notamment un budget maximal (max_budget, en dollars), une durée de réinitialisation (budget_duration), un rattachement à une équipe (team_id) et une restriction de modèles (models). Une fois le budget dépassé, les requêtes échouent.
Deux conséquences pratiques. Une clé divulguée est révoquée sans toucher à la clé du fournisseur. Et la dépense se lit par équipe, ce qui répond à la question que pose tout directeur financier, qui consomme quoi. La documentation précise que ces budgets exigent une base Postgres et qu'ils ne bloquent rien sans elle.
Le repli et la journalisation
Le routeur peut relancer une requête, puis basculer sur un autre modèle dans l'ordre d'une liste. La documentation distingue les replis généraux, les replis sur politique de contenu et ceux sur dépassement de fenêtre de contexte. Elle décrit aussi une mise en pause temporaire d'un déploiement qui échoue trop souvent.
La journalisation passe par des rappels (callbacks) vers des outils d'observabilité. La documentation du dépôt cite Langfuse parmi eux. Pour exploiter ces traces, voyez notre article sur Langfuse et l'observabilité LLM. Une passerelle ne réduit pas la consommation de jetons, elle la rend visible.
À quoi ressemble une configuration LiteLLM ?
Le proxy se pilote par un fichier YAML qui déclare les modèles exposés et les règles de repli. L'exemple ci-dessous s'inspire de la structure de la documentation (model_list, litellm_params, os.environ/ pour lire une clé dans l'environnement, fallbacks). Les noms de modèles et l'adresse du serveur interne sont des valeurs à remplacer.
model_list:
- model_name: assistant-principal
litellm_params:
model: anthropic/NOM-DU-MODELE
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: assistant-interne
litellm_params:
model: hosted_vllm/NOM-DU-MODELE-OUVERT
api_base: http://serveur-interne:8000/v1
litellm_settings:
num_retries: 3
request_timeout: 30
fallbacks: [{"assistant-principal": ["assistant-interne"]}]
Lecture de l'exemple. Les applications appellent assistant-principal. Si le fournisseur échoue après trois tentatives, la requête bascule vers le modèle servi en interne. La clé du fournisseur ne quitte jamais l'environnement du serveur.
Un repli vers un modèle interne a une conséquence de conformité. Si l'application a choisi un fournisseur pour une raison contractuelle, le basculement doit aller dans le sens du plus restrictif, de l'externe vers l'interne, rarement l'inverse. Pour servir le modèle ouvert, voyez notre comparaison de vLLM et Ollama. Pour l'intégration côté code, voyez notre guide sur l'API Claude, OpenAI et Mistral dans un logiciel.
Qu'est-ce qu'il faut exploiter soi-même ?
Auto-héberger une passerelle, c'est reprendre à son compte ce qu'un service hébergé assure. Le logiciel est gratuit à télécharger, l'exploitation ne l'est pas.
- L'hébergement et la disponibilité. La passerelle devient un point de passage obligé. Si elle tombe, toutes les applications tombent, même si les fournisseurs fonctionnent. Pour un usage critique, prévoyez plusieurs instances.
- La base de données. Les clés virtuelles, les équipes et les budgets reposent sur Postgres.
- Les mises à jour. Le projet évolue vite. Fixez une version, testez les montées de version sur un environnement de recette avant de les passer en production.
- La sécurité des clés. La passerelle détient toutes les clés des fournisseurs. Stockez-les dans un gestionnaire de secrets, limitez l'accès réseau au service, et protégez l'interface d'administration.
- La latence. Chaque requête fait un détour par la passerelle. Mesurez-le sur vos propres requêtes, surtout pour la voix et le chat en temps réel.
Le chemin des données se simplifie en revanche. Les prompts partent de chez vous directement vers le fournisseur, sans second sous-traitant, ce qui allège le dossier présenté à un DPO par rapport à un intermédiaire hébergé comme OpenRouter.
Open source ou Enterprise, qu'est-ce qui change ?
Le dépôt est open source, et certaines fonctions relèvent d'une licence commerciale, proposée dans l'offre Enterprise. La documentation marque explicitement comme réservés à cette licence, par exemple, les budgets par modèle (model_max_budget). Les budgets de clé, d'équipe et d'utilisateur ne sont pas marqués Enterprise sur la page lue.
La liste complète des fonctions payantes, le prix de l'offre et le texte exact de la licence évoluent et ne sont pas repris ici. Procédez ainsi avant de vous engager.
- Listez les fonctions dont vous avez besoin (authentification unique, journal d'audit, limites par modèle, garde-fous).
- Vérifiez sur la documentation officielle si chacune est marquée « Enterprise ».
- Lisez le fichier de licence du dépôt, puis demandez un devis à l'éditeur si une fonction payante est nécessaire.
Quand s'en passer, et quel montage choisir ?
Une passerelle se justifie par le nombre de fournisseurs, d'équipes et de contraintes, pas par le principe. Avec un seul fournisseur et une seule équipe, elle ajoute un service à surveiller pour peu de bénéfice.
| Votre situation | Montage adapté | Pourquoi |
|---|---|---|
| Un seul fournisseur, une équipe, petit volume | Appel direct | Un seul sous-traitant, rien à exploiter |
| Prototype, comparaison de modèles, données non sensibles | OpenRouter | Une clé, une facture, rien à héberger |
| Produit SaaS qui veut changer de modèle, données peu sensibles | OpenRouter, ou LiteLLM si vous voulez la main sur les clés | Heeya passe par OpenRouter pour sa génération |
| Plusieurs équipes, quotas, suivi des coûts, aucun tiers dans le flux | LiteLLM auto-hébergé | Vos clés, votre infrastructure, une API unique |
| Données sensibles, modèle ouvert en interne et fournisseur externe | LiteLLM devant les deux | Routage selon la nature de la requête, un seul point d'entrée |
Pour un acteur du spatial, nous avons servi un modèle ouvert (Qwen 2.5 14B) avec vLLM et Ollama sur un cloud français (OVH), avec une évaluation sous Langfuse. Une passerelle devant un tel serveur se justifie quand plusieurs équipes se partagent le modèle interne et des fournisseurs externes.
Nous recommandons de commencer par l'appel direct et d'ajouter la passerelle quand deux signes apparaissent, la deuxième équipe qui demande sa propre clé, ou la première facture qu'on ne sait pas répartir. Si vous hésitez sur le montage, un audit RAG et agents IA permet de trancher à partir de vos usages réels.
Questions fréquentes sur LiteLLM en entreprise
LiteLLM, c'est quoi ?
LiteLLM est un logiciel open source qui met une interface unique, au format de l'API OpenAI, devant plus de 100 fournisseurs de modèles. Il existe sous deux formes, une bibliothèque Python à importer dans le code et un serveur proxy, appelé AI Gateway, que l'on déploie comme un service central pour toutes les applications de l'entreprise.
LiteLLM est-il gratuit ?
Le dépôt est open source et se présente comme auto-hébergé. Certaines fonctions relèvent d'une licence commerciale, proposée dans l'offre Enterprise. La documentation indique par exemple que les budgets par modèle exigent une licence Enterprise. Les coûts réels sont ceux de l'hébergement, de la base de données et de l'exploitation. Vérifiez la liste des fonctions payantes et la licence sur la documentation officielle avant de vous engager.
Quelle est la différence entre LiteLLM et OpenRouter ?
OpenRouter est un service hébergé par un tiers qui relaie vos requêtes et vous facture. LiteLLM est un logiciel que vous hébergez vous-même, avec vos propres clés d'API chez chaque fournisseur. Avec LiteLLM, aucun intermédiaire commercial ne voit vos prompts, mais vous assurez la disponibilité, les mises à jour et la sécurité des clés.
LiteLLM peut-il servir un modèle ouvert hébergé chez moi ?
Oui. La documentation liste Ollama et vLLM parmi les fournisseurs compatibles. La passerelle expose alors le modèle hébergé en interne avec la même API que les modèles des fournisseurs externes, ce qui permet de router une application vers l'un ou l'autre en changeant un nom de modèle.
Comment fonctionnent les clés virtuelles de LiteLLM ?
La passerelle génère ses propres clés, que vous distribuez par équipe ou par application, à la place des clés des fournisseurs. Chaque clé peut avoir un budget maximal, une durée de réinitialisation et une liste de modèles autorisés. Une fois le budget dépassé, les requêtes sont refusées. Ces budgets exigent une base Postgres, selon la documentation.
Que se passe-t-il si un fournisseur tombe en panne ?
LiteLLM peut réessayer, puis basculer sur un autre modèle que vous avez désigné dans la configuration. Les replis sont essayés dans l'ordre de la liste. Cela protège d'une panne de fournisseur. En revanche, si la passerelle elle-même tombe, toutes vos applications sont touchées, d'où l'intérêt de la déployer en plusieurs instances.
Quand ne pas utiliser LiteLLM ?
Quand un seul fournisseur couvre tout le besoin, quand le volume est faible et qu'une seule équipe appelle les modèles, ou quand personne ne peut exploiter un service de plus. Dans ces cas, l'appel direct à l'API du fournisseur est plus simple, et la bibliothèque Python seule suffit parfois pour changer de modèle dans le code.
Des prompts qui ne doivent pas sortir ?
Nous concevons et livrons des assistants sur un modèle hébergé en France, avec la passerelle qui convient.
Aller plus loin
Pour un projet où le chemin des données est une contrainte, découvrez notre approche de l'IA souveraine. Sources : documentation du proxy LiteLLM, fiabilité et replis, budgets et clés et dépôt GitHub, consultés le 19 novembre 2026.