RAG souverain avec Mistral : architecture et retour d'expérience

Vos données internes sont sensibles. Vos contrats, vos procédures métier, vos fiches clients ne doivent pas transiter par des serveurs soumis au Cloud Act. Pourtant, vous voulez un assistant IA capable de répondre sur vos documents. La bonne nouvelle : construire un RAG 100% souverain avec Mistral, hébergé en France, est aujourd'hui non seulement possible, mais économiquement viable pour une PME. Voici notre retour d'expérience après plusieurs déploiements.

1. Pourquoi la souveraineté change la donne pour un projet RAG

Quand on parle de RAG (Retrieval-Augmented Generation), on parle d'un système qui va ingérer, indexer et interroger vos documents les plus sensibles : contrats commerciaux, procédures qualité, données RH, fiches techniques propriétaires. Ce sont les bijoux de famille de votre entreprise.

Or, la grande majorité des solutions RAG "clé en main" s'appuient sur des API américaines : OpenAI pour les embeddings et la génération, Pinecone pour le stockage vectoriel, le tout hébergé chez AWS ou Azure. Vos données traversent l'Atlantique à chaque requête.

Pour beaucoup de PME et ETI françaises, c'est un problème concret :

• Le RGPD impose que le transfert de données personnelles hors UE soit encadré. Depuis l'invalidation du Privacy Shield, la base juridique est fragile.
• Le Cloud Act américain permet aux autorités US d'accéder aux données stockées par des entreprises américaines, même si les serveurs sont en Europe.
• L'AI Act européen, en application progressive jusqu'en août 2026, impose des obligations de transparence et de traçabilité qui sont plus simples à respecter quand vous maîtrisez toute la chaîne.
• Les exigences sectorielles : santé, défense, juridique, certains marchés publics imposent explicitement un hébergement souverain.

La question n'est plus "faut-il un RAG souverain ?" mais "comment le construire sans sacrifier la performance ?". C'est exactement ce que nous allons voir.

2. Pourquoi Mistral est un choix naturel pour un RAG souverain

Mistral AI est une entreprise française, fondée à Paris, qui développe des modèles de langage parmi les plus performants au monde. Pour un projet RAG souverain, c'est un avantage structurel à plusieurs niveaux.

Des modèles open-weight sous licence Apache 2.0

Contrairement à OpenAI ou Anthropic, Mistral publie ses modèles en open-weight. Concrètement, vous pouvez télécharger les poids du modèle et le faire tourner sur vos propres serveurs, sans aucun appel API vers l'extérieur. Mistral Small (24B paramètres) et les modèles de la famille Ministral sont disponibles sous licence Apache 2.0 : aucune restriction commerciale, aucune redevance.

C'est fondamental pour la souveraineté : votre modèle tourne dans votre datacenter, point final. Pas de dépendance à un fournisseur qui pourrait changer ses conditions, couper l'accès, ou augmenter ses tarifs du jour au lendemain.

Un écosystème d'embedding natif

Pour un RAG, le modèle de génération ne suffit pas. Il faut aussi un modèle d'embedding pour transformer vos documents et les requêtes en vecteurs. Mistral propose mistral-embed, un modèle d'embedding à 1024 dimensions optimisé pour la recherche sémantique multilingue, avec un score MTEB retrieval de 55.26.

Mistral propose aussi une version allégée, mistral-embed-light (512 dimensions), pour les cas où la latence et le coût sont critiques. L'ensemble de la chaîne (embedding + génération) peut donc rester dans l'écosystème Mistral.

Hébergement chez des cloud providers français

Mistral a des partenariats avec OVHcloud et Scaleway, deux fournisseurs cloud français avec des datacenters en France. OVHcloud propose même une architecture de référence pour déployer Mistral Large dans un environnement souverain. Pas besoin de bricoler : l'infrastructure existe, elle est documentée, et elle est conforme RGPD par design.

3. Architecture type d'un RAG souverain avec Mistral

Voici l'architecture que nous déployons chez nos clients PME/ETI quand la souveraineté est une exigence. Tous les composants sont hébergeables en France, open-source ou open-weight, et ne nécessitent aucun appel vers l'extérieur.

Les 5 couches de l'architecture

1. Ingestion et parsing : vos documents (PDF, Word, emails) sont parsés et nettoyés. Nous utilisons des outils open-source comme Unstructured ou Docling pour extraire le texte structuré, y compris les tableaux et les mises en page complexes.
2. Chunking et embedding : le texte est découpé en chunks sémantiques, puis transformé en vecteurs via mistral-embed (ou un modèle d'embedding open-source auto-hébergé comme bge-m3).
3. Stockage vectoriel : les vecteurs sont indexés dans une base vectorielle souveraine (Qdrant, pgvector ou Weaviate) hébergée sur un serveur français.
4. Orchestration : un framework comme LlamaIndex, LangChain ou Haystack orchestre le pipeline : réception de la requête, recherche dans la base vectorielle, construction du prompt, appel au modèle.
5. Génération : Mistral Small (ou Large selon les besoins) génère la réponse en s'appuyant uniquement sur les documents retrouvés. Le modèle tourne localement via vLLM, TGI (Text Generation Inference de Hugging Face) ou Ollama.

Le point clé : aucun de ces composants ne nécessite un appel réseau vers l'extérieur. Une fois l'infrastructure déployée, votre RAG peut fonctionner en réseau fermé si nécessaire. C'est un avantage considérable pour les secteurs réglementés.

4. Quel modèle Mistral choisir pour votre RAG

Mistral propose désormais une gamme complète de modèles. Pour un RAG, le choix dépend de trois facteurs : la complexité des questions, le budget GPU, et la latence acceptable.

Mistral Small : le choix pragmatique pour 80% des cas

Mistral Small (24B paramètres dans sa version 3.x, ou le tout récent Mistral Small 4 avec 119B paramètres totaux et 6B actifs grâce à l'architecture MoE) est notre recommandation par défaut pour les projets RAG en PME. Pourquoi :

• Il tourne sur un seul GPU (type L40S ou A100), ce qui réduit considérablement le coût d'infrastructure.
• Sa fenêtre de contexte de 256k tokens (Mistral Small 4) permet d'injecter beaucoup de contexte documentaire dans le prompt.
• En mode RAG, où le modèle doit principalement synthétiser et reformuler des informations déjà retrouvées, ses performances sont très proches des modèles frontier.
• La latence est faible : réponse en 1 à 3 secondes pour une requête RAG typique.

Sur nos benchmarks internes, un RAG avec Mistral Small bien optimisé (hybrid search, semantic chunking, reranking) atteint des scores de faithfulness de 85 à 90%, contre 90 à 93% pour le même pipeline avec GPT-4o. L'écart est réel mais rarement perceptible par les utilisateurs finaux.

Mistral Large : pour le raisonnement complexe

Mistral Large 3 (675B paramètres totaux, 41B actifs) monte en puissance sur les tâches qui exigent un raisonnement multi-étapes : analyse de contrats avec des clauses imbriquées, synthèse de documents techniques contradictoires, ou réponses nécessitant de croiser plusieurs sources. Mais il nécessite une infrastructure GPU plus conséquente (multi-GPU), ce qui augmente le coût de 3 à 5 fois par rapport à Mistral Small.

Notre recommandation : commencez avec Mistral Small, évaluez les performances sur vos cas d'usage réels, et ne passez à Large que si vous constatez des lacunes mesurables sur des tâches spécifiques. Dans notre expérience, c'est le cas pour moins de 20% des projets.

L'embedding : mistral-embed ou alternatives open-source

Pour la partie vectorisation des documents, deux approches :

• mistral-embed via l'API Mistral : simple à intégrer, 1024 dimensions, bon en multilingue. Mais attention : si vous utilisez l'API, vos données transitent par les serveurs Mistral. Pour une souveraineté totale, il faut auto-héberger.
• Modèles d'embedding open-source : bge-m3 (BAAI), e5-mistral-7b-instruct, ou nomic-embed-text. Ces modèles sont entièrement auto-hébergeables et offrent des performances comparables, voire supérieures sur certains benchmarks.

Pour un RAG véritablement souverain, nous privilégions les modèles d'embedding auto-hébergés. Le surcoût en infrastructure est minime (ils tournent sur CPU ou sur un petit GPU) et cela élimine le dernier point de sortie des données.

5. Base vectorielle souveraine : quelle solution choisir

La base vectorielle est le coeur de votre RAG : c'est elle qui stocke les vecteurs de vos documents et qui effectue la recherche de similarité à chaque requête. Pour un RAG souverain, elle doit être open-source et auto-hébergeable. Voici les trois options que nous déployons en fonction du contexte.

pgvector : le pragmatisme PostgreSQL

Si votre application utilise déjà PostgreSQL, pgvector est le choix le plus pragmatique. C'est une extension qui ajoute le support des vecteurs directement dans votre base de données existante.

• Avantage : pas de nouvelle infrastructure, pas de nouveau service à monitorer. Vos vecteurs vivent à côté de vos données métier.
• Limite : les performances se dégradent au-delà de quelques millions de vecteurs. Suffisant pour la plupart des PME, mais pas pour des corpus massifs.
• Coût : zéro surcoût si vous avez déjà PostgreSQL. Ajoutez simplement l'extension.

C'est notre recommandation pour les projets de taille modérée (jusqu'à 500 000 documents environ) où la simplicité d'exploitation prime.

Qdrant : la performance pure

Qdrant est une base vectorielle écrite en Rust, conçue pour la performance en production. Elle excelle sur les volumes importants et offre des fonctionnalités avancées : filtrage par métadonnées, recherche hybride native, et quantization pour réduire l'empreinte mémoire.

• Avantage : excellentes performances même à plusieurs millions de vecteurs. API REST et gRPC. Support natif du hybrid search (dense + sparse).
• Limite : c'est un service supplémentaire à déployer et monitorer.
• Coût : en auto-hébergement, comptez 100 à 300 euros/mois pour un serveur dédié chez OVHcloud ou Scaleway.

C'est notre choix pour les projets à fort volume ou quand la latence de recherche est critique (applications temps réel, support client).

Weaviate : le filtrage avancé

Weaviate se distingue par ses capacités de filtrage hybride et sa gestion native des objets multi-modaux. Il est particulièrement adapté quand vos documents ont des métadonnées riches (type de document, département, date, niveau de confidentialité) et que vous avez besoin de combiner recherche sémantique et filtres structurés.

Les trois solutions sont 100% open-source et déployables sur n'importe quel serveur en France. Le choix dépend de votre contexte technique existant, pas d'une question de souveraineté.

6. Retour d'expérience : performances et limites constatées

Après plusieurs déploiements de RAG souverains avec Mistral chez des clients PME/ETI, voici ce que nous constatons concrètement.

Ce qui fonctionne bien

• Questions-réponses factuelles sur documentation interne : c'est le cas d'usage roi. "Quelle est la procédure pour X ?", "Que dit le contrat Y sur Z ?". Mistral Small délivre des réponses précises et sourcées dans 85 à 90% des cas, à condition que le pipeline de retrieval soit bien optimisé.
• Synthèse de documents : résumer un appel d'offres de 80 pages, extraire les points clés d'un rapport technique. La fenêtre de contexte étendue de Mistral Small 4 (256k tokens) est un vrai avantage ici.
• Support multilingue : les modèles Mistral sont performants en français, ce qui n'est pas toujours le cas des modèles open-source anglophones. Pour un RAG sur des documents métier en français, c'est un critère décisif.

Les limites à connaître

• Raisonnement complexe multi-documents : quand il faut croiser 5 sources pour construire une réponse nuancée, Mistral Small montre ses limites face aux modèles frontier (GPT-4o, Claude Opus). Mistral Large comble une partie de l'écart, mais pas totalement.
• Hallucinations résiduelles : comme tout LLM, Mistral peut halluciner, surtout quand le contexte retrouvé est ambigu ou insuffisant. Un bon système de garde-fous (vérification des sources, score de confiance, réponse "je ne sais pas") reste indispensable.
• Latence d'inférence : en auto-hébergement sur un GPU L40S, comptez 1 à 3 secondes par réponse avec Mistral Small, contre 0.5 à 1 seconde via les API cloud optimisées d'OpenAI. C'est acceptable pour un usage interne, mais peut poser problème pour des applications temps réel à fort trafic.

Le point important : dans la majorité des cas d'usage RAG en entreprise, les limites de Mistral ne sont pas un frein. La qualité du retrieval (parsing, chunking, hybrid search) a plus d'impact sur la qualité finale que le choix du LLM.

7. Coûts d'infrastructure pour une PME

Parlons chiffres. Voici une estimation réaliste du coût mensuel d'un RAG souverain hébergé en France pour une PME avec un corpus de quelques milliers de documents et une vingtaine d'utilisateurs.

C'est un budget accessible pour une PME qui tire une vraie valeur métier de son assistant IA. À titre de comparaison, un usage équivalent via les API OpenAI (GPT-4o + embeddings + Pinecone) revient à 300 à 700 euros/mois selon le volume, mais sans aucune garantie de souveraineté.

Le surcoût du souverain (environ 20 à 40%) se justifie quand :

• Vos données sont réglementairement sensibles (santé, juridique, défense)
• Vos clients ou donneurs d'ordre l'exigent contractuellement
• Vous voulez une indépendance technologique : pas de risque de changement de tarifs, de conditions d'utilisation, ou de coupure de service

Pour approfondir le sujet de l'infrastructure, consultez notre guide sur le déploiement de LLM en production.

8. Les pièges à éviter sur un projet RAG souverain

La souveraineté ajoute des contraintes techniques. Voici les erreurs que nous voyons le plus souvent, et comment les éviter.

Piège n°1 : négliger le parsing au profit de la "stack souveraine"

Beaucoup d'équipes passent des semaines à choisir entre Qdrant et Weaviate, alors que le vrai problème est en amont : leurs PDF sont mal parsés, les tableaux sont aplatis, les en-têtes polluent le texte. La qualité du parsing détermine 60% de la qualité finale du RAG. Investissez du temps ici avant de vous soucier de la base vectorielle.

Piège n°2 : choisir un modèle trop gros "par sécurité"

Déployer Mistral Large "au cas où" alors que Mistral Small suffit, c'est multiplier par 3 à 5 votre facture GPU et augmenter la latence. Commencez petit, mesurez, et montez en gamme seulement si les métriques le justifient.

Piège n°3 : oublier le chunking sémantique

Un chunking fixe (500 tokens, point final) est une erreur classique qui dégrade la qualité du retrieval. Le semantic chunking, qui découpe sur les frontières de sens plutôt que sur un nombre arbitraire de caractères, améliore significativement les résultats. C'est encore plus vrai avec des documents métier en français, où la structure des phrases diffère de l'anglais.

Piège n°4 : ne pas monitorer en production

Un RAG n'est pas un logiciel "fire and forget". Les performances se dégradent quand de nouveaux documents sont ajoutés, quand le vocabulaire évolue, ou quand les utilisateurs posent des questions imprévues. Mettez en place des métriques de suivi (faithfulness, recall, latence) et un processus d'amélioration continue.

Piège n°5 : confondre souveraineté et isolation

Souverain ne veut pas dire déconnecté du monde. Vous pouvez mettre à jour vos modèles, utiliser des frameworks open-source maintenus par des communautés internationales, et bénéficier des avancées de l'écosystème. La souveraineté porte sur le lieu de traitement de vos données, pas sur l'origine du code.

Pour une liste complète des erreurs à éviter, consultez notre article dédié sur les 5 erreurs qui font échouer les projets RAG en entreprise.

9. Par où commencer concrètement

Si vous envisagez un RAG souverain avec Mistral pour votre entreprise, voici la démarche que nous recommandons :

1. Identifiez le cas d'usage prioritaire : ne visez pas "un assistant qui sait tout". Ciblez un besoin précis (support technique interne, aide à la rédaction d'offres, base de connaissances RH) avec un corpus documentaire identifié. Un audit IA peut vous aider à prioriser.
2. Évaluez votre corpus : combien de documents ? Quels formats ? Quelle complexité (tableaux, images, scans) ? Cela détermine l'effort de parsing et le dimensionnement de l'infrastructure.
3. Commencez avec Mistral Small + pgvector : c'est la stack minimale viable, rapide à déployer, et suffisante pour valider la valeur métier. Vous pourrez migrer vers Qdrant ou monter en gamme de modèle ensuite.
4. Mesurez avant d'optimiser : mettez en place une évaluation rigoureuse (RAGAS, DeepEval) avec un jeu de questions-réponses de référence. Sans mesure, vous optimiserez à l'aveugle.
5. Itérez : ajoutez les optimisations une par une (hybrid search, reranking, query rewriting) et mesurez l'impact de chacune. C'est la méthode qui fonctionne, pas le "big bang" architectural.

Chez Tensoria, nous accompagnons des PME et ETI dans cette démarche, du cadrage stratégique jusqu'au déploiement en production, en passant par la conception de l'assistant IA interne. Notre approche est pragmatique : on commence petit, on mesure, et on ne complexifie que quand c'est justifié.

Questions fréquentes

Pour aller plus loin

• Comprendre le RAG appliqué aux données internes : architecture, limites et bonnes pratiques.
• 3 cas d'usage du RAG en entreprise : e-commerce, industrie et gestion interne.
• 5 erreurs qui font échouer vos projets RAG : les pièges de posture et de méthode.
• Optimiser un RAG : de la démo à la production : hybrid search, semantic chunking, query rewriting et reranking.
• RAG vs fine-tuning : comment choisir : arbre de décision et retours d'expérience.
• Fine-tuning LLM pour PME : quand ça vaut le coup : coûts, gains et cas concrets.
• Déployer un LLM en production : guide d'infrastructure complet.
• Mistral Small 4, le modèle multimodal pour les entreprises : le nouveau modèle Mistral qui unifie raisonnement, vision et code.
• Voxtral TTS, la synthèse vocale de Mistral : ajoutez la voix à votre RAG souverain avec un TTS open-weight.
• Mistral, OpenAI ou Anthropic : quel modèle IA choisir en entreprise française : grille de décision multi-critères.
• ChatGPT Enterprise, Microsoft Copilot ou solution sur mesure : comparatif d'achat pour ceux qui hésitent encore entre les 3 voies.