Assistant IA sur les documents de l'entreprise : le RAG expliqué aux dirigeants

Un assistant IA qui répond à partir des documents de l'entreprise repose presque toujours sur le RAG : un moteur de recherche retrouve les bons passages dans vos procédures, contrats ou fiches produits, puis un modèle de langage rédige une réponse à partir de ces passages, en citant ses sources. C'est utile quand vos équipes perdent du temps à chercher une information qui existe déjà par écrit. Le projet réussit ou échoue sur trois points rarement montrés en démonstration : la qualité des documents, les droits d'accès et la protection des données.

Cet article s'adresse aux dirigeants qui envisagent un tel assistant. Il explique le principe sans jargon, les cas d'usage qui fonctionnent, les trois façons de le mettre en place, les règles RGPD, les limites et les coûts, avec des chiffres sourcés.

Le RAG en mots simples

Un modèle de langage, celui qui fait fonctionner ChatGPT, Le Chat ou Claude, ne connaît que ce qu'il a lu avant sa sortie. Il ignore votre procédure de retour client, la grille tarifaire de 2026 et l'avenant signé le mois dernier. Si vous lui posez la question, il répond quand même, avec aplomb, et souvent à côté.

Le RAG, pour génération augmentée par la recherche, corrige cela sans toucher au modèle. Imaginez un documentaliste et un rédacteur. Le documentaliste reçoit la question, va chercher dans vos archives les trois ou quatre passages qui y répondent, et les pose sur le bureau du rédacteur. Le rédacteur écrit la réponse à partir de ces passages, et seulement d'eux, en indiquant d'où vient chaque information.

La CNIL, dans ses questions-réponses sur l'IA générative du 18 juillet 2024, souligne cet avantage : le RAG apporte davantage de traçabilité aux informations contenues dans les réponses.

Comment cela fonctionne, en quatre étapes

1. Collecte : les documents sont rassemblés depuis leurs sources (serveur de fichiers, SharePoint, Google Drive, outil de gestion documentaire, base de connaissances, tickets).
2. Découpage et indexation : chaque document est découpé en passages, et chaque passage est transformé en vecteur, une empreinte numérique de son sens. On garde avec lui sa source, sa date et ses droits d'accès.
3. Recherche : à chaque question, le système cherche les passages les plus proches par le sens, et de préférence aussi par les mots exacts, indispensables pour une référence produit ou un numéro d'article.
4. Réponse : le modèle reçoit la question et les passages retenus, et rédige une réponse qui renvoie vers les documents d'origine.

Quand un document change, on réindexe ce document. Rien n'est à réentraîner.

Les cas d'usage qui fonctionnent

Le RAG donne les meilleurs résultats quand la réponse existe dans un texte et que la question revient souvent.

Il fonctionne mal dans trois situations, et il vaut mieux le savoir avant de lancer le projet.

• Les calculs sur des données chiffrées : « Quel est notre chiffre d'affaires par région ce trimestre ? » relève d'un tableau de bord branché sur vos données, pas d'une recherche dans des documents.
• Les données vivantes : le stock du jour ou le statut d'une commande se lisent dans l'ERP, par un connecteur. L'assistant devient alors un agent qui interroge vos outils, ce que décrit notre article sur l'agent IA sur mesure.
• La synthèse de tout le corpus : « Résume tous nos contrats » dépasse ce que la recherche de quelques passages peut faire correctement.

Trois façons de le mettre en place

1. Un outil du marché

Les assistants grand public déclinés pour les entreprises permettent de déposer des documents dans un projet ou de connecter un espace documentaire. Par exemple, Mistral affichait le 6 novembre 2026 son offre Le Chat Team à 24,99 $ HT par utilisateur et par mois sur sa page de tarifs. C'est la voie la plus rapide pour un petit volume de documents peu sensibles et des droits d'accès simples.

2. Une brique managée chez un fournisseur cloud

Les grands fournisseurs proposent une recherche documentaire prête à brancher. OpenAI facture ainsi son outil de recherche dans les fichiers 0,10 $ par gigaoctet stocké et par jour (le premier gigaoctet offert) et 2,50 $ pour 1 000 appels, en plus du modèle, selon sa page de tarifs relevée le 6 novembre 2026. AWS propose l'équivalent avec les bases de connaissances Bedrock, que nous décrivons dans notre retour d'expérience sur les agents IA avec AWS Bedrock. Il faut encore développer l'application autour : écrans, connexion des sources, droits, suivi.

3. Un assistant sur mesure, intégré à vos outils

Le développement sur mesure se justifie quand les droits d'accès sont fins (par client, par service, par site), quand l'assistant doit s'intégrer à une application métier existante, ou quand l'hébergement doit rester dans votre environnement.

Données sensibles et RGPD

Dès que vos documents contiennent des données personnelles (noms de clients, dossiers de salariés, échanges avec des fournisseurs), le RGPD s'applique à l'assistant comme à n'importe quel traitement. Les points à régler avant la mise en service :

• Le mode de déploiement. Pour des données personnelles ou une documentation sensible ou stratégique, la CNIL estime, dans les questions-réponses déjà citées, qu'il semble généralement plus opportun et plus sûr de privilégier un déploiement sur site. Entre les deux, un déploiement dans votre propre compte cloud, en région européenne, garde la maîtrise des accès.
• La réutilisation par le fournisseur. Vérifiez par contrat que vos questions et vos documents ne servent pas à améliorer ses modèles, et désactivez l'option quand elle existe.
• La minimisation. N'indexez que les documents utiles à la finalité. Les dossiers RH individuels, les données de santé et les arrêts maladie n'ont rien à faire dans un assistant de procédures.
• Le contrat de sous-traitance avec chaque fournisseur (article 28 du RGPD), et la localisation des données, y compris des sauvegardes et des journaux.
• L'information des salariés, et l'analyse d'impact quand les données sont sensibles ou traitées à grande échelle.

Notre article sur le RGPD dans une application métier détaille ces obligations. Côté réglementation de l'IA, un assistant documentaire interne relève en général des obligations légères de l'AI Act, dont l'information des utilisateurs qu'ils échangent avec une IA.

L'hébergement européen, concrètement

Trois options existent, de la plus simple à la plus maîtrisée : un fournisseur de modèles européen, un grand cloud utilisé en région européenne avec un contrat adapté, ou un modèle ouvert hébergé sur vos propres serveurs ou chez un hébergeur français. La troisième offre le plus de contrôle, au prix de serveurs équipés de cartes graphiques et d'une exploitation à assurer. Le bon choix dépend de la sensibilité des documents, pas d'une préférence de principe.

Les droits d'accès, le point que les démonstrations oublient

Un assistant qui lit tous les documents de l'entreprise peut répondre à n'importe qui avec n'importe quel document. Un commercial qui demande « Quel est le salaire du directeur commercial ? » ne doit pas recevoir d'extrait du contrat de travail, même si le fichier traîne sur le serveur.

La règle de conception est simple : les droits s'appliquent au moment de la recherche, pas dans la consigne donnée au modèle. Chaque passage indexé porte les droits de son document d'origine, et la recherche ne retourne que les passages que la personne a le droit de lire. Le modèle ne peut pas divulguer ce qu'il n'a jamais reçu. Demander au modèle de « ne pas révéler les documents confidentiels » ne protège rien.

Deux conséquences pratiques : les droits doivent être synchronisés avec ceux de la source (un fichier retiré d'un dossier partagé doit disparaître de l'index), et le filtre doit être testé comme du code de sécurité, à chaque modification.

Les limites à connaître

• Les hallucinations ne disparaissent pas. Elles diminuent, parce que le modèle répond à partir de passages précis, mais il peut mal lire un tableau, mélanger deux versions ou combler un vide. Exigez des citations cliquables, et une réponse « je ne sais pas » quand aucun passage ne convient.
• Les documents font la qualité. Trois versions contradictoires d'une même procédure donnent des réponses contradictoires. Le tri des sources est la première étape du projet, pas la dernière.
• Les tableaux et les scans résistent. Un PDF scanné sans reconnaissance de texte, ou un tableau complexe, se lit mal. Prévoyez un traitement dédié pour ces formats.
• L'injection de consignes. Un document peut contenir un texte qui détourne le comportement du modèle. Le Top 10 de l'OWASP pour les applications à base de LLM place ce risque en tête. Un assistant qui ne fait que répondre limite les dégâts ; un agent qui agit dans vos outils demande des garde-fous supplémentaires.
• La qualité se mesure. Constituez une liste d'une cinquantaine de vraies questions avec les réponses attendues, et rejouez-la à chaque changement de modèle, de découpage ou de documents.

Ce que coûte un assistant documentaire

Le coût se répartit en cinq postes.

1. La préparation des documents : inventaire, tri, suppression des doublons et des versions obsolètes. C'est souvent le poste le plus sous-estimé, et il est en partie interne.
2. Le développement : connecteurs vers vos sources, indexation, écran de questions, gestion des droits, journal des échanges.
3. L'usage du modèle, facturé au volume de texte envoyé et produit, compté en jetons.
4. L'hébergement de l'index et de l'application.
5. Le suivi : qualité des réponses, nouveaux documents, évolution des modèles, dans le cadre de la maintenance.

Pour l'usage du modèle, un calcul simple, avec des hypothèses à remplacer par les vôtres : 50 personnes posent 10 questions par jour ouvré, soit environ 10 000 questions par mois. Chaque question envoie au modèle 6 000 jetons (la question et les passages retrouvés) et en reçoit 500. Aux prix relevés le 3 novembre 2026 sur les pages officielles d'Anthropic, d'OpenAI et de Google, que nous détaillons dans notre article sur le coût d'un agent IA, cela donne :

L'écart entre modèles est large, et un modèle d'entrée de gamme suffit souvent quand la recherche a bien fait son travail. Seul un test sur vos questions tranche.

Une méthode en cinq étapes

1. Choisir un seul cas d'usage, avec un public précis et un volume de questions réel : le support interne d'une gamme de produits, les procédures qualité d'un site.
2. Trier les documents de ce périmètre, et désigner qui les tient à jour.
3. Écrire la liste des questions de test, avec les réponses attendues, avant de développer.
4. Construire un premier assistant sur ce périmètre, avec les droits d'accès dès le départ, et le confier à un petit groupe d'utilisateurs.
5. Mesurer : taux de bonnes réponses, questions sans réponse, temps gagné, puis élargir.

Notre article sur l'intégration de l'IA dans une application métier complète cette méthode quand l'assistant doit vivre dans un logiciel existant.

Quand ne pas faire de sur-mesure

Si vos documents tiennent dans un seul espace, que tout le monde a le droit de tout lire et qu'aucune donnée personnelle n'est en jeu, un outil du marché fera l'affaire, plus vite et pour moins cher. Le sur-mesure prend l'avantage quand les droits, l'intégration ou l'hébergement deviennent des exigences.

Par où commencer

Partez d'une question que vos équipes posent dix fois par semaine et dont la réponse existe déjà par écrit. C'est le meilleur test de valeur.

Pour la suite, nous construisons un prototype visuel gratuit, présenté en visio sous 5 jours ouvrés : vous voyez l'écran de questions, les réponses citées et la gestion des droits avant tout développement. Le principe est détaillé dans voir son logiciel avant de le payer.