On parle partout des avancées fulgurantes de l'intelligence artificielle et des fameux LLM (les grands modèles de langage). Mais savez-vous vraiment ce qui se cache derrière nos assistants du quotidien ? 

Pour répondre à cette question : Matteo Dora, CTO de Giskard, Amaia Cardiel, PhD candidate chez Valeo et Yann Eric CHOHO, PhD Candidate in Machine Learning chez Ekimetrics se sont réunis autour d’une table ronde lors de notre dernier Petit Dej’ de l’IA.

‍

Quand les métriques sont limitées : une bonne réponse pour de mauvaises raisons

Amaia, applique ses recherches à un domaine où l'erreur est interdite : la voiture autonome. Pour auditer ses modèles de conduite, elle utilise un outil appelé ”explication contre-factuelle.”

Le principe ? Trouver la modification minimale à faire sur une image ou un texte pour que l'IA change radicalement de décision. (Exemple : Si la voiture va tout droit, quel micro-détail l'aurait poussée à tourner à droite ?).

Dans son cas, le modèle de voiture autonome avait amalgamé accélérer et dépasser : passé une certaine vitesse, celle-ci se déportait systématiquement sur la voie de gauche. 

Pourquoi ? Parce qu'elle avait bêtement appris par cœur ses données d'entraînement : dans la réalité, quand on double, on accélère et on se déporte à gauche. Sur le papier, les scores de l'IA étaient parfaits. En pratique, elle fonctionnait pour de mauvaises raisons. Sans cette analyse, le biais serait resté invisible.

L’explicabilité à permis de relier la situation à la prise de décision et cela à permis de la rendre actionnable et de résoudre ce comportement problématique.

L’IA boîte noire, attention aux pièges

Pour comprendre comment pense une IA, Matteo utilise une méthode plutôt originale : il s'inspire des neurosciences.

« Dans les neurosciences, on ne peut pas observer le comportement directement à l'intérieur du cerveau. On propose des tâches et on mesure la réaction. On fait à peu près la même chose avec les modèles. »

C'est ce qu'on appelle l'approche "boîte noire". On ne sait pas exactement ce qui se passe à l'intérieur, alors on teste le modèle pour construire son profil.

Par exemple, évaluer la théorie de la musique s’avère beaucoup plus compliqué en raison de sa singularité. 

Les capacités des LLM sur ce sujet sont aussi limitées pour les mêmes raisons. 

Cependant, attention au piège : mieux vaut aucune explication qu’une explication fallacieuse. Une fausse justification donne une confiance aveugle à l'utilisateur…

De plus, cette approche “boîte noire” rencontre très vite ses limites, notamment dans le cadre juridique (comme l’AI act par exemple) qui requiert une transparence irréprochable du modèle. 

La RGPD, elle demande de l’explicabilité dans le cadre d’une décision automatisée, l’utilisateur est en droit de l’obtenir....

De la boîte noire à la "boîte de verre"

Yann Eric, doctorant en IA, préfère d'ailleurs parler de "boîte de verre" (Glass Box). On peut voir tous les chiffres et les paramètres à l'intérieur, mais on ne sait tout simplement pas lire ce langage codé.

Pour décrypter le fonctionnement d’une IA, il travaille sur les concepts.

Pour qu'une IA reconnaisse un oiseau, elle va chercher des concepts intermédiaires : un bec, des ailes, des pattes. Le but de ses recherches est de forcer l'IA à valider ces concepts humains avant de donner sa réponse. En modifiant ces concepts, on peut corriger la trajectoire du modèle en temps réel.

Car l'IA ne pense pas comme nous : elle adore les co-occurrences. Associez trop souvent un joueur de foot à un pays dans ses données, et elle se trompera de nationalité dès que vous changerez le contexte.

Vous aussi profitez du regard de l’expert !

Vous avez sûrement remarqué que les nouveaux modèles (comme ceux typés Reasoning) affichent leur "chaîne de pensée" (Chain of Thought) avant de donner la réponse finale. On a l'impression d'assister à une vraie réflexion.

Grosse erreur ! Les chercheurs sont unanimes : ce texte n'est qu'une justification construite après coup (post-hoc). Ce n'est pas le reflet fidèle de ce qui a poussé la machine à choisir sa réponse. Une IA peut dérouler un raisonnement parfait... et donner un résultat complètement faux (ou l'inverse).

De plus, ces modèles ont des angles morts hallucinants. Un LLM capable de résoudre de la mécanique quantique ou des maths ultra-complexes peut se tromper sur des notions de base.

Les bonnes pratiques de nos intervenants : 3 astuces pour dompter l'IA

Puisque l'IA reste une immense machine statistique, c'est à nous, humains, de garder le contrôle. Voici les 3 conseils des experts pour vos prompts quotidiens :

1. Multipliez les cerveaux : Posez la même question à deux ou trois IA différentes et regardez si les réponses convergent.
2. N’oubliez pas votre regard critique : Ne prenez jamais la première réponse pour acquise. Demandez-vous : « Es-tu sûr ? » ou donnez-lui un contre-exemple pour voir si elle campe sur ses positions ou si elle panique.
3. Exigez des preuves : Demandez-lui systématiquement de citer ses sources, et allez vérifier vous-même.

‍

Envie de déployer des IA fiables et explicables plutôt que des “boites noires” opaques ? Contactez nos experts !

‍

Le cas particulier des GPAI (Modèles d'IA à usage général) : Les grands modèles de langage (LLM) comme Mistral AI, OpenAI ou Claude entrent dans un régime propre. Soumis à une application progressive, ils nécessitent des analyses d'impact approfondies pour évaluer les risques selon s’ils sont utilisés bruts, fine-tunés ou intégrés via API.

‍

3. La Méthode "RADAR" pour Auditer ses Cas d'Usage

Développée par Xavier Trigano, la méthode RADAR permet à toute organisation de piloter sa mise en conformité de manière itérative :

• R – Recenser : Cartographier exhaustivement tous les cas d'usage de l'entreprise (outils internes pour les collaborateurs et solutions commercialisées).
• A – Attribuer les rôles : Identifier si l'organisation agit en tant que Fournisseur de modèle, Fournisseur de système d'IA, Intégrateur ou Déployeur (utilisateur final). Une même entreprise peut cumuler plusieurs rôles.
• D – Déterminer le risque : Qualifier le niveau de risque selon le type de cas d’usage et sa finalité (Inacceptable ? Haut risque ? Limité ? Faible ?).
• A – Appliquer les mesures : Mettre en œuvre les actions techniques et organisationnelles requises par le niveau de risque identifié.
• R – Rédiger la documentation : Constituer le registre et les preuves de conformité (similaire à la logique de l'accountability du RGPD).

Focus "AI by Design" - L'exemple du tri automatique de CV : Un outil RH qui exclut ou accepte des candidats de manière 100 % autonome est classé "Haut Risque", avec un coût de conformité très lourd. La méthode RADAR recommande plutôt une approche by design : modifier les fonctionnalités de l'outil pour en faire un simple système d'aide à la décision (qui extrait les compétences clés du CV mais laisse la validation finale à un recruteur humain). L'outil apporte la même valeur métier, mais bascule en risque limité, allégeant drastiquement les contraintes légales.

‍

4. FAQ : Shadow IT, RGPD et Souveraineté

Comment lutter contre le Shadow AI en entreprise ?

L'interdiction pure et simple ne fonctionne pas. Pour maîtriser l'usage des LLM par les collaborateurs, la réponse doit être transverse :

• Définir un catalogue d'usages autorisés sur la base d'outils sécurisés mis à disposition.
• Utiliser des solutions technologiques de DLP (Data Loss Prevention) pour bloquer le chargement de données sensibles vers des LLM tiers.
• Mettre à jour la charte informatique et le règlement intérieur.

L'usage des LLM (ChatGPT, Claude...) viole-t-il le RGPD ?

Ce n'est pas l'outil qui caractérise la violation, mais la finalité de l'usage. Reformuler une campagne marketing sur Claude ne présente aucun risque RGPD. En revanche, y injecter l'intégralité du fichier RH de la pyramide des âges de l'entreprise sans précaution constitue un manquement grave.

Des alternatives souveraines (hébergées on-premise ou sur des clouds français/européens) permettent de pallier les risques liés au Cloud Act américain tout en garantissant une efficacité équivalente.

Comment encadrer mes équipes dans leur utilisation de l’IA ?

L'IA Act impose une obligation de formation pour tous les utilisateurs au sein de l'organisation. L'IA pouvant se tromper ou halluciner, seul l'esprit critique de l'humain formé permet de couvrir ce risque résiduel et d'assurer un contrôle qualité efficace.

‍

5. Conclusion : L'IA Act, un levier de confiance et de compétitivité

L'IA Act ne doit pas être perçu comme un frein à l’innovation, mais comme un cadre de confiance.

En intégrant la conformité dès la conception des projets, l'IA devient un levier pérenne de performance économique, d'acceptabilité sociale et de souveraineté.

‍

Envie de développer votre agent IA sur-mesure conforme à la réglementation AI Act ? Contactez nos équipes.

‍

‍

Et accédez au replay de ce webinaire dès maintenant !