Les systèmes d’IA basés sur ces algorithmes émettent souvent des prédictions sans que l’on, concepteur ou utilisateur de l’IA, ne puisse comprendre ce qui motive la prédiction. Ces systèmes sont surnommés “boîtes noires'' du fait de l’opacité du traitement des données qui y est fait.

Le phénomène des boîtes noires et la défiance naturelle qu’elles génèrent est un frein majeur à l’adoption de l’IA. Un effort doit être porté sur la R&D d’une IA de confiance afin de trouver une forme d’explicabilité pour chaque algorithme, même les plus complexes.

Dans les actions à mettre en place pour créer une IA de confiance (Explicabilité / Confidentialité / Frugalité / Équité), l’XAI revêt une importance particulière car elle concerne le modèle dans son ensemble, incluant algorithmes et données. La confiance devient alors la responsabilité du créateur de l’IA, de celui qui a conçu le modèle, qui a choisi l’algorithme. 

De nombreux éditeurs de logiciels, dont les solutions sont utilisées avec malveillance, se réfugient derrière l’excuse de la neutralité de leur algorithme. Ils veulent faire reposer la faute sur l’utilisateur final et son usage de l’outil, se dédouanant de toute responsabilité éthique. 

Les réseaux sociaux en sont l'exemple le plus éloquent. Ils préfèrent ne pas avoir à expliquer leurs algorithmes, quitte à en perdre le contrôle, plutôt que d’endosser la responsabilité éthique de leur création. La raison même de l’explicabilité est d’empêcher ces dérives et de permettre une IA de confiance.

En plus de ces aspects éthique et réglementaire, l’explicabilité possède surtout un intérêt opérationnel. L’exemple de la voiture autonome est sans doute le plus parlant sur ce que peut et doit apporter l’explicabilité (XAI) à notre quotidien. Que ce soit du point de vue du concepteur ou de l’utilisateur final, l’XAI permet d’accéder aux trois niveaux d’appréhension de l’IA : 

• La compréhension ou savoir en détail ce que fait l’IA et ce qui l’influence.
• La maîtrise ou savoir ce que peut faire l’IA
• La confiance ou savoir ce que ne peut pas faire l’IA

Intérêt de l’XAI du point de vue concepteur

Le processus de création d’un modèle de machine learning est le plus souvent constitué de trois phases : conception,  entraînement et évaluation avec une logique itérative jusqu’à “figer” le modèle tel qu’on le souhaite pour le passer en production. 

L’explicabilité révèle ici son premier grand intérêt opérationnel. Avec une meilleure compréhension de la recette algorithmique, le concepteur peut choisir de ne pas passer son modèle en production si les explications ne sont pas satisfaisantes, malgré de bons résultats statistiques. Il peut ainsi relancer une itération “conception,  entraînement, évaluation” et éviter de déployer une IA incertaine.

L’XAI permet de comprendre ce que l’algorithme fait lors de la phase d'entraînement et offre l’opportunité de : 

1. corriger ce qu’il fait (compréhension), 
2. connaître son potentiel, savoir ce qu’il peut faire (maîtrise) et 
3. d’entrevoir ses limites (confiance) 

L’XAI permet de vérifier que le modèle que l’on construit correspond bien à ce que l’on souhaitait modéliser et permet ainsi d'accélérer la phase de développement en aidant les Data Scientist à “figer” le modèle en toute confiance pour le passer en production. 

Lors de la phase de déploiement du modèle en production, celui-ci sera confronté aux données dynamiques et il faudra alors de nouveau faire appel à l’explicabilité pour :

1. Débugger et comprendre les erreurs de conceptions qui n’ont pas pu émerger par le simple entraînement du modèle avec des données statiques (compréhension).
2. Comprendre comment le modèle fait sa prédiction (maîtrise). Prenons l’exemple d’une voiture autonome qui s’arrête au niveau d’un panneau Stop. Il faut évidemment que le modèle fasse s’arrêter la voiture à chaque fois, sans exception. Il est cependant capital de comprendre comment la voiture s’arrête au panneau, quel est son niveau de compréhension. Est-ce qu’elle reconnaît le panneau stop ou est-ce qu’elle va s’arrêter à tous les panneaux rouge ? Est-ce qu’elle est capable de s'adapter à des données inconnues comme la dégradation du panneau (stickers, déformations, etc.) ? 
3. Savoir ce que le modèle de Machine Learning ne peut pas faire et savoir comment il va réagir face à des données inconnues (confiance). L’explicabilité permet d’être sûr que le modèle réagira bien à un cas non anticipé à l'entraînement, là où une simple évaluation statistique ne pourra pas aider. Pour continuer avec l’exemple de la voiture autonome, il a été reporté plusieurs cas de voitures s’arrêtant sans raison au milieu d’une voie. Le seul paramètre commun entre ces cas, est qu’ils se sont tous passés de nuit. Ici s’arrête l’évaluation statistique, l’XAI a permis en revanche de comprendre que l’IA de ces voitures confondait la lune, avec des feux de circulation.

Intérêt de l’XAI du point de vue utilisateur

Du point de vue de l’utilisateur final, l’explicabilité recouvre également un intérêt majeur. Nous pensons que l’XAI a un rôle déterminant dans l'adoption de l’IA par le grand public, en permettant une IA de confiance et en fluidifiant l’expérience utilisateur. L’adoption par le plus grand nombre est une étape aujourd’hui indispensable au développement de l’IA. 

Si les éditeurs de logiciels veulent continuer à promouvoir l’intelligence artificielle, il leur faut ouvrir la boîte noire, exposer et expliquer ses rouages. Il faut donner des éléments de compréhension à l’utilisateur final pour le maintenir dans la boucle de décision : doit-il ou non suivre les prédictions ou recommandations de l’IA ?

Tout comme pour les concepteurs, les utilisateurs d’IA doivent avoir accès aux trois niveaux d’appréhension de l’IA :

• La compréhension ou savoir en détail ce que fait l’IA et ce qui l’influence.
• La maîtrise ou savoir ce que peut faire l’IA
• La confiance ou savoir ce que ne peut pas faire l’IA

Comprendre l’IA

Pour comprendre un service utilisant une intelligence artificielle, chaque utilisateur doit être en mesure de pouvoir remettre en question les décisions prises par l’algorithme : 

• Comment ma voiture autonome va détecter les lignes au sol ?‍
• Pourquoi cette IA me recommande tel contenu ?‍
• Sur quel critère attribue-t-on le planning d’un travailleur ou le cours d’un étudiant ?
• D’où vient ma consommation d’énergie ?

Il est possible de garder l’humain dans la boucle de l’IA. Cela passe par l’utilisation de méthodes d’XAI.

Maîtriser l’IA

Pour maîtriser une intelligence artificielle, il faut savoir ce qu’elle est en mesure de faire et comprendre les interactions entre les données et leurs causes :

• Savoir que ma voiture autonome va bien serrer à droite ou à gauche selon le pays où je suis.
• Comprendre les manques qui ont entraîné une recommandation
• Savoir que l’attribution d’un planning ou d’un cours a été faite de manière équitable
• Pouvoir agir sur ma consommation d’énergie pour économiser et moins polluer.

L’enjeu de la maîtrise de l’IA est de pouvoir créer une complémentarité capacitante entre l’humain et l’algorithme. Renforcer l’humain par la machine ne peut être envisageable que dans le cadre d’une IA de confiance, notamment grâce à l’explicabilité.

Faire confiance à l’IA 

L’XAI est le pilier d’une IA de confiance où se retrouve l’équité (supprimer les biais et discriminations présents dans les données) la frugalité (minimiser la quantité d’énergie nécessaire pour entraîner les modèles), et la confidentialité (respecter la vie privée et la confidentialité des données). 

La confiance repose sur des preuves tangibles, elle est le résultat de la compréhension et de la maîtrise. 

Un modèle de ML se construit sur un ensemble limité de données passées. Avoir des explications sur son fonctionnement permettra d’avoir confiance en son comportement en production, notamment s’il est confronté à des données qu’il n’a jamais vues.

C’est le rôle de l’explicabilité que d’aller au-delà des garanties statistiques pour convaincre le plus grand nombre qu’une IA de confiance, qui garde l’humain au cœur de la technologie, est possible et déjà opérationnelle.

Développer la confiance pour encourager l’adoption est également l’approche retenue par l’Union européenne. Soucieuse de créer un environnement sûr et propice à l’innovation, la Commission européenne a proposé en 2021 une batterie d’initiatives qui contribueront à renforcer l’IA de confiance et faire de l’explicabilité la norme en intelligence artificielle.

Pour en savoir plus sur les engagements et la vision de Craft AI 

Le cas particulier des GPAI (Modèles d'IA à usage général) : Les grands modèles de langage (LLM) comme Mistral AI, OpenAI ou Claude entrent dans un régime propre. Soumis à une application progressive, ils nécessitent des analyses d'impact approfondies pour évaluer les risques selon s’ils sont utilisés bruts, fine-tunés ou intégrés via API.

‍

3. La Méthode "RADAR" pour Auditer ses Cas d'Usage

Développée par Xavier Trigano, la méthode RADAR permet à toute organisation de piloter sa mise en conformité de manière itérative :

• R – Recenser : Cartographier exhaustivement tous les cas d'usage de l'entreprise (outils internes pour les collaborateurs et solutions commercialisées).
• A – Attribuer les rôles : Identifier si l'organisation agit en tant que Fournisseur de modèle, Fournisseur de système d'IA, Intégrateur ou Déployeur (utilisateur final). Une même entreprise peut cumuler plusieurs rôles.
• D – Déterminer le risque : Qualifier le niveau de risque selon le type de cas d’usage et sa finalité (Inacceptable ? Haut risque ? Limité ? Faible ?).
• A – Appliquer les mesures : Mettre en œuvre les actions techniques et organisationnelles requises par le niveau de risque identifié.
• R – Rédiger la documentation : Constituer le registre et les preuves de conformité (similaire à la logique de l'accountability du RGPD).

Focus "AI by Design" - L'exemple du tri automatique de CV : Un outil RH qui exclut ou accepte des candidats de manière 100 % autonome est classé "Haut Risque", avec un coût de conformité très lourd. La méthode RADAR recommande plutôt une approche by design : modifier les fonctionnalités de l'outil pour en faire un simple système d'aide à la décision (qui extrait les compétences clés du CV mais laisse la validation finale à un recruteur humain). L'outil apporte la même valeur métier, mais bascule en risque limité, allégeant drastiquement les contraintes légales.

‍

4. FAQ : Shadow IT, RGPD et Souveraineté

Comment lutter contre le Shadow AI en entreprise ?

L'interdiction pure et simple ne fonctionne pas. Pour maîtriser l'usage des LLM par les collaborateurs, la réponse doit être transverse :

• Définir un catalogue d'usages autorisés sur la base d'outils sécurisés mis à disposition.
• Utiliser des solutions technologiques de DLP (Data Loss Prevention) pour bloquer le chargement de données sensibles vers des LLM tiers.
• Mettre à jour la charte informatique et le règlement intérieur.

L'usage des LLM (ChatGPT, Claude...) viole-t-il le RGPD ?

Ce n'est pas l'outil qui caractérise la violation, mais la finalité de l'usage. Reformuler une campagne marketing sur Claude ne présente aucun risque RGPD. En revanche, y injecter l'intégralité du fichier RH de la pyramide des âges de l'entreprise sans précaution constitue un manquement grave.

Des alternatives souveraines (hébergées on-premise ou sur des clouds français/européens) permettent de pallier les risques liés au Cloud Act américain tout en garantissant une efficacité équivalente.

Comment encadrer mes équipes dans leur utilisation de l’IA ?

L'IA Act impose une obligation de formation pour tous les utilisateurs au sein de l'organisation. L'IA pouvant se tromper ou halluciner, seul l'esprit critique de l'humain formé permet de couvrir ce risque résiduel et d'assurer un contrôle qualité efficace.

‍

5. Conclusion : L'IA Act, un levier de confiance et de compétitivité

L'IA Act ne doit pas être perçu comme un frein à l’innovation, mais comme un cadre de confiance.

En intégrant la conformité dès la conception des projets, l'IA devient un levier pérenne de performance économique, d'acceptabilité sociale et de souveraineté.

‍

Envie de développer votre agent IA sur-mesure conforme à la réglementation AI Act ? Contactez nos équipes.

‍

‍

Et accédez au replay de ce webinaire dès maintenant !