1. Introduction

L’adoption croissante de l’IA générative, en particulier des grands modèles de langage (LLM), a relancé le débat sur les réglementations en matière d’IA, afin de garantir que les systèmes d’IA/ML sont formés et déployés de manière responsable. Malheureusement, cet effort est compliqué par le fait que différentes organisations gouvernementales et organismes de réglementation publient leurs propres lignes directrices et politiques, avec peu ou pas d’accord sur la définition des termes. Le langage de spécification est également (parfois intentionnellement) maintenu à un niveau si élevé qu’il est difficile de le faire correspondre à un mécanisme de mise en œuvre et d’application. Par exemple, la loi européenne sur l’IA impose un ensemble différent de choses à faire et à ne pas faire en fonction du “niveau de risque” d’une application d’IA. Cependant, quantifier le niveau de risque d’une application d’IA est plus facile à dire qu’à faire car il dépend de multiples paramètres,

et nécessite essentiellement de classer la manière dont les capacités d’un système non déterministe auront un impact sur les utilisateurs et les systèmes susceptibles d’interagir avec lui à l’avenir.

Ainsi, plutôt que d’essayer de comprendre et de réglementer tous les types de systèmes d’IA, nous adoptons une approche différente (et pratique) dans cet article, à savoir

décrire de manière transparente les capacités du système d’IA et fixer des attentes réalistes quant à ce qu’il peut (ou ne peut pas) faire.

Par exemple, cela impliquerait que le fournisseur du système d’IA déclare de manière transparente qu’un modèle a été entraîné sur des données contenant certaines caractéristiques démographiques et qu’il ne peut fournir des prédictions que pour les utilisateurs de ces caractéristiques démographiques – les utilisateurs d’autres caractéristiques démographiques devront faire l’objet d’un traitement manuel. En d’autres termes, le fournisseur du système d’IA précise également les scénarios dans lesquels (selon lui) le système peut commettre des erreurs, et recommande une approche “sûre” avec des garde-fous pour ces scénarios.

Intuitivement, nous pouvons considérer l’approche réglementaire comme un problème de monde ouvert, dans lequel nous essayons de réglementer toutes les différentes façons dont un système peut se comporter (même à l’avenir). En revanche, la proposition de transparence adopte une approche en vase clos, dans laquelle elle tente d’encadrer les capacités connues du système, de sorte que les utilisateurs finaux et les systèmes en aval puissent prendre une décision plus éclairée.

L’approche “transparence” renvoie également la responsabilité aux entreprises / vendeurs, qui doivent être plus transparents en ce qui concerne les détails internes de leurs systèmes d’IA.

Les deux approches peuvent bien sûr fonctionner de manière complémentaire, en fournissant un cadre plus robuste – permettant à l’utilisateur d’avoir confiance dans le système.

2. IA responsable

“L’IA éthique, également connue sous le nom d’IA responsable (ou digne de confiance), est la pratique qui consiste à utiliser l’IA avec de bonnes intentions pour responsabiliser les employés et les entreprises, et avoir un impact équitable sur les clients et la société. L’IA éthique permet aux entreprises de susciter la confiance et de développer l’IA en toute confiance.” [1]

Dans la suite, nous présentons brièvement certains des aspects clés de l’IA responsable : Explicabilité, partialité/équité, responsabilité – avant de présenter les modèles de conception de la solution Gen AI. Le quatrième aspect est celui de la “confidentialité des données”, qui a déjà fait l’objet d’une couverture suffisante à notre avis [2], et il existe des pratiques matures en place dans les entreprises pour répondre à ces préoccupations.

2.1 Explicabilité

L’IA explicable est un terme générique désignant une série d’outils, d’algorithmes et de méthodes qui accompagnent les prédictions des modèles d’IA d’explications. L’explicabilité et la transparence des modèles d’IA figurent clairement en tête de liste des caractéristiques “non fonctionnelles” de l’IA que les entreprises doivent prendre en compte en priorité. Par exemple, cela implique de devoir expliquer pourquoi un modèle de ML a profilé un utilisateur comme faisant partie d’un segment spécifique – ce qui l’a amené à recevoir une publicité. Cet aspect est également couvert par le “droit à l’explicabilité” dans la plupart des réglementations, par exemple le paragraphe ci-dessous est cité dans le cadre de gouvernance de l’IA de Singapour :

“Il convient de noter que l’explicabilité technique n’est pas toujours éclairante, en particulier pour l’homme de la rue. Des explications implicites sur le fonctionnement des algorithmes des modèles d’IA peuvent être plus utiles que des descriptions explicites de la logique des modèles. Par exemple, fournir à une personne des contrefactuels (tels que “vous auriez été approuvé si votre dette moyenne était inférieure de 15 %” ou “il s’agit d’utilisateurs ayant des profils similaires au vôtre qui ont reçu une décision différente”) peut être un type d’explication puissant que les organisations pourraient envisager.”

Le GDPR de l’UE couvre également le “droit à l’explicabilité” – voir les articles ci-dessous :

Limites à la prise de décision fondée uniquement sur le traitement automatisé et le profilage (article 22) Droit de recevoir des informations significatives sur la logique impliquée dans la décision (articles 13 et 15).

Il convient de noter que le GDPR n’impose pas le “droit à l’explicabilité”, mais plutôt le “droit à l’information”. Le GDPR autorise la possibilité d’une prise de décision entièrement automatisée tant que des données personnelles ne sont pas impliquées et que l’objectif n’est pas d’évaluer la personnalité d’un utilisateur – l’intervention humaine est nécessaire dans de tels scénarios.

Les praticiens de l’IA/ML savent que la visibilité des données et du code source n’est pas synonyme d'”explicabilité”. Les algorithmes d’apprentissage automatique (en profondeur) varient dans le niveau de précision et d’explicabilité qu’ils peuvent fournir – il n’est pas surprenant que les deux soient souvent inversement proportionnels.

Par exemple, les algorithmes ML fondamentaux, tels que la régression logistique et les arbres de décision, sont plus faciles à expliquer, car il est possible de retracer les poids et coefficients des variables indépendantes, ainsi que les différents chemins des nœuds aux feuilles d’un arbre. On peut remarquer que l'”explicabilité” devient plus difficile à mesure que l’on passe aux forêts aléatoires, qui sont essentiellement un ensemble d’arbres de décision. À l’extrémité du spectre, on trouve les réseaux neuronaux, qui ont fait preuve d’une précision de niveau humain. Il est très difficile d’établir une corrélation entre l’impact d’un (hyper)paramètre attribué à une couche du réseau neuronal et la décision finale – dans un réseau neuronal profond (multicouche). C’est également la raison pour laquelle l’optimisation d’un réseau neuronal reste actuellement un processus très ad-hoc et manuel – souvent basé sur l’intuition du scientifique des données [3].

Il est également important de comprendre qu’une “explication” peut avoir des significations différentes selon les utilisateurs.

“L’important est d’expliquer la bonne chose à la bonne personne, de la bonne manière et au bon moment” [4]

Le bon niveau d’abstraction des explications dépend de l’objectif, de la connaissance du domaine et des capacités de compréhension de la complexité des sujets. Il est juste de dire que la plupart des cadres d’explicabilité actuels sont destinés aux développeurs d’IA/ML.

L’amélioration de l’explicabilité des modèles est un domaine de recherche actif au sein de la communauté AI/ML, et des progrès significatifs ont été réalisés dans les cadres d’explicabilité agnostiques des modèles. Comme leur nom l’indique, ces cadres séparent l’explicabilité du modèle, en essayant de corréler les prédictions du modèle aux données d’apprentissage, sans avoir besoin de connaître les éléments internes du modèle.

Par exemple, l’un des cadres d’explicabilité agnostique des modèles les plus connus est celui des explications agnostiques des modèles interprétables localement (Local Interpretable Model-Agnostic Explanations – LIME). LIME est “une nouvelle technique d’explication qui explique les prédictions de n’importe quel classificateur d’une manière interprétable et fidèle en apprenant un modèle interprétable localement autour de la prédiction”. LIME fournit des explications faciles à comprendre (approximatives) d’une prédiction en formant un modèle d’explicabilité basé sur des échantillons autour d’une prédiction. Il les pondère ensuite en fonction de leur proximité avec la prédiction originale. La nature approximative du modèle d’explicabilité peut limiter son utilisation pour des besoins de conformité.

Par exemple, l’image ci-dessous montre la sortie LIME d’un réseau neuronal artificiel (RNA) formé sur un sous-ensemble de données sur les prix des logements en Californie. Il montre les caractéristiques importantes qui ont un impact positif ou négatif sur la prédiction du modèle.

As mentioned, this is an active research area, and progress continues to be made with the release of more such (sometimes model-specific) explainability frameworks and tools.

2.2 Préjugés et équité

[5] définit le biais de l’IA/ML “comme un phénomène qui se produit lorsqu’un algorithme produit des résultats qui sont systématiquement préjudiciables en raison d’hypothèses erronées dans le processus d’apprentissage automatique”.

Les biais dans les modèles d’IA/ML sont souvent involontaires, mais ils ont été observés bien trop fréquemment dans les cas d’utilisation déployés pour être pris à la légère. Google Photo qualifiant de “gorille” les photos d’un programmeur haïtien-américain noir, ou les images plus récentes de “Barack Obama blanc”, sont des exemples de modèles d’intelligence artificielle discriminant en fonction du sexe, de l’âge, de l’orientation sexuelle, etc. La nature involontaire de ces biais n’empêchera pas votre entreprise de se voir infliger des amendes par des organismes de réglementation ou de faire face à des réactions négatives du public sur les médias sociaux, ce qui entraînera une perte d’activité. Même sans les répercussions susmentionnées, il est tout simplement éthique que les modèles d’IA/ML se comportent de manière équitable envers tout le monde, sans aucun préjugé. Toutefois, définir l'”équité” est plus facile à dire qu’à faire. L’équité signifie-t-elle, par exemple, que la même proportion de candidats masculins et féminins obtiennent des résultats élevés en matière d’évaluation des risques ? Ou que le même niveau de risque se traduise par le même score, quel que soit le sexe ? Il est impossible de répondre à ces deux définitions en même temps [6].

Les biais se glissent dans les modèles d’IA, principalement en raison des biais inhérents déjà présents dans les données d’apprentissage. La partie “données” du développement d’un modèle d’IA est donc essentielle pour lutter contre les biais.

[7] fournit une bonne classification

L’accent est mis sur les types de biais liés aux “données d’apprentissage”,

Biais historique : il est dû à l’inégalité historique des décisions humaines capturées dans les données d’apprentissage.

Biais de représentation : il est dû à des données d’apprentissage qui ne sont pas représentatives de la population réelle.

Biais de mesure et d’agrégation : il est dû à une sélection et à une combinaison inadéquates des caractéristiques.

Une analyse détaillée des données d’apprentissage est nécessaire pour s’assurer qu’elles sont représentatives et uniformément réparties sur la population cible, en ce qui concerne les caractéristiques sélectionnées. L’explicabilité joue également un rôle important dans la détection des biais dans les modèles d’IA/ML.

En termes d’outils, TensorFlow Fairness Indicators (lien) est un bon exemple de bibliothèque qui permet de calculer facilement des mesures d’équité communément identifiées.

Il est important de mentionner ici que la détection des biais n’est pas une activité ponctuelle. Comme pour le suivi de la dérive des modèles, nous devons prévoir la détection des biais sur une base continue (en temps réel). Avec l’arrivée de nouvelles données (y compris les boucles de rétroaction), un modèle qui n’est pas biaisé aujourd’hui peut le devenir demain. C’est par exemple ce qui s’est passé avec le chatbot IA “teen girl” de Microsoft qui, quelques heures après son déploiement, a appris à devenir un “robot sexuel aimant Hitler”.

2.3 Responsabilité

Comme dans le débat sur les voitures autonomes, il s’agit de savoir “qui est responsable” en cas d’accident. S’agit-il de l’utilisateur, du constructeur automobile, de l’assureur ou même de la municipalité (en cas de problème avec la route ou la signalisation) ? Le même débat s’applique également aux modèles d’IA – qui est responsable si quelque chose ne va pas, par exemple, comme expliqué ci-dessus dans le cas du déploiement d’un modèle d’IA biaisé.

Nous présentons ci-dessous quelques questions (sous la forme d’une liste de contrôle) que vous devez examiner/clarifier avant de signer le contrat avec le fournisseur Gen AI de votre choix :

• Responsabilité : Étant donné que nous nous engageons avec un tiers, dans quelle mesure celui-ci est-il responsable ? Cette question est délicate à négocier et dépend de la mesure dans laquelle le système d’IA peut fonctionner de manière indépendante. Par exemple, dans le cas d’un Chatbot, si le bot n’est autorisé à fournir qu’un résultat limité (par exemple, répondre à l’utilisateur avec un nombre limité de réponses pré-approuvées), le risque sera probablement beaucoup plus faible que dans le cas d’un bot ouvert comme ChatGPT qui peut générer de nouvelles réponses.
• Propriété des données : Les données sont essentielles pour les systèmes d’IA, et la négociation des questions de propriété concernant non seulement les données d’apprentissage, mais aussi les données d’entrée, les données de sortie et les autres données générées est donc cruciale. Par exemple, la connaissance des messages-guides (requêtes de l’utilisateur) et des réponses du chatbot est très importante pour améliorer les performances du robot au fil du temps.
• Clauses de confidentialité : Outre la confidentialité des données (de formation), souhaitons-nous empêcher le fournisseur de donner à ses concurrents l’accès au modèle formé / affiné, ou au moins à toute amélioration apportée à ce modèle – en particulier si cela lui confère un avantage concurrentiel ?

3. Conception de solutions

Jusqu’à présent, nous avons mis en évidence les aspects clés du développement et du déploiement des modèles d’IA/ML que nous devons commencer à aborder dès aujourd’hui – dans le cadre d’un cadre holistique d’IA responsable pour les entreprises.

Comme pour tout dans la vie, et en particulier dans l’IA, il n’y a pas de noir ou de blanc et une politique générale en matière d’IA imposant l’utilisation de modèles d’IA/ML explicables n’est pas optimale – ce qui implique de passer à côté de ce que les algorithmes non explicables peuvent apporter.

En fonction du cas d’utilisation et des réglementations géographiques, il y a toujours une marge de négociation. Les réglementations relatives aux différents cas d’utilisation (par exemple, le profilage, la prise de décision automatisée) diffèrent d’un pays à l’autre. En ce qui concerne la partialité et l’explicabilité, nous disposons d’un éventail complet allant de “totalement explicable” à “partiellement explicable, mais vérifiable”, en passant par “totalement opaque, mais avec une très grande précision”. Dans ces conditions, il est nécessaire de constituer une équipe compétente et interdisciplinaire (composée au minimum de représentants des services informatiques, juridiques, d’approvisionnement et commerciaux), souvent appelée comité d’éthique de l’IA, qui puisse prendre de telles décisions de manière cohérente, dans le respect des valeurs et de la stratégie de l’entreprise.

3.1 Principes de conception des solutions

Dans cette section, nous examinons les principes de conception qui permettent une approche “transparente” de la spécification des capacités (et des limites) de l’application d’IA générique, en fixant des attentes réalistes pour l’utilisateur.

Plutôt que d’essayer d’inventer un nouveau cadre, nous nous inspirons de Microsoft, “favorable aux entreprises”, de Google, “favorable aux développeurs”, et d’Apple, “favorable aux utilisateurs”, pour permettre cette approche “transparente” de la conception du système d’IA générique. Jetons un coup d’œil aux cadres de conception de l’IA recommandés par ces trois leaders :

Guidelines for Human-AI Interaction de Microsoft

People + AI Guidebook de Google

Apprentissage automatique : Human Interface Guidelines d’Apple

La figure ci-dessous consolide les principes et les meilleures pratiques des trois spécifications au cours des différentes phases d’un pipeline LLMOps (MLOps pour LLMs) [8].

Source : (37) Responsible Generative AI Design Patterns | LinkedIn