L'intelligence artificielle sous contrôle

Les algorithmes ont beau dos. À force d'automatiser les processus et de se reposer de plus en plus sur l'intelligence artificielle, on en oublierait presque de faire attention à ce que les machines ne reproduisent pas nos préjugés et les discriminations qui dominent dans nos sociétés. Si une personne racisée est écartée d'un processus de recrutement par un·e recruteur·euse raciste, la machine peut-elle faire mieux ? En théorie oui, mais cela dépend des paramètres et des données qu'on lui a fournis au préalable. Des enjeux de société qui préoccupent les professionnel·le·s du secteur ainsi que des activistes qui militent pour plus de contrôle. Oyidiya Oji est l'une d'entre eux·elles. Elle était récemment à Luxembourg pour donner une conférence (en anglais) organisée par Lëtz Rise Up intitulée "Discrimination fondée sur l'intelligence artificielle : que devons-nous faire ?"

Cette dernière n'est pas issue du monde de la tech, mais elle s'est vite intéressée au sujet : "En janvier 2020, j'ai quitté mon emploi et, à ce moment-là, j'écoutais un podcast sur la technologie qui disait qu'il fallait plus de personnes de couleur dans ce secteur. Je me suis alors dit que je devrais peut-être faire quelque chose de différent parce que j'ai une formation en commerce." Elle a alors suivi un bootcamp en data science (programme intensif de développement de logiciels, ndlr) afin d’apprendre les bases de la programmation. Et de s'informer sur ce qui se passait dans le secteur. "J'ai commencé à lire qu'aux États-Unis, par exemple, des voitures sans conducteur s'écrasaient ou avaient plus de chances de s'écraser contre des femmes, surtout s'il s'agissait de femmes de couleur ou de personnes souffrant d'un handicap quelconque, car la voiture ne voit pas les peaux plus foncées. Dans ce cas, comme les ingénieurs sont souvent des hommes, ils se disent que, bien sûr, ça marche. Mais ça marche pour eux. Certaines personnes. J'ai également vu une vidéo d'un homme qui se trouvait dans un hôtel et qui essayait juste de tendre sa main sous le distributeur de savon. Cela ne fonctionnait pas. Il a alors pris un morceau de papier blanc. Et là, ça a marché."

À partir de ce postulat la jeune femme s'est renseignée de plus en plus sur ce phénomène. Les minorités "oubliées" des algorithmes. En tant que femme noire, Oyidiya Oji est tombée dans une spirale d'informations. Les histoires s'enchaînaient et se ressemblaient : "Il ne s'agit pas seulement de racisme. Cela commence par le racisme, mais aussi par les femmes, qui représentent la moitié de la population. Nous ne produisons pas de technologie, ce qui est toujours un problème. Par exemple, je me souviens qu'au début des montres intelligentes il y avait toutes sortes d'applications que vous pouviez imaginer, mais il n'y en avait pas pour suivre les cycles menstruels. Personne n'y avait pensé."

La jeune activiste a donc décidé de mener la lutte à un niveau professionnel : "Aujourd'hui, je travaille avec des personnes qu'à l'époque je ne faisais qu'écouter lors de conférences." Elle a rejoint depuis septembre dernier le réseau européen contre le racisme (European Network Against Racism – ENAR) comme Policy and Advocacy Advisor for Digital Rights (Conseillère politique et plaidoyer pour les droits numériques). Ce qui l'a fait s'intéresser particulièrement à ce sujet, c'est le postulat du secteur de relayer l'idée que les machines sont forcément neutres. "J'ai commencé parce que ce secteur défend l'idée que l'IA est neutre. Elle ne voit pas les couleurs. Elle ne voit pas les couleurs, mais elle peut voir où les gens vivent. Je veux dire que l'endroit où vous vivez, vous pouvez déjà savoir plus ou moins l'origine des gens, leur statut social ou leur salaire moyen. Il y a beaucoup d'informations qui sont plus que des couleurs en fin de compte. Au Luxembourg on peut utiliser votre pays de naissance, ou le pays de naissance de vos parents, ça c'est dans la base de données. Donc il y a beaucoup de systèmes comme cela qui peuvent retracer vos origines." C'est également ce que pense Maryam Khabirpour, audit partner chez Deloitte : "Nous pourrions penser que tout ce qui est produit par un outil ou par une machine, tout ce qui est produit par un modèle, est neutre par nature. Mais ce n'est pas neutre. Parce qu'il est alimenté par des êtres humains et que les êtres humains ne sont absolument pas neutres. Nous transférons donc nos propres préjugés sur les machines, ce qui peut être considéré comme l'éducation transmise aux enfants."

Des informations sensibles pour lesquelles les employé·e·s du secteur ne voient souvent pas de problème ou de sources d'éventuelles discriminations : "Bien sûr, les personnes qui forment ces données et les testent n'en sont pas conscientes dans de nombreux cas, car tous les collègues et les personnes qui travaillent sur ce sujet ont une formation très spécifique. Habituellement, et selon qu'ils travaillent ou non dans l'industrie technologique, il y a souvent une compensation pour les employés qui recommandent quelqu'un. Quel genre de personnes recommandez-vous ? Des personnes comme vous, poursuit Oyidiya Oji.

Des données factuelles qui alimentent les algorithmes, mais qui doivent être remise dans leur contexte. C'est ce qu'explique Emilia Tantar, Chief Data and Artificial Intelligence Officer chez Blackswan Luxembourg ainsi que cheffe de la délégation luxembourgeoise de l'AI standardization : "Prenons par exemple votre niveau de risque à recevoir un prêt, c'est habituellement attribué subjectivement par une institution financière. C'est également un exemple qui est lié au Luxembourg parce que si nous prenons les données passées que nous avons, si je me souviens bien les femmes des années 1970 n'étaient pas autorisées à souscrire des prêts. Donc, si nous prenons une certaine information, les femmes sont moins susceptibles de rembourser. Il s'agit donc bien sûr d'un type de biais dans le domaine financier."

Ce qui intéresse de son côté Oyidiya Oji, c'est bien que les progrès techniques ne se fassent pas au détriment des femmes et des minorités qui sont souvent employé·e·s pour faire le ménage sur la toile, notamment pour la modération de contenus : "On parle d'innovation, mais quel type d'innovation et pour qui ? Si c'est pour les personnes qui ont toujours innové, oui, bien sûr. Ils vont très loin, ils iront même sur la lune et sur Mars. Mais qu'en est-il des personnes qui sont juste derrière, avec des salaires très bas, et qui essaient de s'assurer que certains types de personnes reçoivent l'information d'une manière qui n'est pas nuisible ? Ainsi, par exemple, lorsque vous recevez sur votre fil d'information de n'importe quel réseau social une information qui n'est pas nocive, c'est parce qu'il y a quelqu'un qui consomme cette information nocive. Pour que vous puissiez l'éviter. Et ces personnes sont toujours situées dans le Sud."

Mais il y encore un plus gros problème, pointé par Bettina Werner, également audit partner chez Deloitte, le fait qu'il s'agisse d'un combat constant pour que l'IA reste sous contrôle : "L'un des plus grands risques est qu'il ne suffit pas de régler un problème une fois pour toutes. Dans le milieu de l’audit, on ne peut pas se contenter d'un seul audit et dire que tout va bien. Quoi que vous fassiez demain, même si aujourd'hui c'est bien et neutre, à la fin du mois prochain, le système peut être à nouveau biaisé et, au fur et à mesure que la société évolue, il peut être biaisé de différentes manières. Ainsi, une fois vous l'aurez compris, mais la fois suivante, cela ne sera peut-être pas le cas. Je pense donc que c'est l'un des plus grands défis que l'on rencontre avec l'IA : il faut constamment être à l'affût."

Besoin de règlementation

C'est pourquoi selon Bettina Werner le thème de la gouvernance est très important. "Il faut que quelqu'un soit en charge de l'application dans l'entreprise, quelqu'un de responsable. Vous ne pouvez pas laisser l'application fonctionner toute seule. Il faut que quelqu'un soit là, qu'il ait un certain contrôle sur le système et qu'il s'assure en permanence qu'il est toujours conforme aux objectifs de l'entreprise", poursuit-elle. Un avis que partage également la spécialiste Emilia Tantar : "Je pense que l'intelligence artificielle telle qu'elle est, ce sont des techniques d'approximation, elles fournissent des solutions approximatives qui peuvent être très éloignées de la solution qui fonctionnera le mieux dans la vie réelle. Nous avons donc besoin d'une réglementation. Heureusement, nous avons au niveau européen le règlement sur l'IA qui a été proposée en 2021 et qui devrait entrer en vigueur en 2024. Je pense que les discussions sont actuellement en cours au Parlement européen. Il s'agit d'un cadre législatif, mais comment l'appliquer dans la pratique ? Je pense que l'utilisateur final a également besoin d'être rassuré sur le fait que ces systèmes sont sûrs et qu'ils ont été testés, comme c'est le cas pour les sièges de voiture pour enfants."

Pour les deux auditrices, une régulation européenne va dans le bon sens, notamment pour donner un cadre aux entreprises. "Le règlement européen sur l'IA a été adopté par le Parlement européen le 11 mai dernier, avec le texte final prévu pour être adopté en mai 2024. Elle prévoit d'importantes sanctions pour les entreprises. Et je pense que ce qui est important, c'est qu'elle ne concerne pas seulement les entreprises de l'UE, mais aussi les entreprises qui voudraient vendre l'IA ou développer l'IA au sein de l'UE. L'une des choses à faire est de mettre en évidence où l'IA est réellement utilisée, parce que sinon on n'en est même pas conscient", poursuit Bettina Werner. "Prenons l'exemple du prêt. Il se peut que je reçoive une lettre me disant que, malheureusement, je ne peux pas obtenir de prêt, mais je ne sais pas nécessairement qu'en arrière-plan, ce n'est pas une personne qui l'a évalué, mais un algorithme. Il faut donc d'abord sensibiliser les gens, puis s'assurer qu'il y a suffisamment de contrôles pour superviser le tout."

Le projet européen de régulation de l'IA ne met pas toutes les formes d'intelligence artificielle dans le même panier. Proposer un film, un vêtement ne sera pas considéré comme aussi important que scanner des CV ou même faire des diagnostics de santé. C'est ce qu'explique Emilia Tantar : "Il y a plusieurs risques. Il y a des risques liés aux préjugés, à l'exclusion, et certaines applications sont même interdites. Celles qui pourraient affecter les catégories vulnérables sont des applications interdites. Il s'agit donc de construire consciemment des systèmes qui excluent certaines catégories sur la base de la race, de la couleur de la peau ou d'autres critères. Ces applications sont donc interdites en Europe, même si vous souhaitez passer l'analyse de risque."

Plutôt rassurant donc, même si la spécialiste émet déjà des doutes sur les limites d'un tel dispositif : "Ces applications sont interdites, mais les préjugés inconscients sont les plus dangereux. Celles qui sont autorisées sur le marché sont des applications à haut risque. Il faut donc tester et nous travaillons actuellement sur la spécification technique du catalogue des risques. Il s'agit d'un catalogue qui peut inclure des préjugés inconscients. Par exemple, si nous reprenons l'exemple de la couleur de la peau, vous pouvez avoir des systèmes qui ont été utilisés lors des examens, par exemple dans les universités. Les personnes appartenant à certaines catégories de couleur de peau ne sont pas facilement détectées et sont considérées comme n'ayant pas réussi l'examen ou n'ayant pas pu s'inscrire à l'examen pour cette raison. Il s'agit là d'une exclusion d'un certain établissement. Il s'agit d'éducation et cela peut arriver."

Mais cette dernière reste confiante pour que le secteur s'accorde sur une certaine harmonisation des standards. "En ce qui concerne les normes qui existent au niveau international, l'ensemble de l'industrie parvient à un consensus sur les normes internationales en matière d'intelligence artificielle. Tant qu'il y a un consensus parmi les créateurs de ces systèmes sur les niveaux de confiance et ainsi de suite, c'est quelque chose qui est renforcé, bien sûr, par la législation. Mais au fur et à mesure qu'il est accepté au niveau international, il devient la meilleure pratique."

"Pas proche de l'intelligence humaine"

Et même si l'IA a fait des progrès énormes ces derniers mois et que les résultats sont bluffants comme par exemple avec ChatGPT, Emilia Tantar temporise : "Nous pensons que l'IA peut tout faire, mais elle n'est pas proche de l'intelligence humaine. Nous avons toujours besoin d'une éducation basée sur le terrain, car si vous voulez construire une pensée critique tout en naviguant dans l'éducation avec des outils qui ne fournissent pas toujours la vérité de base, c'est un danger pour la société. Comment construire une pensée critique sur quelle base ?" En se nourrissant de données glanées sur la toile, l'IA fonctionne par occurrence. Le plus souvent une information est donnée, plus elle sera absorbée par l'IA qui la reprendra à son compte. Ce qui peut fausser à terme des recherches, pour les chercheur·euse·s ou pour les journalistes par exemple.

Pour la militante Oyidiya Oji, le besoin de régulation du secteur va dans la bonne direction. "Mais disons aussi que les institutions publiques ne sont que les utilisateurs. Alors peut-être qu'en plus de vérifier la transparence et la capacité d'explication de ces modèles lorsqu'ils sont déjà déployés, disons dans le service public, ils devraient aussi être vus par le secteur privé. Un cadre juridique doit être crée, ainsi qu'un système de gestion des risques et un système d'information. Mais je ne pense pas qu'aux États-Unis ils se contenteront de faire un peu ce qu'on essaie de faire en Europe. Pour eux, l'innovation et tout le reste doivent être rapides." Cette dernière est quelque peu dubitative quant aux barrières que représentent une quelconque forme de régulation pour les géants du secteur : "Aujourd'hui, ils s'appuient à 100% sur l'IA. Donc si vous leur dites ‘hé, vous devez freiner un peu et vous assurer que tout le monde va bien’, cela va déjà à l'encontre du capitalisme, de la manière dont il a fonctionné pendant de nombreuses années."

Avec une technologie en évolution permanente, le secteur mais aussi les gouvernements ont leur rôle à jouer. Pour Emilia Tantar, le Grand-Duché a déjà pris le train en marche : "Je pense qu'au Luxembourg nous sommes vraiment privilégiés parce que nous avons une stratégie et nous avons pu le voir avec l'adoption de l'IA dans les services publics. Je pense que la stratégie nationale soutient l'initiative Digital Luxembourg, qui offre une sensibilisation avec des cours sur les éléments de base de l'IA. Vous avez donc une source solide de connaissances, où aller pour obtenir un peu de sensibilisation, puis vous avez l'université et le LIST, qui montrent que le transfert de technologie est responsable, donc oui, il y a beaucoup de discussions."

Les organisations citoyennes elles aussi veillent au grain. "Avec de nombreuses autres organisations à Bruxelles et d'autres lieux en Europe, nous avons rejoint une coalition appelée Protect, not surveil (Protéger, pas surveiller). Il s'agit d'une coalition que nous avons d'abord créée sous la forme d'une déclaration commune signée par 200 organisations, puis nous avons dressé une liste de demandes dans laquelle nous disions qu'il existe certains types de systèmes utilisés contre les personnes déplacées. Ce type de technologies devrait être interdit ou au moins catégorisé comme étant à haut risque", précise Oyidiya Oji.