Est-il possible de créer une technologie sans biais ? Quelle place souhaitons-nous donner à l’IA dans notre monde ?
Cet article a été réalisé sur base de l’épisode #21 d’Axoly Tech Podcast « Biais et intelligence artificielle ».
La version originale du podcast a été enregistrée en espagnol. Les extraits qui sont repris ici en sont donc une traduction. Nous avons souhaité rendre accessibles ces réflexions partagées autour des enjeux de la technologie.
Dans cet épisode, nous avons rencontré Gabriela Arriagada Bruneau, professeure d’Éthique de l’Intelligence Artificielle et des Données à l’Université Catholique du Chili. Rejoignez-nous dans cette conversation pour approfondir vos connaissances sur les biais et stéréotypes au sein de différents types d’intelligences artificielles.
Bonne lecture !
Pour écouter l’épisode (en espagnol) :
- Spotify : https://open.spotify.com/episode/5s8wAyNRzAjeofLS2gyANr
- YouTube : https://www.youtube.com/watch?v=O8QOHY_hRSs
Ignacio : En tant que développeur, j’ai réalisé que la technologie, les programmes et logiciels informatiques ne sont pas neutres et que ce que je crée a un impact sur la société et la planète. Je voudrais donc te poser une question : est-il possible de créer des systèmes d’intelligence artificielle sans biais ? Ou y aura-t-il toujours des biais inhérents, ce qui signifie que nous devons être constamment vigilants et vigilantes sur ce que nous créons ?
Gabriela : Oui, je te remercie pour ta question parce que justement, j’ai toujours dit à tout le monde : « On ne peut pas faire de l’intelligence artificielle sans biais ». Et l’un des grands problèmes qu’on a rencontré au début, c’est qu’il y a eu une explosion de personnes qui jouaient avec cette nouvelle technologie, comme si c’était un nouveau jouet. On a vu émerger plein d’applications. Ça a commencé à croître de manière exponentielle. Cependant, à ce moment-là, on a commencé à rencontrer des problèmes.
Pour ceux qui travaillent dans l’éthique, ce n’est pas vraiment une surprise. Mais peut-être que ça l’est plus pour ceux qui sont très matheux : les technologies ne sont pas neutres. Par exemple, un modèle prédictif qui fonctionnait bien mathématiquement donnait de mauvais résultats parce qu’il causait du tort aux gens. Il les classait mal, faisait des suppositions sur eux, créait des schémas. Parce qu’il y avait des biais dans les données, parce qu’il y avait des structures que nous ne comprenions pas et qui affectaient ces résultats. Et à ce sujet, je crois qu’il est vraiment important de réaliser que nous ne pouvons pas éliminer les biais […]. Ce que nous devons faire, c’est comprendre quels types de biais nous avons, comment ils nous affectent, toi en tant que développeur, nous en tant que société et comment ils interagissent entre eux […].
Ignacio : As-tu un exemple de biais ou de discrimination que l’on peut retrouver dans la vie quotidienne ?
Gabriela : Je pense qu’il y a des biais dont on n’est pas toujours conscients. […] Par exemple, je suis en train de travailler sur un projet dans lequel nous avons fait une analyse rétrospective de la manière dont des chercheurs ont construit un modèle de traitement du langage naturel. Ce qu’ils faisaient essentiellement, c’était optimiser des listes d’attente […]. Cependant, nous avons commencé à remarquer que, bien que le modèle ait une bonne mesure de précision, il échouait dans certaines choses. Par exemple, il échouait beaucoup en gynécologie. Il s’avère que dans ce domaine, nous avions des biais structurels qui influençaient la manière dont un diagnostic était typifié. Ces biais allaient du fait que le niveau de douleur de certaines patientes n’était pas pris en compte par certains médecins en raison de biais culturels, mais nous avons aussi identifié que beaucoup de diagnostics n’étaient pas rédigés comme tels. Un langage décrivant réellement un diagnostic n’était pas utilisé, car souvent les diagnostics étaient rédigés par des sages-femmes ou des infirmières et non par des médecins. […] Et c’est là que l’on voit la connexion. Un biais est répliqué dans la manière dont la machine est incapable de voir quelque chose, car nous, en tant qu’êtres humains, sommes également incapables de le voir. Nous ne le considérons pas.
Donc, c’est vraiment intéressant quand on commence à approfondir. Ce n’est pas seulement ce que je donne à la machine. Il y a des questions plus profondes qui concernent des biais structurels pouvant affecter la manière dont le modèle fonctionne finalement.
Ignacio : Dans ce contexte, par exemple en tant que créateurs et créatrices de solutions en intelligence artificielle ou d’applications utilisant l’IA, comment pourrions-nous changer notre manière de travailler pour prévenir ou réduire les risques et les biais que nous pourrions reproduire? En tant qu’équipe de développement, comment pouvons-nous intégrer une vision plus éthique dès le début du processus ?
Gabriela : Je pense que l’un des changements importants actuellement est l’intégration de considérations éthiques dans les programmes d’études. Par exemple, avec mes collègues, lorsque les étudiants arrivent en première année et doivent suivre un cours d’Introduction à la programmation, ce n’est pas seulement une question de code et de savoir comment programmer. Ils doivent également lire des textes sur l’impact que peut avoir la programmation, […] et comprendre en profondeur comment cela est lié à de nombreux aspects du développement social.
J’ai toujours défendu l’idée que, particulièrement dans le domaine de l’intelligence artificielle, contrairement à d’autres disciplines, nous avons des convergences interdisciplinaires. […] Et c’est pourquoi je parle de l’intégration de l’éthique comme une méthodologie de travail. […] C’est un processus continu qui ne s’arrête pas seulement au cycle de vie de l’IA, mais j’aime aussi parler d’une dimension écosystémique. Depuis la formulation du problème que nous voulons résoudre, les données que nous allons utiliser, la manière dont nous entraînons le modèle, le faisons évoluer, la manière dont nous l’implémentons… Mais cela ne s’arrête pas là non plus. Et c’est pourquoi j’aime parler d’intelligences artificielles socio-techniques […].
Pour cela, ma mission est que plus de personnes fassent ce que je fais. Que plus de gens commencent à rechercher et à développer des méthodologies pour intégrer l’éthique avec des perspectives interdisciplinaires. Je pense que c’est dans cette direction que nous pouvons intégrer l’éthique en intelligence artificielle.
Ignacio : Dans ce cas, il ne suffit pas seulement de savoir quoi faire, mais il faut aussi le mettre en pratique et avoir une régulation. Parce que finalement, ceux qui décident de ce qui est implémenté ne sont pas nécessairement ceux qui développent le programme.
Gabriela : En réalité, l’un des « problèmes » que nous avons est que, du moins aujourd’hui au Chili, nous n’avons pas de législation qui traite de ces questions de manière structurée. Au Congrès, nous discutons de la nouvelle loi sur l’intelligence artificielle qui a été envoyée, et je fais partie des nombreux académiques qui ne sont pas satisfaits de celle-ci. Nous espérons qu’elle sera améliorée. Mais en gros, je pense que cela concerne différentes couches de responsabilités associées. D’une part, la régulation nous aide, car surtout quand nous travaillons avec des entreprises qui ont de grands intérêts économiques, il est important d’avoir des régulations qui nous permettent de faire des audits internes et externes qui incitent à des pratiques responsables.
En même temps, je pense qu’il faut aussi créer un peu de conscience. Je crois que transversalement, il s’agit de comprendre l’importance de cela. Car ce n’est pas seulement une question de faire du bien ou du mal à beaucoup de gens, il y a aussi une autre dimension qui n’a pas été beaucoup discutée dans les premières vagues de cet avancement en éthique de l’intelligence artificielle : les impacts environnementaux. […] Nous devons avoir une régulation qui nous permette d’avoir une confiance plus institutionnalisée pour exiger des organisations certaines bases sur la manière dont elles auditorient leurs processus : comment ce processus a-t-il été pensé, le justifier correctement, et avoir un contexte de développement inclusif, par exemple.
Et je pense que nous devons déjà commencer à nous préoccuper de mesurer les impacts. Si j’utilise, génère, un modèle de langage naturel ou même en tant qu’utilisateurs, si nous utilisons Chat GPT, ce prompt, cette réponse… Combien d’eau, de lumière, de ressources naturelles cela consomme-t-il ? Donc je pense que c’est vraiment complet : régulation, législation, incitations également dans l’investissement de structures, par exemple d’audits internes et externes, mais aussi la sensibilisation sociale et le fait que nous, en tant que Chiliens, prenions au sérieux cette discussion.
Ignacio : Lorsqu’on cherche à digitaliser quelque chose, il est nécessaire de se questionner sur sa pertinence. Parce qu’il se peut que ce ne soit pas nécessaire, ou bien les impacts qu’elle aura ne justifient pas forcément une digitalisation. Mais pour s’en rendre compte, il faut disposer de quelques connaissances en tant qu’utilisateur et utilisatrice. Penses-tu que réduire ces fractures numériques soit important pour pouvoir créer un écosystème de confiance concernant l’intelligence artificielle ?
Gabriela : J’aime les initiatives qui sont prises justement par la politique d’intelligence artificielle qui a été renouvelée en mai de cette année (2024). Elle a commencé en 2021 et beaucoup de ces choses sont destinées à formaliser les connaissances et à les faire connaître auprès de la population générale. J’aime parler de « fractures numériques » où nous avons cette idée d’élite […] en fonction du niveau de connaissance que l’on a sur le fonctionnement des technologies digitales. Ensuite, nous avons différents niveaux d’accès, de compréhension et donc de bénéfice […]. Et puis nous avons les analphabètes numériques qui, malheureusement, représentent une grande partie de la population.
Souvent, on pense que ce sont simplement des personnes âgées qui peut-être n’ont pas grandi avec la technologie, mais il y a aussi beaucoup de jeunes qui sont analphabètes numériques à bien des égards. Justement parce qu’ils naissent et vivent avec les technologies depuis leur plus jeune âge, ils n’ont pas de perspective critique. Ils peuvent l’adopter comme partie de leur quotidien, mais cela ne signifie pas qu’ils savent bien s’en servir. […] Nous voyons des tendances qui nous inquiètent aussi parce que nous devons vraiment savoir quels sont les effets cognitifs que cela aura sur la société et le développement de ces garçons, filles et adolescents.
Pour moi, un point d’attention est le fait que nous puissions évaluer les effets de l’adoption des technologies dès le jeune âge. Nous n’avons pas suffisamment d’études, de données et il est important que nous commencions à voir comment cela se manifeste et comment cela s’est manifesté au cours des dernières années.
Ignacio : Comme tu le disais plus tôt, la technologie fait partie d’une organisation ou d’une société et elle a des effets sur les individus, ce qui me fait penser qu’effectivement, il y a des choses que nous ne pouvons pas attendre, nous devons veiller à la manière dont les choses évoluent. Il faut effectuer un travail continu de vigilance et de prévention.
Gabriela : Oui, c’est tout voir comme un réseau d’influence. En réalité, tout est interconnecté, d’une manière ou d’une autre. Quand on est capable de comprendre comment cela m’affecte et comment je fais pour que cela affecte les autres, on commence aussi à comprendre. Ce qui me fascine, c’est le phénomène que nous vivons avec l’intelligence artificielle. Je crois que certaines personnes ont raison de dire qu’on avance peut-être trop vite et qu’il faut faire des pauses critiques, remettre en question certaines choses et être un peu plus sceptiques sur ce que nous faisons. Bien sûr, oui, mais en même temps, je crois que cela nous offre une belle opportunité de nous recentrer. Pour comprendre l’intelligence artificielle et comment bien la former, il est nécessaire de se demander : « Qu’est-ce que nous voulons ? » et « Quelle est la dynamique humaine que nous espérons et désirons reproduire à travers une automatisation ? ». Je pense donc que souvent, nous ne mesurons pas assez la profondeur de la réflexion nécessaire pour créer une bonne intelligence artificielle.
Ignacio : Pendant longtemps, on a pensé que la technologie et la digitalisation étaient neutres et qu’elles constituaient une solution aux problèmes existants. Il y avait une sorte de « technosolutionnisme », on a mis la technologie au centre, comme un pilier infaillible, exempt de toute subjectivité, ce qui n’est pas le cas. Dans le cas de l’intelligence artificielle, cela nous oblige à nous reposer la question : qu’est-ce que nous voulons mettre au centre ? Voulons-nous simplement laisser cette technologie croître sans contrôle, motivée par celles et ceux qui sont derrière sa création ? Ou en tant que société, en tant que personnes affectées par cela, nous mettons-nous au centre et décidons de ce que nous voulons comme projet, comme technologie et du rôle que nous voulons lui donner ?
Gabriela : Je pense qu’il y a des prémisses qui sont comprises de manière erronée concernant l’intelligence artificielle. Nous n’avons pas de définition canonique de ce qu’est « l’intelligence artificielle ». Partant de là, parce que je pense que c’est un mauvais terme, j’accepte à contrecœur : « les » intelligences artificielles. En réalité, ce que nous avons, ce sont différentes techniques et outils de différents types de traitements, etc. Nous avons suffisamment de preuves pour savoir que la définition couramment utilisée pour définir les intelligences artificielles — « simuler des comportements humains ou imiter certains savoirs ou apprentissages humains » — est bien pauvre.
Je dirais même qu’elle est invalide, car quand on voit une intelligence artificielle qui doit traiter des images et qu’on s’attend à ce qu’elle nous aide à mieux à détecter un cancer, et que l’on découvre qu’en réalité elle ne catégorise pas la tumeur, mais l’arrière-plan du scanner… L’arrière-plan du scanner sur lequel les images ont été traitées contient tous les cas de cancer et […] elle détecte donc un bruit associable au cancer, mais elle n’a rien appris sur la tumeur, sa forme, ou toute autre information pertinente que peut-être un humain, si. […] Je pense que c’est là le point essentiel qui m’inquiète : pourquoi voudrions-nous simuler ou remplacer la complexité et la beauté de cette capacité humaine à comprendre les contextes ? Simplement pour nous faciliter la vie ? […] En fait, elles n’imitent pas le savoir humain. En aucun cas. On ne comprend pas le langage comme des schèmes que l’on traite par des nombres et que l’on peut prédire quelle est la meilleure […]. Non, on vit le langage, on l’apprend à travers les sens, à travers nos relations avec les autres.
Je pense donc que souvent, la perception qui est donnée à l’intelligence artificielle dans l’utilisation du langage a également influencé le fait que les gens aient une idée très erronée de ce qu’elle est réellement et de ce qu’elle est capable de faire.
Ignacio : L’exemple que tu as donné me fait penser que c’est pour cela qu’il est nécessaire de pouvoir auditer les modèles, qu’ils soient transparents, qu’il y ait une certaine responsabilité. Et de tout ce dont nous avons parlé, il y a beaucoup à apprendre, tant pour ceux et celles qui créent et travaillent dans le cycle de développement des intelligences artificielles, que pour ceux et celles qui les utilisent et qui en sont les objets, que ce soit par nos données pour l’entraînement ou parce que nous sommes affectés par leur utilisation. En fait, c’est un changement assez transversal et global au niveau de la société. Je me demande comment on peut orienter ce processus pour pouvoir donner à ces technologies la place qui leur revient et ne pas être victimes d’une évolution organique, sans contrôle.
Gabriela : Il y a peu, une personne influente dans le domaine de l’intelligence artificielle a publié un article sur la nécessité d’arrêter dès maintenant les avancées de toute intelligence artificielle ou modèle supérieur à GPT4, en pensant que cela pourrait avoir des conséquences. Peut-être devrions-nous essayer de trouver des accords, établir des limites et avoir des accords internationaux […].
Par exemple, au sein du Centre National d’Intelligence Artificielle dont je fais partie, j’ai pu voir comment diverses organisations à but non lucratif, gouvernements, instituts de recherche et certains centres technologiques travaillent ensemble avec un objectif commun : atteindre ces accords. Jusqu’où voulons-nous aller ? Quels limites voulons-nous mettre ? Comment pensons-nous que cela affecte notre population ?
C’est une vulnérabilité propre aux pays du Sud global. Nous savons que beaucoup de ces technologies sont développées transversalement dans le Nord global, avec des législations du Nord global et qui ont leurs propres intérêts. Nous, nous discutons ici et nous nous emparons de la question de savoir comment cela nous affecte également. Je crois que, depuis ma perspective, il est nécessaire et, dans une certaine mesure, cela pourrait être suffisant pour un certain temps, d’atteindre des accords internationaux. C’est extrêmement difficile.
Par exemple en Amérique latine, nous pouvons avoir nos propres accords, et ensuite l’Union européenne pourrait se joindre à ce qui se discute ici ou aux États-Unis. Nous avons des puissances comme la Chine qui ne savent pas si elles voudront établir certains accords internationaux, elles pourraient ne pas le faire ou ne pas le faire en totalité, mais nous avons vu certaines actions de bonne foi, pour ainsi dire, où ils ont développé leur propre législation et discutent beaucoup avec ce qui se fait aux États-Unis et dans l’Union européenne. Je crois que cette comparaison est toujours faite avec les armes nucléaires, parce que c’est une technologie à haut risque qui transcende les barrières politiques et géographiques. L’intelligence artificielle a, en son potentiel, cette même capacité. Dans ce sens, je crois qu’il sera nécessaire de lui accorder le respect qu’elle mérite pour pouvoir dimensionner ces possibles impacts et atteindre ces accords que je crois être très nécessaires.
Ignacio : À court terme, selon toi, quel serait le plus grand défi de l’intelligence artificielle ?
Gabriela : Nous sommes en train de terminer l’écriture d’un livre avec des collègues. Dans le dernier chapitre, nous nous demandons justement comment nous voyons l’évolution des choses dans les 5 à 10 prochaines années.
Nous nous tromperons probablement complètement, peut-être que quelque chose d’inattendu que personne n’avait prévu va se produire, peut-être que tout cela va s’arrêter. C’est très incertain, précisément parce que je pense qu’il y a beaucoup de choses qui bougent en même temps.
Mais je pense qu’une des questions qui doit avoir une plus grande importance et qui est impérieuse pour nous, reflète ce dont nous avons discuté : d’abord, réussir à avoir une réglementation ou une législation robuste au niveau mondial, établir des accords qui nous permettent au moins d’avoir des normes de transparence des processus, avoir des normes sur la façon dont nous nous échangeons des données, dans quels buts. Avoir quelque chose comme un accord exploratoire. Si nous savons que ces entreprises vont continuer à avancer, nous savons que certains gouvernements vont continuer à investir de l’argent dans les progrès scientifiques liés à l’intelligence artificielle… Alors au moins, ayons des dénominateurs communs minimaux. C’est le plus important en ce moment. Car cela nécessitera également une infrastructure de ressources humaines et de ressources technologiques qui soient en phase avec ces dimensions de développement éthique dont nous avons parlé. Si nous avons une réglementation qui exige que pour qu’un modèle d’intelligence artificielle ou des données en provenance d’Europe ou des États-Unis entrent au Chili, ils doivent passer par les critères que nous considérons également comme nécessaires […] je pense que cela nous poussera d’une manière ou d’une autre à ce que ces exigences deviennent partie intégrante du développement et de l’adoption de l’intelligence artificielle qui est créée dans notre pays, mais aussi importée de l’extérieur.
Ignacio : Au quotidien, quand nous utilisons l’une de ces intelligences artificielles, comment peut-on se rendre compte des biais que nous avons et comment éviter de répliquer ces biais ?
Gabriela : C’est vraiment très difficile et c’est aussi quelque chose qui a été un défi en philosophie, en méta-éthique, lorsqu’on parle de biais intrinsèques que l’on est incapable de traiter ou même de reconnaître. Souvent, nous avons des biais sans même nous en rendre compte.
Je pense que la manière la plus facile pour reconnaître ces biais est de s’exposer à différents types d’informations et processus cognitifs. En termes simples, cela signifie interagir avec d’autres personnes. Dans la vie quotidienne, compte tenu de l’abus des réseaux sociaux existants et de la personnalisation excessive via les algorithmes de recommandation, combien de fois cherchons-nous activement une information parallèle? Combien de fois nous demandons-nous pourquoi nous voyons ce que nous voyons? […]
Nous sommes à un moment où nous recevons tellement d’informations, même au niveau académique et professionnel. Nous perdons le sens de pouvoir contextualiser les questions que nous posons. Dans ce contexte, lorsque l’on me dit « je vais demander à ChatGPT… », sachez d’abord que vous ne lui posez aucune question. Parce que le Chat ne répond pas, il génère des simulations de prédictions grammaticales. Il ne répondra donc pas à votre question. Pourquoi ne pas plutôt lui demander quels sujets sont liés et ensuite les chercher vous-même? C’est ainsi que je me situe dans ma relation avec cette technologie. […]
Je n’utilise pas Google pour rechercher des informations, j’utilise Reddit. C’est une plateforme peu connue et qui rassemble des groupes d’information sur des sujets. Souvent, lorsque l’on cherche des informations spécifiques pour résoudre un problème ou savoir sur quel sujet lire, ce sont des recommandations humaines. C’est ce que je crois être important de simuler lorsqu’on interagit et, d’une certaine manière, quand on lutte contre cette surabondance d’informations. Entrer en contact avec quelqu’un qui a vécu le contraire, quelque chose de similaire ou parallèle. Parce que c’est cette expérience qui enrichit le fait de dire : « Est-ce que je comprends bien? Est-ce que j’ai posé les bonnes questions? » ou non? Parce que la technologie ne le fait pas pour nous.
Ignacio : Pour celles et ceux qui travaillent dans le secteur du numérique, que ce soit en créant du software ou qui développement des systèmes d’IA, quel serait selon toi le premier changement, la première action à mettre en place pour se rendre compte de tout ce dont nous avons parlé ?
Gabriela : Ce serait deux choses : la première est de savoir qu’ils ne savent pas ce qu’ils ne savent pas. Et la deuxième, c’est le fait de reconnaître qu’ils ont une déformation professionnelle. Je sais que le terme peut sembler rude, mais c’est un terme technique. La déformation professionnelle est essentiellement une conséquence des hyper-spécialisations qui se sont développées au fil du temps dans la transformation de la pratique scientifique. […] Nous avons différentes manières de comprendre les problèmes. […] Et si vous n’êtes pas dans un domaine largement interdisciplinaire, élargissez cela. Cela peut aller de lire des livres de science populaire qui montrent comment certaines transformations numériques se vivent dans d’autres domaines, à écouter des podcasts, ce qui est accessible et ne prend pas beaucoup de temps, mais nous aide à ouvrir une perception cognitive différente. C’est ce qui crée des changements à long terme. Parce que dire simplement à quelqu’un d’aller suivre un cours de formation en raisonnement éthique, en évaluation d’algorithmes, en audit… ne servira à rien si cette personne n’a pas encore ouvert son esprit à cet état d’auto-compréhension où elle se dit : « Je suis professionnellement déformé ». C’est un processus très beau parce qu’il permet d’identifier ce que l’on ne sait pas. Donc, ma recommandation serait de commencer par là.
Ignacio : Très bon conseil. Cela ne signifie pas que se mettre dans cette situation soit facile au début. Il faut accepter qu’on ne sache pas tout et être disposé à apprendre et explorer des choses qui parfois, vont à l’encontre de ce que l’on a l’habitude de penser ou croire. Merci beaucoup pour cette discussion très intéressante. Tu veux ajouter quelque chose ?
Gabriela : J’invite toutes les personnes qui nous écoutent à discuter davantage et à ne pas consommer autant de contenu. J’ai aimé que cette discussion soit fluide car ici, il ne s’agit pas simplement de traiter de l’information. Nous ne sommes pas des machines; nous ne prenons pas seulement des entrées pour produire des sorties. Je pense que ce qui est important, c’est de revenir aux contextes dans lesquels nous vivons et de réaliser l’importance du fait que tu aies eu une enfance différente de la mienne, que tu aies étudié autre chose que moi. Cela nous situe avec certains avantages et inconvénients par rapport à notre interaction avec les nouvelles technologies.
Donc, je pense que nous sommes dans une situation où, ironiquement, les technologies nous permettent de nous rapprocher davantage, mais cela dépend aussi de nous pour transformer cette proximité numérique en une proximité humaine.
Je vous invite donc à commencer ces réflexions et, bien sûr, je suis toujours disponible pour discuter et échanger ! Vous pourrez me retrouvez sur mes réseaux sociaux.