Par Marie Huber
l’IA est une innovation, mais elle nous présente souvent des clichés, du racisme et des décisions erronées dangereuses. Ce n’est pas seulement lors de la génération d’images que l’on constate que de nombreuses intelligences artificielles reproduisent des contenus problématiques. En effet, le problème de la discrimination s’étend jusqu’aux logiciels utilisés par les pouvoirs publics et se manifeste également dans les outils de sélection des grandes entreprises.
Il est tout d’abord important de clarifier les choses : qu’est-ce que l’intelligence artificielle au juste et comment se fait-il qu’elle soit source de discrimination ? Pour le dire simplement, l’IA désigne un domaine de l’informatique qui vise à imiter les capacités cognitives humaines telles que la pensée logique, l’apprentissage ou la planification. Pour cela, on programme une suite d’étapes bien définies qui visent à résoudre un problème. Cette suite s’appelle un algorithme. Une IA se compose donc de nombreux algorithmes différents qui, grâce à leur programmation, sont capables d’en créer de nouveaux. Cela permet à l’IA de reconnaître des schémas, de classer, de traiter des données et, surtout, de synthétiser de nouvelles données. Le champ d’application de l’intelligence artificielle est donc énorme et il est aujourd’hui devenue impensable d’imaginer une vie sans elle. La grande particularité de l’IA réside dans son apprentissage et son développement autonome. Cela signifie que les systèmes d’IA recherchent automatiquement certains modèles dans des ensembles de données. C’est précisément ce mécanisme qui constitue aussi la base permettant à une IA de reproduire des formes de discrimination.
Les deux facteurs les plus importants contribuant à la discrimination par l’IA sont donc la qualité initiale des données utilisées ainsi que la question par quelles personnes le système d’IA a été programmé. Une chose est claire : l’IA n’est pas neutre. Et nous en observons déjà les conséquences à petite échelle.
Oder stattdessen gleich : Les deux facteurs les plus importants contribuant à la discrimination par l’IA sont donc la qualité initiale des données utilisées ainsi que la question de savoir par qui le système d’IA a été programmé.
Un exemple dont beaucoup de personnes ont probablement déjà entendu parler est celui de la situation décrite au début. On souhaite, pour quelque raison que ce soit, générer une image, et le résultat se compose de clichés grossiers. Dans le podcast « KI verstehen » ( « Comprendre l’IA »), les animatrices citent une expérience menée dans les pays anglophones dans laquelle des générateurs d’images basés sur l’IA ont reçu comme instruction de représenter de différents groupes professionnels. Et voilà : un avocat était systématiquement représenté comme un homme, tandis qu’un aide-soignant apparaissait toujours comme une femme. On pourrait penser que cela tient simplement au fait que certains sexes sont surreprésentés dans ces professions et que l’IA s’aligne donc simplement sur les chiffres de la répartition des sexes dans les ensembles de données. Mais ce n’est pas vrai. L’IA représentait aussi les médecins et les comptables majoritairement comme des hommes, alors qu’il est désormais clair que plus de femmes travaillent comme « accountants » et que, dans de nombreux pays, les femmes sont nettement plus nombreuses que les hommes à étudier la médecine. De plus, les images générées représentent principalement des personnes blanches et correspondant aux normes de beauté courantes.
Cependant, le problème ne se limite pas aux chatbots et aux générateurs d’images que nous utilisons parfois au quotidien. La discrimination liée à l’IA peut avoir un impact direct sur la vie des personnes concernées.
« L’Amazon Recruiting Debacle » en est un exemple. En 2014, l’entreprise a utilisé pour la première fois l’IA pour examiner les candidatures à des postes d’ingénieur logiciel. Il s’est avéré que les algorithmes utilisés discriminaient systématiquement les femmes, qui étaient directement éliminées par l’IA. Cela s’explique par le fait que l’IA avait été entraînée à partir des CV des ingénieurs logiciels déjà employés chez Amazon – qui étaient en grande majorité des hommes blancs.
Un mécanisme similaire apparaît également dans l’attribution des limites de crédit pour les cartes bancaires, un domaine dans lequel l’IA est de plus en plus utilisée. Un exemple qui s’est déroulé aux États-Unis concerne un couple marié qui gérait ses finances séparément et qui a demandé une nouvelle carte bancaire au même moment. La femme a obtenu un « credit score » nettement plus élevé, car elle avait moins de dettes et disposait d’un capital plus important que son mari. Elle s’est néanmoins vu attribuer une limite de crédit inférieure, car l’IA avait appris que les hommes contractaient des crédits plus élevés et en avait conclu que les femmes devaient donc avoir une limite inférieure malgré un meilleur score.
Mais les entreprises ne sont pas les seules à utiliser l’intelligence artificielle plus que jamais. Les logiciels basés sur l’IA se sont depuis longtemps imposés au sein des pouvoirs public. Aux États-Unis, par exemple, le système d’IA « Correctional Offender Management Profiling for Alternative Sanctions », ou COMPAS, est déjà utilisé depuis plusieurs années. Ce système a pour objectif d’établir un pronostic social pour les personnes incarcérées, afin d’estimer la probabilité de récidive. Cependant, comme la base de données de ce système contient des préjugés racistes répandus dans la société, les pronostics sociaux défavorables sont deux fois plus fréquents pour les personnes noires. Des études ont pourtant montré que les personnes blanches ayant reçu un pronostic social positif récidivaient plus souvent que les personnes noires. Le biais de confirmation de l’IA dans le système COMPAS fait donc que les personnes noires se voient plus souvent refuser toute chance de libération anticipée – sans raison fondée.
Nous constatons donc que lorsque l’on creuse la question de la discrimination liée à l’IA, on découvre un gouffre qui révèle d’importantes injustices sociales. Pour y résister, il est d’abord essentiel de reconnaître que l’IA doit être considérée, d’une part, comme un reflet de la société. Nous contribuons tous, par exemple par ce que nous publions sur Internet, à une base de données dont les contenus seront ensuite reproduits par l’IA. Mais, d’autre part, l’IA, surtout dans des contextes répressifs, peut aussi être perçue comme l’expression d’un système fondé sur la discrimination des minorités, qui s’approprie l’IA pour s’imposer. C’est pourquoi il est important de prendre conscience de cette problématique, même à petite échelle. Pour lutter contre la discrimination par l’IA, nous devons apprendre à reconnaître et à nommer la discrimination, même si nous ne sommes pas directement concernés.
À propos de l’autrice :
Marie a 21 ans, elle vient de Fribourg et, animée par sa passion et son intérêt pour la France, elle étudie les sciences sociales à Strasbourg dans le but de devenir journaliste plus tard. La lutte contre les injustices lui tient particulièrement à cœur et, surtout à l’heure actuelle, à l’ère du numérique, les formes de discrimination deviennent nettement plus subtiles et difficiles à détecter.
