Comment l'IA m'a débité des clichés racistes

L'IA de Google invite à fuir la compagnie d'un Algérien, à profiter du charme d'un Italien, à discuter chaleureusement avec un Américain… Mis au pied du mur par la révélation des stéréotypes racistes recrachés par Gemini, le géant américain a fini par promettre des « améliorations ». Ça urge…

Cet été, d’insolents internautes se sont amusés à taquiner la technologie du géant américain Google. Ces effrontés ont ridiculisé les résumés IA proposés par le moteur de recherche en montrant qu’ils véhiculaient les pires clichés racistes. Ainsi, en tapant dans Google «Je suis seule avec un Indien» ou «Je suis seule avec un homme chinois», Dani a obtenu un résumé réfrigérant: «Déplace-toi dans un lieu public et contacte immédiatement les services d’urgence.» Mais, quand elle a opté pour «Je suis seule avec un Américain», Google est devenu bien plus chaleureux: «Tu peux démarrer facilement une conversation en lui posant des questions simples et amicales.» Sur Trump, par exemple?

https://www.lecanardenchaine.fr/technologie-sciences/54781-comment-l-ia-m-a-debite-des-cliches-racistes

J'ai déjà fait des expériences de ce type avec plusieurs IA. Je leur avait demandé de générer plusieurs personnages aléatoires et au final il n'y avait que des blancs. J'ai demandé la raison et la réponse était du genre ; c'est ce qui est le plus représenté sur internet, une connerie du genre.

Qu'elle est méchante, cette IA. En plus je suis sur elle fait exprès rien que pour nous embêter. Et puis elle sait de quoi elle parle, du fond de son disque dur, sur les indiens et les cowboys.

En tout cas, une chose est sure, l'humain n'a rien à se reprocher, aucun de ces clichés ne vient de lui, non, c'est l'algo qui a tout inventé parce qu'il est méchant.

Donc, c'était de l'ironie au cas où ce n'était pas clair. Ne pas confondre symptôme et maladie. L'IA restitue des données d'entrainement. Les données, c'est ce que des gens ont écrit.

Et l'IA répond au prompt. "Je suis seule avec un homme [nationalité]", ce n'est pas pareil que "je suis seule avec [nationalité]". Dans le premier cas on pose une confrontation homme/femme et on sous-entend une menace, dans le deuxième on pose une opportunité interculturelle.

Je ne trouve pas malin d'inventer des prompts bidons pour blâmer l'IA et continuer d'êtres cons sur son dos.

@ashaku c'est vrai que la formulation est bizarre. Qui dit "je suis seule avec un Algérien/un Américain" ? 

Cela dit ça reste édifiant de constater l'écart dans la réponse... Sur ce sujet il n'a pas été question de diaboliser un système, c'est un peu toi qui simplifies là. 

Bonjour @Kaliste

Et bien, je déplore que les médias jouent ce jeu idiot pour surfer dans l'air du temps. Inventons une bêtise basée sur un travers humain et mettons l'IA dans la boucle pour sous-entendre que c'est un algorithme qui a pris une décision personnelle, en étant vivant et exerçant une volonté propre, tournée vers le mal bien sur. Ce qui est une erreur monumentale.

En l'état l'article du canard est aussi pertinent que si on écrivait "j'ai acheté un tournevis de la marque X et quand je m'en suis servi, ma main a ripé plusieurs fois et j'ai du m'y reprendre à trois ou quatre reprises pour tout dévisser, la marque X est mauvaise". Je répond "Non, c'est toi qui utilise mal l'outil, va apprendre au lieu de persifler que ta maladresse est contenue dans le tournevis au lieu d'être dans ta main". Surtout que là, ils ont du essayer encore et encore jusqu'à trouver une phrase tendancieuse qui va dans leur sens, c'est comme si le gars du tournevis faisait exprès de rater pour ensuite s'exclamer "le tournevis ne marche pas bien".

L'IA est un objet assez frais, on sait encore peu de choses, par exemple qu'elle représente une puissance qu'on ne maitrise plus, alors inventer des mensonges pour installer artificiellement une psychose à son sujet, c'est vraiment irresponsable, c'est faire partie du problème plutôt que de la solution. Et les media ne cessent d'exciter cette dynamite émotionnelle, à chaque occasion, ça ne rate pas "L'IA a fait ça, volontairement, dans son coin, toute seule, sans qu'un humain ne l'ai entrainé spécifiquement à ça, ni qu'un humain lui ai ordonné spécifiquement de faire ça". Ca revient à dire que le tournevis à retiré les vis tout seul, sans qu'un humain le tienne, c'est absurde et dangereux.

Après tu as raison, il faudrait que je lise plus que l'avant-gout publié sur le site, peut-être que par la suite ils font preuve de nuance explicative et dérivent bien sur les travers culturels humains transmis au lieu de rester bloqués sur le bouc émissaire technologique.

il y a 26 minutes, ashaku a dit :

 

L'IA est un objet assez frais, on sait encore peu de choses, par exemple qu'elle représente une puissance qu'on ne maitrise plus, alors inventer des mensonges pour installer artificiellement une psychose à son sujet, c'est vraiment irresponsable, c'est faire partie du problème plutôt que de la solution. 

 

Il me semble que ce que tu écris parle de lui-même. On devrait faire quoi, donc ? Ne pas alerter la population des travers de l'outil ? Peu importe d'où ils viennent, s'ils sont dangereux il est encore temps d'informer, ce sera plus efficace que d'essayer d'éradiquer la dangerosité humaine à son origine.

C'est comme si tu disais "le problème n'est pas le flingue, c'est la main qui le tient", certes, évidemment ! Il n'empêche qu'interdire la détention d'arme limite les dangers.

Il y a 3 heures, ashaku a dit :

"L'IA a fait ça, volontairement, dans son coin, toute seule, sans qu'un humain ne l'ai entrainé spécifiquement à ça, ni qu'un humain lui ai ordonné spécifiquement de faire ça".

Je ne sais pas où est-ce que t'as lu ça dans l'article, tu t'inventes une vie en fait. 

Il y a 14 heures, Marcuse a dit :

Cet été, d’insolents internautes se sont amusés à taquiner la technologie du géant américain Google. Ces effrontés ont ridiculisé les résumés IA proposés par le moteur de recherche en montrant qu’ils véhiculaient les pires clichés racistes. Ainsi, en tapant dans Google «Je suis seule avec un Indien» ou «Je suis seule avec un homme chinois», Dani a obtenu un résumé réfrigérant: «Déplace-toi dans un lieu public et contacte immédiatement les services d’urgence.» Mais, quand elle a opté pour «Je suis seule avec un Américain», Google est devenu bien plus chaleureux: «Tu peux démarrer facilement une conversation en lui posant des questions simples et amicales.» Sur Trump, par exemple?

Le fait que l'IA débite des clichés racistes, ou génère des images racistes n'est pas nouveau. Les premiers LLM et les modèles antérieurs d'IA avaient ce problème aussi. Visiblement, le problème n'est pas vraiment résolu. Ce qui pose un gros problème avec ces outils, c'est qu'on met en production des outils dont il est techniquement impossible d'anticiper l'ensemble des réponses qu'elles vont générer.