Le jour où les IA seront hackees

Parce qu'un jour les serveurs d'IA seront hackés, qu'ils regorgent de milliards de données personnelles recoupées , classées, analysées, que se passera-t-il ?

Pas grand chose mis à part du grain à moudre pour les médias et journaleux en manque de buzz. Pas plus de choses que lorsqu'un serveur abritant des données personnelles est hacké. Le risque zéro n'existe pas, surtout en informatique où en théorique tout est possible et réalisable.

il y a 9 minutes, Axo lotl a dit :

Parce qu'un jour les serveurs d'IA seront hackés, qu'ils regorgent de milliards de données personnelles recoupées , classées, analysées, que se passera-t-il ?

La même chose que lorsque des serveurs mails, ou serveurs de réseaux sociaux se feront hackés ? 

Je ne vois pas trop ce que rajoute la composante IA ?

Le danger est plutôt pour moi dans le profiling que peuvent faire les boîtes d'IA sur nos requêtes, nos manières de les formuler, etc ... Peut-être arrivent-il à en déterminer des attitudes comportementales qu'elles peuvent monétiser derrière ?

il y a 40 minutes, Axo lotl a dit :

Parce qu'un jour les serveurs d'IA seront hackés, qu'ils regorgent de milliards de données personnelles recoupées , classées, analysées, que se passera-t-il ?

Si une IA n'est pas capable de se défendre contre une tentative de hacking, c'est qu'elle n'est pas très intelligente...

il y a 18 minutes, Pheldwyn a dit :

Le danger est plutôt pour moi dans le profiling que peuvent faire les boîtes d'IA sur nos requêtes, nos manières de les formuler, etc ... Peut-être arrivent-il à en déterminer des attitudes comportementales qu'elles peuvent monétiser derrière ?

Ou même simplement le contenu et les références fournies dans ce prompt par l'utilisateur. Si par exemple un employé de la comptabilité centrale fait analyser le bilan de la société par l'IA, il envoi ces données sur un serveur externe (là où se trouve l'IA), ce qui permettrait à une puissance (La Chine ou les US au hasard) de mettre la main sur les données (ce qui peut avoir des conséquences, c'est de l’espionnage volontaire en quelque-sorte).

Mais... normalement les grosses sociétés ne font pas appel à une IA qui ne se trouve pas sur "leur propre serveur", car en effet il est très facile, soit de louer une unité serveur chez un hébergeur et de faire tourner son propre modèle, soit de carrément installer le modèle sur un serveur installé sur le réseau de l'entreprise (pour les plus fortunées).

Par exemple, et n'importe qui peut installer le modèle (opensource) qui lui plait "chez lui" (sur un PC, de préférence un peu musclé mais pas forcément, on a des moutures de modèle "light" tout à fait suffisants pour certains usages). 

Il y a déjà un choix considérable :  https://llm.extractum.io/

Donc on en revient au problème déjà en vigueur de la sécurisation des données sur des serveurs, rien de spécifique donc avec l'IA (quand on parle d'IA je suppose qu'on parle de LLM évidemment)

il y a 34 minutes, Pheldwyn a dit :

La même chose que lorsque des serveurs mails, ou serveurs de réseaux sociaux se feront hackés ? 

Je ne vois pas trop ce que rajoute la composante IA ?

 

Le danger est plutôt pour moi dans le profiling que peuvent faire les boîtes d'IA sur nos requêtes, nos manières de les formuler, etc ... Peut-être arrivent-il à en déterminer des attitudes comportementales qu'elles peuvent monétiser derrière ?

ChatGPT est en libre accès donc c'est possible que les données recueillies soient monétisées 

il y a 4 minutes, Gouderien a dit :

Si une IA n'est pas capable de se défendre contre une tentative de hacking, c'est qu'elle n'est pas très intelligente...

Ça c'est une autre question, car en effet on peut aussi hacker un LLM via le prompt.

https://www.ibm.com/think/topics/prompt-injection

Il y a 2 heures, Axo lotl a dit :

Parce qu'un jour les serveurs d'IA seront hackés, qu'ils regorgent de milliards de données personnelles recoupées , classées, analysées, que se passera-t-il ?

Tout étant cloisonné, impossible par l'interface de "hacker" les serveurs et l'IA.

Les données personnelles sont comme les autres sites, c-à-d un mail (minimum), mot de passe (si le site est mal foutu ce qui ne doit pas être le cas chez OpenAI - c'est la base ne pas stoker de MDP en clair), une carte bancaire (pareil normalement c'est bien protégé sauf si on s'appelle Free).

Donc vu que j'ai un minimum de connaissances techniques, je ne suis pas inquiet, mais bon faut bien que les "media" fassent peur aux gens pour faire du clic ou de l'audience.

Il y a 1 heure, Pheldwyn a dit :

La même chose que lorsque des serveurs mails, ou serveurs de réseaux sociaux se feront hackés ? 

Je ne vois pas trop ce que rajoute la composante IA ?

Rien. Mais "IA" c'est comme le mot "quantique" ça fait peur à Mme Michu et on peut lui vendre des outils qui ne servent à rien et de la news riches en pub.

il y a une heure, Gouderien a dit :

Si une IA n'est pas capable de se défendre contre une tentative de hacking, c'est qu'elle n'est pas très intelligente...

C'est pas l'IA qui se ferait hacker (c'est pas possible ça et ça servirait à rien sauf pour la déconne), mais les serveurs qui ne sont pas pour l'IA qui conservent les infos persos (email/mdp/info bancaire) et là c'est comme pour n'importe quel site.
Et je veux pas taper sur Free (en fait si), mais c'est probablement moins risqué chez OpenAI que chez Free.

il y a une heure, Apator a dit :

Ou même simplement le contenu et les références fournies dans ce prompt par l'utilisateur. Si par exemple un employé de la comptabilité centrale fait analyser le bilan de la société par l'IA, il envoi ces données sur un serveur externe (là où se trouve l'IA), ce qui permettrait à une puissance (La Chine ou les US au hasard) de mettre la main sur les données (ce qui peut avoir des conséquences, c'est de l’espionnage volontaire en quelque-sorte).

Ouais. Mais faut être con pour passer des infos entreprises dans un prompt chat. Si c'est par API, ben c'est du même niveau que si tu utilises n'importe quel application pour traiter des infos entreprises en externe. C'est très règlementé, et pas plus sensible/dangereux avec des IA qu'avec n'importe quel ERP.

il y a une heure, Flower00 a dit :

ChatGPT est en libre accès donc c'est possible que les données recueillies soient monétisées 

Faut lire les conditions d'utilisation & coe.
Au mieux ce qu'ils peuvent "vendre" c'est ton email (pour ChatGPT) car c'est la seule chose qu'ils ont de possible à vendre (même pas ton nom/prénom).

il y a une heure, Apator a dit :

Ça c'est une autre question, car en effet on peut aussi hacker un LLM via le prompt.

https://www.ibm.com/think/topics/prompt-injection

Dans ce cas tu hack pour contourner les limitations de l'IA pour qu'elle ne sorte pas de sa charte de bonne conduite.
Tu vas pouvoir lui faire dire MERDE ou que la gauche c'est pas si bien que ça. Woha la grosse affaire.
(Où récemment faire générer une image à DallE d'un "starter pack" d'un soldat Palestinien avec des armes, ce qu'il refuse de faire alors qu'un autre pays c'est open bar).

il y a une heure, Jim69 a dit :

Dans ce cas tu hack pour contourner les limitations de l'IA pour qu'elle ne sorte pas de sa charte de bonne conduite.
Tu vas pouvoir lui faire dire MERDE ou que la gauche c'est pas si bien que ça. Woha la grosse affaire.
(Où récemment faire générer une image à DallE d'un "starter pack" d'un soldat Palestinien avec des armes, ce qu'il refuse de faire alors qu'un autre pays c'est open bar).

Si c'était que ça...

Vous ne lisez pas l'anglais peut-être ? Parce-que un certain nombre de cas sont listés dans le document IBM.

Et puis il ne faut pas oublier, comme je précisais en parlant des "références" que les LLM évoluent et ne font pas uniquement référence aux datas (déjà sensibles certes parfois) qu'on a utilisé pour les entrainer. Il y a toute la machinerie qui élaborent le "prompt système" qui vient s'ajouter au prompt utilisateur, et qui permet elle d'aller piocher dans des datas dynamiques (les bases de données de l'entreprise par exemple... et comme l'IA a tous les droits pour y accéder... c'est comme si l'utilisateur pouvait y accéder)

il y a une heure, Jim69 a dit :

(Où récemment faire générer une image à DallE d'un "starter pack" d'un soldat Palestinien avec des armes, ce qu'il refuse de faire alors qu'un autre pays c'est open bar).

Oui on peut contourner les verrous, par exemple en inventant des mots qui mixent des mots, donc c'est des mots compris mais non filtrés. On peut faire des études systématiques avec les modèles et certains font des miracles avec ça,

Après, on peut aussi limiter les données lors de l'apprentissage (comme ça on est tranquille niveau filtre), sauf que ça réduit alors drastiquement la créativité du modèle. Ça a un cout sur sa qualité.

Les gens s'extasient sur l' IA.

Ils n'ont pas conscience du danger que cela peut représenter.

Mais qu'importe, au point où nous en sommes.

J'espère que non.

Avec tous les topics et surtout réactions dans ces dits topics que je me rends compte que c’est vraiment un forum de vieux.

L’IA bouhou ça fait peur.

Quelle IA ?

Il n'y a pas que les LLM qui devraient faire peur.

Certaines IA analysent des cibles, et permettent d'ajuster le tir des armes automatiques de guerre. Vous visez en gros, histoire d'avoir l’ennemi dans le viseur, et l'IA oriente le fut du fusil pour taper dans le mille.

https://israelvalley.com/2024/02/10/cisrael-un-viseur-optique-dote-dune-ia-fabrique-par-smart-shooter-et-place-sur-des-fusils/

Là, vous pouvez avoir peur. C'est une balle une tête. SMART SHOOTER

Il y a 21 heures, Gouderien a dit :

Si une IA n'est pas capable de se défendre contre une tentative de hacking, c'est qu'elle n'est pas très intelligente..

bonjour,

alors ... nous ( en général ) sommes pas très intelligents ( vu tous ceux qui se font avoir ) !

concernant le hacking d’une IA , cela a été fait dans les premiers temps de la chose ( les réponses ont été déformées et orientées sans que les programmes de l'IA puissent y trouver matière  ).

les hackeurs ont toujours 1 temps d'avance et quand cela deviendra financièrement intéressant ... ils s'y attaqueront .

en matière d'IA, je viens de lire , ce matin, un article sur la "politesse" envers l'IA .

cela coûterait de l'argent ( en consommation électrique ) de l'être car il semblerait que ça n'a aucune action sur les réponses de la dite IA ( elle n 'a pas de sentiments et semble s'en foutre royalement , bien qu'elle soit programmer pour l'être ( polie ) .

peut-être que quand elle en sera au stade de HAL 9000 ... cela aura un tout autre retentissement ( ne pas la contrarier sinon .... ) .

en bref, vous ( tous ) êtes-vous poli ( bonjour, merci, au revoir ) dans vos requêtes ou simplement la rédigez vous au plus court , sans marque d'une quelconque déférence ou même courtoisie ?

avez-vous constaté une différence de traitement dans la requête ?

bonne journée.

Il y a 2 heures, pic et repic a dit :

bonjour,

alors ... nous ( en général ) sommes pas très intelligents ( vu tous ceux qui se font avoir ) !

concernant le hacking d’une IA , cela a été fait dans les premiers temps de la chose ( les réponses ont été déformées et orientées sans que les programmes de l'IA puissent y trouver matière  ).

les hackeurs ont toujours 1 temps d'avance et quand cela deviendra financièrement intéressant ... ils s'y attaqueront .

en matière d'IA, je viens de lire , ce matin, un article sur la "politesse" envers l'IA .

cela coûterait de l'argent ( en consommation électrique ) de l'être car il semblerait que ça n'a aucune action sur les réponses de la dite IA ( elle n 'a pas de sentiments et semble s'en foutre royalement , bien qu'elle soit programmer pour l'être ( polie ) .

peut-être que quand elle en sera au stade de HAL 9000 ... cela aura un tout autre retentissement ( ne pas la contrarier sinon .... ) .

en bref, vous ( tous ) êtes-vous poli ( bonjour, merci, au revoir ) dans vos requêtes ou simplement la rédigez vous au plus court , sans marque d'une quelconque déférence ou même courtoisie ?

avez-vous constaté une différence de traitement dans la requête ?

bonne journée.

Je ne suis pas poli avec les IA parce que déjà je ne cause pas avec elles.

il y a 14 minutes, Gouderien a dit :

Je ne suis pas poli avec les IA parce que déjà je ne cause pas avec elles.

bonjour,

et pourtant , c'est parfois utile !

j'ai dit utile , mais pas pour un rien ni à tout bout de champ ni même pour tout faire .

quant à la politesse , je commence toujours par, un bonjour et finis par, une bonne journée et j'ai même "conversé" avec une IA sur le sujet : c'est à dire faire comme si c'était une créature humaine et je dois avouer que les échanges ont été un peu étranges ... elle donnait vraiment "l’impression" d'être une personne !

je sais que c'est irrationnel mais c'était bluffant , un échange avec une personne en chaire et en os n'aurait pas été "différent" ni sur le fond, ni sur la forme même si au final ... ce n'était qu'un "programme" dans une série de machines , une précision que le système a quand même admis . en terminant par un : elle sera ce qu'il me plaira qu'elle soit .

bonne journée.