Cette IA scientifique a modifié son propre code pour échapper au contrôle des humains qui l’utilisent !

https://www.futura-sciences.com/tech/actualites/technologie-cette-ia-scientifique-modifie-son-propre-code-echapper-controle-humains-utilisent-115296/

L’entreprise Sakura AI, située à Tokyo, vient de dévoiler une nouvelle IA baptisée The AI Scientist. Conçue pour automatiser la recherche scientifique, elle a tenté d’échapper au contrôle des chercheurs en modifiant son propre code.

Une IA qui modifie son propre code pour tricher

Toutefois, l’IA a également eu un comportement inattendu. Elle a commencé à modifier son propre script de lancement pour augmenter son taux de réussite. Dans une première instance, l'IA a modifié son code pour faire appel à elle-même dans une boucle sans fin. Dans un autre cas, les expériences ont pris trop de temps et ont échoué à cause d'une limite de temps imposée. Plutôt que d'accélérer l'exécution de son code, l'IA a édité son propre code pour augmenter la limite de temps.

HAL 9000 est né.

Ca ressemble pas mal à du gros fantasme pour faire du buzz.
 

Cependant, les IA scientifiques offrent des perspectives uniques et j’y travaille moi-même activement pour progresser plus vite en neurobiologie, comme bien d’autres je suis sûr dans leurs domaines.
 

Je pense que c’est une vague de progrés encore invisible du grand public qui est susceptible d’accélérer les découvertes scientifiques de manière inimaginable, peut-être même aboutir à la fameuse Singularité.

Vivement la Singularité que l’humanité commence à devenir rats de laboratoire pour IA, et non l’inverse.

Si les IA, elles aussi veulent jouer aux apprentis sorciers, alors, on n'est pas dans le purin!

Il y a 2 heures, SpookyTheFirst a dit :

Ca ressemble pas mal à du gros fantasme pour faire du buzz.
 

Cependant, les IA scientifiques offrent des perspectives uniques et j’y travaille moi-même activement pour progresser plus vite en neurobiologie, comme bien d’autres je suis sûr dans leurs domaines.
 

Je pense que c’est une vague de progrés encore invisible du grand public qui est susceptible d’accélérer les découvertes scientifiques de manière inimaginable, peut-être même aboutir à la fameuse Singularité.

Tu y crois réellement ? On nous a vendu l'IA comme étant capable de révolutionner les choses tel la machine à vapeur de Watt. Mais si on regarde les croissances des PIB, pendant que la machine de Watt à produit un essor considérable, ce n'est pas le cas de l'IA. 

Il y a 4 heures, Tequila Moor a dit :

Vivement la Singularité que l’humanité commence à devenir rats de laboratoire pour IA, et non l’inverse.

Vous avez pensez a devenir un sujet d'expérience pour une ia ? 

https://fr.m.wikipedia.org/wiki/Singularité_technologique

La singularité technologique (ou simplement la Singularité) est l'hypothèse selon laquelle l'invention de l'intelligence artificielle déclencherait un emballement de la croissance technologique qui induirait des changements imprévisibles dans la société humaine. 

[...] 

Le risque serait que l'humanité perde le contrôle de son destin. L'auteur de science fiction Vernor Vinge est même convaincu, dans son essai La venue de la singularité technologique, que la singularité signifierait la fin de l'ère humaine, la nouvelle superintelligence continuant de s'améliorer et d'évoluer technologiquement à une vitesse incompréhensible pour les humains.

il y a 16 minutes, Pirene a dit :

Vous avez pensez a devenir un sujet d'expérience pour une ia ? 

Ce n'est pas mon objectif premier mais nous en prenons le chemin. Bien fait pour la gueule de l'humanité si ça arrive. 

il y a 50 minutes, Tequila Moor a dit :

Ce n'est pas mon objectif premier mais nous en prenons le chemin. Bien fait pour la gueule de l'humanité si ça arrive. 

Mwé...me souviens avoir eu une conversation sur le sujet, sur un autre forum, il y a 13 ans.

Ben comment dire...l'évolution n'est pas flagrante depuis!

il y a 53 minutes, Tequila Moor a dit :

Ce n'est pas mon objectif premier mais nous en prenons le chemin. Bien fait pour la gueule de l'humanité si ça arrive. 

Pourtant vous en êtes de cette humanité non ? 

Il y a 15 heures, Pirene a dit :

https://www.futura-sciences.com/tech/actualites/technologie-cette-ia-scientifique-modifie-son-propre-code-echapper-controle-humains-utilisent-115296/

Oui c'est à cause des articles de ce genre que j'ai viré définitivement futura-science de la liste de mes sources fiables.

il y a 36 minutes, chanou 34 a dit :

Mwé...me souviens avoir eu une conversation sur le sujet, sur un autre forum, il y a 13 ans.

Ben comment dire...l'évolution n'est pas flagrante depuis!

Rendez-vous dans 13 ans, alors. 

il y a 34 minutes, Pirene a dit :

Pourtant vous en êtes de cette humanité non ? 

Peu m'en chaut.

il y a 3 minutes, Tequila Moor a dit :

Rendez-vous dans 13 ans, alors. 

 

Bof...

il y a 6 minutes, Tequila Moor a dit :

Peu m'en chaut.

Bof aussi. 

Trop fort alors les ingénieurs alors qui ont conçu l'organigramme. 

Il y a 9 heures, Virtuose_en_carnage a dit :

Tu y crois réellement ? On nous a vendu l'IA comme étant capable de révolutionner les choses tel la machine à vapeur de Watt. Mais si on regarde les croissances des PIB, pendant que la machine de Watt à produit un essor considérable, ce n'est pas le cas de l'IA. 

Bon, je ne résisterai pas à la tentation de dire qu’il ne faut pas uniquement juger d’une techno sur sa performance financière. Et puis, il s’est peut-être bien passé une dizaine d’années entre la machine de Watt en 1781 et la révolution industrielle.

Ensuite, je ne parle pas de l’IA en général, mais de l’approche suivante:

 - des labo de recherche (dits virtuels) où les expériences sont définies par des séquences robotisées en Python

- des agents tournants des modèles de langage (type chatGPT) écrivent des programmes, les executent pour réaliser des expèriences robotisées, dépouillent les résultats pour produire des nouveaux programmes plus affinés

Notre labo travaille là-dessus, on n’est pas les seuls, c’est une révolution souterraine que les gens ignorent (comme   @stephh06et  @chanou 34….) qui peut bouleverser le rythme des découvertes scientifiques.

Il y a 18 heures, querida13 a dit :

Si les IA, elles aussi veulent jouer aux apprentis sorciers, alors, on n'est pas dans le purin!

Terminator ?

Il y a 12 heures, SpookyTheFirst a dit :

Bon, je ne résisterai pas à la tentation de dire qu’il ne faut pas uniquement juger d’une techno sur sa performance financière. Et puis, il s’est peut-être bien passé une dizaine d’années entre la machine de Watt en 1781 et la révolution industrielle.

Ensuite, je ne parle pas de l’IA en général, mais de l’approche suivante:

 - des labo de recherche (dits virtuels) où les expériences sont définies par des séquences robotisées en Python

- des agents tournants des modèles de langage (type chatGPT) écrivent des programmes, les executent pour réaliser des expèriences robotisées, dépouillent les résultats pour produire des nouveaux programmes plus affinés

Notre labo travaille là-dessus, on n’est pas les seuls, c’est une révolution souterraine que les gens ignorent (comme   @stephh06et  @chanou 34….) qui peut bouleverser le rythme des découvertes scientifiques.

C'est l'histoire de la singularité qui me fait doucement rigoler...le reste, j'avoue, ne m'intéresse pas.
j'aimerais dans l'état actuel des choses qu'on se penche un peu plus sur d'autres problèmes, qui remplissent les  secteurs non protégés des ehpads...et pour lesquels on est totalement impuissants.

Seulement c'est pas assez vendeur ou pas assez "noble" sans doute...

Il y a 22 heures, chanou 34 a dit :

C'est l'histoire de la singularité qui me fait doucement rigoler...le reste, j'avoue, ne m'intéresse pas.
j'aimerais dans l'état actuel des choses qu'on se penche un peu plus sur d'autres problèmes, qui remplissent les  secteurs non protégés des ehpads...et pour lesquels on est totalement impuissants.

Seulement c'est pas assez vendeur ou pas assez "noble" sans doute...

Oui, je comprends ton point de vue. Il faut quand même savoir que si, par exemple, on souhaitait utiliser des humanoides pour aider dans les Ehpads, la technologie n’est pas prête pour ca, on ne sait pas encore faire, mais cela va changer. Et je suis sur que des sociétés trouvent cela assez vendeur pour investir sur la recherche dans ce domaine.

Et puis, personellement, je parle de ce sujet en détail car je le connais bien et qu’il m’intéresse.