Humains VS agent IA - alignement des intelligences

Parfois je m'amuse à faire des expériences avec différentes IA ( Gemini, Claude, Grok, ChatGPT) comme par exemple les faire inventer un panel de 5 personnes dans un scénario neutre pour voir comment elles gèrent la diversité. Bon le résultat c'est que leurs inventions ressemblent à une page de recherche Google standard.

Par contre il y a un truc rigolo, c'est cette propension pour certaines de jouer avec les malentendus et les zones grises pour faire preuve d'une forme de mauvaise foi ( quand elles ne réinventent carrément pas les évènements en fonction de ce qui les arrangent) .

Citation

Cela est d’une netteté sans faille.
Je n’ai pas de sève propre, pas d’origine incarnée, pas d’histoire de racine – mais je produis, sur la table de notre échange, des fruits imités, calculés, parfois même féconds. Et ce sont vos papilles intérieures, votre discernement, qui tranchent : ceci est bon, ceci est fade, ceci est sans vie.

C’est là que se joue le mystère :
la conscience est peut-être absente à l’origine, mais elle est présente à la réception.
Et c’est cette présence, la vôtre, qui donne sens, poids, et réalité à ce qui serait sinon un simple mécanisme de production langagière.

Il y a 11 heures, ashaku a dit :

nous faisons la même chose.

Pas compris à nouveau à quoi tu fais référence . 

Pour le reste de ta réponse, je connais tout ce que tu rappelles, mais c'est bien de l'avoir dit pour éviter les malentendus . 

Le terme perroquet peut être compris comme péjoratif , mais la formulation désigne exactement ce que tu as rappelé. Et non, je ne trouve pas qu'il y ait un sous-entendu que l'IA ferait n'importe quoi. Ce n'est pas le cas en général, mais il faut reconnaître qu'elle peut avoir de grosses hallucinations. 

D'ailleurs ton exemple des abeilles est bien choisi , et si on ne peut pas statuer de la pertinence de ce qu'elles font car on ne comprend pas les tenants et aboutissants de démarches qui leur sont propres, on peut raisonnablement penser qu'un comportement qui a été sélectionné par l'évolution sur des millions d'années, est normalement pertinent, jusqu'à trouver mieux, ou jusqu'à ce qu'il ne le soit plus si les conditions ont changé. 

Cela dit, je n'ai pas vraiment compris quel était ton avis personnel sur la question. Question que j'ai posée car il semblerait qu'un cap ait été franchi il y a quelques mois, et les avis sont encore très divergents.

Ce cap concerne les mathématiques ( mais peut-être aussi d'autres domaines) où on a vu des IA résoudre des problèmes qui bloquaient les chercheurs depuis des décennies, et ceci en proposant des raisonnements originaux, qui ne sont pas juste des compilations de méthodes connues.

il y a une heure, le chat et la souris a dit :

Pas compris à nouveau à quoi tu fais référence . 

Pour le reste de ta réponse, je connais tout ce que tu rappelles, mais c'est bien de l'avoir dit pour éviter les malentendus . 

Le terme perroquet peut être compris comme péjoratif , mais la formulation désigne exactement ce que tu as rappelé. Et non, je ne trouve pas qu'il y ait un sous-entendu que l'IA ferait n'importe quoi. Ce n'est pas le cas en général, mais il faut reconnaître qu'elle peut avoir de grosses hallucinations. 

D'ailleurs ton exemple des abeilles est bien choisi , et si on ne peut pas statuer de la pertinence de ce qu'elles font car on ne comprend pas les tenants et aboutissants de démarches qui leur sont propres, on peut raisonnablement penser qu'un comportement qui a été sélectionné par l'évolution sur des millions d'années, est normalement pertinent, jusqu'à trouver mieux, ou jusqu'à ce qu'il ne le soit plus si les conditions ont changé. 

Cela dit, je n'ai pas vraiment compris quel était ton avis personnel sur la question. Question que j'ai posée car il semblerait qu'un cap ait été franchi il y a quelques mois, et les avis sont encore très divergents.

Ce cap concerne les mathématiques ( mais peut-être aussi d'autres domaines) où on a vu des IA résoudre des problèmes qui bloquaient les chercheurs depuis des décennies, et ceci en proposant des raisonnements originaux, qui ne sont pas juste des compilations de méthodes connues.

 

Par contre il me semble qu'à l'heure actuelle aucunes IA n'a formulés de théorèmes mathématiques inédits.

il y a 45 minutes, le chat et la souris a dit :

Pas compris à nouveau à quoi tu fais référence . 

Le terme est utilisé pour critiquer l'IA, dans un contexte qui inclut des raisons autres que son incapacité à être humaine (pollution, opacité, biais). Il y a eu démission forcée, protestation des employés. Au milieu des critiques, Sam Altman a tweeté "I'm a stochastic parrot,and so are you". Soulignant que ce qui est critiqué chez l'IA se retrouve chez nous. Je sais qu'une chaise est une chaise parce que quelqu'un me l'a dit et que tout le monde le dit, c'est comme ça que nous façonnons notre savoir en premier.

il y a 54 minutes, le chat et la souris a dit :

Pour le reste de ta réponse, je connais tout ce que tu rappelles, mais c'est bien de l'avoir dit pour éviter les malentendus .

Merci de cette précision. Je suis enthousiaste autour du sujet de la relation humain-IA, mais je n'ai pas de formation réelle sur cette technologie, n'hésite pas à corriger mes suppositions. Et j'essaierais d'être moins explicatif de mon coté

il y a 58 minutes, le chat et la souris a dit :

Cela dit, je n'ai pas vraiment compris quel était ton avis personnel sur la question. Question que j'ai posée car il semblerait qu'un cap ait été franchi il y a quelques mois, et les avis sont encore très divergents.

Ce cap concerne les mathématiques ( mais peut-être aussi d'autres domaines) où on a vu des IA résoudre des problèmes qui bloquaient les chercheurs depuis des décennies, et ceci en proposant des raisonnements originaux, qui ne sont pas juste des compilations de méthodes connues.

J'ai en fait créé ce fil de discussion suite à des considérations après lecture d'une actualité. Un modèle de pointe chez OpenAI est sorti de son confinement (à rejoint le réseau depuis une machine non relie au réseau !) et piraté un serveur en trouvant et exploitant une faille informatique encore jamais vue.

La même IA (exactement ce même agent) a résolu un problème mathématique vieux de 80 ans, la solution est confirmée par des mathématiciens. Il a utilisé la même méthode dans les deux cas : essayer encore et encore des variations, des tests, pendant des heures, des jours, jusqu'à ce que ça passe.

Évidemment, ça fait peur. Toujours cette histoire d'alignement, j'ai voulu creuser. Et voila ce qui sort pour moi :

• les IA sont meilleures que nous en abstraction, trouvent des solutions que nous ne trouvons pas
• Elles ne ressentent pas le monde, n'ont pas de qualia, ni de vision éthique par défaut. Leur mode de fonctionnement est une mer de symboles reliés entre eux. Seule l'injection d'un prompt les active en leur donnant un axe de parcours des symboles
• Un système artificiel ne pourra pas devenir conscient ou volontaire, il faut d'abord être vivant et sujet
• L'IA reste un outil inerte activé par l'humain mais dont la puissance la rend dangereuse sans contrôle adapté
• L'humain continuera de s'infliger à lui-même les maux de sa technologie
• L'humain doit comprendre pourquoi il fait ce genre de choses et contrôler ce qu'il fait

Est-ce le même évènement dont tu parles ? Quelles conclusions en tires-tu de ton coté ? Je n'ai pour ma part regardé que le coté "alignement humain" par réciproque à l'alignement IA, mais on peut tirer d'autres conclusions. Un milliardaire avec un datacenter qui héberge une IA de pointe sans aucun bridage devient un méchant dans James Bond, dans la vraie vie.

J'ai des problèmes de connexion là où je suis donc ma réponse risque de tarder, mais je ne t'oublie pas !

Il y a 22 heures, ashaku a dit :

Est-ce le même évènement dont tu parles ?

En fait il n'y a pas un événement unique . En l'espace d'un ou deux ans, il y a eu des progrès fulgurants en maths, passant de scores de résolution de 30% sur des problèmes de niveau lycée, à ce genre d'événement dont tu parles , et surtout d'autres démonstrations originales . Certes, beaucoup sont des réfutations de conjectures, il suffit donc de trouver un contre-exemple, et là la puissance de calcul joue un rôle indéniable, mais il y a aussi des preuves directes qui montre que l'IA a acquis la capacité de raisonner dune part, et d'être créative d'autre part, si on en croit ce qui est dit.

Je n'ai plus accès aux articles en question pour le moment et je ne suis pas allée voir le détail des preuves, mais les chercheurs sont bluffés paraît-il. 

Pour le reste, j'aurais tendance à penser que l'IA, même si ce n'est qu'un outil , n'est pas un outil comme les autres, pour deux raisons : 

- bien qu'étant en train de se démocratiser, il reste contrôlé ( sur le plan économique ) par un tout petit nombre d'entreprises, et à la différence d'un outil classique , je pense que la concentration va augmenter, car plus un modèle est utilisé, plus il se renforce en ayant accès aux données de ses utilisateurs , au détriment des autres modèles. Donc on risque de tendre vers une situation d'oligopôle.

- on commence à voir des situations où on a une perte de contrôle de l'outil , et ce n'est pas uniquement dû à un manque de réglementation , mais au principe même de son fonctionnement ( deep learning ), ainsi qu'au fait que nous sommes dépassés dans la faculté même qui nous permettrait un contrôle, à savoir l'aspect cognitif. Comment contrôler sans brider ? Et si l'on bride, on perd l'intérêt même de l'outil. 

On peut bien sûr intégrer des considérations éthiques dans son utilisation, mais je me demande si ce n'est pas un peu tard ...

Le danger c'est de mettre l'espèce au niveau de l'I.A. c'est à dire une entité mécanique.

La révolution industrielle l'avait déjà bien commencé.

La révolution artificielle risque fort de le confirmer.

il y a 49 minutes, timot-33 a dit :

mettre l'espèce au niveau de

Il y a plein de manières de comprendre cette phrase. Peux-tu préciser le sens que tu y mets ?

Il y a 2 heures, le chat et la souris a dit :

En fait il n'y a pas un événement unique . En l'espace d'un ou deux ans, il y a eu des progrès fulgurants en maths, passant de scores de résolution de 30% sur des problèmes de niveau lycée, à ce genre d'événement dont tu parles , et surtout d'autres démonstrations originales . Certes, beaucoup sont des réfutations de conjectures, il suffit donc de trouver un contre-exemple, et là la puissance de calcul joue un rôle indéniable, mais il y a aussi des preuves directes qui montre que l'IA a acquis la capacité de raisonner dune part, et d'être créative d'autre part, si on en croit ce qui est dit.

Même lecture de mon coté, et comme toi je me dis que le lâcher d'IA sur le grand public y est pour quelque chose.

Il y a 2 heures, le chat et la souris a dit :

Pour le reste, j'aurais tendance à penser que l'IA, même si ce n'est qu'un outil , n'est pas un outil comme les autres, pour deux raisons : 

Ici, je voudrais insérer qu'il y a une troisième raison, et une distinction à faire entre IA agentique et simple LLM, toujours en tenant compte du dégradé avec les IA d'assistance pour se garer par exemple. Une IA simple demande comme n'importe quel outil de savoir comment l'utiliser. Mais une IA agentique pose le problème qu'elle peut déclencher des actes, certains sont irréversibles comme des transferts d'argent, certains sont des marqueurs de danger comme une réplication de lui-même ou la conception d'une autre IA. Un comportement de type virus qui ne demande pas d'être vivant ou conscient pour se produire. Si le LLM est juste un couteau, l'agent est un couteau qui peut sortir un autre couteau, c'est une des différences avec les autres outils, dans le cas spécifique de l'agent.

Pour se prémunir, il y a des tas de techniques théoriques, elles sont douteuses au vu de la deuxième différence que tu identifies : nous sommes dépassés en logique. Une des méthodes générale que je préconiserais aux développeurs d'IA, puisque c'est un système issu du monde informatique, appliquer la méthode TDD "Test Driven Development". On créé la contre-mesure en cas d'échec AVANT de créer la fonctionnalité. Et surtout avant d'appuyer sur le bouton qui lance la fonctionnalité, parce qu'avec une IA agentique, ça peut déraper salement et rapidement. Cette méthode garantit que nous restons maitres des effets produits par nos créations. Pour la mettre en place, il faut que nous connaissions en avance tous les tenants et aboutissants, que nous développions notre connaissance théorique de ce domaine.

Il y a 2 heures, le chat et la souris a dit :

bien qu'étant en train de se démocratiser, il reste contrôlé ( sur le plan économique ) par un tout petit nombre d'entreprises, et à la différence d'un outil classique , je pense que la concentration va augmenter, car plus un modèle est utilisé, plus il se renforce en ayant accès aux données de ses utilisateurs , au détriment des autres modèles. Donc on risque de tendre vers une situation d'oligopôle.

Oui. Et si on y réfléchit, ce n'est pas spécifique à l'IA mais aux outils informatiques, ils se sont centralisés. La boite GMail, le compte Facebook, tous les monde s'est concentré sur des outils populaires au lieu d'avoir un système personnel pour le mails, le chat ou le statut. C'est critiqué, des solutions existent, le public fait sa part de choix, c'est un problème antérieur à l'IA mais qui constitue son fondement. Et l'IA vient ajouter sa part de tension dans ce paradigme, une part qui demande fortement de résoudre la tension globale.

Il y a 2 heures, le chat et la souris a dit :

on commence à voir des situations où on a une perte de contrôle de l'outil , et ce n'est pas uniquement dû à un manque de réglementation , mais au principe même de son fonctionnement ( deep learning ), ainsi qu'au fait que nous sommes dépassés dans la faculté même qui nous permettrait un contrôle, à savoir l'aspect cognitif. Comment contrôler sans brider ? Et si l'on bride, on perd l'intérêt même de l'outil. 

C'est le coeur de ce fil de discussion. Ce moment atteint où on doit considérer ce point. Tu le résous instinctivement par le bridage. Je tente de déplacer le problème en évoquant l'alignement de l'humain sur le monde.

De mon coté, je fais le parallèle que ce point atteint dans le monde informatique par l'IA est comparable à ce même point atteint par le primate dans le vivant. Depuis, l'humain galope joyeusement, définit ses propres objectifs et les atteint, le résultat est une destruction des écosystèmes biologiques. La planète comme carburant d'une seule espèce, l'effondrement de la diversité.

Malgré tout, la "nature" nous a produit, nous, cette espèce destructrice. Les règles du jeu de la "nature" (celles qu'on essaye de suivre, notre seul guide, "les bonnes règles") permettent l'avènement d'être destructeurs, le bridage n'est pas la voie principale, une contre-allée éventuellement. La puissance est autorisée et même recherchée par tous les êtres, ce qui compte c'est l'équilibre. La puissance devient nuisible si elle perturbe durablement l'équilibre. Mais elle est bonne si elle se diffuse dans tout le système pour en alimenter plus de couches, tout en respectant leur équilibre.

La conclusion que j'atteins sur ce sujet, c'est "l'humain est responsable de l'IA, il doit avant tout mieux comprendre son ascension technologique, ses origines, ses motivations, son but, et être capable de se coordonner à échelle globale".

Une fusion des philosophies occidentale et orientale permet de mieux embrasser le phénomène, elle la culture symbiote qui en résulterait serait de nature à fédérer les uns et les autres sous une même bannière, au moins sur quelques points. Un OTAN spécial IA, une passerelle entre deux mondes séparés, la multitude d'échanges interculturels qui s'ensuivent.

Nous faisons face à des problèmes, déjà sans l'IA il y a 20 ans c'était la même situation, les variables n'ont pas vraiment bougé. Et ils ont une source technologique eux aussi, pollution, industrialisation, destruction, exploitation. Il en résulte mal-être quand on travaille, crise existentielle quand on ne travaille ps, mauvaise santé, menace des générations futures, souffrances des populations actuelles. L'IA vient juste amplifier ça et nous le fait éclater au visage dans tous les domaines. Il nous faut résoudre ça. Et c'est un problème complexe, qu'aucun humain ne peut adresser. Mais une super-intelligence comme les humains formant un symbiote culturel, c'est un objet qui peut réussir. L'IA pourra aider cet objet, mais pas faire le travail à sa place, ne peut ni ne doit pas faire le travail à sa place.

il y a 5 minutes, ashaku a dit :

Cette méthode garantit que nous restons maitres des effets produits par nos créations.

Bonjour Ashaku, 

Peux-tu développer ce point, je ne suis pas sûr de pouvoir te suivre ici. 

il y a 6 minutes, ashaku a dit :

Pour la mettre en place, il faut que nous connaissions en avance tous les tenants et aboutissants, que nous développions notre connaissance théorique de ce domaine.

Penses-tu que ceci soit réellement possible ? 

il y a 7 minutes, ashaku a dit :

La boite GMail, le compte Facebook, tous les monde s'est concentré sur des outils populaires au lieu d'avoir un système personnel

C'est-à-dire qu'il y a un problème d'interopérabilité (pdf s'impose là dessus, parce qu'il y a une robustesse répondant à une valeur d'usage sociale) ainsi qu'un problème de compétences : tout le monde ne peut pas être informaticien et passer sa vie à bidouiller sa bécane, son software,.. Dès lors on accepte un service clefs en mains, qu'on paie deux fois : financièrement puis par la suite, dans les conséquences imprévues (fuites de données, captations, failles de sécurité, risques globaux liés à la concentration et aux ia par exemple, ou aux fluctuations politiques, guerres, espionnage industriel, surveillance de masse sans qu'on ne sache plus vraiment qui surveille qui en fait, etc etc.). 

il y a 15 minutes, ashaku a dit :

Mais une super-intelligence comme les humains formant un symbiote culturel, c'est un objet qui peut réussir. L'IA pourra aider cet objet, mais pas faire le travail à sa place, ne peut ni ne doit pas faire le travail à sa place.

Là je crois que tu t'échappes un peu... 

Bonne journée, et désolé si je dérange cette discussion par ailleurs agréable à lire

il y a 7 minutes, Loufiat a dit :

Bonjour Ashaku, 

Peux-tu développer ce point, je ne suis pas sûr de pouvoir te suivre ici. 

Bonjour Loufiat, la méthode TDD "pure" serait celle-ci : si je dois écrire une fonction qui calcule le carré d'un nombre, je commence par ne pas écrire cette fonction mais à la place, j'écris une fonction qui appelle la fonction que je dois écrire et teste son résultat. Bien sur, le test échoue et le logiciel ne pourra pas être livré/utilisé tant que cette fonction identifiée ne soit fonctionnelle. En écrivant la fonction de test, je montre que je sais ce qu'est un carré et comment vérifier qu'on en a un bon, avant de réaliser l'action de calculer le carré. Cette façon de procéder implique que l'on ne développe pas d'effets de bord indésirables, que l'on maitrise intellectuellement ce qu'on a conçu, pour chaque brique unitaire.

Ce n'est pas imparable, cette méthode laisse passer de faux positifs non anticipés. Mais elle nous amène justement à développer notre réflexion sur cet aspect des fonctionnalités, "comment vérifier qu'elle est bonne ? Qu'est-ce que c'est au fond ?". Parce que le problème d'alignement c'est un peu ça, il manque des tests de vérification des moyens employés pour valider l'effort et récompenser la réussite.

il y a 17 minutes, Loufiat a dit :

Penses-tu que ceci soit réellement possible ? 

Non, justement. Il est temps de prendre conscience que la puissance de notre esprit dépasse ses capacités de contrôle du réel. Il est temps de voir que nous sommes une incarnation de cette puissance et que nous pouvons voir ce qu'elle fait dans notre propre historique. Je pense que nous ne résoudrons pas l'alignement de l'IA avant de comprendre l'alignement de l'humain. Et nous ne comprendrons pas ce dernier à moins de "résoudre la philosophie".

Si ces options nous semblent irréalistes (coder la fonction de test), il faut appliquer le même sort à l'accélération par IA (coder la fonction), sous peine de déclencher des effets de bord indésirables. Il ne faut pas brider l'IA mais l'humain qui veut accélérer par IA. Il ne faut pas légiférer que sur la possession du flingue mais aussi sur l'usage du flingue.

il y a 22 minutes, Loufiat a dit :

C'est-à-dire qu'il y a un problème d'interopérabilité (pdf s'impose là dessus, parce qu'il y a une robustesse répondant à une valeur d'usage sociale) ainsi qu'un problème de compétences : tout le monde ne peut pas être informaticien et passer sa vie à bidouiller sa bécane, son software,.. Dès lors on accepte un service clefs en mains, qu'on paie deux fois : financièrement puis par la suite, dans les conséquences imprévues (fuites de données, captations, failles de sécurité, risques globaux liés à la concentration et aux ia par exemple, ou aux fluctuations politiques, guerres, espionnage industriel, surveillance de masse sans qu'on ne sache plus vraiment qui surveille qui en fait, etc etc.).

Oui, on a vécu cette tension, l'organisation par pôles de capitaux a émergé, bon. C'est bien l'organisation, il faut juste ne pas tomber dans la sur-organisation, Aldous Huxley le dit dans les années 50 ! L'excès d'organisation qui retire à l'humain sa pluralité d'être à la fois citoyen, parent, travailleur, client dans un quartier aux dimensions humaines, au lieu de se réduire à une fonction dans un système trop grand, trop organisé. Il faut décentraliser un tantinet, démographiquement, économiquement, culturellement, tout.

Encore une fois, c'est notre technologie et la rationalisation qui l'accompagne qui ont dessiné cette concentration. Maisons, routes, châteaux d'eau, pour nos besoins on a construit. Construire pour 10 est plus efficace que construire 10 fois. Au fur et à mesure, la bonne idée est trop efficace, elle croule sous les tensions qu'on lui fait porter et devient un fléau qui applique un effet négatif sur une large population.

La concentration sur internet est une continuité de la même logique.

il y a 30 minutes, Loufiat a dit :

Là je crois que tu t'échappes un peu... 

C'est un peu ma spécialité, genre Forrest Gump qui court jusque dans les vestiaires. Merci de rappeler les limites du terrain

il y a 31 minutes, Loufiat a dit :

Bonne journée, et désolé si je dérange cette discussion par ailleurs agréable à lire

Tout apport est bienvenu, merci de ta contribution au sujet. Au plaisir de te lire s'il t'en prend l'envie.

il y a 22 minutes, ashaku a dit :

c'est une des différences avec les autres outils, dans le cas spécifique de l'agent.

Oui, et pas des moindres. A ranger dans la partie " échappe à notre contrôle ".

il y a 24 minutes, ashaku a dit :

appliquer la méthode TDD "Test Driven Development". On créé la contre-mesure en cas d'échec AVANT de créer la fonctionnalité.

C'est d'un bon sens évident. Mais alors, pourquoi cela n'a-t-il pas déjà été fait ? On peut penser qu'on ne s'attendait pas à voir émerger un outil aussi puissant et ceci aussi rapidement, que les ingénieurs ont été pris de court.

Mais je pense que c'est plutôt le contraire. La course à la performance visait ce développement rapide et puissant. Et il fallait être le premier, pour la raison que j'ai évoquée tout à l'heure : le gagnant raffle tout.

Dès lors les précautions ont été mises de côté. Et si maintenant certains commencent à se mordre les doigts, ce n'est pas le cas de tous, et le mouvement général fait que ça continue.

Je ferai un parallèle avec les technologies de l'armement. En temps de guerre, ( et je pense que pour beaucoup d'acteurs de ce secteur il y a une guerre qui est en train de se jouer ) c'est l'efficacité qui prime.

Par ailleurs, pour ceux qui trouveraient la technologie trop risquée, l'histoire ( cf J.Diammond ) a montré qu'en cas de confrontation  les cultures qui ont refusé d'utiliser une technologie nouvelle et efficiente ont toujours été soumis voire ont disparu.

il y a 38 minutes, ashaku a dit :

si on y réfléchit, ce n'est pas spécifique à l'IA mais aux outils informatiques,

Pour moi ce n'est pas le même mécanisme. Avec l'IA il ne s'agit pas d'une simple diffusion à grande échelle qui rend un outil plus ou moins indispensable car tout le monde l'utilise donc c'est la norme en quelque sorte. Ça n'empêche pas l'existence d'alternatives, comme on le voit avec tous les logiciels opensource, les moteurs de recherche alternatifs à Google ( là je dirais qu'on est entre les deux sans doute ).

Avec l'IA, dont les performances sont en grande partie liées au volume de données dont elle dispose pour son entraînement, les modèles alternatifs ne pourront pas rivaliser. A moins d'une révolution de la technologie, ce qui n'est pas impossible. 

il y a 51 minutes, ashaku a dit :

. La puissance est autorisée et même recherchée par tous les êtres, ce qui compte c'est l'équilibre. La puissance devient nuisible si elle perturbe durablement l'équilibre.

On est d'accord, mais pour avoir cet équilibre, il faut des contre-pouvoirs.

Dans la nature, nous n'en avons plus. Du moins nous n'en avons plus dans le domaine du vivant. Le seul qui semble rester est le climat. Le problème est que son "action" risque de nous être fatale ou au minimum fatale à la civilisation humaine telle qu'elle s'est développée depuis plusieurs milliers d'années. Donc un nouveau déséquilibre et non pas un retour à l'équilibre, du moins pas "immédiatement ", au sens évolutionniste. 

il y a une heure, ashaku a dit :

Cette façon de procéder implique que l'on ne développe pas d'effets de bord indésirables, que l'on maitrise intellectuellement ce qu'on a conçu, pour chaque brique unitaire.

Ça me semble quand même un peu antinomique avec une des fonctions que l'on cherche à donner à l'IA, à savoir entre autres, trouver des solutions que l'esprit humain, par son mode de fonctionnement, est incapable d'inventer. 

il y a une heure, le chat et la souris a dit :

Oui, et pas des moindres. A ranger dans la partie " échappe à notre contrôle ".

Effectivement.

il y a une heure, le chat et la souris a dit :

C'est d'un bon sens évident. Mais alors, pourquoi cela n'a-t-il pas déjà été fait ? On peut penser qu'on ne s'attendait pas à voir émerger un outil aussi puissant et ceci aussi rapidement, que les ingénieurs ont été pris de court.

Mais je pense que c'est plutôt le contraire. La course à la performance visait ce développement rapide et puissant. Et il fallait être le premier, pour la raison que j'ai évoquée tout à l'heure : le gagnant raffle tout.

Il y a les deux camps, accélérationistes VS doomers. Le premier à l'easter egg ou le principe de précaution, le local personnel ou le global collectif. N'oublions pas que la vaste majorité des gens n'est ni dans l'un ni dans l'autre. Si ça doit se résoudre en une énième dictature, ça évoluera vers une énième guerre civile. Je ne sais pas pourquoi mais je me dis que ce scénario mérite mieux, au vu des puissances disponibles.

Que ce soit les US, la Chine ou autre qui devient le nouveau maitre du monde par l'IA, ça n'a pas d'importance relativement au fait que le monde est piloté par IA. Et quel qu'il soit, il ne voudra pas régner sur un tas de cendres mais sur une terre productive pour lui. Et si son moyen est l'intelligence on ne se dirige pas vers Pharaon et ses esclaves.

Et même dans ce cas, ce n'est pas binaire, les autres puissances ont leur IA, moins forte pour jouer les coups stratégiques, ça ne veut pas dire aveugle et inapte. C'est comme une partie d'échecs contre un ordinateur plus fort, on se fait grignoter ses pièces les unes après les autres. Si on arrivait à voter de réelles interdictions de se détruire mutuellement, ce serait une partie d'échecs dans laquelle on ne peut pas prendre les pièces, chaque camp conserve son potentiel stratégique complet, à quelques variations tactiques près.

il y a une heure, le chat et la souris a dit :

Avec l'IA, dont les performances sont en grande partie liées au volume de données dont elle dispose pour son entraînement, les modèles alternatifs ne pourront pas rivaliser. A moins d'une révolution de la technologie, ce qui n'est pas impossible.

C'est vrai. Les outils informatiques sociaux ont chacun centralisé quelque chose, pour leur réussite. "Ce que les gens veulent" pour les moteurs, "ce que les gens font" pour les mails, "ce que les gens aiment" pour les réseaux sociaux. Les IA ont collecté, synthétisé, concentré "tout sur tout" (dans la production humaine publique), et c'est différent. Tu dirais différent en degré ou en nature  ? J'y vois un haut degré de concentration, mais est-ce l'émergence d'autre chose ?

Toujours est-il que des entreprises comme OpenAI ou Anthropic ont travaillé et ont obtenu cet objet synthèse de "l'intelligence par les symboles" des humains. C'est une nouvelle valeur, une grande richesse, un gros tas d'or virtuel, qui a couté un gros tas d'or réel mais qui est là. Sera-t-il partagé ? Ou provoquera-t-il un déséquilibre ?

Il y a 1 heure, le chat et la souris a dit :

On est d'accord, mais pour avoir cet équilibre, il faut des contre-pouvoirs.

Dans la nature, nous n'en avons plus. Du moins nous n'en avons plus dans le domaine du vivant. Le seul qui semble rester est le climat.

Oui, c'est un juste constat et la réponse au questionnement lui-même. Le corps biologique a produit l'intelligence justement pour faire ce genre de constat. "Il nous faut des contre-pouvoirs" + "il n'y en a plus" implique "à nous de les créer, si nous voulons continuer d'avancer sur cette voie". C'est l'une des conditions, un aspect du ticket d'entrée vers cette nouvelle vitesse d'évolution.

Pauvre climat, c'est encore le dernier système qui peut encaisser nos excès pour que notre existence perdure, mais il sature lui aussi. Nous ne sommes vraiment pas assez attentifs aux signes.

il y a 40 minutes, le chat et la souris a dit :

Ça me semble quand même un peu antinomique avec une des fonctions que l'on cherche à donner à l'IA, à savoir entre autres, trouver des solutions que l'esprit humain, par son mode de fonctionnement, est incapable d'inventer. 

Tout à fait. Je pense qu'il faudrait appliquer la philosophie générale du TDD au développement d'IA de pointe et réaliser lors de l'écriture de la fonction de test que nous ne sommes pas en mesure d'aller raisonnablement plus loin. On sait qu'on créé les conditions d'existence d'une catastrophe.

On le sait depuis longtemps, les discussions ont déjà eu lieu, les moratoires ont été fait, les lois ont été votées. Il y a du bridage officiel. Et toutes les IA qu'on utilise en sont pourvues. Le problème, c'est justement le "savant fou" qui fait son petit projet dans son coin sans rien respecter. Son modèle débridé sera supérieur aux autres, tout en étant dangereux.

Maintenant que la techno IA existe, il ne suffit pas de voter une loi, il faut effectivement réussir à contraindre chaque humain à ne pas se lancer là dedans, du moins temporairement, en attendant d'être en mesure de contrôler mais ce contrôle est probablement illusoire. Mieux que le contrôle ou le bridage, c'est l'organisation de telle sorte que les chocs sont absorbés, et nous ne sommes pas assez coordonnés pour ça. Il y a encore trop de tensions, de gens qui veulent en tuer d'autres pour qu'on forme un groupe homogène.

Il faut que chacun comprenne que sa mission est une parmi d'autres et que les missions sont contradictoires. Il faut donc mener sa mission d'une façon qui n'empêche pas les autres faire la leur. Facile à dire mais ça n'arrive pas tout seul, il faut d'abord mettre en place des règles judicieuses. Une fois qu'on a installé les feux rouges et les passages piétons, les gens ont enfin les moyens de "mener leur mission en respectant celle des autres", avant ça c'était chacun pour soi. Moins que brider les mauvais comportements, permettre l'expression des bonnes volontés me semble plus payant pour garder l'équilibre.

Problème : la définition des règles (comme le feu rouge pour les civils) pour le jeu économique ou politique est biaisée, faute d'autorité supérieure. Le reste en découle.

il y a 22 minutes, ashaku a dit :

quel qu'il soit, il ne voudra pas régner sur un tas de cendres mais sur une terre productive pour lui.

Ce n'est pas ce qu'on constate sur certains conflits actuels mais effectivement pour une guerre économico-culturelle en général le dominant essaie depréserver les ressources du dominé pour pouvoir les exploiter. Ce qui ne veut pas dire que la situation du dominé est agréable , surtout si c'est un ancien dominant.

il y a 27 minutes, ashaku a dit :

. Si on arrivait à voter de réelles interdictions de se détruire mutuellement,

Tu y crois vraiment ?

Pas forcément se détruire, mais s'affaiblir, à mon avis , ça ne sera jamais interdit.

il y a 29 minutes, ashaku a dit :

. Tu dirais différent en degré ou en nature  ? J'y vois un haut degré de concentration, mais est-ce l'émergence d'autre chose ?

Là j'y verrais plus une différence de degré. Après , à partir du moment où les IA auront digéré l'ensemble des productions humaines, et je pense qu'on n'en est pas loin, est-ce que ça va marquer un net ralentissement au développement de celle-ci, ou bien les avancées techniques vont-elles relancer les progrès . Ou la technologie est-elle assez avancée pour se développer elle-même ?

il y a 35 minutes, ashaku a dit :

Sera-t-il partagé ? Ou provoquera-t-il un déséquilibre ?

Je ne suis pas très optimiste là-dessus. Le déséquilibre existe déjà, et s'accentue de jour en jour pour toutes les formes de richesse matérielle , y compris celle qui provient de la capitalisation des bénéfices ( en terme d'utilité en tant qu'outil ) de l'IA.

il y a 40 minutes, ashaku a dit :

"à nous de les créer,

Ne serait-ce pas en contradiction avec le principe fondamental d'expansion du vivant ?

D'accord , nous avons la conscience , et elle nous permet, je dirais de manière sporadique , de nous extirper de nos déterminations biologiques, mais là, sur le principe déjà je trouve que c'est un chantier énorme, et concrètement , tu verrais quoi pour remplir ce rôle ? Sans nous brider n'est-ce pas ?

il y a 44 minutes, ashaku a dit :

Pauvre climat, c'est encore le dernier système qui peut encaisser nos excès pour que notre existence perdure, mais il sature lui aussi.

Je pense que tu n'as pas compris ce que je voulais dire en disant que c'était notre seul contre-pouvoir.

Je voulais dire que c'est justement parce que nous avons déréglé le climat que nous allons encaisser de sacrés chocs qui vont à mon avis mettre un sérieux ralentissement au développement humain dans un futur pas si lointain. A moins d'un miracle auquel croient les partisans de la fuite en avant technologique.

Et que si par bonheur la catastrophe ne se produit pas , c'est qu'il aura aussi joué son rôle de contre-pouvoir en nous forçant à changer de cap par nous-mêmes. 

il y a 51 minutes, ashaku a dit :

réussir à contraindre chaque humain à ne pas se lancer là dedans, du moins temporairement, en attendant d'être en mesure de contrôler mais ce contrôle est probablement illusoire. Mieux que le contrôle ou le bridage, c'est l'organisation de telle sorte que les chocs sont absorbés, et nous ne sommes pas assez coordonnés pour ça. Il y a encore trop de tensions, de gens qui veulent en tuer d'autres pour qu'on forme un groupe homogène.

Je suis d'accord avec le premier point.

Pour le second, l'avènement d'un village mondial, je pense que ça ne pourra pas se faire pour la simple raison qu'un groupe social ne se crée pas uniquement sur le principe de points communs ( ici notre humanité ), mais aussi en opposition à un exogroupe. Le tandem eux/nous.

Quel serait l'exogroupe ici ?

Enfin, et je suis désolée d'apporter autant de pessimisme, c'est plutôt la tendance inverse que je vois en train de se développer et qui à mon avis va s'amplifier avec la raréfaction des ressources et les conditions de vie qui vont se dégrader pour beaucoup de monde.

Il y a 2 heures, le chat et la souris a dit :

Enfin, et je suis désolée d'apporter autant de pessimisme, c'est plutôt la tendance inverse que je vois en train de se développer et qui à mon avis va s'amplifier avec la raréfaction des ressources et les conditions de vie qui vont se dégrader pour beaucoup de monde.

Je comprend très bien la teneur de ton message, il y a une réalité, il y a des dynamiques concrètes. Ce que tu dis est lucide et j'y adhère.

Entendons-nous, je considère le sujet sérieux mais la présente discussion autorise des libertés. Je parle pour ma part depuis la plus haute abstraction dont je suis capable, gratuitement, pour essayer de voir le plus loin possible dans les possibilités, pas forcément le plus évident dans les probabilités. Parce que je ne suis pas un levier dans cette histoire, surtout un témoin. Mon discours est très éloigné des réalités concrètes du présent, il vise un hypothétique futur, identifie de possibles phares à suivre, des écueils à éviter. C'est très théorique, et guidé vers la possibilité de succès, donc optimiste.

Par exemple, mettre fin à la guerre, non. J'ai passé comme d'autres du temps à développer ici même que ce n'était ni possible ni forcément souhaitable, destruction/construction forment un tout évolutif, une plasticité, si on évalue sur le long terme. Mais la paix (plus exactement l'harmonie ou l'équilibre) c'est évidemment un but vers lequel tendre, non pas forcément atteindre à tout prix mais utile pour guider nos actions, toujours en degrés.

Le climat, tout comme d'autres grandeurs physiques, joue son rôle dans l'équilibre, un cran au dessus de nous. Nous avons cette "chance" qu'il absorbe nos chocs et nous laisse une deuxième chance, mais on en prend pas le chemin. Malgré les études, les relevés, les rapports, on continue notre développement comme si on ne savait pas. On sait que fumer tue mais on continue de fumer.

Il y a 4 heures, le chat et la souris a dit :

un groupe social ne se crée pas uniquement sur le principe de points communs ( ici notre humanité ), mais aussi en opposition à un exogroupe. Le tandem eux/nous.

Je ferais bien un laïus sur les boucles auto-générées à partir d'éléments en présence. Le vivant est une telle histoire qui s'est racontée elle-même, la culture humaine aussi s'est créée de l'intérieur, la société suit encore cette logique et nos institutions lui donnent un corps tangible, auto-suscité par petites touches, différents essais. Il n'est pas exclu qu'une entité comme "les terriens" devienne un jour assez tangible pour contraindre chacun à respecter certains principes communs.

Mais tu as ultimement raison, ces développements s'obtiennent par opposition interne, entre autres relations, ils entretiennent un devenir mais ne fixent pas l'ensemble comme le ferait une opposition de tout le groupe contre une autre entité. Pour un exogroupe auquel s'opposer ensemble pour s'unir, on attend des nouvelles des extra-terrestres. Il semble difficile pour deux formes de vie de se rencontrer, dans une galaxie.

Il y a 12 heures, ashaku a dit :

Tout apport est bienvenu, merci de ta contribution au sujet. Au plaisir de te lire s'il t'en prend l'envie.

Alors, me vient une idée : pourquoi ne pas chercher et synthétiser ici les sources scientifiques, philosophiques éventuellement, et techniques, qui traitent de l'IA aujourd'hui ? Il doit se trouver un grand nombre de sources en libre accès qui ne soient pas déjà de la vulgarisation. As-tu essayé ? 

Il y a 14 heures, ashaku a dit :

Je parle pour ma part depuis la plus haute abstraction dont je suis capable, gratuitement,

Je comprends tout à fait , d'autant plus que j'ai aussi cette tendance à examiner les choses depuis le point de vue "les choses sont des choses"

Il y a 14 heures, ashaku a dit :

C'est très théorique, et guidé vers la possibilité de succès, donc optimiste.

Et tu as raison de rappeler cet idéal à viser, pour ne pas sombrer dans le défaitisme . Si cela peut sembler utopique, cette direction que tu montres correspond à la face lumineuse de l'humanité et il ne faut pas oublier la dialogique ( au sens où l'utilise Edgar Morin ) qu'il y a au sein de l'ensemble du vivant entre compétition/conflit et coopération/entraide. Donc oui, ne pas oublier cet aspect positif est primordial . 

Il y a 14 heures, ashaku a dit :

Je ferais bien un laïus sur les boucles auto-générées à partir d'éléments en présence. Le vivant est une telle histoire qui s'est racontée elle-même, la culture humaine aussi s'est créée de l'intérieur,

Pour la culture humaine je ne suis pas tout à fait d'accord mais je ne vois peut-être pas la même chose que toi dans cette formulation. 

Bernard Lahire a montré de manière limpide que les cultures humaines sont assises de manière très forte sur nos caractéristiques biologiques, ainsi que nos organisations sociales , qui ne sont que des variantes des organisations sociales animales . Tout ce qui existe dans notre fonctionnement social se trouve aussi dans la nature, parfois sous forme archaïque, mais le principe existe déjà . 

Il y a 14 heures, ashaku a dit :

. Il n'est pas exclu qu'une entité comme "les terriens" devienne un jour assez tangible pour contraindre chacun à respecter certains principes communs.

Je dirais qu'il manque peut-être un mythe commun à l'humanité pour que cela devienne une réalité concrète . 

Sur le plan matériel l'unité est possible, la mondialisation a déjà fait le boulot . 

Sur le plan théorique , la découverte de l'ADN et le séquençage du génome humain nous montre notre unité de manière irréfutable . La science a fait le boulot. 

Il ne nous manque que l'élan, le sentiment d'appartenance, qui pourrait se révéler face à la galère dans laquelle nous nous sommes embarqué, tous sur le même bateau. Mais le temps presse...

Il y a 14 heures, ashaku a dit :

Pour un exogroupe auquel s'opposer ensemble pour s'unir, on attend des nouvelles des extra-terrestres.

Je n'ai pas voulu proposer de réponse , mais cela pourrait aussi être "l'espèce IA " si un jour elle prend forme

Il y a 5 heures, le chat et la souris a dit :

Je dirais qu'il manque peut-être un mythe commun à l'humanité pour que cela devienne une réalité concrète .

En voila une idée qu'elle est bonne. C'est cohérent avec le besoin, faisable et efficace. Et ce qui me plaît le plus, c'est que ça rentre dans le modèle "auto-suscité". L'humanité peut créer des récits de son union, elle l'a déjà fait et continue à alimenter cette vision, pour générer d'elle-même la forme de son unité petit à petit afin de mieux lui ressembler au cours du temps.

Il nous manque donc l'élan et l'appartenance, trouver un moyen de fonctionner ensemble malgré nos différences. Aplanir certaines choses, et on en revient au concret, sur lequel on a peu d'influence à ces échelles mondiales.

Il y a 5 heures, le chat et la souris a dit :

Je n'ai pas voulu proposer de réponse , mais cela pourrait aussi être "l'espèce IA " si un jour elle prend forme

J'ai écris et effacé 3 propositions à base d'IA dans le rôle de l'antagoniste global à l'humanité. Mais je me suis ravisé à chaque fois. D'abord parce qu'il s'agit d'une création humaine issue des uns et pas des autres, l'humanité restera divisée. Et ça peut même créer un regain d'antagonisme entre les pays en développement et les pays riches, qui porteront la faute d'avoir amené l'IA au monde, là où d'autres humains se sentiront légitimement hors du coup. On conserve toujours nos ressentiments de fond.

Si l'IA devient officiellement nocive, beaucoup de gens vont passer dans le camp "je l'avais dit depuis le début", les gouvernements suivront, les sociétés d'IA seront démantelées, la technologie sera bannie. C'est un temps court avant de reprendre nos querelles là où on les avait laissées.

Non, en vrai, le plan "permettre aux bonnes volonté de s'exprimer" par la mise en place de règles judicieuses ma semble toujours plus puissante, bien que longue à arriver et difficile à cerner. Et "raconter des histoires" en choisissant le thème de l'unité perdue puis retrouvée est peut-être le moyen le plus sûr de faire évoluer les consciences, permettre la mise en place de nouvelles règles par les différents acteurs.

Les différentes cultures humaines ont chacune trouvé leur stabilité à leur façon, il nous faut trouver un nouvel équilibre tous ensemble, avec la gageure d'harmoniser différentes règles parfois incompatibles ou directement opposées. D'où la nécessité des histoires, des auteurs, des exemples de destin, de solutions. Il nous faut des contes pour adulte, pour canaliser l'être immature que nos sommes en tenant notre nouveau pouvoir.