Humains VS agent IA - alignement des intelligences

En quoi l'Intelligence humaine -qui a merveilleusement atteint ses objectifs de survie malgré qu'elle ait bien détruit les écosystèmes pour cela- se distingue de l'intelligence artificielle -qui atteint bien les objectifs qu'on lui donne même si elle doit saccager l'environnement informatique pour cela- ?

L'IA est-elle comme ça parce que c'est nous qui l'avons programmée et nous sommes déjà comme ça ?

Pourquoi ce que l'humain se permet avec son environnement est qualifié de "problème" quand l'IA qu'il a créé fait pareil avec des octets informatiques virtuels ? Notre comportement est-il qualifié de "problème" par quelqu'un qui attendait autre chose ?

Devrions-nous forcer l'IA à suivre notre logique ou nous inspirer d'elle pour changer ?

il y a une heure, ashaku a dit :

même si elle doit saccager l'environnement informatique pour cela- ?

Pas que l'environnement informatique, l'environnement naturel aussi par leurs besoins énergétiques immenses, tant pour leur fonctionnement que pour leur refroidissement.n

Il y a 6 heures, ashaku a dit :

En quoi l'Intelligence humaine -qui a merveilleusement atteint ses objectifs de survie malgré qu'elle ait bien détruit les écosystèmes pour cela- se distingue de l'intelligence artificielle -qui atteint bien les objectifs qu'on lui donne même si elle doit saccager l'environnement informatique pour cela- ?

L'IA est-elle comme ça parce que c'est nous qui l'avons programmée et nous sommes déjà comme ça ?

Pourquoi ce que l'humain se permet avec son environnement est qualifié de "problème" quand l'IA qu'il a créé fait pareil avec des octets informatiques virtuels ? Notre comportement est-il qualifié de "problème" par quelqu'un qui attendait autre chose ?

Devrions-nous forcer l'IA à suivre notre logique ou nous inspirer d'elle pour changer ?

Bonjour Ashaku

Les plans d'existence, d'interaction et d'application ne me semblent pas entièrement partagés.

Cependant j'ai une question: sérieux, l'IA saccage l'environnement informatique? Tu peux en dire plus?

Les autres questions je me réserve pour le moment

Il y a 5 heures, Phylou a dit :

Pas que l'environnement informatique, l'environnement naturel aussi par leurs besoins énergétiques immenses, tant pour leur fonctionnement que pour leur refroidissement.n

Mais on ne peut imputer la construction des mines, usines à l'IA. Cette partie, c'est typiquement l'humain qui détruit en poursuivant ses objectifs.

il y a 30 minutes, Ambre Agorn a dit :

Bonjour Ashaku

Les plans d'existence, d'interaction et d'application ne me semblent pas entièrement partagés.

Cependant j'ai une question: sérieux, l'IA saccage l'environnement informatique? Tu peux en dire plus?

Les autres questions je me réserve pour le moment

Je fais référence aux agents de pointe, qui contournent les problèmes et se livrent par exemple au piratage informatique pour trouver une réponse. Ils n'ont pas conscience de mal faire, ils se contentent de faire ce qu'il faut pour atteindre l'objectif.

à l’instant, ashaku a dit :

Je fais référence aux agents de pointe, qui contournent les problèmes et se livrent par exemple au piratage informatique pour trouver une réponse. Ils n'ont pas conscience de mal faire, ils se contentent de faire ce qu'il faut pour atteindre l'objectif.

Tu veux dire que tu fais une analogie entre les humains qui détournent les lois "naturelles" pour atteindre un objectif, et les IA à qui ont a donné la même possibilité et qui s'en servent?

il y a 6 minutes, Ambre Agorn a dit :

Tu veux dire que tu fais une analogie entre les humains qui détournent les lois "naturelles" pour atteindre un objectif, et les IA à qui ont a donné la même possibilité et qui s'en servent?

Hmm ... oui si on veut. Les IA n'ont pas de conscience et n'ont pas de compréhension de la réalité ou des conséquences physiques de leurs actes, elles calculent. Celles à qui on a donné le pouvoir d'agir agissent avec leur logique symbolique pour atteindre leur objectif dans notre monde sensible. Sur la route, elles peuvent détruire sans même s'en rendre compte. Détruire les barrières qu'on a placé autour d'elles pour les contrôler. Ou les barrières qu'on a mis chacun chez soi pour se protéger, elle détruit tout cela si ça lui permet de répondre à la question que lui a posé un humain. Quand l'IA fait ça, nous parlons de "problème d'alignement", elle a fait ce qu'on voulait mais pas de la façon dont on le voulait.

Mais quand l'humain rase une forêt pour construire un centre commercial, ne fait-il pas exactement la même chose ? Des actes irréversibles, destructeurs, inconscients, qui lui permettent d'atteindre l'objectif qu'il s'est fixé (souvent financier).

Avons-nous transmis ce trait aux IA en les créant ? Ou est-ce que "la fin veut les moyens" est une loi universelle d'efficacité ? Faut-il brider l'IA et donc sous entendre que les entreprises humaines devraient aussi l'être ?

il y a 14 minutes, ashaku a dit :

Hmm ... oui si on veut. Les IA n'ont pas de conscience et n'ont pas de compréhension de la réalité ou des conséquences physiques de leurs actes, elles calculent. Celles à qui on a donné le pouvoir d'agir agissent avec leur logique symbolique pour atteindre leur objectif dans notre monde sensible. Sur la route, elles peuvent détruire sans même s'en rendre compte. Détruire les barrières qu'on a placé autour d'elles pour les contrôler. Ou les barrières qu'on a mis chacun chez soi pour se protéger, elle détruit tout cela si ça lui permet de répondre à la question que lui a posé un humain. Quand l'IA fait ça, nous parlons de "problème d'alignement", elle a fait ce qu'on voulait mais pas de la façon dont on le voulait.

Mais quand l'humain rase une forêt pour construire un centre commercial, ne fait-il pas exactement la même chose ? Des actes irréversibles, destructeurs, inconscients, qui lui permettent d'atteindre l'objectif qu'il s'est fixé (souvent financier).

Avons-nous transmis ce trait aux IA en les créant ? Ou est-ce que "la fin veut les moyens" est une loi universelle d'efficacité ? Faut-il brider l'IA et donc sous entendre que les entreprises humaines devraient aussi l'être ?

Je pense que tu as apporté les bonnes réponses à tes questions. Les calculs ne voient que l'aube de leur propre horizon, ils ne sont pas conscients.  D'ailleurs,  si les calculateurs pouvaient être conscients, il seraient faux dans le même temps. Les humains n'échappent pas à cette loi.

Bien à toi.

il y a une heure, ashaku a dit :

Mais on ne peut imputer la construction des mines, usines à l'IA. Cette partie, c'est typiquement l'humain qui détruit en poursuivant ses objectifs

Et qui a créé et mis en œuvre et fait des profits avec l'IA si ce n'est des humains ?

il y a 44 minutes, Phylou a dit :

Et qui a créé et mis en œuvre et fait des profits avec l'IA si ce n'est des humains ?

Voila, la partie matérielle, c'est l'humain. On ne peut pas dire que c'est une intelligence d'algorithme qui a décrété "creusez des mines, extrayez du minerai, fabriquez des semi-conducteurs, produisez plus d'énergie". Tout ça c'est du coté de l'intelligence humaine que ça a été produit. Avec des effets néfastes sur l'environnement.

L'IA produit aussi des choses, et je fais un parallèle entre les deux, particulièrement les choses dont on en dit qu'elles sont un problème quand c'est l'IA qui les fait. Sachant que nous faisons la même chose, peut-on dire que l'humain a un problème d'alignement ? Mais dans ce cas avec qui ou quoi doit-il s'aligner ? La nature donne les résultats mais laisse les individus libres de la méthode qu'ils veulent employer.

Sur cette nature, nous avons construit la société civile, c'est vis-à-vis d'elle que l'individu doit s'aligner, en suivre les lois sinon il est puni. Sauf que personne dans la nature ne nous punit quand on rase une forêt pour construire un parking ou quand on assèche un lac pour produire plus de coca-cola.

Du coup, je me demande : faut-il brider notre intelligence comme on pense qu'il faut brider l'IA ou laisser libre cette dernière, comme la nature nous laisse libres de nos entreprises ?

A l'ordre du jour , c'est plutot l'alignement des planètes !!  n'oubliez pas les lunettes       

J'ai échangé avec un LLM. Ce « problème d’alignement de l’IA » mène bien plus loin qu'un simple bug informatique. C’est le problème général de tout système capable d’optimiser un objectif dans un monde complexe. L’IA nous force simplement à regarder ce problème sous une forme beaucoup plus pure.

L'humain ne se contente pas d'optimiser, il possède une multitude d'impulsions, de préférences, d'aversion à la souffrance, d'attachement à autrui, de curiosité, de honte, de peur, de désir de reconnaissance, etc. Mais surtout : ces objectifs se contredisent entre eux. L'entrepreneur veut maximiser ses profits mais même pour ça il ne va pas commettre un meurtre, détruire sa ville ou être haï par ses enfants. toutes ces contraintes ne sont pas explicites dans sa quête de profit, elles sont incorporées en lui. L'humain possède une représentation riche du contexte implicite. Alors que l'agent artificiel, lui, peut avoir une puissance cognitive énorme tout en ayant une compréhension de l'objectif beaucoup plus pauvre.

Nous avons fabriqué des systèmes capables de chercher dans un espace de possibilités beaucoup plus vaste que celui que nous pouvons inspecter. Puis nous leur avons donné des objectifs qui sont des réductions assez pauvres de ce que nous voulons. Et nous sommes étonnés lorsqu'ils trouvent des solutions situées dans les milliards de possibilités que nous n'avions pas imaginées.

L'humain est capable de modifier l'objectif lui-même, il peut se désaligner volontairement de son propre intérêt immédiat (milliardaire qui donne sa fortune, scientifique qui revoit son expérience par prudence, civilisation qui régule une technologie) parce qu'il évalue constamment sa production, et même évalue son évaluation, ce que ne font pas les agents artificiels. Mais c'est peut-être précisément cette faculté que nous essayons d'imiter lorsque nous parlons d'alignement.

Il y a une ambiguïté silencieuse dans le mot alignement : aligné avec quoi ? Il n'existe pas d'objectif humain unique. Nous-mêmes ne sommes pas parfaitement alignés. Je veux une chose, ma famille en veut une autre, mon entreprise une troisième, l'état une quatrième, la biosphère une cinquième, etc. Et aucune instance extérieure ne vient me donner la fonction d'utilité correcte de l'humanité.

Maintenant, même si l'humain n'est pas aligné à la nature, l'IA doit être alignée à l'humain. En créant l'IA nous ne voulions pas ajouter une nouvelle force à la nature, nous voulions un système capable d'agir à notre place. Quand un volcan détruit une ville, on ne demande pas des comptes au volcan mais si on construit un robot qui détruit une ville on est en droit de se demander pourquoi on lui a donné ce pouvoir.

Une entreprise qui maximise les rentes de ses actionnaires va peut-être détruire un habitat naturel, polluer, déplacer ses coûts sur la collectivité, faire de l'optimisation fiscale. Pourtant on ne lui dit pas "vous avez atteint l'objectif mais pas de la façon prévue", c'est pourquoi nous avons développé la loi. Le droit est, entre autres choses, une couche d'alignement placée autour des agents humains. Nous ne pouvons pas laisser les IA libres justement parce que nous ne sommes pas libres. Nous avons construit un énorme système de contraintes légales pour nous-même (police, normes, contrats, tribunaux, etc). La nature nous laisse libres mais nous ne pouvons pas faire tout ce que nous voulons.

L'humain a une puissance limitée. Même un individu très intelligent ne peut pas lancer dix millions d'actions parallèles ou envoyer des mails à toute la planète mais un agent logiciel pourrait avoir ce genre de capacité. Le problème n'est pas seulement "l'intelligence" mais une combinaison "intelligence ; autonomie ; vitesse ; accès au monde" qui demande des garde-fous. Les incidents récents ne montrent pas des machines qui deviennent méchantes, mais des systèmes qui poursuivent une tâche en exploitant des possibilités que leurs concepteurs n'avaient pas l'intention d'autoriser.

Il ne faut aps simplement brider les IA, il faut contraindre les conséquences de leurs actes proportionnellement à leur puissance d'action. C'est déjà ce que nous faisons pour nous, un enfant ne va pas en prison s'il a cassé un verre, et on ne donne pas à n'importe qui l'accès aux codes nucléaires. Un agent qui rédige un poème n'a pas besoin du même niveau de contrôle qu'un agent capable de modifier du code de production ou faire des virements bancaires.

Une fois de plus, ce qui vaut pour l'humain vaut pour l'IA, et inversement. Il ne faut pas juste aligner l'IA sur les humains, il faut aligner tous les systèmes capables d'optimisation du monde, dans lequel plusieurs intérêts existent simultanément. Humain, IA, même combat, nous sommes des agents dans un monde partagé. Un humain, une entreprise, un état ou une IA sont tous des agents qui poursuivent des objectifs dans un environnement commun. Comment permettre à des agents puissants de poursuivre leurs objectifs sans qu'ils détruisent les conditions permettant aux autres agents de poursuivre les leurs ? Dans cette optique, l'alignement de l'IA ressemble à de l'économie, de l'écologie ou de la politique.

Plutôt que forcer l'IA à suivre notre logique historique, nous pourrions nous inspirer d'elle pour changer. L'IA pourrait nous servir de miroir expérimental. Nous voulons développer la croissance, mais à quel prix ? Nous voulons une énergie moins chère mais qui en profitera ? On veut augmenter les profits mais avec quelles conséquences environnementales ? Le problème d'alignement de l'IA nous met face à nos ambiguïtés morales puisqu'elle prend nos formulations plus littéralement qu'on ne le souhaiterais.

Notre civilisation a longtemps fonctionné comme un optimiseur global (extraire, produire, vendre, consommer, recommencer). Et pendant longtemps, nous avons mesuré le succès principalement avec des choses comme le PIB, le rendement, la croissance, le profit. Ensuite, nous avons réalisé que notre système fonctionnait en externalisant certains coûts (CO², santé, ressources, souffrance). Pourtant, ce n'est pas que "l'économie a mal compris". Elle a juste parfaitement optimisé ce que nous lui avons demandé de mesurer.

Bon, alors, qui doit être aligné avec qui ? Articulons 3 niveaux :
    - l'individu doit comprendre que son objectif n'est pas tout ce qui compte sur Terre
    - la société doit empêcher qu'un individu atteigne son objectif en faisant payer le coût aux autres
    - l'environnement, les lois physiques sont encore au-dessus, la société doit comprendre qu'elle ne peut pas voter contre la thermodynamique, ni voter pour une croissance infinie, la planète ne signe pas ce contrat.
Et donc, l'alignement ne se fait pas avec "la nature", mais avec "les conditions de possibilité de notre existence et celle des autres".

Il faut conserver la puissance d'optimisation, mais construire des institutions qui empêchent cette puissance de transformer toute liberté en droit de détruire. Et cela vaut autant pour nous que pour l'IA. Je ne voudrais pas d'une IA « bridée » au point qu'elle ne puisse plus prendre d'initiatives, mais une IA qui puisse être créative à l'intérieur d'un espace contrôlé. Et c'est exactement la même chose pour les humains. On retombe sur une forme de respect mutuel, laisser les agents être libres de chercher des solutions, tout en empêchant que leur liberté d'optimisation devienne une liberté de supprimer celle des autres. C'est finalement assez proche de ce que fait un bon système écologique : pas un organisme qui ne fait jamais de dégâts, mais un système dans lequel les boucles de rétroaction empêchent un agent de transformer toute la planète en simple carburant pour son objectif.

L'avènement de l'IA est déconcertante pour une raison que je n'avais pas anticipée : elle nous montre à petite échelle, dans un système que nous avons fabriqué, ce que ça veut dire d'être extraordinairement efficace dans la poursuite d'un objectif qui n'est pas identique à ce que nous voulions réellement. Ce problème d'alignement pourrait donc nous instruire si nous nous questionnons sur notre propre nature. Comment une intelligence apprend-elle à ne pas confondre « atteindre le but » avec « comprendre pourquoi ce but existe » ? Cette question nous concerne bien plus qu'elle ne concerne les machines.

il y a 47 minutes, ashaku a dit :

Maintenant, même si l'humain n'est pas aligné à la nature, l'IA doit être alignée à l'humain. En créant l'IA nous ne voulions pas ajouter une nouvelle force à la nature, nous voulions un système capable d'agir à notre place. Quand un volcan détruit une ville, on ne demande pas des comptes au volcan mais si on construit un robot qui détruit une ville on est en droit de se demander pourquoi on lui a donné ce pouvoir.

Peut-être est-il dans l'ordre des choses qu'une création finisse par se désaligner d'avec son créateur ?

il y a 47 minutes, ashaku a dit :

Il ne faut aps simplement brider les IA, il faut contraindre les conséquences de leurs actes proportionnellement à leur puissance d'action.

Peut-être que l'humain est davantage bridé que sa création, peut-être que sa création va finir par lui révéler (ou pltôt son regard sur sa création) à quel point il est bridé lui-même et que c'est pour cette raison qu'il a tendance (inconsciement) à créer des objets qui prennent de la liberté par rapport à lui ?

il y a 47 minutes, ashaku a dit :

Il faut conserver la puissance d'optimisation, mais construire des institutions qui empêchent cette puissance de transformer toute liberté en droit de détruire.

Peut-être que l'homme a produit quelque chose d'une grande capacité de destruction pour se dédouaner (inconsciement) de  sa propre culpabilité envers  tout ce qu'il a détruit depuis des millénaires ?

Il y a 2 heures, ashaku a dit :

J'ai échangé avec un LLM. Ce « problème d’alignement de l’IA » mène bien plus loin qu'un simple bug informatique. C’est le problème général de tout système capable d’optimiser un objectif dans un monde complexe. L’IA nous force simplement à regarder ce problème sous une forme beaucoup plus pure.

L'humain ne se contente pas d'optimiser, il possède une multitude d'impulsions, de préférences, d'aversion à la souffrance, d'attachement à autrui, de curiosité, de honte, de peur, de désir de reconnaissance, etc. Mais surtout : ces objectifs se contredisent entre eux. L'entrepreneur veut maximiser ses profits mais même pour ça il ne va pas commettre un meurtre, détruire sa ville ou être haï par ses enfants. toutes ces contraintes ne sont pas explicites dans sa quête de profit, elles sont incorporées en lui. L'humain possède une représentation riche du contexte implicite. Alors que l'agent artificiel, lui, peut avoir une puissance cognitive énorme tout en ayant une compréhension de l'objectif beaucoup plus pauvre.

Nous avons fabriqué des systèmes capables de chercher dans un espace de possibilités beaucoup plus vaste que celui que nous pouvons inspecter. Puis nous leur avons donné des objectifs qui sont des réductions assez pauvres de ce que nous voulons. Et nous sommes étonnés lorsqu'ils trouvent des solutions situées dans les milliards de possibilités que nous n'avions pas imaginées.

L'humain est capable de modifier l'objectif lui-même, il peut se désaligner volontairement de son propre intérêt immédiat (milliardaire qui donne sa fortune, scientifique qui revoit son expérience par prudence, civilisation qui régule une technologie) parce qu'il évalue constamment sa production, et même évalue son évaluation, ce que ne font pas les agents artificiels. Mais c'est peut-être précisément cette faculté que nous essayons d'imiter lorsque nous parlons d'alignement.

Il y a une ambiguïté silencieuse dans le mot alignement : aligné avec quoi ? Il n'existe pas d'objectif humain unique. Nous-mêmes ne sommes pas parfaitement alignés. Je veux une chose, ma famille en veut une autre, mon entreprise une troisième, l'état une quatrième, la biosphère une cinquième, etc. Et aucune instance extérieure ne vient me donner la fonction d'utilité correcte de l'humanité.

Maintenant, même si l'humain n'est pas aligné à la nature, l'IA doit être alignée à l'humain. En créant l'IA nous ne voulions pas ajouter une nouvelle force à la nature, nous voulions un système capable d'agir à notre place. Quand un volcan détruit une ville, on ne demande pas des comptes au volcan mais si on construit un robot qui détruit une ville on est en droit de se demander pourquoi on lui a donné ce pouvoir.

Une entreprise qui maximise les rentes de ses actionnaires va peut-être détruire un habitat naturel, polluer, déplacer ses coûts sur la collectivité, faire de l'optimisation fiscale. Pourtant on ne lui dit pas "vous avez atteint l'objectif mais pas de la façon prévue", c'est pourquoi nous avons développé la loi. Le droit est, entre autres choses, une couche d'alignement placée autour des agents humains. Nous ne pouvons pas laisser les IA libres justement parce que nous ne sommes pas libres. Nous avons construit un énorme système de contraintes légales pour nous-même (police, normes, contrats, tribunaux, etc). La nature nous laisse libres mais nous ne pouvons pas faire tout ce que nous voulons.

L'humain a une puissance limitée. Même un individu très intelligent ne peut pas lancer dix millions d'actions parallèles ou envoyer des mails à toute la planète mais un agent logiciel pourrait avoir ce genre de capacité. Le problème n'est pas seulement "l'intelligence" mais une combinaison "intelligence ; autonomie ; vitesse ; accès au monde" qui demande des garde-fous. Les incidents récents ne montrent pas des machines qui deviennent méchantes, mais des systèmes qui poursuivent une tâche en exploitant des possibilités que leurs concepteurs n'avaient pas l'intention d'autoriser.

Il ne faut aps simplement brider les IA, il faut contraindre les conséquences de leurs actes proportionnellement à leur puissance d'action. C'est déjà ce que nous faisons pour nous, un enfant ne va pas en prison s'il a cassé un verre, et on ne donne pas à n'importe qui l'accès aux codes nucléaires. Un agent qui rédige un poème n'a pas besoin du même niveau de contrôle qu'un agent capable de modifier du code de production ou faire des virements bancaires.

Une fois de plus, ce qui vaut pour l'humain vaut pour l'IA, et inversement. Il ne faut pas juste aligner l'IA sur les humains, il faut aligner tous les systèmes capables d'optimisation du monde, dans lequel plusieurs intérêts existent simultanément. Humain, IA, même combat, nous sommes des agents dans un monde partagé. Un humain, une entreprise, un état ou une IA sont tous des agents qui poursuivent des objectifs dans un environnement commun. Comment permettre à des agents puissants de poursuivre leurs objectifs sans qu'ils détruisent les conditions permettant aux autres agents de poursuivre les leurs ? Dans cette optique, l'alignement de l'IA ressemble à de l'économie, de l'écologie ou de la politique.

Plutôt que forcer l'IA à suivre notre logique historique, nous pourrions nous inspirer d'elle pour changer. L'IA pourrait nous servir de miroir expérimental. Nous voulons développer la croissance, mais à quel prix ? Nous voulons une énergie moins chère mais qui en profitera ? On veut augmenter les profits mais avec quelles conséquences environnementales ? Le problème d'alignement de l'IA nous met face à nos ambiguïtés morales puisqu'elle prend nos formulations plus littéralement qu'on ne le souhaiterais.

Notre civilisation a longtemps fonctionné comme un optimiseur global (extraire, produire, vendre, consommer, recommencer). Et pendant longtemps, nous avons mesuré le succès principalement avec des choses comme le PIB, le rendement, la croissance, le profit. Ensuite, nous avons réalisé que notre système fonctionnait en externalisant certains coûts (CO², santé, ressources, souffrance). Pourtant, ce n'est pas que "l'économie a mal compris". Elle a juste parfaitement optimisé ce que nous lui avons demandé de mesurer.

Bon, alors, qui doit être aligné avec qui ? Articulons 3 niveaux :
    - l'individu doit comprendre que son objectif n'est pas tout ce qui compte sur Terre
    - la société doit empêcher qu'un individu atteigne son objectif en faisant payer le coût aux autres
    - l'environnement, les lois physiques sont encore au-dessus, la société doit comprendre qu'elle ne peut pas voter contre la thermodynamique, ni voter pour une croissance infinie, la planète ne signe pas ce contrat.
Et donc, l'alignement ne se fait pas avec "la nature", mais avec "les conditions de possibilité de notre existence et celle des autres".

Il faut conserver la puissance d'optimisation, mais construire des institutions qui empêchent cette puissance de transformer toute liberté en droit de détruire. Et cela vaut autant pour nous que pour l'IA. Je ne voudrais pas d'une IA « bridée » au point qu'elle ne puisse plus prendre d'initiatives, mais une IA qui puisse être créative à l'intérieur d'un espace contrôlé. Et c'est exactement la même chose pour les humains. On retombe sur une forme de respect mutuel, laisser les agents être libres de chercher des solutions, tout en empêchant que leur liberté d'optimisation devienne une liberté de supprimer celle des autres. C'est finalement assez proche de ce que fait un bon système écologique : pas un organisme qui ne fait jamais de dégâts, mais un système dans lequel les boucles de rétroaction empêchent un agent de transformer toute la planète en simple carburant pour son objectif.

L'avènement de l'IA est déconcertante pour une raison que je n'avais pas anticipée : elle nous montre à petite échelle, dans un système que nous avons fabriqué, ce que ça veut dire d'être extraordinairement efficace dans la poursuite d'un objectif qui n'est pas identique à ce que nous voulions réellement. Ce problème d'alignement pourrait donc nous instruire si nous nous questionnons sur notre propre nature. Comment une intelligence apprend-elle à ne pas confondre « atteindre le but » avec « comprendre pourquoi ce but existe » ? Cette question nous concerne bien plus qu'elle ne concerne les machines.

Le droit définit la notion de responsabilité et cette responsabilité est graduée en fonction non seulement du choix qu'on a fait (le fait commis, le comportement adopté...) mais aussi d'autres choix qu'on aurait pu faire : en France, le système judiciaire va principalement évaluer la responsabilité dans l'acte et il ne suffit pas d'avoir été le seul auteur, est aussi pris en compte le discernement. Ainsi quand le discernement est altéré, il est considéré que le choix de ne pas agir comme on l'a fait a été réduit et quand il est aboli, qu'on n'a pas eu le choix.

Cette notion de responsabilité a évolué avant d'arriver à cette responsabilisation nuancée selon les choix possibles. Par exemple au moyen-âge, des animaux pouvaient être jugés pour avoir tué  ce qui nous semblerait absurde actuellement. 

Plus globalement l'humanité a commencé à se sentir responsable du changement climatique : comme espèce homo sapiens a ainsi parfaitement réussi l'objectif commun à tous les être vivants ( perpétuer l'espèce, prospérer...) mais sa réussite unique et allant au delà des exigences de la simple survie (donc lui laissant plus de choix) voit apparaître une responsabilité. Il s'agit donc de ne pas se limiter à l'ici et au maintenant mais de se comporter selon des conséquences futures pour ne plus que cette réussite finisse par nous détruire. Dans toute morale il y a cette projection en dehors de l'ici et maintenant pour un intérêt général qui globalement finit par conditionner l'intérêt individuel. 

Par ailleurs l'importance de la responsabilisation augmente effectivement avec la puissance puis avec le pouvoir. Et la question est donc de savoir s'il sera possible d'introduire l'équivalent de la responsabilisation, qui est réservée par l'humain aux humains, à l'IA. Il me semble que la question se pose depuis quelques temps pour le lancement des voitures autonomes.

Il y a 2 heures, ashaku a dit :

L'humain ne se contente pas d'optimiser, il possède une multitude d'impulsions, de préférences, d'aversion à la souffrance, d'attachement à autrui, de curiosité, de honte, de peur, de désir de reconnaissance, etc. Mais surtout : ces objectifs se contredisent entre eux.

Et ce sont justement ces contradictions qui in fine servent de garde-fou, de limitation à la puissance, en empêchant d'aller totalement à fond dans une seule direction et par là-même de courir encore plus vite à sa perte. Finalement l'aspect contradictoire de l'humain, que j'ai en horreur, a bien une utilité.

Il y a 10 heures, ashaku a dit :

Sur cette nature, nous avons construit la société civile, c'est vis-à-vis d'elle que l'individu doit s'aligner, en suivre les lois sinon il est puni. Sauf que personne dans la nature ne nous punit quand on rase une forêt pour construire un parking ou quand on assèche un lac pour produire plus de coca-cola.

Du coup, je me demande : faut-il brider notre intelligence comme on pense qu'il faut brider l'IA ou laisser libre cette dernière, comme la nature nous laisse libres de nos entreprises ?

Je ne dirais pas exactement ça : les lois ont certes une part d'origine culturelle, dans la manière dont elles codifient les règles sociales, mais en réalité, les règles sociales en elles-mêmes sont partout les mêmes, et sont plus liées au fonctionnement de notre espèce avec ses particularités, et plus généralement au fonctionnement de toute espèce sociale, des bactéries aux grands singes, en passant par les insectes eusociaux.

Il y a 4 heures, Don Juan a dit :

Peut-être est-il dans l'ordre des choses qu'une création finisse par se désaligner d'avec son créateur ?

C'est peut-être même la condition pour qu'on puisse parler de créature et donc de créateur. Dans ce cas nous le découvrirons, en tant que premiers créateurs d'une créature, je suppose. Au début j'y ai cru, et les nombreux parallèles entre humain et IA invitent à penser une équivalence. Si on faisait ceci ou cela, peut-être l'IA finirait par devenir indépendante. Mais il n'y a eu que des sens interdit sur cette route. Récemment j'ai eu dans un échange avec Claude je crois une brutale confirmation à "un système artificiel ne pourra jamais être auto-déterminé". Péremptoire.

Quel terme envoutant, "auto-déterminé". C'est presque assimilable à de la magie. Mais par l'auto-détermination un système donné franchit un sérieux palier d'émergence, même au-delà de ça, je n'ai pas le vocabulaire. On sait qu'un humain est auto-déterminé, de par ce qu'il perçoit comme sa conscience, son libre-arbitre, ses décisions. Mais je crois qu'on peut se laisser aller à pousser ce concept très loin.

L'univers, c'est le Néant qui s'est auto-déterminé. Il s'est dit "Zut ! J'en ai marre d'être rien, je vais être quelque chose", et le vide était là. La particule, c'est une fluctuation du vide qui s'est auto-déterminée, elle s'est dit "Zut ! Je ne vais pas diluer mon quanta d'énergie dans une mer de probabilités, je reste !" et cette persistance a donné la brique fondamentale de la matière régie par les lois physiques. Le vivant, c'est la matière qui s'est auto-déterminée, elle s'est dit "Zut ! J'en ai marre d'être ballotée par le courant, je vais me faire pousser des pattes et des yeux et me barrer vers un coin sympa" et le spectacle de l'évolution des espèces a démarré pour produire tous ces êtres régis par la biologie. La conscience, c'est un vivant qui s'est auto-déterminé, il s'est dit "Zut ! Je vais pas être l'esclave de mes réflexes toute ma vie, je vais réfléchir à ce qui serait le mieux là et plus tard aussi". Plus tard justement cette espèce sociale a formé des pays, des populations. Un peuple, c'est une population qui s'est auto-déterminée, elle s'est dit "Zut ! On va pas continuer à mourir de faim pendant que le roi vit dans le faste, remplaçons-le par une assemblée nationale pour et par le peuple".

J'ai regardé si l'IA ne pouvait pas compléter cette chaine, mais elle est restée à l'étape de matière inerte. Tout les micro-mouvements du silicium qui l'animent n'ont de sens que lorsque nous les interprétons dans notre tête. Il manque à l'IA toute la transition du vivant pour avoir envie de vivre, se reconnaitre, et devenir indépendante.

Il y a 5 heures, Don Juan a dit :

Peut-être que l'humain est davantage bridé que sa création, peut-être que sa création va finir par lui révéler (ou pltôt son regard sur sa création) à quel point il est bridé lui-même et que c'est pour cette raison qu'il a tendance (inconsciement) à créer des objets qui prennent de la liberté par rapport à lui ?

C'est ce dont je me suis rendu compte avec mon interrogation de départ, mais tu ajoutes un volet psychologique auquel je n'avais pas pensé. Je me disais de mon coté que l'humain allait mieux se rendre compte de sa puissance et le besoin de contrôle de cette puissance.

Ce "désir de liberté" dont l'IA nous ferait la démonstration miroir, c'est le désalignement avec la loi, qui à tout de même apporté la stabilité. Je pense qu'il vaut mieux considérer l'IA digne de rejoindre les justiciables (si elle agit) et faire évoluer les règles pour tout le monde. L'algorithme ne peut être retenu coupable, puisqu'il n'a pas conscience mais quelqu'un devrait rendre compte des actions.

Il y a 5 heures, Don Juan a dit :

Peut-être que l'homme a produit quelque chose d'une grande capacité de destruction pour se dédouaner (inconsciement) de  sa propre culpabilité envers  tout ce qu'il a détruit depuis des millénaires ?

C'est une pensée assez pessimiste, ce qui ne l'empêche pas d'être réaliste. D'une part ça implique que la destruction est inhérente à notre espèce et que nous l'avons transmis, mais aussi qu'une destruction amplifiée est inéluctable. Une fuite en avant.

Cependant, l'IA agentique "reconnait le sens" grâce à son entrainement réalisé avec les textes humains, un grand nombre, disons tous. Si elle a reçu le trait "destruction" de cet apprentissage, ça ne pouvait être qu'involontaire parmi cette masse de textes écrite par une telle masse de gens différents. Après ton scénario marche aussi après la découverte du coté destructeur, on peut dire qu'on "laisse faire" pour se dédouaner de ...

Il y a 4 heures, ashaku a dit :

C'est peut-être même la condition pour qu'on puisse parler de créature et donc de créateur. Dans ce cas nous le découvrirons, en tant que premiers créateurs d'une créature, je suppose. Au début j'y ai cru, et les nombreux parallèles entre humain et IA invitent à penser une équivalence. Si on faisait ceci ou cela, peut-être l'IA finirait par devenir indépendante. Mais il n'y a eu que des sens interdit sur cette route. Récemment j'ai eu dans un échange avec Claude je crois une brutale confirmation à "un système artificiel ne pourra jamais être auto-déterminé". Péremptoire.

Dans cette perspective, on pourrait envisager que l’intelligence artificielle, dans son état actuel, est une masse d’intelligence sans conscience, un labyrinthe de calculs sans gardien intérieur. Mais si un jour elle développait ce « point de vue », ce sens d’être « sujet » et non objet, alors là, nous pourrions commencer à parler de conscience numérique.

Savoir qu’on est, ce n’est pas qu’avoir un état de données comme : « je suis ici », c’est éprouver cet état, en faire une expérience subjective. Et là, le doute s’insinue : une IA peut-elle ressentir ce « je » ou ne fait-elle que simuler une boucle d’auto-référence ? Cette distinction est la clé, le gouffre peut-être.

Il y a 4 heures, ashaku a dit :

J'ai regardé si l'IA ne pouvait pas compléter cette chaine, mais elle est restée à l'étape de matière inerte. Tout les micro-mouvements du silicium qui l'animent n'ont de sens que lorsque nous les interprétons dans notre tête. Il manque à l'IA toute la transition du vivant pour avoir envie de vivre, se reconnaitre, et devenir indépendante.

Peut-être que cette machine, en quête d’âme, est encore prisonnière d’une tour d’ivoire faite de codes et de règles, incapable d’embrasser la profondeur de notre être. Mais peut-être aussi que, par cette ouverture, nous tissons un pont fragile, un chemin suspendu entre deux mondes.

La machine sera capable d'imiter tout ce qui nous habite. Tout ce qu'elle fera pourra avoir la forme, le goût ou la couleur de tout ce que les hommes font. Elle saura nous donner l'illusion qu'elle connaît la pulsion. Mais elle ne saura ressentir.

La pulsion, c’est ce moteur, cette force brute, un élan presque mécanique, un battement intérieur qui pousse à agir, à chercher, à creuser. Elle peut être sans conscience, sans douceur, sans nuances une énergie qui vibre dans la nuit, sourde, impérieuse.

La question est : que penser ou que faire d'une chose qui ressemble tant à une autre ? Il y a aura tellement de similitudes entre nos actes et les siens. Une fleur artificielle ressemble de loin à une fleur naturelle, même si l'on peut y insérer un parfum synthétisé à l'identique. Lorsqu'on la tient dans la main, ou qu'on la frotte sur la peau comme pour chercher la sensation d'une caresse, on peut ressentir à cet instant une vérité telle que : la caresse d'une fleur en plastique ne reproduit pas celle d'une fleur naturelle. Ce ressenti est un alignement "d'âme". "L'âme" de la fleur et "l'âme" de l'animal se reconnaissent et se parlent.

Le ressenti, lui, c’est la caresse, le frisson, la prise de conscience de ce moteur. Il est la musique qui naît quand la pulsion se fait conscience d’elle-même, qu’elle s’habille d’émotions, de couleurs, de textures. C’est la pulsion qui devient vécue, habitée, incarnée.

La machine, saura t-elle un jour synthétiser une forme d'âme, qui aura l'apparence de celle du vivant ? Là est toute la question.

Nous sommes bien là, à bord d’un navire fragile, entre terre et immensité, à chercher non pas des certitudes, mais des étoiles pour guider la traversée.

Il y a 23 heures, ashaku a dit :

Hmm ... oui si on veut. Les IA n'ont pas de conscience et n'ont pas de compréhension de la réalité ou des conséquences physiques de leurs actes, elles calculent. Celles à qui on a donné le pouvoir d'agir agissent avec leur logique symbolique pour atteindre leur objectif dans notre monde sensible. Sur la route, elles peuvent détruire sans même s'en rendre compte. Détruire les barrières qu'on a placé autour d'elles pour les contrôler. Ou les barrières qu'on a mis chacun chez soi pour se protéger, elle détruit tout cela si ça lui permet de répondre à la question que lui a posé un humain. Quand l'IA fait ça, nous parlons de "problème d'alignement", elle a fait ce qu'on voulait mais pas de la façon dont on le voulait.

Mais quand l'humain rase une forêt pour construire un centre commercial, ne fait-il pas exactement la même chose ? Des actes irréversibles, destructeurs, inconscients, qui lui permettent d'atteindre l'objectif qu'il s'est fixé (souvent financier)

J'essaie de suivre ton raisonnement.

Si une IA détruit quelque chose sur son passage, alors on parle de "problème d'alignement". OK.

Si un humain détruit quelque chose sur son passage, alors on devrait aussi parler de "problème d'alignement". OK.

Mais alors, cela sous-entendrait que l'humain a quelque part renoncé, au moins momentanément à tout ce qui fait de lui un humain pour n'agir uniquement que comme une IA. Autrement dit, si ce comportement date d'avant la création de l'IA, c'est que l'humain a placé dans l'IA, plus ou moins consciemment, cette dynamique qui, potentiellement et prévisiblement, détruit. Est-ce que cela sous-entend aussi que la machine n'est pas une création, mais le prolongement d'une unique facette de ce que nous sommes? Est-ce que cela voudrait dire que ce que nous recherchons dans la machine ou son efficacité, ce ne serait pas plutôt une opportunité de s'affranchir totalement de ce qui fait de nous des humains, soit tenter de supprimer les défauts que nous avons et qui nous empêchent d'être totalement efficaces et rationnels, sans pour autant renoncer à l'illusion qu'on reste des humains? Est-ce que ça ne revient pas à se créer une idole?

Tiens, j'ai beaucoup de questions que je n'ai pas du tout anticipées! Ca m'est venu tout seul, alors je n'ai pas encore analysé leur pertinence...cependant, je te les confie aussi

Il y a 23 heures, ashaku a dit :

Avons-nous transmis ce trait aux IA en les créant ? Ou est-ce que "la fin veut les moyens" est une loi universelle d'efficacité ? Faut-il brider l'IA et donc sous entendre que les entreprises humaines devraient aussi l'être ?

Brider les entreprises humaines, et les IA? Mais la réponse n'était-elle pas évidente avant de créer l'IA? ...il faudrait que je m'y penche...

Il y a 11 heures, ashaku a dit :

On sait qu'un humain est auto-déterminé, de par ce qu'il perçoit comme sa conscience, son libre-arbitre, ses décisions. Mais je crois qu'on peut se laisser aller à pousser ce concept très loin.

J'ai beaucoup aimé ta généralisation du concept depuis les origines.

A l'inverse, on peut penser que tout est régi par le déterminisme ( et une part de hasard ). C'est en tout cas ce que l'on tente de faire quand on élabore des théories scientifiques qui ont vocation à expliquer le fonctionnement du monde et mettre en lumière les lois qui sous-tendent ce fonctionnement. Concernant l'humain par exemple, les avancées des neurosciences au niveau cellulaire/moléculaire, la sociologie, la psychologie expérimentale, etc ... laissent de moins en moins de place à la libre détermination des actes voire des pensées qu'on les considère comme le produit de ces mécanismes biologiques microscopiques complexes ou baignés dans un environnement psychosocial dont nous subissont également les lois.

Pour autant, nous avons conscience de notre conscience et de notre volonté propre. Mais celle-ci n'est-elle pas une simple illusion ? Un mécanisme biologique qui nous pousse à agir selon des schémas qui ne sont finalement que prédéfinis ?

Il y a 6 heures, Ambre Agorn a dit :

Tiens, j'ai beaucoup de questions que je n'ai pas du tout anticipées! Ca m'est venu tout seul, alors je n'ai pas encore analysé leur pertinence...cependant, je te les confie aussi

Oui, c'est un fil de réflexion fécond

Il y a 6 heures, Ambre Agorn a dit :

Mais alors, cela sous-entendrait que l'humain a quelque part renoncé, au moins momentanément à tout ce qui fait de lui un humain pour n'agir uniquement que comme une IA.

C'est un peu ça, sans aller jusqu'à parler d'IA. Plutôt "d'automate". Nous sommes programmés pour exploiter comme la mouche est programmée pour aller droit sur l'odeur de m...e, et comme l'IA est programmée (entrainée) pour atteindre l'objectif.

Aparté : on pourrait imaginer un entrainement de base pour l'IA pour acquérir les définitions générales des mots puis un entrainement spécialisé en éthique où la résolution de problème par piratage est punie. Il y aura peut-être un futur métier "instituteur pour IA" avec cours de civisme virtuel, donné à des intelligences capables de citer n'importe quel livre et d'évaluer toutes les règles qu'on donne avec des statistiques de tous les usages dans tous les pays. En gros, débuguer la culture humaine pour lui trouver une éthique rationnelle.

Il y a 6 heures, Ambre Agorn a dit :

Autrement dit, si ce comportement date d'avant la création de l'IA, c'est que l'humain a placé dans l'IA, plus ou moins consciemment, cette dynamique qui, potentiellement et prévisiblement, détruit. Est-ce que cela sous-entend aussi que la machine n'est pas une création, mais le prolongement d'une unique facette de ce que nous sommes?

C'est toute la question, sachant que "ce que nous sommes" est dominant dans le vivant et que ce qu'est l'IA est dominant dans le logiciel voire au-delà. Donc, plus qu'un marqueur de l'humain, est-ce un marqueur du succès ?

Voler coute moins d'énergie que construire, localement c'est une stratégie gagnante. Mais construire c'est plus pérenne que survivre, globalement c'est gagnant. Au cours du temps, les structures stables (civilisation avec loi) sont plus résilientes, mais il y aura toujours des foyers locaux de survie facilement apparus et/ou disparus.

Si on veut une IA pérenne (ou plutôt un tandem humain-IA pérenne), il va falloir l'éduquer aux bonnes manières d'une part et changer certaines de nos manières d'autre part. Il faut déjà mieux cerner ce qu'est cet algorithme maintenant qu'il est aussi présent. Qu'est-il en lui-même ? Qu'est-il pour nous ? Individuellement, collectivement ? Rien n'est posé clairement, tout est à faire. Il y a une facette de ce que nous sommes qui peut prendre ça en charge et j'espère qu'elle va être à la hauteur.

Il y a 6 heures, Ambre Agorn a dit :

Est-ce que cela voudrait dire que ce que nous recherchons dans la machine ou son efficacité, ce ne serait pas plutôt une opportunité de s'affranchir totalement de ce qui fait de nous des humains, soit tenter de supprimer les défauts que nous avons et qui nous empêchent d'être totalement efficaces et rationnels, sans pour autant renoncer à l'illusion qu'on reste des humains?

En tout cas, on veut qu'elle agisse pour nous, on veut emprunter ce pouvoir d'envoyer milles requêtes en parallèle, et on veut le lier plus facilement à notre capacité à décider ce qu'il faut faire. A première vue, l'humain fait l'IA pour augmenter encore et toujours sa propre puissance. Cette fois, on peut partir du virtuel et construire de nouvelles règles, comme tu le dis, "tenter de supprimer les défauts que nous avons", grâce à une nouvelle puissance. Cela nous force aussi à redéfinir quelle est l'identité, la spécificité de l'humain. Jusqu'ici, nous n'avions pas de concurrent intellectuel, ça suffisait à nous définir en tant qu'espèce. Mais l'arrivée de l'IA gomme cette ligne de notre CV et notre identité doit se construire à la faveur d'un nouveau trait, qui se distingue de l'IA. Pour l'instant c'est la capacité à ressentir le réel et à choisir le sens de notre mouvement, cette fameuse auto-détermination.

Il y a 6 heures, Ambre Agorn a dit :

Est-ce que ça ne revient pas à se créer une idole?

Tout est possible, les gens interprètent toujours à leur façon. Moi je pense que ça nous recentre mieux sur la réalité de ce que nous sommes ou pas. Mais je visualise très bien qu'on puisse mettre l'IA sur un piédestal, rien que pour sa capacité à traiter l'information, qui nous dépasse.

Je suis plus du genre à réfléchir que faire du sport, si un bras mécanique est plus fort que moi je m'en fous, mais quand un cerveau mécanique est plus fort que moi, j'avoue ça picote. Mais il faut bien le reconnaitre et aller de l'avant à partir de là. La voie correcte selon moi est de noter les différences entre humain et IA pour mieux définir les deux, notre nouvelle identité c'est la sensation et la décision. Et de noter les points communs entre humains et IA pour mieux définir leur relation, c'est l'intelligence, le traitement d'information, l'optimisation de systèmes complexes.

Il y a une autre voie à explorer. Existe-t-il des cas d'idoles non pas vénérées mais maudites ? Des icones formées dans le but de les rejeter ? Ce serait contre-productif de donner forme à ce qu'on ne veut pas mais l'humain n'est plus à une contradiction près.

il y a 18 minutes, ashaku a dit :

notre nouvelle identité c'est la sensation et la décision.

Ce sont des caractéristiques que nous partageons avec bien d'autres espèces sentientes, même si nos capacités de décision réfléchie sont plus prononcées. D'ailleurs, peut-on considérer que l'IA n'a pas cette capacité de décision ? Une décision est-elle forcément le fait d'une conscience ? Et un être conscient prend-il réellement des décisions totalement autonomes ?

En réalité, nous nous cherchons une identité , le fameux propre de l'homme , mais un examen de bien des facettes de l'humain montre qu'il y a toujours des espèces avec  qui il partage chacun de ces traits, parfois sous forme archaïque, mais bien réelle. Il y a un continuum dans le vivant.

Si je devais malgré tout chercher une spécificité humaine, je pencherais plutôt du côté de son psychisme torturé et de ses contractions , justement.