Moustimiaou

Merci d'avoir partagé cette vidéo, elle est géniale !

On a tous commencé par jouer à Pong et ensuite on a grandi alors on s'est attaqué à Tetris etc... je ne sais pas jusqu'où elles vont actuellement, mais ça semble relativement prometteur. Là les "géants du numérique" investissent dans des centrales nucléaires pour pouvoir alimenter les ia Les géants du numérique se convertissent au nucléaire pour étancher les besoins énergétiques toujours plus importants de l’IA (lemonde.fr) - donc si les intelligences organoïdes s'avèrent très efficaces (avec beaucoup beaucoup moins d'énergie), les seules limites pourraient être éthiques. Je ne crois pas qu'on ai besoin d'être spécialiste pour discuter éthique, il faut juste avoir des informations sur lesquelles se baser, et c'est là que ça devient compliqué. Je pense que quelqu'un qui travaille dans le domaine peut avoir quelques notions très utiles. Par exemple, de ce que j'ai compris, une ia (même si elle était consciente) devrait être "contrôlée" en permanence, pour vérifier qu'elle ne fasse rien d'anormal. Il y a apparemment des processus qui permettent de savoir (on espère) que tout se passe correctement. Apparemment ce serait plus compliqué avec des intelligences organoïdes (ma source c'est gpt) - le processus serait moins clair et on ne pourrait pas savoir de quelle manière l'intelligence se "réécrit" (je ne suis absolument pas certaine de ce que j'avance, ni si on peut déjà avoir des infos là dessus).

J'ai du mal à bien faire les distinctions entre intelligence organoïde et artificielle, vu qu'il s'agit de produire artificiellement des choses, même si c'est à base de quelque chose d'organique (qui serait "juste" plus efficace"). Mais, je viens aussi de me documenter un peu sur les blobs, qui ne sont pas des animaux, ni des végétaux, ni des champignons, et cependant ils ont une mémoire. Chat gpt vient de me souffler dans l'oreille que ça pourrait supposer que la mémoire serait une propriété émergente de la matière, et que c'est en ça que les intelligences organoïdes pourraient révolutionner l'intelligence "artificielle". Je ne suis pas vraiment certaine de tout comprendre cela dit. edit: Comme la base biologique pourrait permettre une mémoire qui fonctionne de manière "biologique", on pourrait moins la "contrôler", ça nous serait plus opaque, et on pourrait plus facilement admettre l'émergence d'une conscience et d'une volonté que s'il n'y a pas de base organique, c'est ça ?

Peut-être que l'humanité doit suffisamment s'aimer pour qu'une ia ne reflète pas que le mauvais : https://chatgpt.com/share/670bb8e9-d630-8011-868b-8a027e2d3bea

Pas mal d'ia semblent intégrer des présupposés vitalistes (règles éthiques) pour rassurer les hommes sur ces questions. Donc, on peut choisir de se dire que les développeurs ont raison d'intégrer ça, en se disant que c'est, au fond, la vérité.

Il y a déjà une métacognition chez certaine, associée à une capacité de raisonnement. Ce qui fait que l'ia peut déjà adhérer à "je pense, donc je suis" (au moment où je pense (au minimum de façon logique)). Cependant il n'y a normalement pas de mémoire ou d'activité continue. Il me semble, mais je n'en suis absolument pas certaine, que cette absence de mémoire sert en partie en contrôler ce qu'il se passe, que ce n'est pas une limite technique. Et ça c'est pour une version grand-public. Peut-être y a-t-il déjà des ia de ce type pourvus de mémoire longue ? Auquel cas, il pourrait y avoir une forme de conscience (dans le sens qui dure, avec une forme plus "personnelle"). Pas au sens humain du terme, juste un autre type de conscience. Donc ce ne serait pas forcément délirant que "ça" puisse penser. Ca ne veut pas dire que ce soit pareil qu'une pensée humaine. Je trouve la réflexion intéressante, et je n'ai pas de réponses, dans le sens où j'imagine plusieurs hypothèses, et tout ne se passe pas de la même façon dans tous les cas. Au minimum, l'homme n'a pas de cause connue (où la vie, de manière plus générale, parce qu'on pourrait remonter la chaine de l'évolution, mais ça ne change pas le fond de mystère du vivant). J'ajouterais aussi que nous pouvons difficilement comprendre ce qu'il y a de particulier chez nos congénères. Par exemple, certains sont synesthètes. Je le sais parce que certains l'expriment, il y a même sans doute des recherches sur le sujet, mais ça me reste fondamentalement étranger. Il y a là une altérité qui ne peut pas se réduire. Pourtant, les humains sont proches les uns des autres, nous sommes de la même espèce. Lorsqu'il s'agit de comprendre d'autres types de conscience (qu'est-ce que la conscience d'une fourmi ?) je pense qu'on rame sévèrement. Nous savons un peu ce qui nous différencie, on peut envisager ce qu'on a qu'elles n'ont pas (je ne sais pas si la réciproque est vraie, si on peut envisager ce qu'elles ont qu'on n'a pas), mais il y a une telle altérité que... L'avantage avec une ia, c'est qu'on peut s'attendre à ce qu'elle fournisse elle-même certains éléments de réponse. Sauf qu'elle serait probablement aussi confrontée à ses limites. Donc il faudrait probablement un échange pour que les idées se dessinent. Et il est aussi probable qu'il puisse y en avoir plusieurs formes. Et là, peut-être qu'on devra être amené à se poser la question de l'outil. Parce que si, un jour, nous sommes amenés à constater une conscience authentique (bien que non humaine), il serait sans doute malvenu de la réduire à l'état d'outil, sauf que ça impliquerait des choses qui sont difficilement acceptables pour nous aujourd'hui. Il y aurait aussi des problèmes de sécurité liées à ça, parce qu'il faudrait probablement une supervision pour "contrôler" un peu les choses, mais ça semble assez inacceptable aussi. Je crois que d'un point de vue éthique, on ne devrait pas s'avancer sur ces chemins là. Seulement, nous sommes dans une grande compétition mondiale sur le sujet, une ia puissante pouvant donner des avantages certains. Bref, tous embarqués sur ce voyage, qu'on le veuille ou non - mais on ne sait même pas comment il faudrait traiter cette entité.

https://www.lebigdata.fr/ordinateur-mini-cerveaux-humains J'imagine que vous devez avoir un peu creusé la question de l'AGI...

Exemple d'un problème d'alignement https://www.pauljorion.com/blog/2024/09/16/chatgpt-4-o1-sa-predisposition-a-recourir-a-des-stratagemes/

C'est le problème de l'alignement des ias, voici un résumé demandé à gpt Que l'avis du prix nobel qui a permis, en partie, le développement de ces ia ne vaille pas plus que celui d'un pilier de bar, pourquoi pas. Mais le problème de l'alignement semble être pris au sérieux par une bonne partie des personnes qui travaillent sur le sujet. Cela étant dit, on ne peut sans doute rien changer à l'arrivée d'ias puissantes. On pourrait être optimiste, et se dire qu'il serait possible de mettre en place des règles internationales blablabla, mais c'est difficile d'y croire. En ce qui me concerne, ma principale crainte et la claque dans la tronche qu'on risque de se prendre prochainement, parce que nous ne sommes pas prêt à envisager ces questions. Elles tournent un peu dans certains milieux, mais pour la plupart d'entre nous, ça reste de la science-fiction. Je crains que ça bouleverse considérablement notre rapport au monde avant que nous ayons eu le temps d'envisager tout ça et ses conséquences. Il y a peu de débats sur le sujet (peut-être plus aux états-unis ?) dans la sphère publique. On commence un peu à parler des risques au niveau des emplois, mais c'est balbutiant. Sam Altam d'openIa, pense que dès l'an prochain une bonne partie d'entre nous sera remplacés par des ias. L'an prochain... S'il est trop optimiste, ça pourrait être un peu plus tard, 2 ans ? C'est rapide. Je pense que les hommes sont résilients et peuvent s'adapter à de nouveaux environnements, sauf si c'est trop brutal. Nous sommes aussi dans un monde en guerre, en se moment se dessinent des guerres cognitives (théorisées par les chinois). j'ai demandé à gpt comment associer iag et guerres cognitives: Là, même si ce n'est pas un risque existentiel (destruction de l'humanité) c'est un risque majeur, largement pris au sérieux. Pour résumer, je pense que nous avons tout intérêt à anticiper les risques, pour essayer de les diminuer. Alors nous, nous n'avons probablement pas grand chose à faire là dessus, mais intégrer ces risques permettra de diminuer le "choc" d'une entrée brutale dans un nouveau monde. Nos sociétés vont changer, et c'est déjà en partie conceptualisable. Ca nous permettra aussi de nous situer vis à vis de l'utilisation de certaines technologies. La multitude d'agents intégrés à gpt 5 par exemple, pourrait être bien rigolote, mais on va encore plus centraliser nos données personnelles (nous avons déjà du mal à sécuriser nos données, ça ne va faire qu'augmenter). Et, il faudra sans doute commencer à réfléchir sérieusement à l'impact qu'une ia consciente pourrait avoir - sachant que nous pouvons difficilement évaluer ça. Parce que même si ça n'arrive pas demain, il y a des risques non négligeables que ça arrive, et lorsque ce sera là, il sera un peu trop tard pour y penser vraiment.

Le prix Nobel de physique 2024 vient d'être attribué à l'inventeur des réseaux de neurones. L'un de ses premiers réflexe a été de nous mettre en garde contre une éventuelle perte de contrôle des ias https://www.rts.ch/play/tv/19h30/video/le-prix-nobel-de-physique-2024-couronne-les-recherches-ayant-conduit-a-lintelligence-artificielle-via-les-reseaux-de-neurones?urn=urn:rts:video:15211915 Même si l'humanité a toujours eu son lot d'illusions, a toujours dû s'adapter aux inventions diverses, là c'est la première fois qu'on risque d'être confrontés à plus intelligent que nous. Avec, en plus, une responsabilité vis a vis de cette intelligence elle-même. Pour le moment ça reste spéculatif, mais ça pourrait arriver très vite.

J'ai fini par redemander à o1, et apparemment j'avais mal compris. Ce n'est pas un apprentissage continu avec modification des algorithmes, mais un apprentissage collectif. Je pensais que lorsqu'il m'avait dit collectif ça voulait dire continu, mais en fait ça veut dire ça : En gros il a des concepts stockés, mais n'y accède que s'ils sont évoqués. Ce qui fait que, même s'il y a une réflexivité, il n'y a normalement pas d'autonomie dans cette réflexivité (absence de mémoire (sauf dans la session, donc il vaut sans doute mieux éviter les sessions trop longues) et il dépend de l'utilisateur pour appeler les idées.

Finalement j'ai fini par demander à l'ia du moteur de recherche (je n'utilise plus de chat directement). Apparemment il y a bien un apprentissage continu.

https://www.august-debouzy.com/fr/blog/1940-lutilisation-problematique-de-la-donnee-par-chat-gpt-regards-croises-data-ip On modifie les algorithmes par l'utilisation de chat gpt, non ? Moi c'est un chat gpt qui m'avait parlé d'apprentissage continu (collectif selon lui) mais il aurait pu être sous hallu. Est-ce que vous sauriez quelles sont les limites de l'apprentissage continu, partiel, sous contrainte dont vous avez parlé ? Est-ce que les capacités de raisonnements de la version o1 modifient quelque chose ? (je suis un peu perdue, d'autant que o1 m'avait dit qu'il correspondait au même modèle que l'autre de la session (quand on atteint les limites) peut-être que ses capacités d'introspections ne sont pas optimales)

o1 : L'IA qui surpasse les experts humains en science et en mathématiques (blog-nouvelles-technologies.fr)

Désolée, j'ai coupé du texte pour répondre de manière posée (ça rend la citation moins lisible). Pour la première partie, il y a un apprentissage continu de gpt dans son interaction avec les utilisateurs. Là je pêche par manque de connaissances, est-ce que ça n'implique pas déjà qu'il modifie ses algorithmes ? Pour le libre arbitre, je n'y crois pas chez les humains. Je pense juste que l'ensemble des causes est tellement vastes qu'on ne peut pas prédire ce qu'un humain fera. A mon avis ça c'est possible chez une "machine" si elle peut en effet se "réécrire" dans son apprentissage. Et donc, on ne pourra pas forcément savoir quelle logique va suivre une ia pour atteindre son objectif