ashaku

Ca fait plaisir de te lire à nouveau, ça faisait longtemps j'ai l'impression. Joli texte de ta profession de foi, inspirant. Je ne suis pas d'accord avec cette critique. L'auteur du message parle de sujets tournés vers le groupe : la science, l'art et la philosophie sont des activités que l'humanité entière développe par le travail conjoint de plusieurs individus. Dans l'espace et dans le temps. Et tous sont unis par ce lien : être humain. C'est en fait une grande chaine ouverte sur l'extérieur plutôt qu'un repli sur soi. Bien sûr, toute opinion est sujette à discussion, la mienne tout autant. Je crois que nous pouvons affirmer A ou B, ce n'est pas important. Mais que nous discutions ensemble pour partager ce qu'il faut savoir sur A et B est ce qui est important.

J'ai relu et n'ai pas vraiment vu de contradiction, je suis en accord avec les principes évolutionnaires décrits, de ce que j'ai compris. Mais il va sans dire que je suis toujours partant pour discuter et apprendre. Je rapporte ici un argument matérialiste qui m'a été opposé. Les singes de la canopée, lors d'un bruissement dans les feuilles ont adopté deux comportements. Les uns fuient immédiatement, les autres sont curieux. Les premiers survivent, les deuxièmes se font croquer par le félin prédateur. Ils disparaissent, leur ADN curieux avec eux. Aujourd'hui, quand les feuilles bruissent les singes de la canopée fuient tous. Quel est leur libre arbitre ? C'est vrai, entre la découverte de la possibilité de faire le coup gagnant et la décision de l'appliquer, il y a le processus de choix que j'ai ignoré. Je ne sais pas grand chose de cette étape, c'est pourquoi je n'ai même pas pensé à l'inclure. C'est pourtant bien là que le libre arbitre a des chances de se manifester. Mais comment ? Par quel moyen ? Dans quelles conditions ? A quelle intensité ? En contrepartie de quoi ? A partir de quel stimuli ? Etc. Diriger l'appareil de survie vers l'accomplissement d'objectifs construits, indépendants de l'environnement comme le fait l'humain c'est ajouter une tétra-chiée de possibilités d'actions sur un socle déjà riche d'une trouzaine de possibilités offertes par le vivant qui s'appuyait déjà sur une coquette somme d'options données par la physique et la chimie. Toujours plus complexe.

C'est un peu plus poussé que ma vision. "pouvoir" est littéralement le verbe. A l'époque primitive, celui qui avait le pouvoir de fracasser le crâne des autres était le chef, il avait le pouvoir, celui d'accomplir l'action dominante dans les interactions. Depuis, c'est devenu le pouvoir de fabriquer vite et beaucoup avec l'industrie certains industriels sont devenus "puissants", "ayant du pouvoir", celui d'accomplir l'action qui compte à ce moment. Et puis il y a eu le pouvoir d'influencer beaucoup de gens avec des milliardaires qui possèdent des médias, et puis celui de diffuser l'information aujourd'hui. Et le libre arbitre n'a rien à voir là dedans. "pouvoir", c'est "trouver le coup gagnant dans une partie d'échecs". Quand on peut le jouer, la situation devient celle-là, que ça plaise ou non à l'adversaire. Celui qui a la possibilité d'accomplir l'action gagnante détient du pouvoir dans un certain champ d'action. Les lois sont censées garantir un peu d'égalité mais en vrai, quand quelqu'un peut renverser la table et tirer son épingle il le fait, et la situation devient celle-là de fait, les autres n'y peuvent rien (notion de pouvoir) et s'adaptent à la situation. Jusqu'à ce que quelqu'un d'autre acquière une nouvelle possibilité gagnante.

Merci pour ce questionnement riche. Mon précédent post s'échappe un peu et ne répond pas vraiment. Et la question le mérite pourtant. J'y ai un peu réfléchi depuis et voilà mes 3 sous : "le libre arbitre, c'est la marge de manœuvre pour les trucs non vitaux". Si une personne entre dans la pièce où tu te trouves et ouvre le feu avec une arme automatique, ta réaction à ce moment-là sera dictée par ton corps. Plonger sous une table ou chercher une issue, ou sauter sur l'assaillant ou rester figé, cette réaction est déjà écrite dans ton corps et tu n'a pas voix au chapitre. En revanche si personne n'entre et que tu te demande si tu va faire un sudoku ou un mot croisé, ton libre arbitre va pleinement s'exprimer. On pourrait croire que c'est insignifiant mais c'est au contraire fantastique. C'est la preuve que nous avons cessé de survivre sur des critères physiques. Avant, notre "programmation interne" concernait notre survie uniquement, héritage des nombreuses espèces menant à nous (merci à elles). Mais à un moment, l'humain est entré en compétition sur des critères non-survivalistes. La renommée culturelle, les jeux Olympiques, l'économie bien sûr, le développement de techniques agricoles, la technologie de l'information, etc. Le système efficace pour survivre est devenu inutile dans les sociétés où le génie humain a apporté l'abondance. Ce système est maintenant dévoyé pour des choix non survivalistes : chinois ou italien ce soir ? On regarde la 1 ou la 2 ? On y a va à pied ou en vélo ? Aucun de ses choix n'a de conséquences sur la survie, et ils constituent quasi-100% de notre temps. Le système s'adapte, il développe une capacité à interagir avec ces nouveaux paramètres, basé sur l'impression personnelle, l'expression du "je". Et le libre arbitre enfle au point de devenir incontournable.

En gros, "est ce que le fait de se poser une question, n'importe laquelle, est une preuve de libre arbitre ?". Un arbre se pose la question de savoir s'il y a plus de lumière à gauche ou à droite, a-t-il un libre arbitre ? C'est plus pertinent si la question porte spécifiquement sur "je" (comme signalé par d'autre). C'est en questionnant "je" que ça devient intéressant en terme de libre arbitre : "est ce que j'aime les tableaux de Van Gogh ?". Ma survie ne dépend pas de la réponse, c'est la pure expression de mes goûts, ce qui déclenche le "positif" en moi, plus que le "négatif", selon mes expériences et ma sensibilité, construits au fil du temps et consolidés dans ce "je". La faculté de se poser la question (en incluant "je") pose la faculté à la réflexion. Et cette dernière permet de prendre conscience que, par exemple, 3 possibilités s'offrent à nous et on va choisir. Mais avant la réflexion, il y avait déjà 3 possibilités qui s'offraient à nous et l'une d'elle qui était choisie. Ce qui a changé entre les deux, ce n'est pas la quantité de liberté, c'est la capacité à lister les choix et peut-être mieux choisir. Ceci vaut pour le rapport entre un individu et son propre système nerveux. La dictature, le conflit, l'économie et la finance sont des systèmes complexes construits par/pour des groupes d'individus. L'analogie n'est pas directe. Il y a évidemment un lien entre les deux mais extrêmement diffus. Le conflit est inévitable à partir du moment où on est plus que un. Mais ce conflit peut être une coopération, aussi (l'image du yin yang est excellente). La dynamique entre les parties est mouvante et à la question "où placer le conflit pour optimiser ?" j'ai envie de dire qu'il n'y a pas de valeur discrète. Comme sur un vélo, l'équilibre est atteint par une série dynamique de déséquilibres coordonnés entre eux. Donc, du point de vue du vivant : faut que ça bouge, que ça créé, que ça change et que ça se transforme. Et du point de vue des institutions humaines, faut graver dans le marbre et appliquer autant que possible les méthodes optimum. C'est le rôle de la politique d'organiser et harmoniser la vie en société. De définir la résolution des conflits inhérents au regroupement d'individus aux motivations différentes mais aux besoins identiques. Mais le système "intelligent" de la politique se heurte à son environnement : des tribus d'humains sensibles avec des millions de désirs différents. La question est posée. Depuis longtemps. Peut être qu'il n'y a pas assez de gens qui y ont réfléchi, mais certains ont proposé des trucs et on essaye depuis. C'est une question importante, et la définition du libre arbitre y occupe une place importante. Dans la définition d'un système sociétal, on peut se demander déjà "qu'est ce que le pouvoir ?", "qu'est ce qui donne le droit à quelqu'un de l'avoir ?". Ce sont des décisions structurantes, quel rôle y jouerait le libre arbitre ?

Grande question qui m'anime aussi. Au fil des discussions ici et ailleurs, j'ai pris connaissance de l'ampleur de la nature mécanique de l'humain, dont certains pensent même qu'elle est responsable à 100% de ce qu'on est. Ce qui m'a troublé puisque je pense que les idées sont une chose particulière et que notre accès à la capacité d'avoir des idées n'a cessé de démontrer la supériorité de ce trait bien réel. Il convient de se demander si les mathématiques sont inventées ou découvertes ? J'assimile ta question -pourtant spécifique- à celle générale de la dualité corps/esprit. Sommes-nous uniquement mus par une mécanique (le corps) ou y a-t-il bien ce dont nous faisons l'expérience consciente avec notre tête (l'esprit) ? Le premier est de mieux en mieux compris et documenté et sa responsabilité pour de plus en plus de fonctions, y compris cognitives, est démontrée. Le deuxième en revanche ne repose sur aucune tangibilité, par nature. Les expériences pour le saisir sont subjectives, il relève de la foi ou de l'intuition d'y adhérer. Pourtant, il faudrait être aveugle pour ne pas voir la corrélation entre être intelligent -> succès, être très intelligent -> gros succès. Nos réalisations parlent en faveur de l'existence de l'esprit : le voyage sur la Lune, la domination de tous les espaces terrestres, etc ... Alors, soyons concrets. Un forumeur qui m'a gentiment partagé sa foi en un matérialisme radical disait souvent "mets ta jambe dans le feu en pensant que la matière n'existe pas pour l'esprit et on verra". Comme je ne suis pas taré, mais que je trouve l'expérience pratique intéressante, j'ai essayé de me tenir sur une jambe fléchie le plus longtemps possible. Au bout d'un moment, mon corps dit "arrête" alors que mon esprit dit "continue". Mais la situation ne peut donner raison qu'à l'un d'entre eux. Les pratiquants d'arts martiaux utilisent la pose du cavalier pour renforcer leur corps mais en fait leur esprit grâce à ce principe. Nous avons en revanche tous nos limites, qu'il est intéressant d'explorer. Ce laps de temps permet de se demander ce que sont l'esprit, la volonté, le choix, le libre arbitre, etc. Maintenant, pour répondre directement à ta question, d'abord "non, en logique formelle" car "la capacité de" ne vaut pas "est implication de". Mais c'est un détail technique. Le fond de ta question est : est-ce que la capacité à aborder le thème du libre arbitre avec raison est en soi une démonstration de libre arbitre ? Et je répond "non encore, pour autant que je sache". La capacité à aborder le thème du libre arbitre n'est la démonstration que d'une chose : la capacité à aborder le thème du libre arbitre. Il faudrait, au cours de cette discussion, définir ce qu'est le libre arbitre pour déterminer si penser à lui est une condition suffisante pour l'avoir comme propriété. Ce n'est pas impossible mais la plupart des arguments tendent à réduire cette notion à une illusion nécessaire au fonctionnement de notre faculté de raisonner. Exemple : les illusions d'optiques. Elles résultent de bugs dans notre perception. Des bugs qui sont induits dans des conditions exceptionnelles et qui se produisent en conséquence d'une forte adaptation aux conditions habituelles. Alors, est-on libre de faire le choix que notre perception ne détecte même pas ? Le train n'est libre que d'avancer sur ses rails. Le libre arbitre est-il le conducteur ? Ou l'amplitude de la gare de triage ?

Ainsi "comprendre" serait créer l'association et "prédire" serait utiliser l'association. Même mécanisme mais temporalité différente.

De mon coté, voici ce qui m'a amené à distinguer "comprendre" et "prédire" : j'ai découvert que l'IA avait le premier en faisant le MLP. Et j'ai vu qu'elle avait le deuxième en regardant pour le LLM. D'où la distinction de fonction claire et séparée dans mon esprit. De plus, l'un est dirigé vers la réalité alors que l'autre fait une extrapolation virtuelle. Cependant, depuis que tu l'as souligné, je vois que les deux sont en fait un calcul sur un état donné pour produire un résultat faire une prédiction.

Si ça ne dérange pas d'expliquer, je suis preneur. Intuitivement je suis d'accord mais une démonstration ne ferait pas de mal. Et pour préciser : j'aime les généralisations autant que les spécifications, passer d'un niveau d'abstraction à l'autre est un bon exercice. Et de ce que je comprend, c'est ce que font/représentent les neurones d'une couche à l'autre. Il y a peut-être quiproquo. Je voulais parler de la partie "réflexion" de l'IA, que j'apporte plus haut en imaginant qu'on branche les poids d'une partie du réseau sur ses entrées, afin qu'il s'auto-évalue. Je ne sais pas si c'est réaliste alors je parle d'imagination pour cette idée, je ne voulais pas parler de l'imagination humaine comme un exemple de meta-analyse.

Tout à fait. L'ajout du détail de devoir plonger l'IA dans un environnement est une tentative de pallier à cette absence de substance, en la simulant, mais c'est incomplet. Je ne connais pas la fonction biologique en question mais je pense que suite à ces millions d'années d'évolutions, les fonctions des corps vivants aujourd'hui sont utiles, même si on ne comprend pas pourquoi. Il y a donc bien sûr des différences entre modèle informatique et réalité biologique (sachons rester simples). La modélisation est une sorte d'autoroute pour parcourir le monde de la pensée, mais elle ne mène pas pile poil sur la vérité. Il faut prendre une sortie, emprunter une départementale puis un chemin de terre, sortir de voiture et prendre son sac à dos, une tente, des vivres et une machette pour traverser la forêt touffue, grimper une montagne, franchir un précipice et probablement buter un dragon sur place. Mais les modèles mathématiques ou les théories scientifiques sont de bons moyens de se rendre vite au plus près. Merci, j'aime les généralisations. Comprendre est ce que fait le réseau neuronal, de par sa structure et son fonctionnement. Méta-analyser, c'est la partie "réflexion" que j'apporte en imagination, c'est bien ça ? C'est ce que j'ai réalisé clairement en cours de route. J'avais oublié le blob ! C'est vrai, ça questionne sur le phénomène de compréhension de l'environnement

Notes additionnelles : Le développement d'une IA consciente nécessite en gros deux choses : une mémoire interne pour pouvoir "Créer", par stockage de prédiction et recherche de corrélation un mécanisme de réflexion pour auto-évaluer ses choix et "Décider" selon des valeurs construites Cela n'est possible que si le programme est plongé en interdépendance de son environnement. Il faut que ses choix déterminent son approvisionnement en information nouvelle (bande passante), son allocation de mémoire vive, de CPU voire d'électricité. Mais cela produit un système auto-moteur, qui a la possibilité de décider, donc d'initier une action, de constater le changement et s'adapter donc corriger ses poids. Le changement constant des poids produirait la conscience du système. Son ancrage dans un environnement dynamique serait sa motivation primaire et lui donnerait ses valeurs basées sur l'expérience. Je sais, c'est de la SF mais c'est marrant.

J'émerge de ma grotte pour des nouvelles : ça marche. Après la version simple, j'ai essayé une version de MLP à deux couches et les résultats sont bien là, comme promis. J'ai implémenté une fonction analogue à la rétropropagation, qui me donne pour une sortie spécifique l'importance des entrées individuelles. Je peux ainsi interroger mon réseau sur sa compréhension du zéro en visualisant les entrées qui ont le plus de poids pour activer cette sortie. Voici une image de l'exécution, le MLP est instancié (avec des poids aléatoires) et la fonction est appelée, chaque sortie produit du bruit. Puis entrainement et ré-affichage pour voir comment la lecture des entrées a changé : Je me lance donc maintenant dans la version générique à N couches et sortie multiple, qui met le pied à l'étrier pour les modèles plus avancés, c'est ici qu'on voit le besoin de multiplier de larges tableaux de valeurs entre eux, plutôt que prendre les valeurs des neurones individuellement. Désolé pour ce "3615 Ma vie" un peu long, mais c'est le contexte de départ des réflexions légitimement philo qui justifient ce post. Reprenant mon analogie "The Voice", si on considère que les neurones sont des gens dans le modèle à N couches. Les neurones d'entrées sont les gens qui reçoivent la vérité de l'univers, les prophètes qui ont parlé à dieu, les scientifiques qui ont percé les secrets de la matière, les romanciers qui ont entrevu l'avenir, etc vous choisissez. Ces gens ont influencé d'autres gens dans leur travail. Et ces derniers en ont influencé d'autres, chacun dans leur domaine, répartissant une information de base vers ... quoi ? La compréhension du tout ? Dans cette analogie, le neurone est une personne, c'est à dire un réseau neuronal lui-même, peut-être que le biais du neurone est la sortie d'un réseau neuronal interne. Et il agit comme participant d'une structure identique à lui-même mais à plus grande échelle. Dans le MLP, l'intelligence n'est pas dans les neurones, elle est dans la structure et cette dernière est surtout représentée par les connexions. Cela m'évoque encore l'interdépendance (tous les neurones sont liés dans un système unique), l'impermanence (les valeurs des poids changent constamment pour correction) et la vacuité (aucune des valeurs n'est pertinente, c'est l'ensemble des différences qui produit le résultat). Un modèle de réseaux imbriqués pourrait décrire l'univers. L'IA n'est pas qu'une reproduction miniature du cerveau, c'est un terrain d'expérimentation de notre cognition. C'est une lentille sur la compréhension de l'univers par la compréhension de notre mécanisme de compréhension. Qu'est-ce qu'on peut y injecter de nos processus pour l'améliorer ? Et quelles parties de nous sont incompatibles avec un système purement informationnel ? Mieux définir l'artificiel, c'est aussi mieux nous définir nous-même indirectement. Comme je l'évoquais la dernière fois, l'IA prend en charge "comprendre" et "prédire". Ce sont deux mécanismes qui s'appliquent à un contexte déjà existant, c'est notre "logiciel d'usine natif" à nous aussi. Nous nous en servons pour comprendre et prédire un paquet de trucs et au bout d'un moment, on a assez de souvenirs en soi pour faire des corrélations entre un souvenir et une sensation actuellement vécue. Une IA pourrait le faire, à condition de formaliser le stockage des choses comprises en souvenirs et d'avoir une fonction native, un battement de coeur, qui déclenche régulièrement une recherche de corrélation entre les souvenirs et la dernière propagation. Si une corrélation forte apparait, l'expression de cette corrélation est une idée qui est conçue, une création. De même, afin de décider, l'IA va devoir "prédire" les états suivants tel ou tel choix grâce à sa fonction native mais elle devra aussi "qualifier" les états prédits pour décider. Cela implique qu'elle doit assurer elle-même sa fonction de perte. Cela implique qu'elle ait un retour immédiat sur ses actions (comme la douleur pour nous) pour constituer son système de valeurs petit à petit par apprentissage. Toujours dans les similitudes IA/humain : j'ai évoqué qu'un réseau entrainé à qualifier les poids d'un réseau plus petit pourrait brancher sur son entrée les poids des synapses derrière une petite partie de ses propres neurones. Le système de compréhension appliqué à lui-même serait de la réflexion et donne une piste pour un réseau auto-correcteur. Les neurones observés seraient le cortex du réseau, les autres neurones son inconscient. Nous voila dotés de cette IA imaginaire, qui créé et décide, qui réfléchit en étant douée de proprioception, peuplée de souvenirs, mais où est sa conscience ? Nous ne pouvons l'automatiser car nous ne comprenons pas ce que c'est. Dans ma vision, la conscience est liée au changement et à l'ordre. Il faut une position ordonnée et un changement de cette position, puis l'analyse de la différence entre les deux états est "la prise de conscience d'un changement dans l'ordre". La conscience pourrait émerger de la constante différence de valeur que les poids adoptent dans un système auto-correctif. Ces micros-changements qui émettraient un signal subtil formeraient une vibration, un rythme avec une signature unique, la conscience du réseau. Voilà, c'était mon lot de questionnements chelous en attendant la prochaine version du bouzin. Une excellente journée à tous et, si je ne vous revois pas d'ici là, une très bonne soirée.

Fascinant, c'est en quelque sorte un cerveau biologique artificiel qui est mis au point par ton équipe. Avez-vous rencontrés des obstacles d'ordre éthique ?

Mais il y a une chose que je ne comprend pas. Dans le MLP, il faut faire tous les calculs individuellement pour connaitre les valeurs qui résultent de la combinaison de l'entrée et des synapses. On peut théoriquement le faire en une formule, mais cette formule devrait contenir tous les poids pour reproduire toutes les valeurs. Ce n'est pas vraiment une optimisation et ça ne réduit pas le temps de calcul. De plus, il me semble qu'on ne peut pas prédire si l'activation va laisser passer ou pas, et je suppose que les IA plus avancées que le MLP ont plusieurs autres mécanismes de non-linéarité.

J'ai bien sûr pris connaissance de tes travaux peu de temps après mon inscription ici, c'est remarquable. Comment ça se présente actuellement ? Mon approche est à peu près à l'opposé : je re-parcours un chemin fait par d'autres ^^ en restant dans le numérique. J'ai choppé le virus du code ado, je met un concept donné en série d'instructions assez rationnelles pour être validées par un compilateur pour vérifier que je sais ce truc de tête, moi-même. Ce projet est en droite ligne avec ce principe, j'ai posé chaque octet personnellement. Le but n'est pas d'avoir une IA chez moi mais d'avoir la connaissance des algos d'IA dans moi. Tu proposes donc une solution péremptoire à mon dilemme. Je n'ai pas encore acquis cette certitude, mais mon chemin ne fait que commencer sur ces pistes-là. Et force est de constater que c'est la direction suivie par les chemins que je trouve. Mais il reste des bastions. La conscience est vue comme phénomène vibratoire par plusieurs personnes de ma connaissance. Ca fait sens je trouve. Une vibration exerce une influence subtile mais réelle. Plusieurs vibrations peuvent former ensemble une harmonie, ou une dissonance. Une harmonie serait une conscience collective, comme les systèmes de morale ou de lois auxquels un grand nombre de gens choisit d'adhérer. Reste que l'automatisation numérique d'une partie des processus cérébraux est source de nombreux questionnements nouveaux. Par exemple, l'entrainement doit avoir des phases affichant toutes les données dans l'ordre, comme à l'école, et des phases où on envoie dans le désordre, comme dans la vie. Entre les deux, normalement une personne fonde un foyer. Comment reproduire ça ? Pourquoi et comment cela influe sur "comprendre" ? Lorsque nous allons jusqu'à épouser quelqu'un, c'est que nous avions déjà des points communs et que sur certaines différences, nous avons accepté d'adopter le point de vue de l'autre, créant l'harmonie, le foyer, la descendance. Et l'IA ? Pourrait-on en entrainer plusieurs, comparer leurs poids, associer celles qui ont des similitudes et fusionner leurs valeurs ? Ou appliquer à l'une les valeurs de correction calculées pour l'autre et vice-versa ? Autre piste : peut-on entrainer une IA à évaluer les poids d'une IA ? Parce que si oui, on peut filer à un réseau le traitement des poids des synapses derrière quelques uns de ses propres neurones. Le système de compréhension appliqué à lui-même s'appelle, je crois, "réflexion". Ce serait sympa. EDIT : Merci d'avoir reposté le message d'origine. Je réalise qu'il ne contient mes questions qu'en sous-entendu. Je profite de cet échange pour exprimer clairement : est ce que "créer" et "décider" sont les seules facultés restant uniques au biologique ? Et : hormis "comprendre", quels autres processus cognitifs ont été automatisés ? (je parle en catégorie les plus larges possibles. Par exemple "classer" appartient à "comprendre"). Ce n'est pas un interrogatoire, hein ? Juste une clarification au cas où. EDIT EDIT : Je crois qu'on peut ajouter "prédire", depuis les LLM (proposition spéculative)

C'est bien le problème, dans ma compréhension balbutiante. Le modèle à une couche a fonctionné de suite et diriger les poids pour les corriger c'était comme guider des vaches dans un couloir. Les écarts sautent aux yeux. Ajouter une couche et l'apprentissage ne se fait plus. Je regarde les poids, la distribution et je n'ai plus trop des vaches en face de moi, y en a partout, je ne sais plus dire quel calcul dysfonctionne. Je crois que c'est la fonction qui calcule la plage de valeurs possibles pour un poids entre 2 couches données. J'utilise sqrt(6/nb_neurones_couche_precedente) C'est le sel du développement, je devrais pouvoir convertir quelques litres de café en solution, normalement

Non, pour l'instant, mon MLP ne sait que reproduire un comportement induit par l'apprentissage fait avec de beaux caractères noirs sur blanc. Si on trace la lettre en tout petit dans un coin, ça ne marche pas non plus. Pour pallier à ce problème existe le deep learning sur lequel je travaille actuellement. En ajoutant des couches de neurones cachés, vous ajoutez des capacités d'abstraction à votre cerveau artificiel. La première couche fourni un point de vue original sur l'entrée comme "il y a une ligne en bas" ou "il y a une courbe à droite" ou encore "c'est plutot foncé dans le coin supérieur gauche". Ajouter une deuxième couche reliée à ces informations permet d'avoir des neurones qui disent "cette image comporte une courbe mais aucun angle" (ce neurone aura un poids fort vers la sortie "O") ou bien "cette image contient une ligne droite et une courbe" (ce neurone sera fort pour P et D), etc. En ajoutant d'autres couches, on permet au réseau de toujours plus affiner sa compréhension de l'entrée. On peut lui faire reconnaitre "un oeil" ou "une fenêtre" en tant que concept abstrait dans une photo. Théoriquement. Cette partie de l'implémentation échoue chez moi pour l'instant. Je n'ai donc pas de données de première main à vous fournir. Ajouter une couche cachée, c'est comme passer de la gestion d'un troupeau de vaches à la gestion d'une nuée de criquets. Dans le deuxième cas, j'ai des milliers de petites valeurs qui s'échappent dans tous les sens.

Ce n'est qu'une limitation technique. Le MLP est un perceptron, c'est son modèle d'avoir des sorties fixes et il excelle dans la classification d'information (comme la reconnaissance à partir d'une image). On voit avec les LLM qu'il est tout à fait possible de produire une sortie variable, une image ou un texte. Le LLM sera l'étape finale de mon apprentissage de l'IA, pour l'instant je sais seulement qu'ils utilisent le même principe que le preceptron mais que leur architecture est dynamique. Ils utilisent les mêmes opérations (activation, propagation) mais au lieu de multiplier des nombres, on utilise des outils mathématiques comme les tenseurs pour faire des produits vectoriels. Enfin, la volumétrie est démentielle, des milliards de neurones, et le nombre de synapses est une exponentielle du nombre de neurones. Je ne connais pas encore le détail exact de l'architecture qui permet une sortie de taille variable mais je n'ai pas d'inquiétude elle est bien théorisée et appliquée.

C'est tout à fait ce genre de parallèle que je trouve passionnant dans cette aventure. Une distribution aléatoire de départ peut donner un réseau qui apprend vite ou un réseau lent. Quelle est la corrélation entre la distribution de départ et la vitesse d'apprentissage ? Contrairement au cerveau humain, je peux me livrer à toutes les études qui me passent par la tête, j'ai les résultats chiffrés. On peut comprendre que la génétique joue pour un très large pourcentage des capacités d'un individu. Aucune capacité ne sera activée sans être entrainée et certains voient leur capacité augmenter plus ou moins selon le même entrainement. Avec le MLP, on peut montrer tout ça avec des courbes. S'amuser à caser telle ou telle théorie philosophique face à tel ou tel résultat de l'exécution est toujours tentant et source de nombreuses réflexions. Quand j'ai instancié le premier objet pour le premier test, je lui ai donné un "0", il a répondu au pif bien sur et a rétropropagé l'information fournie "c'est un zéro". Ensuite, deuxième test : je retrace un cercle sur l'entrée et le MLP dit "c'est un zéro". J'ai ressenti un truc. Après, il faut faire la part des choses. Un programme simple basé une modélisation simplifiée, ça ne peut pas servir de source sérieuse pour déduire quoi que ce soit du vivant complexe. Mais tout de même, les dynamiques, les directions, sont tracées.

J'ai fait une analogie pendant que je codais, au moment où j'ai compris ce qui faisait que ça marche. Pour rappel, pour les néophytes, le MLP se modélise en 3 couches de neurones. Une couche d'entrée, dont les neurones reçoivent les valeurs à traiter, dans le cas d'une image 16x16, 256 neurones d'entrée, qui prendront individuellement la valeur du pixel qui leur correspond. Puis une couche cachée de neurones. Le nombre est arbitraire, mettons 128, chacun de ces neurones et relié à chacune des entrées par un lien qui a une intensité plus ou moins grande. Lors du traitement, le neurone caché fait la somme des valeurs qu'il reçoit : la valeur du neurone d'entrée multipliée par l'intensité du lien. Si la somme de tous ses liens est assez grande, le neurone s'active et transmet une valeur à la sortie, 0 sinon. Les neurones de sortie (26 pour une reconnaissance des lettres) sont reliés à tous les neurones cachés par des liens aux poids différents (comme les liens entrée - caché), en fonction des signaux qu'ils reçoivent, ils prennent une valeur plus ou moins grande. On normalise les sortie pour avoir des pourcentage de confiance. On a donc un système à qui on donne des valeurs de pixels, qui sont multipliées et activent une sortie plus fort que les autres, c'est la prédiction du modèle. Analogie : un réseau neuronal, c'est "The Voice". Le tracé de la lettre par la main humaine, c'est le candidat. Les sons qui parviennent de la scène, c'est la couche d'entrée du réseau. Les neurones cachés sont les juges : chacun écoute attentivement tout ce qui se passe sur scène (tous les neurones sont reliés à toutes les entrées) mais chacun le fait avec sa sensibilité personnelle (les poids des liens sont différents). Lorsqu'un juge a reçu suffisamment de gages de réussite selon sa sensibilité, il appuie sur le buzzer (le neurone s'active et transmet le signal à la couche suivante). La sortie, c'est le public, elle est branchée sur les juges et décide en fonction d'eux, comme quelqu'un qui dirait "quand Calogero aime un artiste, je l'aime aussi" (sauf que la sortie base sa valeur sur plusieurs neurones cachés, pas un seul). Le MLP fonctionne par cette astuce statistique : on va définir des neurones cachés aléatoirement et chacun d'eux représentera une façon arbitraire de traiter l'entrée. En rejoignant plusieurs points de vues arbitraires, on a dessiné les contours logiques de l'entrée. Ce qui est en œuvre, c'est la différence de jugement entre deux neurones, quelles que soient leurs valeurs individuelles. Quand le neurone caché #34 s'active, ça signifie par exemple "il y a une ligne en bas" car le hasard de la distribution de ses poids à lui sont fort pour les pixels en ligne en bas et faibles pour d'autres possibilités. Avec un certain nombre de ces neurones cachés, on trace le contour de l'entrée par une multiplicité de points de vue arbitraires. Et c'est un modèle simplifié de notre propre réseau neuronal biologique. Pour l'apprentissage : il y a des étapes. Il y a l'apprentissage supervisé dont tu parles et dans lequel on donne l'image d'un A et la cible "c'est un A", l'IA fait une prédiction puis reçoit la réponse et rétroptopage l'information en modifiant les poids dans les liens en fonction de leur contribution à l'erreur ou à la réussite de la prédiction. Mais ce n'est pas tout. On peut faire apprendre 2 IA et les relier pour qu'elles s'améliorent en s'interrogeant mutuellement. Et enfin, comme ChatGPT ou autre, on peut ouvrir l'IA au public pour qu'il vienne enrichir ses expériences. Ce message ignore plusieurs paramètres pour rester pédagogique, j'anticipe les plus grognons d'entre vous : effectivement, je n'ai pas parlé des biais, ni du taux d'apprentissage, ni de la fonction d'activation, ni du calcul d'erreur. Tout cela est technique pour faire marcher en pratique mais ne participe pas à la compréhension basique du principe de fonctionnement du modèle. L'analogie "The Voice" explique uniquement la propagation avant d'une entrée vers les sorties. Et me permet d'ailleurs de dire que "The Voice" est un système qui classe les artistes en fonction des catégories de ce qu'on peut vendre au public.

Mon intention est d'apprendre un domaine qui m'est inconnu. Un principe que j'ai utilisé est de modéliser simplement quelque chose de complexe pour l'étudier. Il est inévitable que je fasse des approximations, des erreurs, merci de fournir ce qui est la vérité selon vous afin que je cesse de faire des erreurs ou approximations Maintenant "modéliser" demande de simplifier, donc d'ignorer des choses, mais ce n'est pas une erreur en soi, c'est une méthode de travail. Dans mon post précédent par exemple, je partage simplement des observations et mon opinion, je suis friand de points de vues nouveaux et différents qu'on peut y apporter. Que la discussion batte son plein.

Les différences IA / Humain sont nombreuses. Même sur le modèle simplifié de la compréhension. Par exemple, l'IA est "entrainée" : on lui montre un dessin de A et on lui dit aussi "c'est un A". L'humain n'a pas un accès immédiat à la vérité derrière ses choix. Seuls la douleur et la prévision des résultats nous guident (ce qui nous amène à créer un "monde intérieur") Mais j'ai repéré tellement d'analogies entre MLP et humain. Il y a des MLP fraichement instanciés qui arrêtent de faire des erreurs au bout de 40 essais et d'autres qui font encore des erreurs après 200 essais. Le hasard des connexions attribuées au départ. Dans un multi-couches, chaque couche ne voit que la couche de données précédentes. La couche cachée #2 ne voit jamais l'entrée, elle ne voit que la sortie de la couche cachée #1. Tout comme nous n'avons pas accès au réel, uniquement aux informations fournies par nos sens.

Il y a un peu de ça. La stimulation intellectuelle, l'apport de nouveauté, procure du plaisir. Et a certain âge, la libido au contraire en procure moins.

Je suis en train de développer une IA simple, pour me former aux principes de fond de cette technologie. Mon MLP fonctionne et je suis ébahi d'avoir reproduit une "machine à comprendre" qui se contente de faire des multiplications pour parvenir à ce résultat : "la compréhension". La compréhension n'est plus l'apanage de l'humain ou du vivant, on l'a automatisé et la recette fonctionne, se basant sur un modèle simplifié des connexions du cerveau. Pourquoi je viens vous bassiner avec ça ? D'une part, j'ai réalisé que "comprendre" c'est associer une sensation à un sens. L'IA voit le dessin analogique d'un caractère A tracé à la main et comprend que c'est l'information "la lettre A". On lui a appris en lui montrant le dessin et en lui donnant l'information "c'est un A" et elle a modifié ses poids interne pour refléter cette association. Lorsque nous disons avoir compris, nous avons simplement associé la vue d'un objet avec le nom que l'on donne à cet objet. Rien ne garantit que le choix du nom était bon à l'origine ni qu'il y a une vérité générale derrière nos associations, nos savoirs appris. Apprendre, c'est donner toujours le même nom à une sensation donnée, et non pas "découvrir la vérité et l'univers". Apprendre, c'est juste mémoriser la façon dont les humains ont compris l'univers jusqu'ici. Deuxième point, rapport au titre du fil : le caractère d'exception du vivant et de l'humain. Sommes-nous un petit miracle qui a émergé ou un automate construit dans un but ? J'ai tendance à pencher pour le premier mais automatiser une chose comme "la compréhension" est un pas de plus vers le deuxième. Que reste-t-il d'unique à la pensée biologique ? Je vois la création de quelque chose de nouveau (les IA génératives ne font que mixer l'existant, pas ajouter une nouvelle brique qui n'existait pas avant) et aussi la prise de décision (les IA décisionnelles ne décident rien, elles obéissent à un l'ordre de décider qu'on leur donne). Si un jour une IA dit spontanément "j'ai fait ce dessin, regarde". Là elle aura créé quelque chose de nouveau. Si une IA dit un matin "je n'ai pas envie de travailler aujourd'hui", là elle aura pris une décision. Mais ces étapes ne sont pas atteintes. Sont-elles atteignables ? La compréhension est un processus "passif" : il demande qu'un contexte existe pour qu'on l'analyse et qu'on le comprenne. L'intelligence est dans le contexte, le processus de compréhension n'est qu'une lecture des données. Alors que Créer ou Décider sont des processus autonomes. Ils démarrent sur impulsion du sujet, qui a besoin de se constituer un monde intérieur à observer pour mettre en relation deux choses sans qu'on le lui dise et ainsi créer un point de vue unique et nouveau. Le sujet a besoin de comparer des situations "en son for intérieur" pour décider laquelle lui semble meilleure. L'IA ne se constitue pas un monde intérieur à analyser à froid avec du recul, elle a bien la magie statistique des connexions synaptiques mais elle ne se constitue pas de souvenirs altérés sur lesquels revenir suite à une impulsion interne, au lieu de s'activer uniquement par un prompt venu de l'extérieur. Cela ne semble pas impossible à implémenter, la mémoire est une chose familière dans l'informatique, cela sera peut-être fait. Si on automatise "créer" et "décider" (spontanément) je pense qu'on peut considérer que l'humain est un automate, après tout. Ce qui nous ramène au bon vieux problème : mais alors, les créations, le génie, les chefs d'oeuvres picturaux ou musicaux, coïncidence ? La conscience, elle existe ? La science, les mathématiques, illusions ?

Intéressante théorie, mémoire et vitesse de transfert sont effectivement des composantes fondamentales des systèmes informatisés. Il faut y adjoindre la rapidité de calcul pour avoir le tout : CPU, Mémoire, Bande passante. Je me demande ce qu'en penserait Michael (de VSauce).