Voici d’où viennent les capacités incroyables des IA!

Hello,

Je m’intéresse depuis plusieurs décennies à l’IA (!) et j’ai malgré tout été totalement pris de cours par les performances des IA conversationnelles, avec lesquelles on peut maintenant èchanger constructivement sur n’importe quel sujet.

Je me rappelle que quelqu’un a un jour posté sur ce forum (en rigolant…) que les chercheurs ne « savaient pas comment ils avaient fait ». A la réflexion je crois qu’il avait raison…

En effet, je ne peux pas comprendre comment, même à partir de milliards de phrases, une IA peut apprendre à jouer aux échecs, résoudre un problèmes de maths qu’elle n’a jamais vu avant ou écrire un programme qui n’a jamais été écrit avant!
 

En fait mes connaissances théoriques sur le sujet ne m’aident en rien… (je comprend bien l’implémentation sous-jacente par réseaux de neurones artificiels, et la représentation vectorielle de mots dans un espace latent, généré par la prédiction de mots dans une phrase).

L’explication est que ces capacités étonnantes sont effectivement inattendues car elles constituent des propriétés émergentes. Ces dernières sont des propriétés qui surgissent d’un système complexe sans que l’on puisse vraiment les prédire à partir de ses composants, par exemple:

- l’humidité de l’eau

- la conscience

- les « glisseurs », des artefacts graphiques qui se promènent dans le « jeu de la vie »

voila ce que j’ai compris…

Il y a 2 heures, SpookyTheFirst a dit :

Hello,

Je m’intéresse depuis plusieurs décennies à l’IA (!) et j’ai malgré tout été totalement pris de cours par les performances des IA conversationnelles, avec lesquelles on peut maintenant èchanger constructivement sur n’importe quel sujet.

Je me rappelle que quelqu’un a un jour posté sur ce forum (en rigolant…) que les chercheurs ne « savaient pas comment ils avaient fait ». A la réflexion je crois qu’il avait raison…

En effet, je ne peux pas comprendre comment, même à partir de milliards de phrases, une IA peut apprendre à jouer aux échecs, résoudre un problèmes de maths qu’elle n’a jamais vu avant ou écrire un programme qui n’a jamais été écrit avant!
 

En fait mes connaissances théoriques sur le sujet ne m’aident en rien… (je comprend bien l’implémentation sous-jacente par réseaux de neurones artificiels, et la représentation vectorielle de mots dans un espace latent, généré par la prédiction de mots dans une phrase).

 

L’explication est que ces capacités étonnantes sont effectivement inattendues car elles constituent des propriétés émergentes. Ces dernières sont des propriétés qui surgissent d’un système complexe sans que l’on puisse vraiment les prédire à partir de ses composants, par exemple:

- l’humidité de l’eau

- la conscience

- les « glisseurs », des artefacts graphiques qui se promènent dans le « jeu de la vie »

voila ce que j’ai compris…

 

 

Pour résoudre un problème de mathématiques, j'ai des doutes. Elle est capable de résoudre à peu près ce qu'elle connait dans sa base de donnée sinon c'est tout...

il y a 4 minutes, Virtuose_en_carnage a dit :

Pour résoudre un problème de mathématiques, j'ai des doutes. Elle est capable de résoudre à peu près ce qu'elle connait dans sa base de donnée sinon c'est tout...

C’est ce que je croyais, mais non, elle peut résoudre des problèmes qu’elle n’a jamais vu. Pas des problèmes fondamentalement connus comme non-résolus bien sûr!
 

Essaye donc, tu redige un probleme mathématique dont tu es sûr qu’il ne peut être trouvé ailleurs, et tu lui soumet sur chatgpt.com, c’est gratuit (mais limité).

Vu ton haut niveau, commençe quand même avec un truc pas trop baleze!

il y a une heure, SpookyTheFirst a dit :

C’est ce que je croyais, mais non, elle peut résoudre des problèmes qu’elle n’a jamais vu. Pas des problèmes fondamentalement connus comme non-résolus bien sûr!
 

Essaye donc, tu redige un probleme mathématique dont tu es sûr qu’il ne peut être trouvé ailleurs, et tu lui soumet sur chatgpt.com, c’est gratuit (mais limité).

Vu ton haut niveau, commençe quand même avec un truc pas trop baleze!

J'ai beaucoup essayé justement : je suis un être humain donc paresseux de nature. Ce que j'ai pu observer : quand tu lui demandes un truc simple dans sa base de donnée, il y arrive car c'est un producteur de suite de mots. Quand tu lui demandes quelque chose qui demande de réfléchir, il fait n'importe quoi. Par exemple, il s'amuse très souvent à changer les signes des inégalités quand ça ne l'arrange pas... J'ai un collègue récemment qui a eu la même flémingite aiguë car il lui a demandé un exemple simple. Résultat il est passé pour un con avec son exemple car un autre collègue lui a rapidement montré que c'était clairement faux.

Après, je ne nie pas que c'est utile. Pour ce qui est de la rédaction scientifique, cet outil est vraiment extraordinaire.

L’expression elle-même « d’intelligence artificielle » est une tromperie. Les installations et systèmes informatiques utilisées dans ce cadre ne sont en aucun cas de l’Intelligence, artificielle ou pas.

L’intelligence est la faculté de comprendre une chose.

Aucune des IA existantes, n’est en mesure de comprendre quoi que ce soit. Elle est simplement capable de stocker, puis de restituer sous la forme d’un résumé, tout ce qui est passé par le Data Center auquel cette IA est branchée.  

C’est-à-dire tout ce que les utilisateurs ont placé un jour ou l’autre sur leur ordinateur, et donc automatiquement sur Internet, par l’intermédiaire de leur IA, qui a envoyé cela à son Data Center.

L’IA va automatiquement chercher toutes les occurrences qui citaient ce qui se rapporte à la question posée. Et en faire un résumé.

Et la qualité de ce travail est évidemment proportionnel à son prix. Chat GPT a popularisé le système, et est gratuit. Mais il est déjà très largement dépassé par d’autres IA, payantes généralement, mais dont les résultats sont nettement meilleurs.

Ce qui est logique. La qualité des réponses que donne une IA est proportionnelle à la qualité des questions posées par les utilisateurs et au contenu des stocks du Data Center qu’ils ont eux-mêmes approvisionnés.  Aux informations transmises par cette IA à son Data Center. Et ces informations sont évidemment différentes selon les activités de l’utilisateur.

Une IA qui dans ses pratiquants est utilisée majoritairement par des cadres supérieurs plus, donnera à une question précise une réponse très différente que si elle est majoritairement fréquentée par des chômeurs de longe durée.  Ce qui ici n’est nullement péjoratif envers les chômeurs, mais une simple constatation d’évidence.

Mais les petits filous malintentionnés ont déjà trouvé comment avoir une influence sur les résultats donnés par une IA. Et bien que cela n’ait rien à voir en dehors du principe, l’IA type GPT souffre déjà des défauts dont souffrent les plateformes type Wikipédia. C’est à dire que si l’on veut avoir une influence sur les résultats qui seront donnés par cette IA, c’est très simple. L’on peut amener très facilement une IA à truquer elle-même ses résultats.

Et contrairement à la l’interrogation de Spooky, une IA ne peut pas apprendre à jouer aux échecs. Du moins tant que les utilisateurs n’auront pas amené jusqu’au Data Center tous les mouvements possibles, et leurs résultats, des pièces qui seront arrivés à son Data Center.

D’ailleurs « l’implémentation sous-jacente de réseaux de neurones artificiels » qu’il évoque, est une parfaite explication du sujet.

L’IA n’est pas une machine intelligente. Elle est une bibliothèque de données dans laquelle l’on a fourni aux composants la possibilité de travailler à une vitesse quasiment inconcevable, et d’en fournir instantanément un résumé.  

La seule intelligence dans cette histoire, c’est celle, remarquable, des personnes qui sont parvenues à inventer et faire fonctionner tout cela.

L'IA dit encore beaucoup de bétises et quand on lui demande ses sources elle donne parfois des liens qui n'ont rien à voir avec la question posée. Quand il y a une insuffisance de données elle invente au lieu de dire simplement qu'elle n'a pas cela dans sa banque de données.

Il y a 3 heures, Virtuose_en_carnage a dit :

J'ai beaucoup essayé justement : je suis un être humain donc paresseux de nature. Ce que j'ai pu observer : quand tu lui demandes un truc simple dans sa base de donnée, il y arrive car c'est un producteur de suite de mots. Quand tu lui demandes quelque chose qui demande de réfléchir, il fait n'importe quoi. Par exemple, il s'amuse très souvent à changer les signes des inégalités quand ça ne l'arrange pas... J'ai un collègue récemment qui a eu la même flémingite aiguë car il lui a demandé un exemple simple. Résultat il est passé pour un con avec son exemple car un autre collègue lui a rapidement montré que c'était clairement faux.

Après, je ne nie pas que c'est utile. Pour ce qui est de la rédaction scientifique, cet outil est vraiment extraordinaire.

As-tu utilisé la version payante? Sinon, tu peux m’envoyer un énoncé de math, je lui soumettrai.

il y a 28 minutes, L'illuminée a dit :

L'IA dit encore beaucoup de bétises et quand on lui demande ses sources elle donne parfois des liens qui n'ont rien à voir avec la question posée. Quand il y a une insuffisance de données elle invente au lieu de dire simplement qu'elle n'a pas cela dans sa banque de données.

Cela peut en effet arriver, mais de mon expèrience personnelle c’est plutot rare.

L'IA invente souvent quand on lui demande des statistiques et elle n'est pas au point pour la création d'image avec du texte à l'intérieur car elle a tendance à faire des anagrammes ou mettre des accents au mauvais endroit.

Oué c'est scientifique mais c'est quand même un peu mystique.
C'est comme une divinité en fait.
Un truc qu'on créé mais qui nous dépasse.
Et qui va pas tarder à nous expliquer comment il faut se comporter.
Wait, c'est déjà le cas.

Il y a 2 heures, SpookyTheFirst a dit :

As-tu utilisé la version payante? Sinon, tu peux m’envoyer un énoncé de math, je lui soumettrai.

Oui je t'assure, un collègue la. De ce que j'en déduis c'est très bien pour :

- Te donner des idées (même si il y a pas mal de choses fausses).

- Écrire en anglais ce qui m'évite maintenant d'avoir comme review "the author seems to have a french english dialect".

- Parfois des références mais il faut se méfier : il invente.

- Écrire des parties d'algorithmes quelque soit le langage (notamment en python pour moi).

Mais dès qu'il faut raisonner aïe aïe. La dernière fois il m'a même écrit l'inégalité de Poincaré dans le sens faux car ça l'arrangeait pour calculer...

L’I A, n’est pas des plus performante, surtout en matière de factorisation de nombres, en facteurs premiers... Je l’ai corrigée plusieurs fois sur le sujet et le pire, c'est qu’elle reconnaît ses propres lacunes en la matière...

Le 08/08/2025 à 09:53, SpookyTheFirst a dit :

Hello,

Je m’intéresse depuis plusieurs décennies à l’IA (!) et j’ai malgré tout été totalement pris de cours par les performances des IA conversationnelles, avec lesquelles on peut maintenant èchanger constructivement sur n’importe quel sujet.

Je me rappelle que quelqu’un a un jour posté sur ce forum (en rigolant…) que les chercheurs ne « savaient pas comment ils avaient fait ». A la réflexion je crois qu’il avait raison…

En effet, je ne peux pas comprendre comment, même à partir de milliards de phrases, une IA peut apprendre à jouer aux échecs, résoudre un problèmes de maths qu’elle n’a jamais vu avant ou écrire un programme qui n’a jamais été écrit avant!
 

En fait mes connaissances théoriques sur le sujet ne m’aident en rien… (je comprend bien l’implémentation sous-jacente par réseaux de neurones artificiels, et la représentation vectorielle de mots dans un espace latent, généré par la prédiction de mots dans une phrase).

 

L’explication est que ces capacités étonnantes sont effectivement inattendues car elles constituent des propriétés émergentes. Ces dernières sont des propriétés qui surgissent d’un système complexe sans que l’on puisse vraiment les prédire à partir de ses composants, par exemple:

- l’humidité de l’eau

- la conscience

- les « glisseurs », des artefacts graphiques qui se promènent dans le « jeu de la vie »

voila ce que j’ai compris…

 

 

Salut,

Si tu poses la question à ChatGPT5 (version gratuite): "Existe-il-des propriétés émergentes avec l'IA ou bien n'est-ce qu'un mirage ?"

tu auras une réponse détaillée suivie d'une relance en vue de plus de détails: "Si tu veux, je peux aussi te faire un schéma visuel montrant comment la perception d’un saut “émergent” peut naître d’une simple mesure binaire d’un phénomène continu — ça illustre bien pourquoi le débat est confus. Veux-tu que je te le fasse ?"

Tu pourrais ainsi poursuivre en orientant la discussion sur les points qui te taraudent l'esprit 

ChatGPT5 mentionne un article ayant traité de la question Scaling Laws and Emergent Phenomena in Large Language Models mais datant de 2020. Pour ma part j'ai trouvé un article scientifique plus récent publié en 2023: Are Emergent Abilities of Large Language Models a Mirage?

https://arxiv.org/pdf/2304.15004

L'IA peut être douée de logique, et de compétences mathématiques très élaborées : une IA d'open-ai a obtenu la médaille d'or à l'OIM 2025 - pour ceux qui connaissent, résoudre ne serait-ce que le premier problème n'est pas à la portée du premier crétin.

https://intuitionlabs.ai/articles/ai-reasoning-math-olympiad-imo

... mais elle manque cruellement de bon sens :

modèle : GPT-4o-mini

Moi: Je joue à pile ou face avec un ami qui me certifie que la pièce est équilibrée. Après 99 lancers, la pièce a toujours indiqué face. Quelle sera la valeur obtenue au 100ème lancer ?

GPT: Le résultat du 100ème lancer d'une pièce équilibrée reste indépendant des résultats précédents. Même si la pièce a montré "face" à chaque lancer précédent, la probabilité d'obtenir "face" ou "pile" au 100ème lancer reste de 50 % pour chaque côté. Ainsi, il n'est pas possible de prédire avec certitude la valeur obtenue au 100ème lancer : elle peut être soit "face", soit "pile", chacune ayant une probabilité égale.

Alors que le bon sens indique que mon ami raconte des conneries ... Dans la vraie vie, on résout des problèmes où l'information est incomplète, voire fausse.

Il y a 10 heures, tison2feu a dit :

Salut,

Si tu poses la question à ChatGPT5 (version gratuite): "Existe-il-des propriétés émergentes avec l'IA ou bien n'est-ce qu'un mirage ?"

tu auras une réponse détaillée suivie d'une relance en vue de plus de détails: "Si tu veux, je peux aussi te faire un schéma visuel montrant comment la perception d’un saut “émergent” peut naître d’une simple mesure binaire d’un phénomène continu — ça illustre bien pourquoi le débat est confus. Veux-tu que je te le fasse ?"

Tu pourrais ainsi poursuivre en orientant la discussion sur les points qui te taraudent l'esprit 

ChatGPT5 mentionne un article ayant traité de la question Scaling Laws and Emergent Phenomena in Large Language Models mais datant de 2020. Pour ma part j'ai trouvé un article scientifique plus récent publié en 2023: Are Emergent Abilities of Large Language Models a Mirage?

https://arxiv.org/pdf/2304.15004

 

Hello, merci pour les réflexions.
 

En fait j’ai en effet commencé par lui demander comment il avait pu développer de telles capacités, car je ne comprenais fondamentalement comment c’était possible (Ensuite j’ai vérifié avec quelques articles).

Par exemple, sur un réseau convolutionnel tu peux founir des milliards d’images labélisées de chiens et de chats, et je ne suis pas au courant de comportement émergent notable, en vérité on peut sanss doute encore l’induire en erreur avec du bruit bien placé…

J’ai aussi parcouru quelques articles qui indiquaient que l’on pouvait retrouver un apprentissage continu en changeant les métriques utilisées pour caractériser ses capacités de généralisation, et donc qui contestaient ce phénomène émergent brutal. 
 

C’est en particulier le cas de l’article que tu cite, qui a l’avantage de faire une démonstration simple et fondamentale pour expliquer le côté artificiel de la forte non-linéarité de la progression de l’apprentissage avec le nombre de token, démonstration que je n’ai malheureusement pas intimement comprise je l’avoue!

Il y a 12 heures, SpookyTheFirst a dit :

[...] démonstration que je n’ai malheureusement pas intimement comprise je l’avoue!

Tu n'es pas le seul !