J'ai compris pourquoi l'IA est 1 million de fois plus énergivore que notre cerveau!

Hello,

C'est une question que l'on m'a souvent posé et dont j'ignorais la réponse, ce qui est un peu génant dans la mesure où je travaille à concevoir des processeurs à base de neurones vivants...

En fait c'est Mr. Lecun (un ponte Francais dans ce domaine) qui m'a permis de comprendre cela dans une vidéo que j'ai vu récemment.

Alors tout d'abord, l'essentiel de l'IA dont on parle fonctionne avec des neurones dits "artificiels" qui sont des simulations simplifiées de neurones biologiques. Des centaines voire des millions sont utilisés pour chatGPT par exemple. Pour mettre à jour l'état d'un neurone on fait simplement la somme pondérées des entrées (ces pondérations représentent les connections synaptiques) et si elle est positive on considére l'état du neurone comme positif (il y a plein d'autres fonctions d'activation, je fais simple).

Le problème est que ce calcul nécessite de transférer toutes ces valeurs de la mémoire au processeur, puis à nouveau vers la mémoire. Dans un neurone biologique ce "calcul" est fait localement (en gros c'est la somme des charges ioniques qui entrent dans le neurone), et donc pas de transferts à un processeur central, et voili voilou comment on est 1 million de fois plus efficace!

Ca vous parait convaincant ou j'ai encore pas compris un truc important?

Merci, je mourrais moins bête.

il y a 18 minutes, Phylou a dit :

Merci, je mourrais moins bête.

Je ne suis pas certain que ce soit l'objectif (mais peut-être même plutôt le contraire) 

il y a 33 minutes, SpookyTheFirst a dit :

transférer toutes ces valeurs de la mémoire au processeur, puis à nouveau vers la mémoire.

Pas tout compris, mais si il y a double transfert, dans l'artificiel, logique que notre cerveau soit moins énergivore.. non ? 

il y a 32 minutes, Auger a dit :

mais peut-être même plutôt le contraire) 

Que je vive éternellement plus bête ? 

il y a 8 minutes, Phylou a dit :

Que je vive éternellement plus bête ? 

C'est pas tout à fait ça, mais y'a de l'idée...

Il y a 2 heures, Plouj a dit :

Pas tout compris, mais si il y a double transfert, dans l'artificiel, logique que notre cerveau soit moins énergivore.. non ? 

 

Tout à fait, c'est en grande partie car ils s'épargnent ces transferts que les neurones biologiques sont énergétiquement plus efficace. Le probléme est la centralisation des calculs. Et ce qui est amusant est qu'il existe des processeurs qui délocalisent une partie des calculs (les GPU de NVidia) et ces derniers sont effectivement bien efficaces énergétiquement que les processeurs centraux (tout en restant bien loin des neurones).

En gros: CPU (Central Processing Unit) < GPU (Graphic...) << BPU (Biologic...)

On lit de plus en plus de choses sur les consommations hallucinantes en énergie et en eau de ces installations. Sinon, je suis aussi incompétent que possible. Mais la culture de neurones biologiques est moins bien connue que l'I.A., etc.

Bonjour,

Plus généralement, les calculateurs analogiques surpassent leurs équivalents numériques pour certaines tâches spécifiques. Je crois que c'est assez connu et j'ai des tas d'exemples qui me viennent à l'esprit alors que je ne suis pas du domaine. 

• Par exemple la relation courant-tension d'un transistor bipolaire permet de calculer une exponentielle en quelques ns. Gratuitement.
• En ajoutant un AOp et une résistance, on obtient un logarithme.
• Un condensateur permet de réaliser une intégration ; placé dans la boucle de contre-réaction d'un ampli op, il effectue une dérivation => on peut ainsi résoudre des équations différentielles avec une consommation de l'ordre du µW, voire du nW. Sans aucun calcul. Juste de la physique de base et la mesure d'un signal.
• On peut trouver le max d'un vecteur de taille arbitrairement élevée en quelques ns avec des diodes montées en cathode commune (on sait intégrer bcp de diodes dans un chip aujourd'hui) sur la sortie ; la consommation d'un tel montage serait ridiculement faible.
• Le principe s'étend à l'algèbre linéaire : un réseau de résistances programmables interconnectées avec la loi d'Ohm et la loi des nœuds et tu as un produit matrice-vecteur en un temps quasi nul, avec matrice et vecteur configurables via les résistances programmables et sources de tension, qui elles pourraient être configurées numériquement par exemple. Avec le niveau d'intégration qu'on sait atteindre de nos jours, j'imagine qu'on peut graver des matrices carrées de taille 10⁵ dans 1cm² ... Impossible de faire mieux en digital car il devra se taper de toutes façons 10 milliards de multiplications, sachant qu'une multiplication mobilise déjà beaucoup de ressources calculatoires. 
• Le filtrage est encore un bel exemple

Aujourd'hui, on évoque de plus en plus l’idée de calculs hybrides, couplant calculateurs numériques et analogiques, pour allier la flexibilité et la précision du monde numérique avec la rapidité et la faible consommation du monde l'analogique (bien que ce dernier soit obligatoirement hyperspécialisé, c'est ce qui a valu son abandon au profit du tout digital dans les années 80). En AI cette approche inspire le développement de réseaux de neurones analogiques, potentiellement réalisés à l’aide de memristors  (un composant hypothétique qui lie charge électrique au flux) mais qu'on commence à savoir émuler. De tels circuits permettraient l'apprentissage automatique sans recours aux méthodes de descente de gradient, extrêmement coûteuses en calcul donc en énergie. Car le memristor adapte physiquement sa valeur à mesure qu'il est traversé par des charges (renforcement neuronal). Il y a zéro calcul à effectuer, comme le cerveau biologique que tu évoques quoi ; ce sont les lois de la nature qui façonnent le réseau selon les stimuli. 

Mais du coup je comprends très bien pourquoi beaucoup d'investisseurs s'intéressent à ton domaine  car la consommation des calculateurs est un vrai problème.

Il y a 2 heures, Totologik a dit :

Bonjour,

Plus généralement, les calculateurs analogiques surpassent leurs équivalents numériques pour certaines tâches spécifiques. Je crois que c'est assez connu et j'ai des tas d'exemples qui me viennent à l'esprit alors que je ne suis pas du domaine. 

• Par exemple la relation courant-tension d'un transistor bipolaire permet de calculer une exponentielle en quelques ns. Gratuitement.
• En ajoutant un AOp et une résistance, on obtient un logarithme.
• Un condensateur permet de réaliser une intégration ; placé dans la boucle de contre-réaction d'un ampli op, il effectue une dérivation => on peut ainsi résoudre des équations différentielles avec une consommation de l'ordre du µW, voire du nW. Sans aucun calcul. Juste de la physique de base et la mesure d'un signal.
• On peut trouver le max d'un vecteur de taille arbitrairement élevée en quelques ns avec des diodes montées en cathode commune (on sait intégrer bcp de diodes dans un chip aujourd'hui) sur la sortie ; la consommation d'un tel montage serait ridiculement faible.
• Le principe s'étend à l'algèbre linéaire : un réseau de résistances programmables interconnectées avec la loi d'Ohm et la loi des nœuds et tu as un produit matrice-vecteur en un temps quasi nul, avec matrice et vecteur configurables via les résistances programmables et sources de tension, qui elles pourraient être configurées numériquement par exemple. Avec le niveau d'intégration qu'on sait atteindre de nos jours, j'imagine qu'on peut graver des matrices carrées de taille 10⁵ dans 1cm² ... Impossible de faire mieux en digital car il devra se taper de toutes façons 10 milliards de multiplications, sachant qu'une multiplication mobilise déjà beaucoup de ressources calculatoires. 
• Le filtrage est encore un bel exemple

Aujourd'hui, on évoque de plus en plus l’idée de calculs hybrides, couplant calculateurs numériques et analogiques, pour allier la flexibilité et la précision du monde numérique avec la rapidité et la faible consommation du monde l'analogique (bien que ce dernier soit obligatoirement hyperspécialisé, c'est ce qui a valu son abandon au profit du tout digital dans les années 80). En AI cette approche inspire le développement de réseaux de neurones analogiques, potentiellement réalisés à l’aide de memristors  (un composant hypothétique qui lie charge électrique au flux) mais qu'on commence à savoir émuler. De tels circuits permettraient l'apprentissage automatique sans recours aux méthodes de descente de gradient, extrêmement coûteuses en calcul donc en énergie. Car le memristor adapte physiquement sa valeur à mesure qu'il est traversé par des charges (renforcement neuronal). Il y a zéro calcul à effectuer, comme le cerveau biologique que tu évoques quoi ; ce sont les lois de la nature qui façonnent le réseau selon les stimuli. 

Mais du coup je comprends très bien pourquoi beaucoup d'investisseurs s'intéressent à ton domaine  car la consommation des calculateurs est un vrai problème.

Tout à fait d'accord sur l'approche analogique, c'est d'ailleurs devenue une discipline à part entière: l'approche "neuromorphique".

A noter, qu'avant l'apparition des calculateurs digitaux, les ordinateurs étaient analogiques et résolvaient les équations différentielles de cette manière. Maintenant je préfère l'approche biologique car c'est un changement complet de paradigme: on ne s'inspire plus du vivant, on l'utilise tel quel.

Pour un ingénieur c'est un aveu de faiblesse il faut bien l'avouer, mais c'est aussi pragmatique, autant utiliser les solutions que le vivant à mis des centaines de millions d'années à optimiser pour traiter l'information de maniére efficiente: les circuits nerveux.

Quant aux investisseurs, j'ai beaucoup de mal, le disruptif hardcore deeptech ca les fait fuir...

Il y a 21 heures, Plouj a dit :

Pas tout compris, mais si il y a double transfert, dans l'artificiel, logique que notre cerveau soit moins énergivore.. non ? 

 

Il consomme 20% de notre énergie. Nous allons donc grossir et gagner des gros ventres comme les gorilles. Nos intestins vont se rallonger.

Il y a 1 heure, Talon 1 a dit :

Il consomme 20% de notre énergie. Nous allons donc grossir et gagner des gros ventres comme les gorilles. Nos intestins vont se rallonger.

Et pour certains, les pouces se rallonger, le dos et la tête se courber.

Il y a 2 heures, Plouj a dit :

Et pour certains, les pouces se rallonger, le dos et la tête se courber.

Et ensuite marcher à 4 pattes.

Quant au pouce, il ne sera plus opposé aux autres doigts.

Il y a 1 heure, Talon 1 a dit :

Et ensuite marcher à 4 pattes.

Quant au pouce, il ne sera plus opposé aux autres doigts.

L'humain devrait finir avec deux doigts seulement, le pouce et un autre. Tout sera exécuter par des robots..

Il y a 16 heures, Plouj a dit :

L'humain devrait finir avec deux doigts seulement, le pouce et un autre. Tout sera exécuter par des robots..

Même les caresses ?

il y a 37 minutes, Talon 1 a dit :

Même les caresses ?

Surtout les caresses, suffit de s'adresser à : XPeng  https://www.20min.ch/fr/story/robotique-ce-nouveau-robot-fait-polemique-a-cause-de-ses-seins-103448852