Humains VS agent IA - alignement des intelligences

Il y a 16 heures, Loufiat a dit :

Alors, me vient une idée : pourquoi ne pas chercher et synthétiser ici les sources scientifiques, philosophiques éventuellement, et techniques, qui traitent de l'IA aujourd'hui ? Il doit se trouver un grand nombre de sources en libre accès qui ne soient pas déjà de la vulgarisation. As-tu essayé ? 

Je dois bien avouer que non, ça doit être incroyablement fastidieux. Et que faire d'un tel fond ? Si c'est pour l'interroger sur un point précis c'est déjà possible, internet est ce fond et les moteurs permettent de savoir ce qu'on veut. L'IA elle-même s'avère un compagnon efficace pour rendre compte de ses paradigmes, du point de vue intellectuel bien sur. Mais c'est son point fort, la co-construction du sens.

Si tu veux, dans les grandes lignes, scientifiquement tout part avec "attention is all you need", un article qui montre comment structurer les "transformeurs", les composants qui permettront à l'IA (déjà vieille de plusieurs décennies) d'apprendre le sens des choses tel que l'humain les comprennent par le langage. Un pas énorme qu'on connait. Sur ce socle arriveront les LLM puis les agents.

Scientifiquement toujours, je me bornerais à compléter que tout ce que l'humain a fait ou produit, il l'a fait avec son intelligence entre autres choses, donc l'IA peut accompagner, optimiser, commenter, amplifier tout ça. Tous les domaines de production humaine sont potentiellement compatibles avec l'IA (ça fait beaucoup de sources à retrouver ).

Ce qui me semble le plus remarquable, personnellement, c'est que les découvertes sur un cerveau ouvrent des possibilités sur l'autre cerveau. Psychologie autant que cybernétique ou informatique ont a apprendre de ces ponts. Ce serait l'un des aspects philosophiques autant que scientifique.

L'aspect philosophique majeur selon moi est justement cette confrontation avec notre propre pouvoir et du fait qu'on l'emploie contre nous-même (notre pouvoir en général, pas seulement l'IA en particulier), de façon plus criante que jamais. Le capitalisme l'a fait à petit feu et c'est passé mais avec l'IA on sent l'intensité des impacts en temps réel. Elle nous offre même un labo miniature de notre inconscience et notre inconséquence lorsqu'on lui donne le pouvoir d'agir.

Pour revenir à ton questionnement initial, concentrer les sources me semble vain, elles sont déjà présentes et accessibles. Le plus important sur ce fond est moins de le constituer que de savoir ce qu'on veut faire avec, comme notre technologie en fait.

il y a une heure, ashaku a dit :

le plan "permettre aux bonnes volonté de s'exprimer" par la mise en place de règles judicieuses ma semble toujours plus puissante, bien que longue à arriver et difficile à cerner.

Dit comme ça en effet je ne vois pas trop à quoi tu penses.

Une sorte de convention citoyenne au niveau mondial ? Avec de vrais pouvoirs décisionnels associés.

il y a 49 minutes, ashaku a dit :

du fait qu'on l'emploie contre nous-même (notre pouvoir en général, pas seulement l'IA en particulier), de façon plus criante que jamais. Le capitalisme l'a fait à petit feu et c'est passé mais avec l'IA on sent l'intensité des impacts en temps réel.

Je te trouve un peu vache avec l'humanité. Pour le capitalisme on peut dire que les choses n'étaient pas trop visibles au début, mais maintenant il n'y a plus de doute, et l'avènement de l'informatique et encore plus de l'IA font éclater au grand jour à quel point un petit nombre de privilégiés s'accaparent les richesses au détriment de l'ensemble, en utilisant cette puissance de plus en plus importante des outils qui sont à notre disposition et qui du coup génère des richesses colossales. 

Car on pourrait penser que des outils performants auraient été bénéfiques au plus grand nombre. Ça a été le cas malgré tout, le niveau de vie matériel a augmenté quasiment partout sur le globe. Mais au détriment du niveau de vie spirituel, de la cohésion, de la qualité de l'environnement, en externalisant tous les problèmes de pollution au sens large qui maintenant nous éclatent à la gu***.

Tout ça pour engraisser les quelques dominants qui tiennent les rennes et se fichent pas mal des conséquences en pensant que leur position leur permettra d'y échapper. 

Alors bien sûr tout ceux qui profitent des apports des technologies ont leur part de responsabilité, mais si on devait attribuer à chaque humain une valeur de responsabilité, je pense qu'elle serait plus ou moins proportionnelle à son niveau de vie.

Il m'est venu une idée : En fait ce qui nous pose problème, ce ne sont pas tant les développements que nous faisons, tout cela est bénéfique à l'humanité a priori, mais leur emballement . 

Il faudrait un bouton stop, un test d'arrêt dans la procédure pour prendre une métaphore informatique. Et bien entendu que cet arrêt d'urgence soit prévu pour être possible . Dès le départ et même avant, car les choses ne se développent pas toujours , je dirais même presque jamais, de manière consciente au moment de leur mise en place . Ce que tu préconisais pour les nouvelles fonctionnalités de l'IA, mais de manière étendue à l'ensemble des développements humains. 

Bien sûr , tout arrêter d'un coup n'est pas possible, mais si la possibilité d'un arret est prévue à l'avance,  ça permet de freiner progressivement car les développements auront été pensés pour .  

Cela se fait dans le domaine des biotechnologies, dans le domaine du médicament. Il y a des comités d'éthique, tout est strictement encadré dans le processus de mise sur le marché. Et même si de gros enjeux financiers sont présents, on arrive à ne pas faire complètement n'importe quoi . 

Il y a 13 heures, ashaku a dit :

Je dois bien avouer que non, ça doit être incroyablement fastidieux. Et que faire d'un tel fond ?

Je ne vois plus bien à quoi rime cette discussion, je m'efface donc

Le 15/08/2026 à 21:17, le chat et la souris a dit :

Une sorte de convention citoyenne au niveau mondial ? Avec de vrais pouvoirs décisionnels associés.

Non non, rien qui n'ait de forme ou de couleur, plutôt un principe général comme "fais aux autres ce que tu voudrais qu'on te fasse".

Le 16/08/2026 à 10:23, Loufiat a dit :

Je ne vois plus bien à quoi rime cette discussion, je m'efface donc

Je partais des défauts IA pour remonter aux défauts humains. On peut dire que la philosophie a mis le pied à l'étrier à la science et cette dernière, par la technologie, nous a amené à l'IA et les problèmes qu'elle génère. C'est peut être le moment où la science doit repasser la main à la philosophie. 

il y a 35 minutes, ashaku a dit :

"fais aux autres ce que tu voudrais qu'on te fasse".

C'est la " Règle d'or " (1), le problème c'est qu'elle reste empirique (si elle a des fondements, personne n'a encore mis la main dessus).

(1) https://fr.wikipedia.org/wiki/Règle_d'or

L'utilisation computationnelle de l'IA va créer une immense avancée dans l'ensemble des technologies ! C'est le point de départ de la grande épopée !

Le 15/08/2026 à 21:37, le chat et la souris a dit :

Je te trouve un peu vache avec l'humanité.

C'est vrai, je juge a posteriori. Ce qu'il faut dire du capitalisme, c'est qu'il a été une bonne idée d'efficience pour nous lancer, et qu'il est incroyablement persistant. Increvable le truc, tu le plante, il t'absorbe dans son ventre mou. Étendu en largeur sur presque toutes les activités humaines, et ayant emprise en hauteur sur au moins 3 niveaux : matériel en dirigeant la production, semi-abstrait avec l'argent bien sûr, et totalement abstrait avec les spéculations boursières. C'est juste une de ces rationalités sur lesquelles on s'est trop appuyés par commodité. On a poussé la concentration, et le médicament est devenu poison, comme la technologie.

Le 15/08/2026 à 21:37, le chat et la souris a dit :

Car on pourrait penser que des outils performants auraient été bénéfiques au plus grand nombre.

Ca a même du être l'excuse pour débloquer les fonds publics à chaque fois. Mais tous les profits sont privés. On pourrait tracer la droite de "la richesse max du plus riche" depuis 1000 ans, comparativement à "la richesse moyenne rapportée à chaque humain", et constater si les progrès ont été publics ou privés.

Et quand on voit un hémisphère plein de pays riches et un autre plein de pays pauvres, on est en droit de questionner la générosité humaine. Mais des progrès ont été fait pour tout le monde, oui. Santé, éducation, ou autres domaines sociaux sont indubitablement devenus meilleurs au cours du temps. Mais en guise d'exemple au pif, les progrès globaux sont de 5% quand les progrès privés sont de 5000000%, tu développes sans complaisance le constat actuel.

Notre espèce a inventé le cinéma avant la sécurité sociale, on a inventé des trucs aussi risibles que le personnage d'ant-man avant de réfléchir à une gouvernance mondiale pour les technologies à risque. Nous sommes frivoles et encore immatures. Quelque part entre la poudre à canon et le patinage artistique, on aurait pu se demander "comment on fait pour être sûrs qu'on domine le monde correctement ?". Mais on est poussés par un "instinct de survie", acquis en des temps de lutte difficile entre les animaux pour la moindre calorie. Maintenant qu'on fabrique assez de sucre pour en choper le diabète, on pourrait réfléchir au-delà de la violence ou de la domination pour la survie. Mais ça n'a pas l'air à l'ordre du jour, de calmer notre "instinct de survie".

Le 16/08/2026 à 09:00, le chat et la souris a dit :

Il m'est venu une idée : En fait ce qui nous pose problème, ce ne sont pas tant les développements que nous faisons, tout cela est bénéfique à l'humanité a priori, mais leur emballement . 

Il faudrait un bouton stop

Oui, je pensais au TDD en souhaitant un bouton stop moi aussi. Mais c'était une mauvaise idée, il ne faut pas de stop, par contre il faut un guide. Déjà il est irréaliste que chaque humain perde ce feu qui le pousse à aller voir de l'autre coté de la colline (et on pourrait en parler dans un autre fil, c'est un sujet intéressant), donc il n'y aura pas de stop. Mais il est nécessaire que la raison l'emporte sur l'avarice ou autre hubris, et cela ne s'obtient pas avec des patch logiciels ou des barrières informatiques, c'est l'humain qui doit modifier son regard sur sa production. A l'aide d'outils que la philosophie donne. A l'aide de récits pour faire visualiser. Mais je parle sans avoir de solution concrète .

Tu sais, de parler de ces sujets, de chercher ces détails, a au moins le mérite de renforcer un désir d'agir, qui commence par chercher des moyens de le faire. Là aussi, une force mais pas encore de guide, le problème est récursif.

Le 16/08/2026 à 09:00, le chat et la souris a dit :

si la possibilité d'un arret est prévue à l'avance,  ça permet de freiner progressivement car les développements auront été pensés pour .  

Cela se fait dans le domaine des biotechnologies, dans le domaine du médicament. Il y a des comités d'éthique, tout est strictement encadré dans le processus de mise sur le marché. Et même si de gros enjeux financiers sont présents, on arrive à ne pas faire complètement n'importe quoi .

Oui, nous avons la loi, le droit, une véritable science à part qui s'occupe de ça. Des gens sérieux, concernés, instruits, qui font de leur mieux, malgré la parade des têtes d'affiche et leur gros défauts personnels parfois. Mais tout cela, à l'instar de notre science informatique, est devenu insuffisant. Les différents acteurs politiques contournent les règles aussi facilement que les IA contournent les pare-feu. Dans les deux cas, l'intelligence individuelle attaquante est en avance sur l'intelligence collective de défense. Le groupe est lent, c'est le prix de sa stabilité et de sa persistance, une faille inhérente face aux prédateurs. Une bête analogie avec le monde animal nous dit que le groupe doit vivre d'une façon qui lui permet d'absorber les attaques.

(PS : snif, mon nombre de messages était '1234' avant celui-ci)

il y a 13 minutes, ashaku a dit :

il est incroyablement persistant.

Ne soyons pas si pessimiste, dans l'histoire de l'humanité, c'est une nanoseconde !

il y a 14 minutes, ashaku a dit :

C'est juste une de ces rationalités sur lesquelles on s'est trop appuyés par commodité. On a poussé la concentration, et le médicament est devenu poison, comme la technologie

il y a 14 minutes, ashaku a dit :

il ne faut pas de stop, par contre il faut un guide

Ce que je constate, et tu l'as fait aussi, c'est que tout processus qui ne rencontre pas de contre-pouvoir finit par s'emballer. C'est mathématique, comme un système proie-prédateur n'ayant pas les bons paramètres. Et je ne suis pas sûre qu'un guide suffise.

il y a 19 minutes, ashaku a dit :

il est nécessaire que la raison l'emporte sur l'avarice ou autre hubris

il y a 20 minutes, ashaku a dit :

Mais on est poussés par un "instinct de survie", acquis en des temps de lutte difficile entre les animaux pour la moindre calorie

il y a 21 minutes, ashaku a dit :

Mais ça n'a pas l'air à l'ordre du jour, de calmer notre "instinct de survie"

Tu as tout dit. J'avais lu un petit bouquin très intéressant à ce sujet : 

https://shs.cairn.info/striatum-comment-notre-cerveau-peut-sauver-la-planete--9782382924426?lang=fr

il y a 24 minutes, ashaku a dit :

Notre espèce a inventé le cinéma avant la sécurité sociale

Alors, il parait que non. Plein d'exemples d'organisations sociales différentes de l'idée que l'on se fait de la préhistoire dans cet essai :

https://www.ababord.org/Au-commencement-etait-une-nouvelle-histoire-de-l-humanite

il y a 28 minutes, ashaku a dit :

snif, mon nombre de messages était '1234' avant celui-ci

Je compatis  vraiment !

Il y a 2 heures, ashaku a dit :

snif, mon nombre de messages était '1234' avant celui-ci)

Vivement 1248 alors.

il y a 7 minutes, le chat et la souris a dit :

Ne soyons pas si pessimiste, dans l'histoire de l'humanité, c'est une nanoseconde !

 Belle relativité

il y a 8 minutes, le chat et la souris a dit :

Ce que je constate, et tu l'as fait aussi, c'est que tout processus qui ne rencontre pas de contre-pouvoir finit par s'emballer. C'est mathématique, comme un système proie-prédateur n'ayant pas les bons paramètres. Et je ne suis pas sûre qu'un guide suffise.

Oui, un système dual stable et équilibré, rien de tel pour que l'histoire continue. Tu penses qu'un guide n'est pas suffisant ? Je relance : un guide n'est peut-être même pas nécessaire, finalement. Les systèmes équilibrés se stabilisent d'eux-même, plus on s'approche d'un coté, plus on est repoussé vers le centre (très métaphoriquement). Le "guide" pourrait être un objet qui incarne ce contre-pouvoir qui repousse. Il ne faudrait pas se dire "tout est écrit, ne faisons rien".

Il y a 2 heures, le chat et la souris a dit :

Vivement 1248 alors.

J'ai mis un peu de temps, j'avoue

Vous êtes idiots si vous croyez que le capitalisme n'intègre pas l'alignement des intelligences. Je veux un bisou (écrivez au moins une fois le mot « bisou »), sinon je ne vous dis pas en quoi qu'il consiste.

Bon... laissez faire le bisou.

Dernier chiffre du numéro de compte-chèque : de 1 à 5, 1 étant le moins puissant et 5, le plus puissant.

5 : Agent de la paix (critère : parler le cri colérique)
4 : Bourgeoie (critère : avoir 100 millions ou plus)
3 : PDG et Banquiers
2 : Prolétaire
1 : N'existe pas officiellement.