Je comprends pas l'entropie.

Bonjour,

Je pense que c'est pas la peine de faire un dessin, tout le monde ici, sait ce que c'est l'entropie, moi j'avais l'impression de le savoir, mais finalement je me suis rendu compte que tout est flou dans mon cerveau, j'avais l'impression de comprendre l'entropie, parce que je savait que pour une probabilité p l'entropie H(p) :

H(p) = -p . log2(p) - (1 - p) . log2(1 - p)

Très bien, jusque-là c'est clair, mettons ça en pratique, je sais sans faire aucun calcul que l'entropie de cette série de chiffre : 9226877109 doit être proche de 1 parce que je les ai tirés au hasard, et que l'entropie de : 1111111111 est proche de 0 puisque c'est un bloc de 1, tout est bien ordonné, maintenant quel est le degré de l'ordre dans cette série : 1115445111, je vois bien qu'il y a une symétrie, intuitivement je suppose que le calcul d'entropie donnera un peu plus que 0.5, d'un autre côté je ne sais pas de quelle probabilité on parle exactement, c'est quoi p? la probabilité de tirer cette série au hasard? mais ça n'a aucun sens, toutes les série de dix chiffres ont exactement la même probabilité d'être tiré au hasard, non?

On croit comprendre des choses mais comprendre, en fait, c'est pratiquer sinon, ce n'est qu'une illusion.

Merci d'avance, et bonne journée à tout le monde.

il y a 12 minutes, riad** a dit :

Merci d'avance, et bonne journée à tout le monde.

Vingt dieux ! pour moi l'entropie c'était le désordre... c'est qu'on en apprend des choses !

il y a 4 minutes, BELUGA a dit :

Vingt dieux ! pour moi l'entropie c'était le désordre... c'est qu'on en apprend des choses !

Oui c'est ce que je pense aussi, mais vu que la formule est simple j'aimerai bien calculer l'entropie de ma chambre par exemple, si c'est au-dessus de 0.5 pas la peine de faire le ménage, si c'est pas le cas alors...bon, je le ferais pas non plus, mais je prends note, je me dis : "tien c'est le bordel ici, il faut que je fasse le ménage un jour".

Les Arabes on toujours été tracassés par les chiffres, pis que les pythagoriciens.

J'en suis resté à l'entropie de la thermodynamique et de la thermodynamique statistique !

Alors qui peut m'aider? @Condorcetpeut-être?

J'ai trouvé cette formule cunéiforme sur wikipedia :

Moi j'ai rien compris, c'est du chinois, mais je remarque déjà qu'on parle ici de logb et non pas de log2, donc si ça se trouve j'ai donné une formule binaire et un exemple en décimal, j'avoue que c'est très compliqué, même en fumant un joint, j'arrive pas à comprendre, faut peut-être sniffer un truc? non?

Il y a 2 heures, BELUGA a dit :

Vingt dieux ! pour moi l'entropie c'était le désordre... c'est qu'on en apprend des choses !

Aussi,  et que c'est ce qui dépensait le moins d'énergie.  Z'avez vu tous les efforts qu'il faut faire ensuite pour tout remettre en ordre !!! 

il y a une heure, riad** a dit :

Alors qui peut m'aider? @Condorcetpeut-être?

J'arrive, j'arrive (je suis en train de faire la sieste et mon patron s'en aperçoit même pas).

Il y a 7 heures, riad** a dit :

Bonjour,

Je pense que c'est pas la peine de faire un dessin, tout le monde ici, sait ce que c'est l'entropie, moi j'avais l'impression de le savoir, mais finalement je me suis rendu compte que tout est flou dans mon cerveau, j'avais l'impression de comprendre l'entropie, parce que je savait que pour une probabilité p l'entropie H(p) :

H(p) = -p . log2(p) - (1 - p) . log2(1 - p)

Très bien, jusque-là c'est clair, mettons ça en pratique, je sais sans faire aucun calcul que l'entropie de cette série de chiffre : 9226877109 doit être proche de 1 parce que je les ai tirés au hasard, et que l'entropie de : 1111111111 est proche de 0 puisque c'est un bloc de 1, tout est bien ordonné, maintenant quel est le degré de l'ordre dans cette série : 1115445111, je vois bien qu'il y a une symétrie, intuitivement je suppose que le calcul d'entropie donnera un peu plus que 0.5, d'un autre côté je ne sais pas de quelle probabilité on parle exactement, c'est quoi p? la probabilité de tirer cette série au hasard? mais ça n'a aucun sens, toutes les série de dix chiffres ont exactement la même probabilité d'être tiré au hasard, non?

On croit comprendre des choses mais comprendre, en fait, c'est pratiquer sinon, ce n'est qu'une illusion.

Merci d'avance, et bonne journée à tout le monde.

''l'impression de comprendre'' :l'illusion de l'humain.

Il y a 7 heures, riad** a dit :

J'ai trouvé cette formule cunéiforme sur wikipedia :

Moi j'ai rien compris, c'est du chinois, mais je remarque déjà qu'on parle ici de logb et non pas de log2, donc si ça se trouve j'ai donné une formule binaire et un exemple en décimal, j'avoue que c'est très compliqué, même en fumant un joint, j'arrive pas à comprendre, faut peut-être sniffer un truc? non?

C’est l’entropie de shannon ( inconnu sur grand public mais c’est un des papas du monde digital vers lequel nous nous acheminons )

https://fr.wikipedia.org/wiki/Entropie_de_Shannon?wprov=sfti1

Ça sert en compression et pour calculer les capacités de canal .

Il y a un exemple en bas du wiki .

Il y a 2 heures, .Lowy a dit :

''l'impression de comprendre'' :l'illusion de l'humain.

Il n’y a pas d’illusion de comprendre .

La théorie de l’information de Shannon est vérifiée et vérifiable 

Il y a 6 heures, Condorcet a dit :

J'arrive, j'arrive (je suis en train de faire la sieste et mon patron s'en aperçoit même pas).

Chouette on va pouvoir parler solidarité et échange , normalement on se finit sur l’information mutuelle

Il y a 8 heures, Répy a dit :

J'en suis resté à l'entropie de la thermodynamique et de la thermodynamique statistique !

Il y a un lien établi par Neuman . 

Un géant :

https://fr.wikipedia.org/wiki/Claude_Shannon

il y a 7 minutes, DroitDeRéponse a dit :

C’est l’entropie de shannon ( inconnu sur grand public mais c’est un des papas du monde digital vers lequel nous nous acheminons )

https://fr.wikipedia.org/wiki/Entropie_de_Shannon?wprov=sfti1

Ça sert en compression et pour calculer les capacités de canal .

Il y a un exemple en bas du wiki .

Merci DDR

Le lien je l'ai il est ouvert avant même que j'ouvre le sujet, mais il est très technique, enfin ça dépasse mon niveau, quant à l'exemple, je l'ai compris, mais ce ne m'aide pas, parce que l'entropie est variable selon l'état du système qui nous envoie l'information, dans l'exemple c'est les urnes, dans ce cas il faut d'abord connaitre l'état du système avant de calculer l'entropie, or pour moi tout l'intérêt de calculer l'entropie sans savoir l'état du système, prenons un exemple plus simple, pile ou face, si j'obtiens autant de pile que de face, l'entropie est maximale, si je n'obtiens que des faces, la pièce est truquée, l'entropie est 0.

supposant que dans dix lancés j'obtiens ça : pfpfpfpfpf, j'ai 5 piles et 5 faces, l'entropie sera alors maximale, mais ça crève les yeux que c'est faux, j'ai 5 pf, ça c'est bien ordonné, l'entropie est en fait minimale.

voilà, je n'arrive pas à mettre mes informations en pratique.

il y a une heure, DroitDeRéponse a dit :

C’est l’entropie de shannon ( inconnu sur grand public mais c’est un des papas du monde digital vers lequel nous nous acheminons )

https://fr.wikipedia.org/wiki/Entropie_de_Shannon?wprov=sfti1

Ça sert en compression et pour calculer les capacités de canal .

Il y a un exemple en bas du wiki .

 

Il n’y a pas d’illusion de comprendre .

La théorie de l’information de Shannon est vérifiée et vérifiable 

Je réagissais à 'l'impression de comprendre'' et je persiste sur l'illusion de comprendre,  pour ce qui est de la théorie de shannon , elle sera peut être réfuté par d'autres théories dans le futur , peut être pas.

Rien n'est figé en sciences.

@riad**  les travaux de Clausius et Carnot sont intéressants à consulter

Il y a 5 heures, .Lowy a dit :

Je réagissais à 'l'impression de comprendre'' et je persiste sur l'illusion de comprendre,  pour ce qui est de la théorie de shannon , elle sera peut être réfuté par d'autres théories dans le futur , peut être pas.

Rien n'est figé en sciences.

@riad**  les travaux de Clausius et Carnot sont intéressants à consulter

Shannon ce sont des maths pas de la physique . 
Rejeter la géométrie euclidienne, ça ne veut rien dire .... On a d’autres géométries car d’autres postulats ...

https://www.rocq.inria.fr/secret/Jean-Pierre.Tillich/enseignement/X2015/cours6.pdf

Bref dans notre cas H est une mesure et la capacité du canal se fait à l’aune de cette mesure . Réfuter Shannon ça ne veut rien dire , sa preuve est mathématique, tout au plus changerait on la mesure mais l’entropie Max et l’entropie nulle auront toujours la même source .

Il y a 5 heures, riad** a dit :

Merci DDR

Le lien je l'ai il est ouvert avant même que j'ouvre le sujet, mais il est très technique, enfin ça dépasse mon niveau, quant à l'exemple, je l'ai compris, mais ce ne m'aide pas, parce que l'entropie est variable selon l'état du système qui nous envoie l'information, dans l'exemple c'est les urnes, dans ce cas il faut d'abord connaitre l'état du système avant de calculer l'entropie, or pour moi tout l'intérêt de calculer l'entropie sans savoir l'état du système, prenons un exemple plus simple, pile ou face, si j'obtiens autant de pile que de face, l'entropie est maximale, si je n'obtiens que des faces, la pièce est truquée, l'entropie est 0.

supposant que dans dix lancés j'obtiens ça : pfpfpfpfpf, j'ai 5 piles et 5 faces, l'entropie sera alors maximale, mais ça crève les yeux que c'est faux, j'ai 5 pf, ça c'est bien ordonné, l'entropie est en fait minimale.

voilà, je n'arrive pas à mettre mes informations en pratique.

Ton tirage ne veut pas dire grand chose . Soit ton système présente un caractère aléatoire , soit pas . J’ai 5 piles et 5 faces ça ne constitue pas une variable aléatoire mais une réalisation .

Par contre tu peux à partir de tes lancers estimer p et de là l’entropie de ta source .

Diderot dans sa lettre sur les aveugles en 1749 écrivait :

"cet ordre merveilleux qui se montre de tous côtés, ces rapports infinis entre les choses, qu'en penserai-je ?"

Est ce que la beauté de cette organisation que nous voyons et vivons ne serait qu'une pure illusion anthropomorphique ?

La théorie de l'information nous apprend que...non...

On peut voir dans la notion d'entropie l'absence d'organisation à l'intérieur d'un système et le chaos absolu marque une entropie maximale, le destin futur de notre univers...

On pourra opposer a l'entropie le concept... d'information...

Un tas de ferraille composé des mêmes éléments a une entropie beaucoup plus élevée que ma vstrom 650 de suzuki

L'organisation tend a diminuer et l'entropie tend à croître, une bonne vieille loi de la thermodynamique qui a fait fantasmer la mythologie du paradis originel et les bonnes vieilles couillonnades de peuples détenant les anciennes connaissances...

La dégradation du monde...

J'aurai bien envie de m'extasier davantage sur le fait que, depuis les temps les plus reculés accessibles a notre exploration, l'univers possède les conditions requises pour gravir localement les echelons de la complexité et de la vie...

Que si l'entropie de l'univers amènera la fin des temps, c'est sans doute le yin a payer pour des îlots d'informations structurées et pour la vie.

Le hasard semble jouer un rôle important, une antichambre de la causalité ou un ordre caché sous jacent pourrait nous rester inaccessible 

Quel est ce principe de complexité qui a généré une organisation d'une soupe initiale ?

"Du passé lumineux recueille tout vestige"

Baudelaire

Comment inverser l'entropie de l'univers ?

Raconte moi une histoire 

Bonjour,

Le 01/06/2020 à 15:10, riad** a dit :

tout le monde ici, sait ce que c'est l'entropie ...

Il est permis d'en douter à la lecture de certaines interventions, qui vous feraient désespérer d'apporter quelque remarque intelligible que ce soit au sujet présenté. Cependant un intermède comique ne saurait nuire aux échanges.

DroitDeRéponse a déjà exprimé des remarques pertinentes au sujet de ce que tu ne comprenais pas.

Je crois que la difficulté essentielle vient de ce que le terme "entropie" a été défini indépendamment dans les trois domaines où il est apparu: la thermodynamique, la physique statistique et la théorie de l'information; si la parenté des deux premières notions s'est rapidement imposée, il n'en est pas de même pour la troisième qui a fait l'objet d'un travail théorique difficile.

Il semblerait même que ce terme a été choisi par Shannon d'une manière purement intuitive (mais évidemment géniale); un passage de l'article de Wikipédia est sur ce point révélateur:

Initialement, il ne semble pas que Shannon ait été au courant de la relation étroite entre sa nouvelle mesure et les travaux précédents en thermodynamique. Le terme entropie a été suggéré par le mathématicien John von Neumann pour la raison que cette notion ressemblait à celle déjà connue sous le nom d'entropie en physique statistique. Il aurait ajouté que ce terme était de plus assez mal compris pour pouvoir triompher dans tout débat².

En 1957, Edwin Thompson Jaynes démontrera le lien formel existant entre l'entropie macroscopique introduite par Clausius en 1847, la microscopique introduite par Gibbs, et l'entropie mathématique de Shannon. Cette découverte fut qualifiée par Myron Tribus de « révolution passée inaperçue.

https://fr.wikipedia.org/wiki/Entropie_de_Shannon

Tu devrais, si tu tiens à approfondir le sujet, consulter un ouvrage de niveau BTS; cela te permettrait d'appréhender les notions de base d'une manière relativement simple, et de te familiariser avec les outils mathématiques.

Consulter directement une encyclopédie, c'est très souvent aborder un sujet sous son aspect le plus difficile, et suivre la voie la plus rapide vers le découragement.

Le 01/06/2020 à 15:10, riad** a dit :

Bonjour,

Je pense que c'est pas la peine de faire un dessin, tout le monde ici, sait ce que c'est l'entropie, moi j'avais l'impression de le savoir, mais finalement je me suis rendu compte que tout est flou dans mon cerveau, j'avais l'impression de comprendre l'entropie, parce que je savait que pour une probabilité p l'entropie H(p) :

H(p) = -p . log2(p) - (1 - p) . log2(1 - p)

Très bien, jusque-là c'est clair, mettons ça en pratique, je sais sans faire aucun calcul que l'entropie de cette série de chiffre : 9226877109 doit être proche de 1 parce que je les ai tirés au hasard, et que l'entropie de : 1111111111 est proche de 0 puisque c'est un bloc de 1, tout est bien ordonné, maintenant quel est le degré de l'ordre dans cette série : 1115445111, je vois bien qu'il y a une symétrie, intuitivement je suppose que le calcul d'entropie donnera un peu plus que 0.5, d'un autre côté je ne sais pas de quelle probabilité on parle exactement, c'est quoi p? la probabilité de tirer cette série au hasard? mais ça n'a aucun sens, toutes les série de dix chiffres ont exactement la même probabilité d'être tiré au hasard, non?

 

Heureusement que notre DDR national est la  ! 

Sous son contrôle  ( suis plus matheux depuis 35 ans) je crois qu'il est tres difficile d'obtenir une suite de nombres au hasard. Je me souviens que l'une des méthodes consistait à jeter une poignée de clou par terre et leurs écarts formait une série de nombre au hasard. C'est évidement une anecdote... 

Le 01/06/2020 à 16:56, riad** a dit :

J'ai trouvé cette formule cunéiforme sur wikipedia :

Moi j'ai rien compris, c'est du chinois, mais je remarque déjà qu'on parle ici de logb et non pas de log2, donc si ça se trouve j'ai donné une formule binaire et un exemple en décimal, j'avoue que c'est très compliqué, même en fumant un joint, j'arrive pas à comprendre, faut peut-être sniffer un truc? non?

Vu la formule j'éviterais l'un comme l'autre !  

Le 02/06/2020 à 00:26, DroitDeRéponse a dit :

C’est l’entropie de shannon ( inconnu sur grand public mais c’est un des papas du monde digital vers lequel nous nous acheminons )

https://fr.wikipedia.org/wiki/Entropie_de_Shannon?wprov=sfti1

Ça sert en compression et pour calculer les capacités de canal .

Il y a un exemple en bas du wiki .

 

Il n’y a pas d’illusion de comprendre .

La théorie de l’information de Shannon est vérifiée et vérifiable 

Ça c'est du grand DDR !  bravo !  chapeau bas !