Plus le nombre d'états indiscernable est grand, plus le désordre sera grand, on ne saura pas "résoudre" l'état réel puisque notre capacité de perception est limitée.

Plus notre capacité de perception sera grande, plus nous pourrons discriminer les états possibles du système. Nous aurons donc plus "d'information" sur le système et nous le considérerons plus organisé.

L'ordre du système est donc dépendant de celui qui l'observe.

Considérons un exemple simple, un bureau. La personne qui travaille sur ce bureau possède un niveau donné d'information sur l'état de son bureau.
Son bureau peut être modélisé par un ensemble de boite permettant de localiser un objet. Les objets sont rangés dans des boites. S'il y a N boites et N objets avec un objet par boite, il y a alors N! (factorielle de N) états possibles pour le système, chaque objet pouvant occuper chacune des boites.

En effet pour ranger le premier objet on a N boites possibles mais pour le deuxième N-1 boites etc. Donc le nombre de choix de rangement des N Objets dans les N Boites est N * N-1 * N-2 * .... * 2 * 1 = N! c'est à dire la factorielle de N.
Considérons un état particulier de rangement du bureau. Supposons que la personne connaisse parfaitement l'état du bureau, c'est à dire qu'elle sait ou trouver chaque objet par un accès direct à la boite qui le contient.
Alors dans ce cas on peut dire que pour cette personne le bureau est totalement rangé, l'ordre est parfait et donc le désordre (ou entropie) nul.

Supposons qu'une autre personne ait une connaissance moindre de l'état du bureau. Cette personne sait "à peu prés" où se trouve un objet mais devra faire plusieurs tentatives pour retrouver effectivement un objet donné.
C'est à dire qu'elle devra dépenser un peu d'énergie (dégrader de l'énergie) et de temps pour "reconstituer" l'information qui lui manque.
Si en deux ou trois essais elle sait retrouver un objet donné.
On peut dire qu'elle n'a pas une connaissance parfaite de l'état du système ou que pour elle le système est légèrement désordonné.
Pour cette personne, le désordre ou entropie n'est pas nul.

Supposons une troisième personne totalement étrangère à ce bureau et donc ne possédant aucune information sur son état. Pour trouver un objet cette personne devra ouvrir successivement toutes les boites jusqu'à ce qu'elle trouve l'objet cherché. Pour cette personne le désordre ou entropie est maximum. L'entropie est alors donnée par la factorielle de N, N! qui est une bonne représentation de la complexité du système, c'est à dire de la complexité à appréhender le système.
La factorielle se construit ainsi, au premier choix d'une boite (tirage) il y a N possibilité, au deuxième il y a N-1 possibilité, au troisième N-2 etc. Donc la complexité du système peut bien être représenté par le nombre N * (N-1) * (N-2) .... 3 * 2 * 1 qui est précisément la factorielle de N.

Et encore dans cet exemple on suppose que l'observateur est suffisamment intelligent pour pouvoir mémoriser (capitaliser son expérience du système) et ne pas rechercher dans une boite qu'il a déjà ouverte et qui ne contenait pas l'objet recherché. Sinon la complexité du système serait perçu par l'observateur comme beaucoup plus grande. On pourrait dire que le système complet : système+observateur serait dans un état de confusion.

Exemple d'entropie dans l'ergonomie informatique:

Considérez le panneau de configuration Windows. Celui-ci est entaché d'une entropie ergonomique importante car les icônes sont traditionnellement présentés sans ordre évident dans une surface rectangulaire.
Si on ne sait pas exactement où est positionnée l'icône que l'on recherche, on va dépenser (dégrader) une certaine énergie à la retrouver: plus de mouvement des yeux, plus de temps de regard (activité rétinienne), plus de processus de pensée oculaire, au final plus de consommation d'ATP (adénosine triphosphate: la molécule de l'énergie) et de potentiel ionique.

Un effort a été fait de classer par catégorie mais ce n'est pas totalement probant car cela crée un niveau de perception supplémentaire (on s'éloigne du détail) et les catégories représentent alors plusieurs états possibles de l'objet recherché: on a de l'indiscernabilité.

Le tri alphabétique en utilisant une lettre clé du nom de l'objet recherché permettrait de mémoriser plus efficacement l'organisation et aussi sa pérennité à travers toutes les versions successives (la mémoire rend le temps moins destructif).
Mais ce n'est pas disponible même après plus d'une vingtaine d'années d'existence du produit.
Pour être exact, l'entropie est associée au logarithme mathématique de la factorielle.

S = log (N!)

Ceci à cause de la propriété du logarithme :

"Le logarithme d'un produit est la somme des logarithmes des deux facteurs du produit."

En terme de formules mathématique on a:

Log( a * b ) = Log(a) + Log(b)

Si l'on double la taille d'un système M = N * 2, on prend deux bureaux par exemple alors les entropies s'ajoute arithmétiquement (l'entropie physique est dite une propriété extensive du système) mais la complexité augmente factoriellement.

Le logarithme fait le lien entre la notion factorielle de compléxité d'un système et l'entropie qui est une grandeur physique extensive donc addittive.

  Modèle_des_urnes_d_nweb

  Formule_de_Boltzmann

On peut remarquer dans l'exemple du bureau que dés que la personne se met à ouvrir des boites, c'est à dire a interagir avec le système, elle va acquérir de l'information sur celui-ci qu'elle pourra alors mémoriser. En conséquence l'entropie du système va évoluer pour elle mais elle aura du dégrader de l'énergie par ailleurs pour pourvoir diminuer cette entropie. Donc c'est un déplacement d'entropie car dans le système global considéré comme fermé l'entropie ne peut qu'augmenter (c'est la deuxième loi de la thermodynamique).

Dans les systèmes physiques comme les gaz, les observateurs qui sont des êtres caractérisés par un type donné d'organes de perception (les êtres humains par exemple) ne présentent pas de divergence quant à leur capacité de perception.
C'est ce qui donne aux lois de la thermodynamique leur objectivité.
Il existe une illustration de ceci à travers le paradoxe du "démon de Maxwell".

Maxwell imagina l'expérience suivante: deux boites sont accolées l'une contre l'autre avec une communication possible entre elles. Au départ la communication est fermée et une des boites est remplie d'un gaz tandis que l'autre est vide. Si on ouvre la communication, des molécules vont traverser et se retrouver dans l'autre boite. La thermodynamique statistique nous dit que l'état le plus probable pour ce système est celui où il y a à peu près le même nombre de molécules dans les deux compartiments. Il s'agit de l'état d'équilibre thermodynamique.
Il faut préciser que les molécules ne sont soumises à aucune force les entrainant à passer dans la deuxième boite. Une molécule peut aussi facilement passer de la première boite dans la seconde que le contraire et c'est ce qui se passe à tout instant.

C'est d'ailleurs ce qui fait que les molécules se répartissent uniformement entre les deux compartiments. Si a un moment donné il y a plus de molécules dans un compartiment alors la probabilité que les molécules aillent dans l'autre boite devient plus grande aussi d'où l'équilibre.

Le paradoxe du démon de Maxwell est l'idée qu'un petit démon extrêmement rapide aurait la capacité de fermer la communication et choisirai de ne l'ouvrir que lorsque qu'il y a plus de molécules qui se présentent pour traverser dans un sens que dans l'autre.
Ce démon créerai ainsi une dissymétrie dans la répartition des molécules et serait donc capable de vider une boite pour remplir l'autre.

Ce démon sait discriminer l'état exact du système car il fonctionne au niveau microscopique des molécules. La résolution d'un tel paradoxe est que le démon de Maxwell ne peut exister. Dans le cas de la physique thermodynamique c'est bien le cas, mais on peut très bien imaginer pour des systèmes beaucoup moins complexes des capacités de perceptions différentes comme dans l'exemple du bureau.

A cause de ce qui précède, en thermodynamique on néglige l'aspect "capacité de perception de l'information" et on se concentre essentiellement sur la quantité d'information. Mais il s'agit bien d'une approximation.

Cette approximation n'est plus valable si l'on a affaire à un système qui peut présenter des divergences de perception pour des êtres humains.

Et les systèmes informatiques sont bien un exemple de tels systèmes.

La notion d'entropie est apparu autour du contexte particulier d'un système physique qui dissipe de l'énergie pour atteindre l'équilibre thermodynamique où l'entropie est à son maximum.

Par exemple une enceinte isolée thermiquement de l'extérieur contenant deux compartiment de taille égale, en contact, remplit d'eau où la température de l'eau est de 0° pour un compartiment et 100° pour l'autre évoluera naturellement en vertu du deuxième principe de la thermodynamique vers une situation où la température dans les deux réservoirs est 50°.
Ce dernier état est stable et si aucune énergie extérieure n'intervient il n'y aura aucune évolution du système (si on considère le système parfaitement stérile d'un point de vue biologique car la vie pourrait exploiter l'énergie thermique contenu dans l'enceinte pour organiser la matière).

Dans les années 1960 Ilya Prigogine qui recevra en 1977 le prix Nobel pour ces travaux, s'intéresse à ce qui se passe pour un système lorsqu'il est maintenu en permanence loin de l'état d'équilibre thermodynamique par un flux permanent d'énergie.

Il observe alors que la dissipation d'énergie provoque l'apparition d'un ordre dans la matière ce qu'il nommera les structures dissipatives.

Les structures dissipatives sont des structures naturelles qui possèdent la propriété d'auto-organisation:

"L'auto-organisation est un phénomène de mise en ordre croissant, et allant en sens inverse de l'augmentation de l'entropie (ou désordre , symbole S) ; au prix d'une dissipation d'énergie qui servira à maintenir cette structure.

C'est une tendance, tant au niveau des processus physiques ou des organismes vivants, que des systèmes sociaux, à s'organiser d'eux-mêmes ; on parle aussi d'auto-assemblage.

Passé un seuil critique de complexité, les systèmes peuvent changer d'état, ou passer d'une phase instable à une phase stable. "

La loi fondamentale de tels systèmes se résume en une équation simple d²S=0 établie par le prix nobel de physique Ilya Prigogine qui signifie qu'un système qui s'auto-organise évolue en créant un minimum de désordre au fur et à mesure que sa complexité augmente.

Pour un organisme vivant le non-respect de cette loi se traduit par un retour à l'équilibre thermodynamique ce qui est pour lui la mort.

La longévité d'un système informatique dépend essentiellement de sa capacité à répondre au besoin et donc à évoluer en même temps que celui-ci.

Si le système devient trop coûteux à maintenir en rapport avec les nouveaux services qu'il rendra alors son existence est challengée et il ne tarde pas à être remplacé par un système plus performant.

L'équation est simple: si le coût de maintenance devient en rapport avec le coût de remplacement, on choisit de le remplacer.

De manière plus atomique, on peut dire que si pour rechercher une information on dépense autant d'énergie qu'il en faut pour la reconstruire alors c'est que l'on a perdu cette information.

Lorsque les systèmes informatiques grandissent, s'il ne respectent pas la loi de création du minimum d'entropie (pour simplifier de redondance) leur complexité augmentant ils deviennent plus difficile à maintenir et finissent par disparaitre ce qui est l'équivalent du retour à l'équilibre thermodynamique (la structure dissipative disparaît).

2.Entropie informatique

Les systèmes informatiques sont un exemple de telles structures : ils sont dissipatifs puisque de l'énergie (et donc un coût financier) est consommée pour leur établissement et leur maintient.

Si on regarde l'évolution de la science informatique on peut remarquer que la tendance permanente est de réduire la redondance. On peut citer les évolutions de l'informatique qui vont dans ce sens:

2.1.. diminution de la redondance  informatique

2.2.Exemple d'entropie d'ergonomie informatique

Exemple d'entropie dans l'ergonomie informatique:

Considérez le panneau de configuration Windows. Celui-ci est entaché d'une entropie ergonomique importante car les icônes sont traditionnellement présentés sans ordre dans une surface rectangulaire.
Si on ne sait pas exactement où est positionnée l'icône que l'on recherche, on va dépensé (dégrader) une certaine énergie à la retrouver: plus de mouvement des yeux, plus de temps de regard (activité rétinienne), plus de processus de pensée oculaire, au final plus de consommation d'ATP (Adénosine triphosphate) et de potentiel ionique.

Un effort a été fait de classer par catégorie mais ce n'est pas probant car cela crée un niveau de perception supplémentaire (on s'éloigne du détail) et les catégories représentent alors plusieurs états possibles de l'objet recherché: on a de l'indiscernabilité.

Il y a bien un tri alphabétique sur la première lettre du libellé de l'icône mais celui-ci n'est pas forcément représentatif de la fonction que l'on recherche qui peut être redondant (par exemple "Centre de ...").

L'accés même au Panneau de configuration windows change lui-même suivant les versions ! Si vous changez de version ou travaillez avec plusieurs versions (votre poste personnel, des serveurs windows sur lesquel vous vous connectez ...) c'est par nature perburbant: confusion et perte de temps.