entropie et informatique

Document entropie et informatique 

Retour à l'accueil du site

version disponible en : en it ru zh es ja de nl pt

crée le : 20240703- mis à jour le : 20240703- généré le: 20240703_113950

1.Entropie et informatique

L'entropie (ou désordre) mesure la capacité d'un système fermé à évoluer.
Si l'entropie est basse (système ordonné) le système peut évoluer Au fur et à mesure de son évolution l'entropie augmente et le système est moins capable d'évoluer.

Consommer de l'énergie est en fait augmenter l'entropie car on ne consomme jamais de l'énergie à cause de la loi de conservation de l'énergie qui est le premier principe de la thermodynamique.

Lorsque l'énergie est dissipée ou dégradée son entropie augmente (c'est le seconde principe de la thermodynamique).

L'entropie est une notion introduite initialement en thermodynamique macroscopique par Clausius et dont la signification a été clarifiée bien plus tard en mécanique statistique par Boltzmann.

Le second principe de la thermodynamique dit que l'entropie ne peut que croitre ou à la limite rester constante.
L'entropie est un concept de physique lié à la mesure précise des notions d'ordre ou de désordre. L'ordre et le désordre sont d'une importance fondamentale dans la physique qui s'occupe des lois de fonctionnement dans un système physique composé d'un très grand nombre d'entité (un gaz et ses molécules par exemple). Cette physique s'appelle la thermodynamique.
Les grand nombres font apparaitre de nouvelles propriétés, de nouveaux concepts, de nouvelles réalités et expériences.

L'entropie a ensuite été redéfinie par Shannon dans le cadre de la théorie de l'information où l'entropie est identifié à la quantité d'information.

La théorie de l'information est à la base de l'informatique.

L'entropie et l'information sont une seule et même notion.

En effet plus un système est complexe plus son entropie est grande et plus il faut d'information pour le décrire.

Par exemple une même quantité de matière sous forme de gaz ou sous forme de cristal ne sont pas décrites avec la même quantité d'information. Si le cristal est parfait (sans lacune, ni dislocation, etc.) alors il suffit de préciser la position d'un atome du cristal et la structure de la maille cristalline pour savoir où se trouve tous les atomes du cristal. On a donc besoin que de très peu d'information pour décrire le système.

Dans un tel système l'entropie est très faible.

Par contre pour le gaz comme il n'y a pas de liaison entre les atomes ceux-ci doivent être décris individuellement si on veut connaitre l'état exact du système.

La quantité d'information y est énorme liée au nombre d'Avogadro 6.022 10^23 et l'entropie est très grande.

Il a ensuite été démontré que la définition de Shannon et celle de la thermodynamique étaient équivalentes.

Pour compléter le tableau, juste à titre de remarque, il faut mentionner que suite aux travaux des physiciens Bekenstein et Hawking une nouvelle forme d'entropie est apparue dans la dynamique des trous noirs.
Cette entropie à conduit au principe holographique de T'hooft.
L'unité la plus petite d'information physique est une surface de la taille de la longueur de Planck au carré.
La longueur de Planck est la plus petite longueur physique en deçà de laquelle la notion de longueur perd son sens (incertitude quantique).

Dans l'entropie il y a deux termes qui tendent à s'annuler, car l'entropie est le logarithme d'un rapport entre deux notions qui s'opposent:

La capacité de perception de l'observateur et la complexité du système perçu.

  • La complexité du système est traduite par la quantité de ce qu'il y a à percevoir et c'est le nombre d'états possibles pour un système (états équiprobables).

  • la capacité de perception est la résolution de notre perception, la précision de notre observation. Sa finitude assure une relative indiscernabilité entre des états, ... pas trop différents.

    Plus le nombre d'états indiscernable est grand, plus le désordre sera grand, on ne saura pas "résoudre" l'état réel puisque notre capacité de perception est limitée.

    Plus notre capacité de perception sera grande, plus nous pourrons discriminer les états possibles du système. Nous aurons donc plus "d'information" sur le système et nous le considérerons plus organisé.

    L'ordre du système est donc dépendant de celui qui l'observe.

    Considérons un exemple simple, un bureau. La personne qui travaille sur ce bureau possède un niveau donné d'information sur l'état de son bureau.
    Son bureau peut être modélisé par un ensemble de boite permettant de localiser un objet. Les objets sont rangés dans des boites. S'il y a N boites et N objets avec un objet par boite, il y a alors N! (factorielle de N) états possibles pour le système, chaque objet pouvant occuper chacune des boites.

    En effet pour ranger le premier objet on a N boites possibles mais pour le deuxième N-1 boites etc. Donc le nombre de choix de rangement des N Objets dans les N Boites est N * N-1 * N-2 * .... * 2 * 1 = N! c'est à dire la factorielle de N.
    Considérons un état particulier de rangement du bureau. Supposons que la personne connaisse parfaitement l'état du bureau, c'est à dire qu'elle sait ou trouver chaque objet par un accès direct à la boite qui le contient.
    Alors dans ce cas on peut dire que pour cette personne le bureau est totalement rangé, l'ordre est parfait et donc le désordre (ou entropie) nul.

    Supposons qu'une autre personne ait une connaissance moindre de l'état du bureau. Cette personne sait "à peu prés" où se trouve un objet mais devra faire plusieurs tentatives pour retrouver effectivement un objet donné.
    C'est à dire qu'elle devra dépenser un peu d'énergie (dégrader de l'énergie) et de temps pour "reconstituer" l'information qui lui manque.
    Si en deux ou trois essais elle sait retrouver un objet donné.
    On peut dire qu'elle n'a pas une connaissance parfaite de l'état du système ou que pour elle le système est légèrement désordonné.
    Pour cette personne, le désordre ou entropie n'est pas nul.

    Supposons une troisième personne totalement étrangère à ce bureau et donc ne possédant aucune information sur son état. Pour trouver un objet cette personne devra ouvrir successivement toutes les boites jusqu'à ce qu'elle trouve l'objet cherché. Pour cette personne le désordre ou entropie est maximum. L'entropie est alors donnée par la factorielle de N, N! qui est une bonne représentation de la complexité du système, c'est à dire de la complexité à appréhender le système.
    La factorielle se construit ainsi, au premier choix d'une boite (tirage) il y a N possibilité, au deuxième il y a N-1 possibilité, au troisième N-2 etc. Donc la complexité du système peut bien être représenté par le nombre N * (N-1) * (N-2) .... 3 * 2 * 1 qui est précisément la factorielle de N.

    Et encore dans cet exemple on suppose que l'observateur est suffisamment intelligent pour pouvoir mémoriser (capitaliser son expérience du système) et ne pas rechercher dans une boite qu'il a déjà ouverte et qui ne contenait pas l'objet recherché. Sinon la complexité du système serait perçu par l'observateur comme beaucoup plus grande. On pourrait dire que le système complet : système+observateur serait dans un état de confusion.

    Exemple d'entropie dans l'ergonomie informatique:

    Considérez le panneau de configuration Windows. Celui-ci est entaché d'une entropie ergonomique importante car les icônes sont traditionnellement présentés sans ordre évident dans une surface rectangulaire.
    Si on ne sait pas exactement où est positionnée l'icône que l'on recherche, on va dépenser (dégrader) une certaine énergie à la retrouver: plus de mouvement des yeux, plus de temps de regard (activité rétinienne), plus de processus de pensée oculaire, au final plus de consommation d'ATP (adénosine triphosphate: la molécule de l'énergie) et de potentiel ionique.

    Un effort a été fait de classer par catégorie mais ce n'est pas totalement probant car cela crée un niveau de perception supplémentaire (on s'éloigne du détail) et les catégories représentent alors plusieurs états possibles de l'objet recherché: on a de l'indiscernabilité.

    Le tri alphabétique en utilisant une lettre clé du nom de l'objet recherché permettrait de mémoriser plus efficacement l'organisation et aussi sa pérennité à travers toutes les versions successives (la mémoire rend le temps moins destructif).
    Mais ce n'est pas disponible même après plus d'une vingtaine d'années d'existence du produit.
    Pour être exact, l'entropie est associée au logarithme mathématique de la factorielle.

    S = log (N!)

    Ceci à cause de la propriété du logarithme :

    "Le logarithme d'un produit est la somme des logarithmes des deux facteurs du produit."

    En terme de formules mathématique on a:

    Log( a * b ) = Log(a) + Log(b)

    Si l'on double la taille d'un système M = N * 2, on prend deux bureaux par exemple alors les entropies s'ajoute arithmétiquement (l'entropie physique est dite une propriété extensive du système) mais la complexité augmente factoriellement.

    Le logarithme fait le lien entre la notion factorielle de compléxité d'un système et l'entropie qui est une grandeur physique extensive donc addittive.

      Modèle_des_urnes_d_nweb

      Formule_de_Boltzmann

    On peut remarquer dans l'exemple du bureau que dés que la personne se met à ouvrir des boites, c'est à dire a interagir avec le système, elle va acquérir de l'information sur celui-ci qu'elle pourra alors mémoriser. En conséquence l'entropie du système va évoluer pour elle mais elle aura du dégrader de l'énergie par ailleurs pour pourvoir diminuer cette entropie. Donc c'est un déplacement d'entropie car dans le système global considéré comme fermé l'entropie ne peut qu'augmenter (c'est la deuxième loi de la thermodynamique).

    Dans les systèmes physiques comme les gaz, les observateurs qui sont des êtres caractérisés par un type donné d'organes de perception (les êtres humains par exemple) ne présentent pas de divergence quant à leur capacité de perception.
    C'est ce qui donne aux lois de la thermodynamique leur objectivité.
    Il existe une illustration de ceci à travers le paradoxe du "démon de Maxwell".

    Maxwell imagina l'expérience suivante: deux boites sont accolées l'une contre l'autre avec une communication possible entre elles. Au départ la communication est fermée et une des boites est remplie d'un gaz tandis que l'autre est vide. Si on ouvre la communication, des molécules vont traverser et se retrouver dans l'autre boite. La thermodynamique statistique nous dit que l'état le plus probable pour ce système est celui où il y a à peu près le même nombre de molécules dans les deux compartiments. Il s'agit de l'état d'équilibre thermodynamique.
    Il faut préciser que les molécules ne sont soumises à aucune force les entrainant à passer dans la deuxième boite. Une molécule peut aussi facilement passer de la première boite dans la seconde que le contraire et c'est ce qui se passe à tout instant.

    C'est d'ailleurs ce qui fait que les molécules se répartissent uniformement entre les deux compartiments. Si a un moment donné il y a plus de molécules dans un compartiment alors la probabilité que les molécules aillent dans l'autre boite devient plus grande aussi d'où l'équilibre.

    Le paradoxe du démon de Maxwell est l'idée qu'un petit démon extrêmement rapide aurait la capacité de fermer la communication et choisirai de ne l'ouvrir que lorsque qu'il y a plus de molécules qui se présentent pour traverser dans un sens que dans l'autre.
    Ce démon créerai ainsi une dissymétrie dans la répartition des molécules et serait donc capable de vider une boite pour remplir l'autre.

    Ce démon sait discriminer l'état exact du système car il fonctionne au niveau microscopique des molécules. La résolution d'un tel paradoxe est que le démon de Maxwell ne peut exister. Dans le cas de la physique thermodynamique c'est bien le cas, mais on peut très bien imaginer pour des systèmes beaucoup moins complexes des capacités de perceptions différentes comme dans l'exemple du bureau.

    A cause de ce qui précède, en thermodynamique on néglige l'aspect "capacité de perception de l'information" et on se concentre essentiellement sur la quantité d'information. Mais il s'agit bien d'une approximation.

    Cette approximation n'est plus valable si l'on a affaire à un système qui peut présenter des divergences de perception pour des êtres humains.

    Et les systèmes informatiques sont bien un exemple de tels systèmes.

    La notion d'entropie est apparu autour du contexte particulier d'un système physique qui dissipe de l'énergie pour atteindre l'équilibre thermodynamique où l'entropie est à son maximum.

    Par exemple une enceinte isolée thermiquement de l'extérieur contenant deux compartiment de taille égale, en contact, remplit d'eau où la température de l'eau est de 0° pour un compartiment et 100° pour l'autre évoluera naturellement en vertu du deuxième principe de la thermodynamique vers une situation où la température dans les deux réservoirs est 50°.
    Ce dernier état est stable et si aucune énergie extérieure n'intervient il n'y aura aucune évolution du système (si on considère le système parfaitement stérile d'un point de vue biologique car la vie pourrait exploiter l'énergie thermique contenu dans l'enceinte pour organiser la matière).

    Dans les années 1960 Ilya Prigogine qui recevra en 1977 le prix Nobel pour ces travaux, s'intéresse à ce qui se passe pour un système lorsqu'il est maintenu en permanence loin de l'état d'équilibre thermodynamique par un flux permanent d'énergie.

    Il observe alors que la dissipation d'énergie provoque l'apparition d'un ordre dans la matière ce qu'il nommera les structures dissipatives.

    Les structures dissipatives sont des structures naturelles qui possèdent la propriété d'auto-organisation:

    "L'auto-organisation est un phénomène de mise en ordre croissant, et allant en sens inverse de l'augmentation de l'entropie (ou désordre , symbole S) ; au prix d'une dissipation d'énergie qui servira à maintenir cette structure.

    C'est une tendance, tant au niveau des processus physiques ou des organismes vivants, que des systèmes sociaux, à s'organiser d'eux-mêmes ; on parle aussi d'auto-assemblage.

    Passé un seuil critique de complexité, les systèmes peuvent changer d'état, ou passer d'une phase instable à une phase stable. "

    La loi fondamentale de tels systèmes se résume en une équation simple d²S=0 établie par le prix nobel de physique Ilya Prigogine qui signifie qu'un système qui s'auto-organise évolue en créant un minimum de désordre au fur et à mesure que sa complexité augmente.

    Pour un organisme vivant le non-respect de cette loi se traduit par un retour à l'équilibre thermodynamique ce qui est pour lui la mort.

    La longévité d'un système informatique dépend essentiellement de sa capacité à répondre au besoin et donc à évoluer en même temps que celui-ci.

    Si le système devient trop coûteux à maintenir en rapport avec les nouveaux services qu'il rendra alors son existence est challengée et il ne tarde pas à être remplacé par un système plus performant.

    L'équation est simple: si le coût de maintenance devient en rapport avec le coût de remplacement, on choisit de le remplacer.

    De manière plus atomique, on peut dire que si pour rechercher une information on dépense autant d'énergie qu'il en faut pour la reconstruire alors c'est que l'on a perdu cette information.

    Lorsque les systèmes informatiques grandissent, s'il ne respectent pas la loi de création du minimum d'entropie (pour simplifier de redondance) leur complexité augmentant ils deviennent plus difficile à maintenir et finissent par disparaitre ce qui est l'équivalent du retour à l'équilibre thermodynamique (la structure dissipative disparaît).

    2.Entropie informatique

    Les systèmes informatiques sont un exemple de telles structures : ils sont dissipatifs puisque de l'énergie (et donc un coût financier) est consommée pour leur établissement et leur maintient.

    Si on regarde l'évolution de la science informatique on peut remarquer que la tendance permanente est de réduire la redondance. On peut citer les évolutions de l'informatique qui vont dans ce sens:

    2.1.. diminution de la redondance  informatique

  • structure de contrôle et de données dans les L3G (langages de troisième génération)
  • librairies de modules de fonction réutilisables
  • langages objets: héritage, généricité, abstraction.
  • espaces de noms, isolation qui permettent d'organiser la redondance (contexte).
  • évolution des systèmes de gestion des bases de données, hiérarchique, réseau jusqu'au modèle de Codd des base de données relationnelle et évolution plus récente des bases de données objet.
  • moins fondamentalement mais très utile: préprocesseurs (macro-définition, macro-fonction, include), L4G (langage spécialisé sur des objets de haut niveaux rendu moins utile par l'approche objet), paramétrage des applications (qui est une forme de généricité).
  • l'hypertexte est en soi un moyen de réduire la redondance dans un texte car en enrichissant fortement le texte de liens on diminue la tendance à la répétition.

    2.2.Exemple d'entropie d'ergonomie informatique

    Exemple d'entropie dans l'ergonomie informatique:

    Considérez le panneau de configuration Windows. Celui-ci est entaché d'une entropie ergonomique importante car les icônes sont traditionnellement présentés sans ordre dans une surface rectangulaire.
    Si on ne sait pas exactement où est positionnée l'icône que l'on recherche, on va dépensé (dégrader) une certaine énergie à la retrouver: plus de mouvement des yeux, plus de temps de regard (activité rétinienne), plus de processus de pensée oculaire, au final plus de consommation d'ATP (Adénosine triphosphate) et de potentiel ionique.

    Un effort a été fait de classer par catégorie mais ce n'est pas probant car cela crée un niveau de perception supplémentaire (on s'éloigne du détail) et les catégories représentent alors plusieurs états possibles de l'objet recherché: on a de l'indiscernabilité.

    Il y a bien un tri alphabétique sur la première lettre du libellé de l'icône mais celui-ci n'est pas forcément représentatif de la fonction que l'on recherche qui peut être redondant (par exemple "Centre de ...").

    L'accés même au Panneau de configuration windows change lui-même suivant les versions ! Si vous changez de version ou travaillez avec plusieurs versions (votre poste personnel, des serveurs windows sur lesquel vous vous connectez ...) c'est par nature perburbant: confusion et perte de temps.

  • La longévité d'un système informatique dépend essentiellement de sa capacité à répondre au besoin et donc à évoluer en même temps que celui-ci.

  • Si le système devient trop coûteux à maintenir en rapport avec les nouveaux services qu'il rendra alors son existence est challengée et il ne tarde pas à être remplacé par un système plus performant.

  • l'équation est simple: si le coût de maintenance devient en rapport avec le coût de remplacement, on choisi de le remplacer.

  • de manière plus atomique on peut dire que si pour rechercher une information on dépense autant d'énergie qu'il en faut pour la reconstruire alors c'est que l'on a perdu cette information.

  • lorsque les systèmes informatiques grandissent, s'il ne respectent pas la loi de création du minimum d'entropie (pour simplifier de redondance) leur complexité augmentant ils deviennent plus difficile à maintenir et finissent par disparaître ce qui est l'équivalent du retour à l'équilibre thermodynamique (la structure dissipative disparaît).