entropie et informatique de entropie_und_informatik_von_txh_som

Entropie und informatik txh

zurück zur Startseite der Website

version verfügbar in : en it ru zh es ja nl pt fr

Erstellungsdatum : 20240703- Aktualisierungsdatum : 20240703- Generierungsdatum : 20240703_113950

1.Entropie und Informatik

L'entropie de (oder Unordnung) misst die Fähigkeit eines geschlossenen Systems, sich weiterzuentwickeln.

Wenn die Entropie niedrig ist (geordnetes System) das System kann sich weiterentwickeln Mit zunehmender Entwicklung steigt die Entropie und das System ist weniger fähig, sich weiterzuentwickeln.

Energie zu verbrauchen bedeutet eigentlich, die Entropie zu erhöhen, da man aufgrund des Energieerhaltungssatzes, der der erste Grundsatz der Thermodynamik ist, niemals Energie verbraucht..

Wenn Energie dissipiert oder abgebaut wird, erhöht sich ihre Entropie (das ist der zweite Hauptsatz der Thermodynamik) .

Die Entropie ist ein Begriff, der ursprünglich in der makroskopischen Thermodynamik von Clausius eingeführt wurde und dessen Bedeutung viel später in der statistischen Mechanik von Boltzmann geklärt wurde.

Das zweite Prinzip der Thermodynamik besagt, dass die Entropie nur wachsen oder im Extremfall konstant bleiben kann..

Entropie ist ein Begriff aus der Physik, der mit der genauen Messung der Begriffe Ordnung oder Unordnung verbunden ist..

Ordnung und Unordnung sind von grundlegender Bedeutung in der Physik, die sich mit den Gesetzen der Funktionsweise in einem physikalischen System befasst, das aus einer sehr großen Anzahl von Einheiten besteht. (ein Gas und seine Moleküle zum Beispiel) .

Diese Physik nennt man Thermodynamik.

Große Zahlen bringen neue Eigenschaften, neue Konzepte, neue Realitäten und Erfahrungen hervor..

Die Entropie wurde dann neu definiert durch Shannon

im Rahmen der Informationstheorie, in der die Entropie mit der Menge an Information identifiziert wird.

Die Informationstheorie ist die Grundlage der Informatik.

Entropie und Information sind ein und derselbe Begriff.

Denn je komplexer ein System ist, desto größer ist seine Entropie und desto mehr Informationen werden benötigt, um es zu beschreiben..

Zum Beispiel wird die gleiche Menge an Materie in Gasform oder in Kristallform nicht mit der gleichen Menge an Informationen beschrieben..

Wenn der Kristall perfekt ist (ohne Lücken, Versetzungen etc..

Shannon nweb) dann genügt es, die Position eines Atoms im Kristall und die Struktur des Kristallgitters anzugeben, um zu wissen, wo sich alle Atome im Kristall befinden.

Man braucht also nur sehr wenige Informationen, um das System zu beschreiben..

In einem solchen System ist die Entropie sehr gering.

Im Gegensatz dazu gibt es bei Gas keine Bindung zwischen den Atomen.-Diese müssen einzeln beschrieben werden, wenn man den genauen Zustand des Systems kennen will.. Die Informationsmenge ist hier enorm und hängt mit der Avogadro-Zahl zusammen 6.

022 10^23 und die Entropie ist sehr groß.

Später wurde gezeigt, dass Shannons Definition und die der Thermodynamik gleichwertig sind.

Um das Bild zu vervollständigen, nur als Anmerkung, sei erwähnt, dass nach den Arbeiten der Physiker Bekenstein und Hawking eine neue Form der Entropie in der Dynamik schwarzer Löcher aufgetaucht ist.

Diese Entropie führte zu T'hoofts holographischem Prinzip.

Die kleinste Einheit physikalischer Information ist eine Fläche von der Größe der Planck-Länge zum Quadrat.

Die Planck-Länge ist die kleinste physikalische Länge, unterhalb derer der Begriff der Länge seine Bedeutung verliert. (Quantenunsicherheit) .

In der Entropie gibt es zwei Begriffe, die sich tendenziell aufheben, denn die Entropie ist der Logarithmus eines Verhältnisses zwischen zwei Begriffen, die einander entgegenstehen: Die Wahrnehmungsfähigkeit des Beobachters und die Komplexität des wahrgenommenen Systems.

  • Die Komplexität des Systems wird durch die Menge dessen, was es wahrzunehmen gibt, übersetzt und ist die Anzahl der möglichen Zustände für ein System (äquiwahrscheinliche Zustände) .

  • die Wahrnehmungsfähigkeit ist die Auflösung unserer Wahrnehmung, die Genauigkeit unserer Beobachtung.

    Seine Endlichkeit sorgt für eine relative Ununterscheidbarkeit zwischen Zuständen, ... nicht zu unterschiedlich.

    Je größer die Anzahl der nicht unterscheidbaren Zustände ist, desto größer ist die Unordnung, wir können den tatsächlichen Zustand nicht "auflösen", da unsere Wahrnehmungsfähigkeit begrenzt ist..

    Je größer unsere Wahrnehmungsfähigkeit ist, desto besser können wir die möglichen Zustände des Systems diskriminieren..

    Wir werden also mehr "Informationen" über das System haben und es organisierter betrachten..

    Die Ordnung des Systems ist also abhängig von demjenigen, der es beobachtet.

    Betrachten wir ein einfaches Beispiel, ein Büro.

    Die Person, die an diesem Schreibtisch arbeitet, verfügt über ein bestimmtes Maß an Informationen über den Zustand ihres Schreibtisches..

    Sein Büro kann durch eine Reihe von Kästen modelliert werden, die es ermöglichen, ein Objekt zu lokalisieren..

    Gegenstände werden in Schachteln aufbewahrt.

    Wenn es N Schachteln und N Objekte mit einem Objekt pro Schachtel gibt, dann gibt es N! (Faktorielle von N) mögliche Zustände des Systems, wobei jedes Objekt jede der Boxen besetzen kann.

    Um das erste Objekt zu ordnen, gibt es N mögliche Schachteln, aber für das zweite Objekt N-1 Schachteln etc..

    Die Anzahl der Möglichkeiten, die N Objekte in den N Boxen zu verstauen, ist also N * N-1 * N-2 * .... * 2 * 1 = N! d. h. die Fakultät von N.

    Betrachten wir einen bestimmten Zustand, in dem der Schreibtisch aufgeräumt ist.

    Angenommen, die Person kennt den Zustand des Schreibtisches genau, d. h. sie weiß, wo sie jeden Gegenstand durch direkten Zugriff auf die Box, in der er enthalten ist, finden kann..

    Dann kann man in diesem Fall sagen, dass für diese Person der Schreibtisch völlig aufgeräumt ist, die Ordnung perfekt ist und somit die Unordnung (oder Entropie) Null.

    Angenommen, eine andere Person hat weniger Wissen über den Zustand des Büros.

    Diese Person weiß " ungefähr", wo sich ein Gegenstand befindet, muss aber mehrere Versuche unternehmen, um einen bestimmten Gegenstand tatsächlich zu finden..

    Das heißt, sie muss ein wenig Energie aufwenden (Energie abbauen) und Zeit, um "die fehlenden Informationen zusammenzustellen"..

    Wenn sie mit zwei oder drei Versuchen einen bestimmten Gegenstand wiederfinden kann.

    Man kann sagen, dass sie den Zustand des Systems nicht perfekt kennt oder dass für sie das System leicht ungeordnet ist..

    Für diese Person ist die Unordnung oder Entropie nicht null.

    Nehmen wir eine dritte Person an, die völlig fremd in diesem Büro ist und daher keine Informationen über dessen Zustand hat.

    Um einen Gegenstand zu finden, muss diese Person nacheinander alle Schachteln öffnen, bis sie den gesuchten Gegenstand findet..

    Für diese Person ist die Unordnung oder Entropie maximal.

    Die Entropie ist dann gegeben durch die Faktorielle von N, N! die eine gute Darstellung der Komplexität des Systems ist, d. h. der Komplexität, das System zu begreifen.

    Die Faktorielle wird so konstruiert, bei der ersten Wahl einer Box (Auflage) gibt es N Möglichkeiten, bei der zweiten gibt es N-1 Möglichkeit, im dritten N-2 usw..

    Die Komplexität des Systems kann also gut durch die Zahl N * dargestellt werden. (N-1) * (N-2) .... 3 * 2 * 1, was genau die Fakultät von N ist.

    Und auch in diesem Beispiel wird angenommen, dass der Beobachter intelligent genug ist, um sich Folgendes merken zu können (ihre Erfahrungen mit dem System kapitalisieren) und nicht in einer Schachtel suchen, die er bereits geöffnet hat und die den gesuchten Gegenstand nicht enthielt.

    Andernfalls würde die Komplexität des Systems vom Beobachter als viel größer wahrgenommen werden.

    Man könnte sagen, dass das komplette System : beobachtende System wäre in einem Zustand der Verwirrung.

    Beispiel für Entropie in der Computerergonomie: Betrachten Sie die Windows-Systemsteuerung.

    Der-ci ist mit einer erheblichen ergonomischen Entropie behaftet, da die Symbole traditionell in einer rechteckigen Fläche ohne erkennbare Ordnung dargestellt werden..

    Wenn wir nicht genau wissen, wo das gesuchte Symbol positioniert ist, werden wir ausgeben (degradieren) eine gewisse Energie, um sie zu finden: mehr Augenbewegungen, mehr Blickzeit (Netzhautaktivität) Das bedeutet, dass mehr ATP verbraucht wird.(Adenosintriphosphat: das Energiemolekül) und dem Ionenpotential.

    Es wurde versucht, nach Kategorien zu klassifizieren, aber das ist nicht ganz überzeugend, da es eine zusätzliche Wahrnehmungsebene schafft (man entfernt sich vom Detail) und die Kategorien stehen dann für mehrere mögliche Zustände des gesuchten Objekts: wir haben Ununterscheidbarkeit.

    Eine alphabetische Sortierung unter Verwendung eines Schlüsselbuchstabens aus dem Namen des gesuchten Objekts würde die Organisation effektiver im Gedächtnis behalten und auch ihre Beständigkeit über alle nachfolgenden Versionen hinweg sicherstellen. (das Gedächtnis macht die Zeit weniger zerstörerisch) .

    Aber das ist auch nach über zwanzig Jahren nicht verfügbar.

    Um genau zu sein, wird die Entropie mit dem mathematischen Logarithmus der Fakultät verbunden.

    S = Protokoll (N!Shannon nweb) Dies aufgrund der Eigenschaft des logarithmus_von : "Der Logarithmus eines Produkts ist die Summe der Logarithmen der beiden Faktoren des Produkts..

    " In mathematischen Formeln ausgedrückt heißt es: Log( a * b ) = Log(a) Log(b) Wenn man die Größe eines Systems M verdoppelt = N * 2, man nimmt zum Beispiel zwei Büros, dann addieren sich die Entropien arithmetisch. (die physikalische Entropie wird als extensive Eigenschaft des Systems bezeichnet) aber die Komplexität nimmt faktoriell zu.

    Der Logarithmus stellt eine Verbindung zwischen dem faktoriellen Begriff der Vollständigkeit eines Systems und der Entropie her, die eine extensive physikalische Größe ist und daher additativ ist..

    Modell_der_Urnen_von_Ehrenfest

    Formel_de_Boltzmann

    Das Beispiel des Büros zeigt, dass die Person, sobald sie anfängt, Kisten zu öffnen, d. h. mit dem System zu interagieren, Informationen über das System erlangt.-die sie sich dann merken kann.

    Infolgedessen wird sich die Entropie des Systems für sie ändern, aber sie muss an anderer Stelle Energie abbauen, um die Entropie zu verringern..

    Es handelt sich also um eine Entropieverschiebung, denn in dem als geschlossen betrachteten Gesamtsystem kann die Entropie nur zunehmen. (das ist der zweite Hauptsatz der Thermodynamik) .

    In physikalischen Systemen wie Gasen sind Beobachter, die Wesen sind, die durch eine bestimmte Art von Wahrnehmungsorganen gekennzeichnet sind (Menschen zum Beispiel) keine Diskrepanz in Bezug auf ihre Wahrnehmungsfähigkeit aufweisen.

    Das verleiht den Gesetzen der Thermodynamik ihre Objektivität.

    Es gibt eine Illustration dazu durch das Paradoxon von Maxwells "Dämon"..

    Maxwell stellte sich das folgende Experiment vor: zwei Schachteln werden aneinandergelegt, wobei eine Kommunikation zwischen ihnen möglich ist.

    Zu Beginn ist die Kommunikation geschlossen und eine der Dosen ist mit einem Gas gefüllt, während die andere leer ist..

    Wenn wir die Verbindung öffnen, fließen Moleküle hindurch und finden sich in der anderen Schachtel wieder..

    Die statistische Thermodynamik sagt uns, dass der wahrscheinlichste Zustand für dieses System der ist, in dem sich in beiden Kompartimenten ungefähr die gleiche Anzahl an Molekülen befindet.

    Es handelt sich um den thermodynamischen Gleichgewichtszustand.

    Die Moleküle sind keiner Kraft ausgesetzt, die sie in die zweite Box treibt..

    Ein Molekül kann genauso leicht von der ersten Box in die zweite übergehen wie umgekehrt und das passiert auch jederzeit.

    Dies ist übrigens auch der Grund dafür, dass sich die Moleküle gleichmäßig auf die beiden Kompartimente verteilen.

    Wenn sich zu einem bestimmten Zeitpunkt mehr Moleküle in einem Fach befinden, dann wird die Wahrscheinlichkeit, dass die Moleküle in die andere Box gehen, ebenfalls größer, wodurch das Gleichgewicht entsteht..

    Das Maxwell-Dämonenparadoxon ist die Idee, dass ein kleiner, extrem schneller Dämon die Fähigkeit hat, die Verbindung zu schließen und sie erst dann wieder zu öffnen, wenn mehr Moleküle in die eine Richtung als in die andere übertreten..

    Dieser Dämon würde also eine Asymmetrie in der Verteilung der Moleküle erzeugen und wäre somit in der Lage, eine Box zu leeren, um die andere zu füllen..

    Dieser Dämon kann den genauen Zustand des Systems diskriminieren, da er auf der mikroskopischen Ebene der Moleküle arbeitet..

    Die Auflösung eines solchen Paradoxons ist, dass der Maxwellsche Dämon nicht existieren kann.

    Im Fall der thermodynamischen Physik ist dies der Fall, aber man kann sich für weitaus weniger komplexe Systeme sehr wohl andere Wahrnehmungsfähigkeiten vorstellen, wie im Beispiel des Büros.

    Aufgrund dessen vernachlässigt man in der Thermodynamik den Aspekt "Informationsaufnahmefähigkeit" und konzentriert sich hauptsächlich auf die Menge der Information.

    Es handelt sich jedoch um eine Annäherung.

    Diese Annäherung ist nicht mehr gültig, wenn man es mit einem System zu tun hat, das für Menschen abweichend wahrgenommen werden kann.

    Und Computersysteme sind durchaus ein Beispiel für solche Systeme.

    Der Begriff der Entropie entstand im Zusammenhang mit einem physikalischen System, das Energie abgibt, um das thermodynamische Gleichgewicht zu erreichen, in dem die Entropie am größten ist..

    Ein von außen thermisch isolierter Raum mit zwei gleich großen, sich berührenden, mit Wasser gefüllten Kammern, in denen die Wassertemperatur in der einen Kammer 0° und in der anderen 100° beträgt, entwickelt sich nach dem zweiten Hauptsatz der Thermodynamik auf natürliche Weise zu einer Situation, in der die Temperatur in beiden Kammern 50° beträgt..

    Dieser letzte Zustand ist stabil und wenn keine äußere Energie eingreift, gibt es keine Entwicklung des Systems. (wenn wir das System aus biologischer Sicht als vollkommen steril betrachten, da das Leben die in der Kammer enthaltene Wärmeenergie nutzen könnte, um die Materie zu organisieren) .

    In den 1960er Jahren beschäftigte sich Ilya Prigogine, der 1977 für diese Arbeit den Nobelpreis erhielt, mit der Frage, was mit einem System geschieht, wenn es durch einen ständigen Energiefluss dauerhaft vom thermodynamischen Gleichgewicht ferngehalten wird.

    Er beobachtete, dass die Dissipation von Energie eine Ordnung in der Materie hervorruft, die er dissipative Strukturen nannte..

    Dissipative Strukturen sind natürliche Strukturen, die die Eigenschaft besitzen, sich selbst zu verteilen.-Organisation: "Das Auto-Organisation ist ein Phänomen zunehmender Ordnung, das gegenläufig zum Anstieg der Entropie verläuft. (oder Unordnung , Symbol S) ; auf Kosten einer Energiedissipation, die dazu dient, diese Struktur aufrechtzuerhalten.

    Es ist eine Tendenz, sowohl bei physikalischen Prozessen oder lebenden Organismen als auch bei sozialen Systemen, sich selbst zu organisieren-dieselben ; man spricht auch von Auto-Zusammenstellung.

    Nach Erreichen einer kritischen Komplexitätsschwelle können Systeme ihren Zustand ändern oder von einer instabilen in eine stabile Phase übergehen..

    " Das Grundgesetz solcher Systeme lässt sich in einer einfachen Gleichung d²S zusammenfassen.=0, die vom Physiknobelpreisträger Ilya Prigogine aufgestellt wurde und besagt, dass ein System, das sich selbst-organisiert entwickelt sich weiter, indem sie mit zunehmender Komplexität ein Minimum an Unordnung schafft.

    Für einen lebenden Organismus das Nein-Die Einhaltung dieses Gesetzes führt zu einer Rückkehr zum thermodynamischen Gleichgewicht, was für ihn den Tod bedeutet..

    Die Langlebigkeit eines Computersystems hängt in erster Linie davon ab, ob es in der Lage ist, den Bedarf zu decken und sich somit mit dem Bedarf weiterzuentwickeln.-ci.

    Wenn die Aufrechterhaltung des Systems im Verhältnis zu den neuen Dienstleistungen, die es erbringen wird, zu teuer wird, dann wird seine Existenz herausgefordert und es dauert nicht lange, bis es durch ein besseres System ersetzt wird..

    Die Gleichung ist einfach: wenn die Wartungskosten in Relation zu den Kosten für den Ersatz werden, wird der Ersatz gewählt.

    Auf atomarer Ebene könnte man sagen: Wenn man für die Suche nach einer Information so viel Energie aufwendet, wie man für die Rekonstruktion der Information benötigt, dann hat man diese Information verloren..

    Wenn Computersysteme wachsen und sich nicht an das Gesetz zur Schaffung des Entropieminimums halten. (zur Vereinfachung von Redundanz) Mit zunehmender Komplexität wird es schwieriger, sie aufrechtzuerhalten, und sie verschwinden schließlich, was der Rückkehr zum thermodynamischen Gleichgewicht entspricht. (die dissipative Struktur verschwindet) .

    2.Computerentropie

    Computersysteme sind ein Beispiel für solche Strukturen : sie sind dissipativ, da Energie (und damit finanzielle Kosten) für ihre Einrichtung und Aufrechterhaltung verbraucht wird.

    Wenn man sich die Entwicklung der Computerwissenschaft ansieht, kann man feststellen, dass der ständige Trend darin besteht, die Redundanz zu verringern.

    Man kann Entwicklungen im Bereich der Informatik nennen, die in diese Richtung gehen:

    2.1.Verringerung der Redundanz in der Informatik

  • Kontroll- und Datenstruktur in L3Gs (Sprachen der dritten Generation)
  • wiederverwendbare Funktionsbausteinbibliotheken
  • Objektsprachen: Vererbung, Generizität, Abstraktion.

  • Namensräume, Isolierung, mit der Redundanz organisiert werden kann (kontext) .

  • Entwicklung von Datenbankverwaltungssystemen, hierarchisch, Netzwerk bis hin zum Codd-Modell der relationalen Datenbanken und neuere Entwicklungen bei Objektdatenbanken.

  • weniger grundlegend, aber sehr nützlich: Präprozessoren (Makro-Definition, Makro-Funktion, umfassen) , L4G (Fachsprache für hochrangige Objekte, die durch den Objektansatz weniger nützlich geworden ist) , Anwendungseinstellungen (die eine Form der Generizität ist) .

  • Hypertext an sich ein Mittel ist, um die Redundanz in einem Text zu reduzieren, denn durch durch eine starke Anreicherung des Textes mit Links die Tendenz zur Wiederholung verringert wird.

    2.2.Beispiel für ergonomische Entropie in der Informatik

    Beispiel für Entropie in der Computerergonomie: Betrachten Sie die Windows-Systemsteuerung.

    Der-Dies ist mit einer erheblichen ergonomischen Entropie behaftet, da die Symbole traditionell ohne Ordnung auf einer rechteckigen Fläche dargestellt werden..

    Wenn wir nicht genau wissen, wo das gesuchte Symbol positioniert ist, werden wir ausgeben (degradieren) eine gewisse Energie, um sie zu finden: mehr Augenbewegungen, mehr Blickzeit (Netzhautaktivität) Das bedeutet, dass mehr ATP verbraucht wird. (Adenosintriphosphat) und dem Ionenpotential.

    Es wurde versucht, nach Kategorien zu klassifizieren, aber das ist nicht überzeugend, da es eine zusätzliche Wahrnehmungsebene schafft (man entfernt sich vom Detail) und die Kategorien stehen dann für mehrere mögliche Zustände des gesuchten Objekts: wir haben Ununterscheidbarkeit.

    Es gibt zwar eine alphabetische Sortierung nach dem ersten Buchstaben der Beschriftung des Symbols, aber die-Dies ist nicht unbedingt repräsentativ für die gesuchte Funktion und kann überflüssig sein. (zum Beispiel "Zentrum für ...") .

    Der Zugriff auf die Windows-Systemsteuerung selbst ändert sich.-je nach Version gleich ! Wenn Sie die Version wechseln oder mit mehreren Versionen arbeiten (Ihren persönlichen Computer, Windows-Server, auf die Sie sich einloggen ...Beispiel für die Entropie der Computerergonomie) es ist von Natur aus verwirrend: Verwirrung und Zeitverlust.

  • Die Langlebigkeit eines Computersystems hängt in erster Linie davon ab, ob es in der Lage ist, den Bedarf zu decken und sich somit mit dem Bedarf weiterzuentwickeln.-ci.

  • Wenn die Aufrechterhaltung des Systems im Verhältnis zu den neuen Dienstleistungen, die es erbringen wird, zu teuer wird, dann wird seine Existenz herausgefordert und es dauert nicht lange, bis es durch ein besseres System ersetzt wird..

  • die Gleichung ist einfach: wenn die Wartungskosten in einem Verhältnis zu den Kosten für den Ersatz stehen, wird der Ersatz gewählt.

  • Atomar kann man sagen: Wenn man für die Suche nach einer Information so viel Energie aufwendet, wie man für die Rekonstruktion der Information benötigt, dann hat man diese Information verloren..

  • wenn Computersysteme wachsen, wenn sie sich nicht an das Gesetz zur Schaffung des Entropieminimums halten (zur Vereinfachung von Redundanz) Mit zunehmender Komplexität wird es schwieriger, sie aufrechtzuerhalten, und sie verschwinden schließlich, was der Rückkehr zum thermodynamischen Gleichgewicht entspricht. (die dissipative Struktur verschwindet) .