entropie et informatique nl entropie_en_rekenen_nl_txh_som

Entropie en het berekenen van txh

terug naar de startpagina

versie beschikbaar in : en it ru zh es ja de pt fr

datum aangemaakt : 20240703- datum van bijwerking : 20240703- généré le: 20240703_113950

1.Entropie en computergebruik

L'. entropie  (of wanorde) meet het vermogen van een gesloten systeem om te evolueren.

Als de entropie laag is (overzichtelijk systeem) het systeem kan evolueren Als het evolueert, neemt de entropie toe en kan het systeem minder goed evolueren.

Door energie te verbruiken neemt de entropie toe, omdat energie nooit verbruikt wordt. Dit komt door de wet van behoud van energie, het eerste principe van de thermodynamica..

Wanneer energie wordt gedissipeerd of afgebroken, neemt de entropie toe (dit is het tweede principe van thermodynamica) .

Entropie is een concept dat voor het eerst in de macroscopische thermodynamica werd geïntroduceerd door Clausius en waarvan de betekenis veel later in de statistische mechanica werd verduidelijkt door Boltzmann..

Het tweede principe van thermodynamica stelt dat entropie alleen kan toenemen of, op de grens, constant kan blijven..

Entropie is een natuurkundig begrip dat gekoppeld is aan de precieze meting van begrippen als orde en wanorde..

Orde en wanorde zijn van fundamenteel belang in de natuurkunde, die zich bezighoudt met de werkingswetten in een fysisch systeem dat bestaat uit een zeer groot aantal entiteiten. (een gas en zijn moleculen, bijvoorbeeld) .

Deze fysica wordt thermodynamica genoemd.

Grote getallen onthullen nieuwe eigenschappen, nieuwe concepten, nieuwe realiteiten en nieuwe ervaringen..

Entropie werd toen opnieuw gedefinieerd door Shannon

in de context van de informatietheorie, waar entropie wordt geïdentificeerd met de hoeveelheid informatie.

Informatietheorie ligt ten grondslag aan computerwetenschap.

Entropie en informatie zijn één en hetzelfde concept.

Hoe complexer een systeem is, hoe groter de entropie en hoe meer informatie er nodig is om het te beschrijven..

Dezelfde hoeveelheid materie in de vorm van een gas of in de vorm van een kristal wordt bijvoorbeeld niet met dezelfde hoeveelheid informatie beschreven..

Als het kristal perfect is (zonder gaten, dislocaties, enz..

Shannon nweb) dan hoef je alleen de positie van één atoom in het kristal op te geven en de structuur van het kristalrooster om te weten waar alle atomen in het kristal zich bevinden..

We hebben dus heel weinig informatie nodig om het systeem te beschrijven.

In zo'n systeem is de entropie erg laag.

In het geval van gas echter, omdat er geen binding is tussen de atomen die-moeten afzonderlijk beschreven worden als we de exacte toestand van het systeem willen weten.. De hoeveelheid informatie is enorm, gekoppeld aan het Avogadro 6-getal..

022 10^23 en de entropie is erg groot.

Toen werd aangetoond dat de definitie van Shannon en die van de thermodynamica gelijkwaardig waren..

Om het plaatje compleet te maken is het de moeite waard om te vermelden dat, na het werk van de natuurkundigen Bekenstein en Hawking, een nieuwe vorm van entropie is verschenen in de dynamica van zwarte gaten..

Deze entropie leidde tot het holografische principe van T'hooft.

De kleinste eenheid van fysieke informatie is een gebied ter grootte van de Planck-lengte in het kwadraat..

De lengte van Planck is de kleinste fysieke lengte waaronder het begrip lengte zijn betekenis verliest. (kwantumonzekerheid) .

In entropie zijn er twee termen die de neiging hebben om elkaar op te heffen, omdat entropie de logaritme is van een verhouding tussen twee tegengestelde concepten: Het vermogen van de waarnemer om waar te nemen en de complexiteit van het waargenomen systeem.

  • De complexiteit van het systeem wordt uitgedrukt door de hoeveelheid van wat er is om waar te nemen, en dit is het aantal mogelijke toestanden voor een systeem. (equiprobeerbare staten) .

  • het vermogen om waar te nemen is de resolutie van onze waarneming, de precisie van onze observatie.

    De eindigheid zorgt voor relatieve ononderscheidbaarheid tussen toestanden, ... niet te verschillend.

    Hoe groter het aantal niet te onderscheiden toestanden, hoe groter de wanorde; we zullen niet in staat zijn om de echte toestand "op te lossen ^ omdat ons waarnemingsvermogen beperkt is..

    Hoe groter ons vermogen tot perceptie, hoe meer we in staat zullen zijn om onderscheid te maken tussen de mogelijke toestanden van het systeem..

    Zo hebben we meer "informatie" over het systeem en kunnen we het op een meer georganiseerde manier bekijken..

    De volgorde van het systeem hangt daarom af van wie het observeert.

    Laten we eens kijken naar een eenvoudig voorbeeld, een kantoor.

    De persoon die aan dit bureau werkt heeft een bepaald informatieniveau over de toestand van zijn bureau.

    Het kantoor kan worden gemodelleerd door een reeks vakjes die worden gebruikt om een object te lokaliseren..

    Objecten worden opgeslagen in dozen.

    Als er N dozen en N objecten zijn, met één object per doos, dan zijn er N! (factoriaal van N) mogelijke toestanden voor het systeem, waarbij elk object elk van de vakjes kan bezetten.

    Om het eerste object op te bergen hebben we N mogelijke dozen, maar voor het tweede N-1 doos enz..

    Dus het aantal keuzes om de N objecten in de N vakken te plaatsen is N * N-1 * N-2 * .... * 2 * 1 = N! d.w.z. de factorial van N.

    Laten we eens kijken naar een bepaalde staat van kantooropslag.

    Laten we aannemen dat de persoon perfect de staat van het kantoor kent, d.w.z. dat hij weet waar elk voorwerp te vinden is door directe toegang tot de doos die het bevat..

    Dus in dit geval kunnen we zeggen dat voor deze persoon het kantoor helemaal opgeruimd is, de orde perfect is en daarom de wanorde (of entropie) nul.

    Stel dat een andere persoon minder kennis heeft van de staat van het kantoor.

    Deze persoon weet " ongeveer" waar een object is, maar zal verschillende pogingen moeten doen om een bepaald object daadwerkelijk te vinden..

    Met andere woorden, het zal wat energie moeten verbruiken (energie afbreken) en tijd om de ontbrekende informatie opnieuw samen te stellen"..

    Als het na twee of drie pogingen een bepaald object kan vinden.

    Er kan gezegd worden dat het geen perfecte kennis heeft van de toestand van het systeem, of dat het systeem voor hem enigszins ongeordend is..

    Voor deze persoon is wanorde of entropie niet nul.

    Laten we aannemen dat een derde persoon een volslagen onbekende is van dit kantoor en dus geen informatie heeft over de status ervan..

    Om een voorwerp te vinden, moet deze persoon alle dozen achter elkaar openen tot hij het gezochte voorwerp vindt..

    Voor deze persoon is wanorde of entropie maximaal.

    De entropie wordt dan gegeven door de factor van N, N! die een goede weergave is van de complexiteit van het systeem, d.w.z. de complexiteit om het systeem te begrijpen.

    De factorial wordt als volgt geconstrueerd, voor de eerste keuze van een vakje (oplage) zijn er N mogelijkheden, op de tweede zijn er N-1 mogelijkheid, in de derde N-2 enz..

    De complexiteit van het systeem kan daarom worden weergegeven door het getal N *. (N-1) * (N-2) .... 3 * 2 * 1 en dat is precies de factorial van N.

    En ook in dit voorbeeld nemen we aan dat de waarnemer intelligent genoeg is om het volgende te onthouden (profiteren van haar ervaring met het systeem) en niet te zoeken in een doos die het al heeft geopend en die niet het object bevatte waarnaar het zocht.

    Anders zou de complexiteit van het systeem door de waarnemer als veel groter worden ervaren..

    We kunnen zeggen dat het volledige systeem : waarnemingssysteem zou in een staat van verwarring verkeren.

    Voorbeeld van entropie in computerergonomie: Kijk in het configuratiescherm van Windows.

    De-Dit wordt ontsierd door een aanzienlijke ergonomische entropie, omdat de pictogrammen traditioneel in geen duidelijke volgorde op een rechthoekig oppervlak worden gepresenteerd..

    Als je niet precies weet waar het pictogram dat je zoekt zich bevindt, ben je het volgende kwijt (degraderen) een bepaalde hoeveelheid energie om haar te vinden: meer oogbewegingen, meer blik (netvliesactiviteit) meer oculaire denkprocessen, uiteindelijk meer ATP-verbruik(adenosinetrifosfaat: de energiemolecule) en ionpotentiaal.

    Er is geprobeerd om per categorie in te delen, maar dit is niet helemaal overtuigend omdat het een extra niveau van perceptie creëert. (we stappen af van details) en de categorieën vertegenwoordigen dan verschillende mogelijke toestanden van het object waarnaar wordt gezocht: hebben we niet te onderscheiden.

    Alfabetisch sorteren aan de hand van een hoofdletter in de naam van het gezochte voorwerp zou het mogelijk maken om de organisatie beter te onthouden en er ook voor te zorgen dat deze alle opeenvolgende versies overleeft. (geheugen maakt tijd minder destructief) .

    Maar dit is niet beschikbaar, zelfs niet nadat het product al meer dan twintig jaar bestaat..

    Om precies te zijn is entropie geassocieerd met de wiskundige logaritme van de factorial.

    S = log (N!Shannon nweb) Dit komt door de logaritmem_nl : De logaritme van een product is de som van de logaritmen van de twee factoren van het product..

    " In termen van wiskundige formules hebben we: Log( a * b ) = Log(a) Log(b) Als we de grootte van een M = N * 2, als we bijvoorbeeld twee kantoren nemen, dan worden de entropieën rekenkundig opgeteld (wordt gezegd dat fysieke entropie een uitgebreide eigenschap van het systeem is) maar de complexiteit neemt factorieel toe.

    De logaritme legt het verband tussen het feitelijke begrip van de complexiteit van een systeem en entropie, die een uitgebreide fysische grootheid is en daarom additief..

    Ehrenfest_neus_model

    Formule_Boltzmann

    In het voorbeeld van het kantoor kunnen we zien dat zodra de persoon dozen begint te openen, d.w.z. interactie heeft met het systeem, hij er informatie over krijgt.-die het dan kan onthouden.

    Als gevolg hiervan zal de entropie van het systeem voor het veranderen, maar het zal elders energie hebben moeten afbreken om deze entropie te kunnen verminderen..

    Het is daarom een verplaatsing van entropie, want in het globale systeem dat als gesloten wordt beschouwd, kan entropie alleen maar toenemen. (dit is de tweede wet van thermodynamica) .

    In fysische systemen zoals gassen zijn waarnemers, die worden gekenmerkt door een bepaald type waarnemingsorganen (menselijke wezens, bijvoorbeeld) verschillen niet in hun vermogen om waar te nemen.

    Dit geeft de wetten van de thermodynamica hun objectiviteit..

    Dit wordt geïllustreerd door Maxwells "demon paradox"..

    Maxwell bedacht het volgende experiment: twee dozen worden naast elkaar geplaatst, met communicatie ertussen mogelijk.

    Aanvankelijk is de communicatie gesloten en is een van de dozen gevuld met een gas terwijl de andere leeg is..

    Als we de communicatie openen, zullen moleculen passeren en in de andere doos terechtkomen..

    Statistische thermodynamica vertelt ons dat de meest waarschijnlijke toestand voor dit systeem er een is waarin er ongeveer evenveel moleculen in beide compartimenten zijn..

    Dit is de toestand van thermodynamisch evenwicht.

    Er moet op worden gewezen dat er geen kracht op de moleculen wordt uitgeoefend waardoor ze in de tweede doos terechtkomen..

    Een molecuul kan net zo makkelijk van de eerste doos naar de tweede gaan als andersom, en dat gebeurt ook voortdurend..

    Daarom zijn de moleculen gelijkmatig verdeeld over de twee compartimenten..

    Als er op een bepaald moment meer moleculen in het ene compartiment zitten, dan wordt de kans dat de moleculen naar het andere compartiment gaan ook groter, vandaar het evenwicht..

    De demonenparadox van Maxwell is het idee dat een kleine, extreem snelle demon de mogelijkheid zou hebben om communicatie af te sluiten en er alleen voor zou kiezen om deze te openen als er meer moleculen in de ene richting doorkomen dan in de andere..

    Deze demon zou een dissymmetrie creëren in de verdeling van moleculen en zou daarom in staat zijn om de ene doos leeg te maken om de andere te vullen..

    Deze demon kan de exacte toestand van het systeem onderscheiden omdat het op het microscopische niveau van de moleculen werkt..

    De oplossing van zo'n paradox is dat de demon van Maxwell niet kan bestaan.

    In het geval van thermodynamische fysica is dit inderdaad het geval, maar voor veel minder complexe systemen is het gemakkelijk om je verschillende waarnemingscapaciteiten voor te stellen, zoals in het voorbeeld van het kantoor..

    Vanwege het bovenstaande verwaarlozen we in de thermodynamica het "vermogen om informatie waar te nemen" aspect en concentreren we ons voornamelijk op de hoeveelheid informatie..

    Maar dit is slechts een benadering.

    Deze benadering is niet langer geldig als we te maken hebben met een systeem dat door mensen anders kan worden waargenomen..

    En computersystemen zijn een goed voorbeeld van zulke systemen..

    Het begrip entropie ontstond in de specifieke context van een fysisch systeem dat energie dissipeert om een thermodynamisch evenwicht te bereiken waar de entropie maximaal is..

    Bijvoorbeeld, een omhulsel dat aan de buitenkant thermisch geïsoleerd is en twee compartimenten van gelijke grootte bevat, die met elkaar in contact staan, gevuld met water waarbij de temperatuur van het water 0° is voor het ene compartiment en 100° voor het andere, zal op natuurlijke wijze evolueren volgens het tweede principe van thermodynamica naar een situatie waarbij de temperatuur in de twee reservoirs 50° is..

    Deze laatste toestand is stabiel en als er geen externe energie bij betrokken is, zal het systeem niet veranderen. (als we het systeem vanuit biologisch oogpunt als perfect steriel beschouwen, omdat het leven de thermische energie in de omhulling zou kunnen benutten om materie te organiseren) .

    In de jaren zestig raakte Ilya Prigogine, die in 1977 de Nobelprijs voor zijn werk kreeg, geïnteresseerd in wat er met een systeem gebeurt als het permanent uit een toestand van thermodynamisch evenwicht wordt gehouden door een permanente energiestroom..

    Hij merkte toen op dat de dissipatie van energie leidde tot het ontstaan van orde in materie, die hij dissipatieve structuren noemde..

    Dissipatieve structuren zijn natuurlijke structuren die de eigenschap hebben zichzelf in stand te houden.-organisatie: De auto-organisatie is een fenomeen van toenemende orde, in de tegenovergestelde richting van de toename in entropie (of wanorde , symbool S) ; ten koste van de energie die nodig is om deze structuur in stand te houden.

    Het is de neiging van fysieke processen, levende organismen en sociale systemen om zichzelf te organiseren.-dezelfde ; we praten ook over auto-montage.

    Zodra een kritische drempel van complexiteit is gepasseerd, kunnen systemen van toestand veranderen, of van een instabiele fase naar een stabiele fase gaan..

    " De fundamentele wet van zulke systemen kan worden samengevat in een eenvoudige vergelijking d²S=0 vastgesteld door de Nobelprijswinnaar voor natuurkunde Ilya Prigogine, wat betekent dat een systeem dat zichzelf-organiseert zichzelf door een minimum aan wanorde te creëren naarmate de complexiteit toeneemt.

    Voor een levend organisme is de niet-naleving van deze wet resulteert in een terugkeer naar thermodynamisch evenwicht, wat voor hem de dood is..

    De levensduur van een IT-systeem hangt voornamelijk af van het vermogen om in te spelen op behoeften, en dus om mee te evolueren met de ontwikkeling van het systeem.-ci.

    Als het systeem te duur wordt om te onderhouden in verhouding tot de nieuwe diensten die het zal leveren, dan wordt het bestaan ervan in vraag gesteld en duurt het niet lang voordat het wordt vervangen door een efficiënter systeem..

    De vergelijking is eenvoudig: als de onderhoudskosten gerelateerd worden aan de vervangingskosten, kiezen we voor vervanging.

    In meer atomaire termen kunnen we zeggen dat als we evenveel energie besteden aan het zoeken naar informatie als aan het reconstrueren ervan, we die informatie kwijt zijn..

    Als computersystemen groeien en ze de wet van minimale entropie-creatie niet respecteren (redundantie vereenvoudigen) naarmate hun complexiteit toeneemt, worden ze moeilijker in stand te houden en verdwijnen ze uiteindelijk, wat gelijk staat aan terugkeer naar thermodynamisch evenwicht (de dissipatieve structuur verdwijnt) .

    2.Computerentropie

    Computersystemen zijn een voorbeeld van zulke structuren : ze zijn dissipatief, omdat energie (en dus financiële kosten) wordt gebruikt om ze vast te stellen en te onderhouden.

    Als we kijken naar de evolutie van de computerwetenschap, kunnen we zien dat de permanente trend is om redundantie te verminderen.

    Ontwikkelingen in de IT-sector in deze richting zijn onder andere:

    2.1.IT-overtolligheid verminderen

    2.2.Voorbeeld van ergonomische entropie in computers

    Voorbeeld van entropie in computerergonomie: Kijk in het configuratiescherm van Windows.

    De-Dit wordt ontsierd door een aanzienlijke ergonomische entropie, omdat de pictogrammen traditioneel in willekeurige volgorde op een rechthoekig oppervlak worden gepresenteerd..

    Als je niet precies weet waar het pictogram dat je zoekt zich bevindt, ben je het volgende kwijt (degraderen) een bepaalde hoeveelheid energie om haar te vinden: meer oogbewegingen, meer blik (netvliesactiviteit) meer oculaire denkprocessen, uiteindelijk meer ATP-verbruik (Adenosinetrifosfaat) en ionpotentiaal.

    Er is geprobeerd om per categorie te classificeren, maar dit is niet overtuigend omdat het een extra niveau van perceptie creëert. (we stappen af van details) en de categorieën vertegenwoordigen dan verschillende mogelijke toestanden van het object waarnaar wordt gezocht: hebben we niet te onderscheiden.

    Er is een alfabetische sortering gebaseerd op de eerste letter van het label van het pictogram, maar de eerste letter is niet alfabetisch gesorteerd.-dit is niet noodzakelijk representatief voor de functie die we zoeken en kan overbodig zijn (bijvoorbeeld "Centre de ...") .

    De toegang tot het Windows Configuratiescherm verandert ook-afhankelijk van de versie ! Als u van versie verandert of met meerdere versies werkt (uw pc, de Windows-servers waarmee u verbinding maakt ...voorbeeld van entropie in computerergonomie) het is van nature ontwrichtend: verwarring en tijdverspilling.

  • De levensduur van een IT-systeem hangt voornamelijk af van het vermogen om in te spelen op behoeften, en dus om mee te evolueren met de ontwikkeling van het systeem.-ci.

  • Als het systeem te duur wordt om te onderhouden in verhouding tot de nieuwe diensten die het zal leveren, dan wordt het bestaan ervan in vraag gesteld en duurt het niet lang voordat het wordt vervangen door een efficiënter systeem..

  • de vergelijking is eenvoudig: als de onderhoudskosten gerelateerd worden aan de vervangingskosten, kiezen we voor vervanging.

  • In meer atomaire termen kunnen we zeggen dat als we evenveel energie besteden aan het zoeken naar informatie als aan het reconstrueren ervan, we de informatie kwijt zijn..

  • wanneer computersystemen groeien, als ze de wet van minimale entropiecreatie niet respecteren (redundantie vereenvoudigen) naarmate hun complexiteit toeneemt, worden ze moeilijker in stand te houden en verdwijnen ze uiteindelijk, wat gelijk staat aan terugkeer naar thermodynamisch evenwicht (de dissipatieve structuur verdwijnt) .