entropie et informatique zh 熵和计算_zh_txh_som

熵和计算 txh

back to the home page

version available in : en it ru es ja de nl pt fr

date of creation : 20240703- date of update : 20240703- generation date : 20240703_113950

1.熵与计算

L'. entropie  (或紊乱) 衡量封闭系统的进化能力.

如果熵值低 (秩序系统) 系统可以进化 随着系统的进化,熵增大,系统进化的能力减弱.

消耗能量实际上会增加熵,因为根据能量守恒定律,能量永远不会被消耗掉,这是热力学的第一原理。.

当能量耗散或降解时,其熵会增加 (这就是热力学第二原理) .

熵是克劳修斯首次引入宏观热力学的概念,其含义后来由波尔兹曼在统计力学中加以澄清。.

热力学第二原理指出,熵只能增加,或在极限情况下保持不变。.

熵是一个物理学概念,与有序和无序概念的精确测量有关。.

有序和无序是物理学的基本要素,物理学研究的是由大量实体组成的物理系统的运行规律。 (气体及其分子,例如) .

这种物理学被称为热力学.

大数字揭示了新特性、新概念、新现实和新体验。.

熵的重新定义是 Shannon

在信息论中,熵被认为是信息的数量.

信息论是计算机科学的基础.

熵和信息是同一个概念.

一个系统越复杂,其熵就越大,描述它所需的信息也就越多。.

例如,以气体或晶体形式存在的相同数量的物质,其描述的信息量并不相同。.

如果水晶是完美的 (没有间隙、错位等。.

香农网) 那么您只需指定晶体中一个原子的位置和晶格结构,就可以知道晶体中所有原子的位置了.

因此,我们只需要很少的信息就能描述该系统.

在这样的系统中,熵值非常低.

但是,在气体中,由于原子之间没有键,因此-如果我们想知道系统的确切状态,就必须对它们进行单独描述。.

信息量巨大,与阿伏加德罗 6 数字有关。.

022 10^23,熵值非常大.

然后证明香农的定义与热力学的定义是等价的。.

值得一提的是,继物理学家贝肯斯坦和霍金的研究之后,黑洞动力学中又出现了一种新的熵形式。.

这种熵导致了特霍夫特的全息原理.

物理信息的最小单位是普朗克长度平方的面积。.

普朗克长度是最小的物理长度,低于这个长度,长度概念就失去了意义。 (量子不确定性) .

在熵中,有两个词往往会相互抵消,因为熵是两个对立概念之间比率的对数:观察者的感知能力和感知系统的复杂性.

  • 系统的复杂性用可感知的数量来表示,这就是一个系统可能出现的状态数量。 (等效状态) .

  • 感知能力是我们感知的分辨率,是我们观察的精确度.

    它的有限性确保了不同状态之间的相对无差别性、 ...差不离.

    无法区分的状态越多,无序程度就越高;我们无法^解"真正的状态,因为我们的感知能力是有限的。.

    我们的感知能力越强,就越能区分系统的各种可能状态。.

    这样,我们就能获得更多关于系统的"信息",也能更有条理地看待它。.

    因此,系统的秩序取决于谁在观察它.

    我们来看一个简单的例子,一间办公室.

    在这张办公桌上工作的人对其办公桌的状态有一定程度的了解.

    它的办公室可以用一组用于定位物体的方框来模拟。.

    物品存放在箱子中.

    如果有 N 个盒子和 N 个物体,每个盒子有一个物体,那么有 N! (阶乘) 系统的可能状态,每个物体都可以占据每个方框.

    要收起第一件物品,我们有 N 个可能的盒子,但要收起第二件物品,则有 N-1 盒等.

    因此,在 N 个盒子中摆放 N 个物体的选择数是 N * N-1 * N-2 * .... * 2 * 1 =N!即 N.

    让我们来看看办公室存储的一种特殊状态.

    让我们假设这个人对办公室的状况了如指掌,也就是说,他知道在哪里可以直接找到装有每件物品的盒子。.

    因此,在这种情况下,我们可以说,对这个人来说,办公室是完全整洁的,秩序是完美的,因此无序 (或熵) 零.

    假设另一个人对办公室状况的了解较少.

    这个人知道某个物体的"大概"位置,但要真正找到某个物体,则需要多次尝试。.

    换句话说,它必须消耗一些能量 (降低能量) 和时间来"重组"它所缺乏的信息.

    如果在两三次尝试中,它都能找到给定的对象.

    可以说,它并不完全了解系统的状态,或者说,对它来说,系统略显混乱。.

    对这个人来说,无序或熵不是零.

    假设第三个人对这个办公室完全陌生,因此不知道它的状况。.

    要找到一件物品,这个人必须连续打开所有箱子,直到找到他们要找的物品。.

    对这个人来说,无序或熵是最大的.

    熵值由 N 的阶乘 N!这很好地体现了系统的复杂性,即理解系统的复杂性.

    阶乘的构造如下,对于第一个选择的盒子 (印数) 有 N 种可能性,第二种有 N-1 的可能性,在第三个 N-2 等.

    因此,系统的复杂程度可以用数字 N * 来表示。 (N-1) * (N-2) ....3 * 2 * 1 正是 N 的阶乘.

    在这个例子中,我们再次假设观察者具有足够的智慧,能够记住 (利用其系统经验) 而不是在一个已经打开的盒子中进行搜索,这个盒子中并没有它要找的东西.

    否则,观察者会认为系统的复杂性要大得多。.

    我们可以说,整个系统 :观测系统将处于混乱状态.

    计算机人体工程学中的熵实例:查看 Windows 控制面板.

    \"(《世界人权宣言》)-由于传统上图标在矩形表面上没有明显的排列顺序,这就给人体工程学带来了很大的不便。.

    如果您不知道您要找的图标的确切位置,您将花费 (退化) 找到她需要一定的能量:更多的眼球运动,更多的注视时间 (视网膜活动) 更多的眼球思维过程,最终消耗更多的 ATP(三磷酸腺苷:能量分子) 和离子电位.

    我们曾努力按类别进行分类,但这种做法并不完全令人信服,因为它又增加了一层感知。 (我们正在脱离细节) 然后,这些类别就代表了被搜索对象的几种可能状态:我们有无差别性.

    使用搜索对象名称中的关键字母进行字母排序,可以更有效地记忆组织结构,并确保其在所有后续版本中得以保留。 (记忆让时间减少破坏性) .

    但是,即使该产品已问世二十多年,也无法实现这一点。.

    确切地说,熵与阶乘的数学对数有关.

    S =登录 (N!香农网) 这是因为 对数_zh :" 积的对数是积的两个因数的对数之和。.

    " 用数学公式表示,我们有:日志(a * b ) =日志(a) 日志(b) 如果我们将 M =N * 2,如果我们以两个办公室为例,那么熵将按算术级数相加 (物理熵被认为是系统的广泛属性) 但复杂性会因数增加.

    对数将系统复杂性的因子概念与熵联系起来,而熵是一个广泛的物理量,因此具有可加性。.

    埃伦费斯特骨灰瓮模型 modèle_des_urnes_d_ehrenfest

    玻尔兹曼公式

    在办公室的例子中,我们可以看到,只要人们开始打开箱子,也就是与系统进行交互,他们就会获得有关系统的信息。-然后它就能记住.

    因此,系统的熵会发生变化,但它必须在其他地方降低能量,才能减少熵。.

    因此,这是一种熵的位移,因为在被视为封闭的全球系统中,熵只能增加。 (这就是热力学第二定律) .

    在气体等物理系统中,观察者是以特定类型的感知器官为特征的生命体 (人,例如) 在感知能力上没有区别.

    这就是热力学定律的客观性所在。.

    麦克斯韦的"恶魔悖论"就说明了这一点。.

    麦克斯韦设计了以下实验:两个箱子并排放置,它们之间可以通信.

    起初,通信是关闭的,其中一个盒子充满气体,而另一个盒子是空的。.

    如果我们打开通信,分子就会通过,并最终进入另一个盒子。.

    统计热力学告诉我们,该系统最可能的状态是两个隔室中的分子数量大致相同。.

    这就是热力学平衡状态.

    需要指出的是,分子并没有受到任何力的作用而进入第二个盒子。.

    分子可以很容易地从第一个盒子移动到第二个盒子,反之亦然。.

    这就是分子在两个隔间均匀分布的原因。.

    如果在某一时刻,一格中的分子较多,那么分子进入另一格的概率也会变大,从而达到平衡。.

    麦克斯韦魔鬼悖论认为,一个体积小、速度极快的魔鬼有能力关闭通信,只有当一个方向上的分子比另一个方向上的分子多时,它才会选择打开通信。.

    这个恶魔会造成分子分布的不对称,因此能够清空一个盒子,填满另一个盒子。.

    这种恶魔能够辨别系统的确切状态,因为它是在分子的微观层面上运作的。.

    解决这一悖论的办法是,麦克斯韦的魔鬼不可能存在.

    就热力学物理学而言,情况的确如此,但对于复杂程度低得多的系统,我们很容易想象出不同的感知能力,就像办公室的例子一样。.

    由于上述原因,在热力学中,我们忽略了"感知信息的能力"方面,而主要关注信息的数量。.

    但这只是一个近似值.

    如果我们面对的系统可能会被人类以不同的方式感知,那么这种近似值就不再有效。.

    计算机系统就是这样一个很好的例子。.

    熵的概念是在物理系统耗散能量以达到热力学平衡(熵达到最大值)的特定情况下出现的。.

    例如,一个从外部隔热的围墙内有两个大小相等、相互接触的隔间,里面装满了水,其中一个隔间的水温为 0°,另一个隔间的水温为 100°,根据热力学第二原理,这两个水箱的温度会自然演变为 50°。.

    最后一种状态是稳定的,如果没有外部能量参与,系统就不会发生变化。 (如果我们认为从生物角度来看,该系统是完全无菌的,因为生命可以利用外壳中的热能来组织物质) .

    20 世纪 60 年代,1977 年获得诺贝尔奖的伊利亚-普里戈金开始关注一个系统在永久性能量流的作用下长期处于热力学平衡状态时会发生什么情况。.

    随后,他观察到能量耗散导致物质出现秩序,他称之为耗散结构。.

    耗散结构是具有自我维持特性的自然结构。-组织:"汽车-组织是一种有序增加的现象,与熵增加的方向相反 (或无序,符号 S) ;以耗散维持这一结构所需的能量为代价.

    它是物理过程、生物体和社会系统自我组织的一种趋势。-一样 ;我们还将讨论汽车-组件.

    一旦超过复杂性的临界阈值,系统就会改变状态,或从不稳定阶段进入稳定阶段。.

    " 这类系统的基本规律可归纳为一个简单方程 d²S=0 是由物理学诺贝尔奖获得者伊利亚-普里戈金(Ilya Prigogine)建立的,这意味着一个自-随着复杂性的增加,通过创造最低限度的无序来组织自身.

    对于生物体来说,非-遵守这一规律的结果是恢复热力学平衡,而这对他来说就是死亡。.

    信息技术系统的寿命主要取决于其满足需求的能力,因此,在系统发展的同时也要不断发展。-ci.

    如果该系统的维护成本过高,无法提供新的服务,那么它的存在就会受到挑战,不久就会被效率更高的系统所取代。.

    等式很简单:如果维护成本与更换成本相关,我们就选择更换.

    用更原子化的术语来说,我们可以说,如果我们花在搜索信息上的精力与我们花在重建信息上的精力一样多,那么我们就失去了信息。.

    随着计算机系统的发展,如果不遵守最小熵产生定律 (简化冗余) 随着复杂性的增加,它们越来越难以维持,最终消失,这相当于回到热力学平衡状态 (耗散结构消失) .

    2.计算机熵

    计算机系统就是这种结构的一个例子 :它们是耗散的,因为能量 (并因此产生财务费用) 用于建立和维护它们.

    如果我们回顾一下计算机科学的发展历程,就会发现减少冗余是永恒的趋势.

    信息技术部门在这方面的发展包括:

    2.1.减少 IT 冗余

    2.2.计算机中的工效熵示例

    计算机人体工程学中的熵实例:查看 Windows 控制面板.

    \"(《世界人权宣言》)-由于图标在矩形表面上没有特定的排列顺序,因此在人体工程学方面存在很大的缺陷。.

    如果您不知道您要找的图标的确切位置,您将花费 (退化) 找到她需要一定的能量:更多的眼球运动,更多的注视时间 (视网膜活动) 更多的眼球思维过程,最终消耗更多的 ATP (三磷酸腺苷) 和离子电位.

    我们曾努力按类别进行分类,但这并不是决定性的,因为这会产生更多层次的感知。 (我们正在脱离细节) 然后,这些类别就代表了被搜索对象的几种可能状态:我们有无差别性.

    可以根据图标标签的首字母按字母顺序排序,但首字母不按字母顺序排序。-这不一定代表我们正在寻找的功能,而且可能是多余的 (例如 "Centre de ...") .

    访问 Windows 控制面板也会发生变化-取决于版本 !如果您正在更改版本或使用多个版本 (您的个人电脑、您连接的 Windows 服务器 ...计算机人类工程学中的熵示例) 具有破坏性:混乱和浪费时间.

  • 信息技术系统的寿命主要取决于其满足需求的能力,因此,在系统发展的同时也要不断发展。-ci.

  • 如果该系统的维护成本过高,无法提供新的服务,那么它的存在就会受到挑战,不久就会被效率更高的系统所取代。.

  • 方程式很简单:如果维护成本与更换成本相关,我们就选择更换.

  • 用更原子化的术语来说,我们可以说,如果我们寻找信息所花费的精力与重建信息所花费的精力一样多,那么我们就失去了信息。.

  • 当计算机系统发展时,如果不遵守最小熵产生定律 (简化冗余) 随着复杂性的增加,它们越来越难以维持,最终消失,这相当于回到热力学平衡状态 (耗散结构消失) .