信息简史

• 璎珞

  2023-06-21
  通信的基本问题是，在一点精确地或近似地复现在另一点所选取的讯息。这些讯息往往都带有意义。克劳德·香农，《通信的数学理论》（1948）信息、信号，重要的痕迹。
• HAHAWATER

  2022-09-12
  译后记（我么是谁，我们来自哪里，我们去向何方）我的反应时以深刻的内省和实证精神为坚实基础的，是作为暗喻的回声，是作为信息的游戏——同小孩子单纯的鹦鹉学舌有着本质区别。——村上春树很多时候，真理和真相不是没有近在眼前，甚至变换着各种表现想引起我们的注意，我们却对其视而不见。信息并不是一种能够以意识直接接触，并通过直观感受就能够得出认识的事物，它需要经过抽象的过程才能完成认识。其次，虽然信息在本质上只是一种二元选择，但要从具体的物理过程中分析出信息量的度量方法，却决不像乍看之下那么简单。当代的科学分析发现，信息极有可能与决定万物根本属性的熵增方向，与物理学中事物的运动和相互作用中最神秘莫测的量子力学，以及将信息与视界隔绝开来的黑洞息息相关。《信息简史》的前半部分描写了人类饱含着艰辛，又照耀着智慧光芒的一部历史。这里面包括非洲部落的原始通信工具、人类口语从神话传说到哲学论证的演化过程、作为符号固定剂的书写运动和通信标准化的辞书和码本、机械时代的巨匠先驱打造的工程奇迹，直到逐渐将信息的意义外壳彻底剥离，建立近代和现代的通信系统，并通过数学和理性将无关紧要的细节去除，洞察到信息的本质。作为承前启后的历史人物，克劳德·香农终于发表出了一片宏论：《通信的数学理论》。这是人类第一次系统、全面、理性地认识信息，也是第一次赋予了“信息”一词精准的定义，从此奠定了一门新的学科——信息学。而几乎与此同时，图灵和哥德尔也分别达到了密码学和形式系统的巅峰。接下来，我们就看到信息学犹如一股洪流，在一个又一个的领域里掀起了颠覆性的革命：心理学、热力学、遗传学、传播学、量子力学，不一而足。每一门学科在经受了信息学洗礼后，面貌都焕然一新，不仅在技术上有了长足的进步，而且更重要的是在哲学思辨上大大地深化了。书的结尾用了浓墨重彩，讲述了信息学如何通过建立“全球知识”和全人类范围内的关系连接，深刻地改造了人...
• HAHAWATER

  2022-09-12
  尾声（意义的回归）人群陷入疯狂时成群结队，清醒过来则是一个一个缓慢进行。
• HAHAWATER

  2022-09-12
  第13章信息是物理的（万物源自比特）当图灵机当读写头清除纸带上的某一方格，或电子计算机清空一个电容器时，一比特信息就损失掉了，然后有热量必须耗散掉。麦克斯韦妖在观察或选择一个分子时无需付出熵的代价；只有在消除记录，也就是在妖擦除上一次观察的结果，为下一次观察腾出空间时，熵增加才会发生。遗忘需要功。有时，一个领域里大获成功的思想可能会阻碍另一个领域的发展。量子力学里的不确定性就是一个例子。它让人们意识到，测量过程本身也扮演着重要角色。量子理论使人们误认为，计算的每一步都不可避免地要付出热力学代价。另一方面，香农理论的成功也导致人们忽视了信息处理中所有物理层面的东西，从而误认为它纯粹是个数学过程。
• HAHAWATER

  2022-09-12
  第12章认识随机性（僭越之罪）或然现象，就是我们尚未掌握其规律的现象。一个数只要是可计算的，即它能够被一个可定义的计算程序生成，那它就不是随机的。因此，可计算性是随机性的一种量度。
• HAHAWATER

  2022-09-12
  第11章跃入模因池（它其实就是寄生在了我的大脑里）思想保留了生物体的某些属性。与生物体一样，思想也倾向于维持其结构并繁衍生息；它们也可以融合、重组或分离其内容；事实上，它们还可以进化，而在这个过程中，选择淘汰必定扮演着重要角色。思想生发思想，并帮助进化出新思想。思想不仅彼此互动，也与其他心智力量互动，而不论这是来自同一大脑中的，还是附近大脑中的，又抑或是遥远距离外的外国大脑中的。思想还与外部环境互动，从而产生某种进化历程中前所未见的巨大进步。模因通过一个广义上可称为模仿的过程在一个个大脑间跳转，从而在模因池里传播开来。各个模因会相互竞争，以争夺有限的资源，如大脑的运算时间或带宽，或者说大脑的注意。
• HAHAWATER

  2022-09-12
  第9章熵及其妖（你无法通过搅拌将果酱和布丁区分开来）在统计上，万事万物都将趋于熵最大化。生物体降低了无序度，这不仅见于其所在的环境，也见于其本身，见于其骨骼、肌肉、囊泡和生物膜、外壳和背甲、叶和花，以及循环系统和代谢通道——这些无疑都是体现出模式和结构的奇迹。有时看来，我们存在于这个宇宙似乎就是为了一个知其不可而为之的目的——控制熵。当一个无生命的系统孤立地处在均匀一致的环境中时，其中的运动最终会静止下来，温度会最终达到均匀一致，化学反应也会最终停止——“整个系统沦为一团静止的、惰性的物质”，热力学第二定律得到了遵循，而熵达到了最大化。然而，生物体却可以保持不稳定的状态。维纳认为，酶可能就是“亚稳的”麦克斯韦妖。他指出：“酶的稳定状态就是失去催化活性，而活的生物体的稳定状态就是死亡。”
• HAHAWATER

  2022-09-12
  第8章 信息转向（形成心智的基本要素）图灵认为，数字计算机包括三个部分：一个“信息仓库”，相当于人类计算员的记忆或纸张；一个“执行单元”，负责完成一个个操作；以及一个“控制器”，管理一个指令列表，以确保各指令按照正确顺序被执行。这些指令被编码成数，它们有时被称为一个“程序”，而构建这样一个列表的工作通常被称为“编程”。一比特信息，就是我们在两个出现概率相等的可能选择中做出决策时所需的信息量。可选择的数目每翻一番，所需信息量的比特数就加一。
• HAHAWATER

  2022-09-12
  第7章 信息论（我想要的不过只是一颗寻常的大脑）图灵和香农都在使用编码，只是图灵是把指令编码成数，将十进制数编码成0和1，而香农是对基因、染色体、继电器和开关编码。他们的灵思巧智都应用在了如何将一类事物映射到另一类事物，也就是找出两类事物之间严格的对应关系上。在他们心智的武器库中，符号运算以及映射的思想占据着举足轻重的地位。当然，这种编码转换不是为了遮蔽事实，相反是为了揭示事实。用D来表示冗余度，在某种意义上，D度量了某种语言的文本在不损失任何信息的前提下能够缩减多少篇幅。对于早期最简单的替换密码，冗余是其首当其冲的弱点。如果一份密文中的字母z比所有其他字母都多，那么字母z可能替换的就是字母e，因为e是英语中出现频率最高的字母。密码破解者还会寻找反复出现的模式，因为它们可能对应着常用单词或常见字母组合，比如the、and或-tion。密码制作者通过不断变化替换的字母表，使得每个字母都存在多种可能的替换。只要密文还带有一丝模式的痕迹，无论它是某种形式，某种序列，还是某种统计规律性，那么在理论上，数学家就能找到突破口。密钥可能是一个单词、一个短语、一整本书或甚至更复杂的东西。不管是什么，它都是发送者和接收者都知道的一个字符的来源，是除了讯息之外双方所共享的知识。信息是不确定性，是出人意料，是困难程度，是熵。信息与不确定性密切相关，反过来，不确定性可以通过统计可能讯息的数量加以度量。有一些讯息出现的可能性比其他讯息要大，而信息意味着出人意料。出人意料其实讲的是概率。重要的是，将讯息从一点传送到另一点的困难程度，就像用移动物体所需的力来定义质量一样。信息是熵。通信的基本问题是，在一点精确地或近似地复现在另一点所选取的讯息。这些讯息往往都带有意义，也就是说，根据某种体系，它们指向或关联了特定的物理或概念实体。——香农“点”是一个精心选择的措辞，它意味着，讯息的信...
• HAHAWATER

  2022-09-12
  第5章地球的神经系统（就那么几根破电线，我们能指望它什么呢？）我们一方面不得不面对种种古怪的新事物，另一方面又不得不使用旧有的词汇，并赋予其与之前不一致的新意义。讯息在过去一直被视为指一种有形之物，但这其实从来都是一种假象。科学家们会说电流“承载”着讯息，但人们不应该想象，是有形之物被传递了。“他们在苍穹下架设线路，字词不论是敲出来还是说出来/在上面奔走时都将如思绪般静寂无声。”——罗伯特·弗罗斯特布尔理论要点：1语言是人类理性的工具，而不仅仅是表达思维的媒介。2所有语言的组成元素都是记号或符号。3词即记号。有时它们被用来代表事物；有时则代表运算，思维借此可将简单概念组合成复杂概念。4词……并非我们能用的仅有的记号。任意的可见标记，以及任意的声音或动作……都同样能够作为记号使用。对于布尔来说，逻辑就是思维，是思维经过打磨和提纯的结果。电报将给人类思维带来的最广泛也是最重要的影响恐怕来自于它对于语言的影响……类似于达尔文提出的自然选择原理，在语言使用中，短词将逐渐对长词占有优势，直接表达形式将逐渐对间接表达形式占有优势，含义清晰的字词将逐渐对模棱两可的字词占有优势，而地方性的习语在任何地方都处于劣势。
• HAHAWATER

  2022-09-12
  第4章将思想的力量注入齿轮机械（喔，欣喜若狂的算术家啊！）采用对数，就可以避免算术运算中所有麻烦的乘法和除法，而可以用加法来代替乘法，用减法来代替加法。知识的价值与发现的成本，需要核算与权衡。
• HAHAWATER

  2022-09-12
  第3章两本词典（我们文字的不确定性以及我们拼写的随意性）所有事物和行为的单词或名称都可以用两种方式纳入到一张列表中去：或按照其字母表顺序，或按照其本质……前者是从词到物，后者则是从物到词。按主题排列的列表启发思考，不够完美却富有创意，而按字母表顺序排列的列表则机械、高效，还可以自动化。名字和属性必须与事物的实质相符，而不是让实质与名字相符，因为物在先，而名在后。作为规定，一个新词需要存活五年时间的确凿证据才允许被收录进来。每个被提议的新词都得经过认真彻底的审查。收录一个新词可是一个十分严肃的事情，它必须是得到了普遍使用，而不是只限于其发源的领域。尽管OED（牛津英语词典）具有全球性，会从各个讲英语的地区挑选单词，但它并不愿意收录当地昙花一现的词语。单词一旦被收录，就不会再被剔除。
• HAHAWATER

  2022-09-12
  第2章持久的文字（心智中并无词典）书写符号的作用范围可以在时间和空间上无限延续，在其作用范围内，人们可以相互沟通思想；它赋予写作者的思想以生命，这种生命仅受墨水、纸张和读者的存续时间的限制，而免于写作者肉体存续时间的限制。文字的力量不仅体现在知识的保存和传承上，也体现在所用的方法论上，比如对视觉指示物加以编码、转换，利用符号代替实物，进而利用符号代替符号。群众无法接受美的观念本身，只知道各种美的事物。他们也不会思考事物的本质，只能理解各种具体事物。因此，群众不可能成为哲学家。——柏拉图我们或许可以把这里的“群众”理解为“无文字社会里的人”，而在柏拉图所处的时代，口语文化依然存在于他周围。因此柏拉图声称，这些人“在万物的多样性中迷失了方向”，“他们的心灵里没有任何清晰的原型”。思考不仅是人类对于自身的新发现，而且是人类思考的发端——事实上，这才是人类自我意识的真正起始。逻辑将抽象变成了一种判断真假的工具：真理除了可以来自具体经验，仅从字面也可得出。逻辑链中的关系环环相扣，结论由前提推出，这其中要求一定程度的一致性。倘若人们无法对逻辑进行验证和评估，那么逻辑就毫无说服力。相反，口语叙述的进行则主要靠堆砌，词语就像经过观礼台的受阅阵列，稍作停留后就会匆匆退场，它们之间的互动就只能通过听者的记忆和联想来实现。正如柏拉图所说，书面文字是停滞不动的，它稳定不变、不可移动。柏拉图见证了文字的日渐兴盛，一边肯定文字的力量，另一边却又惧怕它带来的僵化。传播方式涉及感官的数目越多，利用副本可靠地传输发送者的思想状态的可能性就越大。
• HAHAWATER

  2022-09-12
  第1章会说话的鼓（似是而非的编码）烽火台传递的讯息的意义必须预先约定，并精简到一个比特。必须是个非此即彼的二元选择，有事或无事：火光燃起，表示有事。摩尔斯的点-划编码仅仅用来表示字母，字母再组成书面单词，最终书面单词表示口语中的单词。在口语文化中，创作的灵感首先要服务于清晰、易记的目标。为了克服歧义和进行纠错而专门引入额外的比特，引入冗余，不言而喻，效率肯定会打折扣，但它是避免混淆但一剂良药，它提供了第二次机会，事实上，每一种自然语言都内在地包含冗余，这就是为什么人们可以读懂错别字连篇的文章，可以在嘈杂的房间里听懂交谈内容的原因。大多数时候，语言中的冗余是为了提供背景信息，这种冗余对于电报员而言是巨大的浪费，但是对于非洲但鼓手来说是必不可少的。飞行员和空中交通管制员之间来回沟通的信息是在一个特别嘈杂的信道上传递的，所以必须引入一种专用的字母表来减少歧义。口语中的字母B和V很容易混淆，不如读成bravo和victor来得保险，这些额外的音节与鼓语中额外的藻饰，起到的作用是相同的。H=nlogs，H表示讯息的信息量，n表示讯息中的符号数，s表示语言中可用符号的总数。可用的符号越少，为表示出给定信息量所需传递的符号数就得越多。对于非洲的鼓手来说，需要传递的符号数是对应口语的八倍之多。信息的复杂性源自中间符号层，更难度量的则是中间符号层与底层，也就是人类语音本身的关联。无论是对电话工程师还是非洲鼓手来说，正是这种带有意义的声音流才是通话的实质内容，虽然这些声音反过来也是更底层的知识或意义的一种编码。
• HAHAWATER

  2022-09-12
  引子通信的基本问题是，在一点精确地或近似地复现在另一点所选取的讯息。这些讯息往往都带有意义。——克劳德·香农，《通信的数学理论》量纲比特是用于测量信息的单位。基因在文化上的对应物是模因（meme）。在文化演化过程中，模因扮演着复制者和传播者的角色——它可能是一股思潮、一阵时尚、一封“连锁信”，又或是一种阴谋论。运气不好的话，模因也可能是种电脑病毒。未来，我们将学会用信息的语言去理解和表达全部物理学。所谓历史，就是信息逐步从自发到自觉的一个过程。
• HAHAWATER

  2022-09-12
  推荐序二信息是宇宙固有的组成部分，就和力、运动等概念一样。世界上几乎任何事物都可以用信息的方式量化，或者说就是“万物皆比特”。
• HAHAWATER

  2022-09-12
  推荐序一看似有损于精炼和简洁的冗余信息反而提升了信息传播的精确性。互联网所打破的实际是以纸书为代表的知识凝聚与传播方式。
• 加点什么

  2021-02-28
  编辑和评论的模因“之所以会兴盛，正是因为心智的供应短缺、容量有限，而不论心智之间的传输媒介是什么”。当信息变得廉价时，注意力就变得昂贵了。
• 韩偏偏

  2017-09-25
  他写道：“模因通过一个广义上可称为模仿的过程在一个个大脑间跳跃，从而在模因池里传播开来。“各个模因会相互竞争，以争夺有限的资源，如大脑的运算时间或带宽，或者说大脑的注意。 在从我们的大脑和文化中争夺生存空间的战斗中，有效的作战单位是讯息。而我们对于基因和模因的新视角，虽然可能不好理解，却给了我们有益的启示，也给了我们更多可以写在莫比乌斯带上的悖论。比如，大卫·米切尔曾写道：“构成人类世界的是故事，而不是人。那些被故事用来讲述自己的人，不应该受到责备。”玛格丽特·阿特伍德也写道：“就跟所有知识一样，一旦你知道了这一点，你就再也无法想象要是当初你没有知道它又会是番什么情景。这又像舞台魔术，在你还不知道时，即便知识就站在你眼前，你也会视若无睹，看向别的地方。”约翰·厄普代克则在暮年反思自己的写作生涯时写道： 一生倾注于文字——但它显然徒劳 在保存逝去的事物。 因为在我死后不能想象的未来 谁还会去读？ 1981年，研究心智和知识的哲学家弗雷德·德雷特斯科写道：“太初有信息，而后才有的道（word）。这种转换的实现有赖于生物体发展出选择性利用这些信息从而让自己的物种生存和延续下去的能力。”而现在，在道金斯的启示下，我们或许可以再补充一句：这种转换的实现也有赖于信息自身，它们寻求生存和延续并选择性地利用这些生物体。
• 韩偏偏

  2017-09-25
  如果把基因视为生存大师，那它们就不太可能是一些核酸片段，毕竟这些东西无法长久。而说一个复制子成功地延续了亿万年时间，也就意味是将其所有副本视而为一，以此定义这个复制子。因此，道金斯宣称，基因不会“衰老”。 它在一百万岁时死亡的概率，不会比只有一百岁时更大。它在一代代的身体当中迁徙，为自己的目的、以自己的方式操控着这一具具身体，并在这些终有一死的身体衰老和死亡前抛弃了它们。 纸面上的那些四分音符和八分音符并不是音乐。音乐不是空气中的一系列声波，也不是唱片上的纹路或光盘上的凹坑，甚至也不是在听众脑中激活的神经元交响曲。音乐就是信息。同样地，DNA的碱基对也不是基因，它们只是编码了基因。基因本身是由比特构成的。