有七次为正面,那么信息就不再是一比特了,无论你是否相信,会变少。我们怎样通过少于 一个问题而找出抛硬币的结果?简单的方法是问像这样的问题: “接下来两次抛硬币结果都 是正面吗?”若是上面描述的偏心的硬币,答案是肯定的可能性为49/64,或77%,这样, 平均要问的问题数量少于1。因此在像抛硬币这种情况下,熵不仅取决于结果的数量,还取 决于得到各个结果的概率。 不可能事件传递更多信息, 就像坐直升机上学比走路上学信息量 大,但是可能事件发生的频率较高,使得平均信息量变低。 Shannon对使用自然语言如英语表达的消息所含信息量的多少这个问题十分入迷,他做 了一个实验,让人们通过逐个猜字母的方式来猜句子。向实验者展示部分文本,让他猜下一 个字母,如果猜错了,告诉他并让其再猜,直到正确。例如,shannon实验中的文本 “there is no reverse on a motorcycle a friend of mine found this out rather dramatically the other day…” (为了容易猜,他省略了标点和大写),一个典型的实验结果如下: 其中,圆点表示空格,字母下的数字记录了实验者猜的次数,实验者在不知道该句子任 何信息的情况下,一开始猜的是字母t,并且猜对了,此时实验者已经知道第一个字母为t, 第二个字母h和第三个字母e也是一次猜中,而第四个字母就不是一次猜中,当实验者看到 the,可能会猜下一个是空格,此时被告知错误,猜它为n,i和s,最后猜中r,总共猜了5次。 在总共44个符号中,一次猜中的有28个,猜了两次的有6个,三次的有3个,猜了四次、五次、 六次、七次的各一个,超过8次的有2个。 上面的结果是实验者对普通文学作品的预测能力的典型例子。 事实上, 我们也在许多成 年人用这个句子做了试验, 惊人的是有相当高的比例的结果与上例完全一致。 从这些实验中, shannon得出了普通英语文本中每个字母的熵在0.6和1.3比特之间; 最近的实验表明上限更能 代表人们的能力。1比特/字母意味着平均每个字母有两种可能性,而2比特意味着4种可能, 而1.3比特表示平均每个字母有2.5种可能。 图5.1的决策树的原理是考虑了实验者所有可能猜测,可以不需要进行实验中的交互。 你可以想象实验者对每一个可能的下文设计的决策树。 在没有任何内容时,实验者会这样 做“先猜t,不对的话,猜a,然后是o,然后s…”因为t最有可能成为句子的第一个字母,然 后是a,依次类推。当人们知道了the后,可能会这样想“先猜空格,不对的话,猜n,然后 是i,然后s,r…”当知道q后,可能会“先猜u,不对的话,猜空格(短语coq a vin),a(单 词Qantas),…”实际上,要做出这样一个决策树是十分单调乏味的,即使只有一小段文本, 更不要说“完备集”了(不会有“完备集”—文字是有限的,组合的方式是无限)。
h h h t t h h h h t t h t t t h h h h h t h h h t t t h h h t t t h h h h h h t t h t t t t t h t t h t t t h h h t t h h h t h h h h h h h h h t t h h h t t t t h h h h h t t t t t t t (a) (b) 图 11.6: (a) 投硬币的序列; (b) 用有限状态机解释序列 有限状态机的作用 在这个游戏中所用的“地图” ,在计算机学中称为有限状态机或简称为 FSA。 它们 (游戏中所用的 “地图” ) 在书面上经常以图表的形式出现, 如图 11.4 所示。 我们说它们由各种状态(循环)和变迁(通过箭头标示)所组成。目的是接收状 态的概验。一个确定的 FSA 是有一个确定的初始状态,从输入中一个接一个的读 取符号。在读入每一个变迁的符号后,状态将会变迁。例如,在图 11.3 中,假 设输入的是 ABAABB。我们以状态 1 开始,并且第一个 A 将我们带到状态 2。B 将 我 们带到状态 4,下一步,A 将保持在状态 4。下一个 B 将我们带到状态 3,最后的 B 将 我们带到状态 7。 虽然这个例子只使用了A和B,FSA一般与所有的字母起作用,也包括阿拉伯数字和