发信人: xjzhangxw()
整理人: jeter(2000-04-04 23:41:46), 站内信件
|
改造后的熵 .29.-应用.10.---正态分布
我们已经用最大熵（最复杂）原理配合不同的约束得到了五种不同的分布函数。
本讲要再推到另外一种分布--正态分布。由19世纪著名数学家高斯发现的这种概
率分布也称为高斯分布。
反复测量一个对象可以得到不尽相同的数字 x1,x2…等等。由于种种原因这些数
值并不都与真正值a相等，偏离真正值的情况是会出现的 。但是它们出现的概率
会随着偏离距离的加大而减少。高斯发现了偏离程度与出现概率的关系符合下面
的公式
f(x)=[1/(b√2π)]exp{[-(x-a)^2]/2b^2}
f(x)就是观测值x出现于X-0.5到x+0.5 范围的概率。a是x的平均值，而b是另外
一个参数，它称为标准差。由于这个概率分布的应用十分广泛，几乎所有的统计
书籍中都有介绍。我们可以说高斯分布是符合很多实际情况的经验公式。但是也
可以用不止一种方法从不同的角度推导出这个公式来。
在这里没有必要重复各种推导过程，但是我们给出一个认识：上面的高斯公式（
正态分布）也可以从最大熵（最复杂）原理推导出来。下面用概率分布对应的信
息熵最大来推导它。
利用信息熵的语言，概率密度f(x)对应的熵是
H=-∫f(x)lnf(x)dx (1)
以上积分应当遍及x的一切值，所以它应当从负无穷大积分到正无穷大。另外概率
分布的所有x值的积分应当成为必然事件，即所谓概率的归一性，应当有
∫f(x)dx=1 (2)
这是必然成立的一个约束，此外我们限定x的所谓标准差b应当是个不变量。即
∫[(x-a)^2]f(x)dx=b^2 (3)
它就是另外一个约束条件。
现在令信息熵最大，并且要求它满足约束条件（2），（3），利用拉格朗日方法
构造函数F：
F=H+k1[∫f(x)dx-1}+k2[∫[(x-a)^2]f(x)dx-b^2]
以上式子里的积分限都是从负无穷大到正无穷大，k1，k2都是未知的（待定）常
数。求F在f是什么函数时是极大值就是把F对f求偏微商，并且认为它必然等于零
，于是有
-（1+lnf）+k1+k2(x-a)^2=0
所以
f(x)=exp{k1-1+k2[(x-a)^2]} （4）
我们已经得到了结果，但是两个待定常数的值仍然不知道。为此要利用（2），（
3）式与（4）和数学手册上的一些特殊定积分公式。最后得到
f(x)=[1/(b√2π)]exp{[-(x-a)^2]/2b^2}
显然它也就是高斯在100多年前得到的正态分布。这样我们就从最大熵原理的角度
配合新的约束条件推导出了正态分布。
关于正态分布的实用事例，具体概率值是多少等等在统计书籍中多有介绍，我们
也就从略了。
利用熵原理推出正态分布的过程中核心的约束条件是变量的标准差是个不变量。
它使我们得到了正态分布的解，这个约束也体现在正态分布公式中存在一个常数
b。
这个约束的物理意义是什么？从统计学的角度看它的意义就是变量可以与真正的
值（或者称为中心值、平均值）a有所偏离，但是偏离量的平方的平均值不能是无
穷大而必须是个有限值。这个有限值在不同的问题中当然不必相等，但是它确实
是个有限值。
因为（2）式实际是概率分布必然具有的约束，可以说（3）式是在熵最大条件下
推导出正态分布唯一的约束条件。这也提醒我们：你找到的变量如果没有其他是
约束而仅有这个比较符合实际，那么就可以把它做为你的一个假设，余下的是补
充说本问题中熵应当最大（等价与本问题满足最复杂原理），于是我推导出变量
应当服从正态分布。
有这么一番理论说明显然比简单地说我研究变量符合正态分布这个经验公式要高
明很多。这使你的统计研究工作向理论化的方向迈出了一大步。
过去地位至尊的正态分布竟然是最复杂原理的一个特例，这也许有失其威严。但
是这没有说明它不重要，而且为理解它存在的原因提供了新思路。是的，我们希
望大家认识到很多具体概率分布都是最复杂原理与不同的约束条件相结合的产物
。认识最复杂原理在概率研究中的重要地位会使概率论进一步系统化。
张学文2000，4，4
--
※ 来源:．月光软件站 http://www.moon-soft.com．[FROM: 202.100.166.85]
|
|