发信人: xjzhangxw()
整理人: (2000-01-07 01:04:28), 站内信件
|
改造后的熵 .18.-原理.6.-拉格朗日方法（2）
本讲转向利用拉格朗日方法和最复杂原理求分布函数。
先说明两点：
1. 由于复杂程度与信息熵是两个成正比例的量。把信息熵乘上该广义集合的个体
的个数就是复杂程度。而在我们讨论的问题中广义集合的个体的个数是不变化的
。所以求复杂程度最大与求信息熵最大是一个问题。由于文献中介绍信息熵最大
的文章比较多，我们后面的讨论就以信息熵最大为主。最复杂原理与最大熵原理
是一个问题的两种讲法。
2. 过去我们对分布函数的介绍都是以离散情况为例说明问题的。介绍拉格朗日也
是针对离散情况。但在自然科学中有很多情况用连续变量比较方便。后面我们也
主要讨论连续变量的问题。这里针对连续变量再介绍类似的拉格朗日方法（离散
变量与连续变量的关系要费很多口舌，熟悉高等数学的人都知道，我们没有细说
。）
本校不同年龄的学生各有多少？这个问题的答案就是一个分布函数。我们对年龄
这个标志值一般是离散地取值为6岁、7岁等等不连续的值。而常用一个表或者图
表示这个离散的分布函数。
但是年龄真的是离散变量吗？并不，6岁与7岁之间仍然有很多中间值不过被我们
离散化了。在处理理论问题时用一个连续函数表示本分布函数可能方便。例如某
分布函数符合高斯分布等等，这在理论上表示为一个方程式，在实用也不难把它
离散化以与资料对比。
因此我们一般地用符号f(x) 表示标志值（自变量）是x的一个分布函数或者概率
分布函数。它在很多场合是连续函数。而连续变量的复杂程度的公式就由下面的
积分计算
复杂程度C=-∫f(x)lnf(x)dx
这个积分从分布函数的标志值x的下限积到上限。它代替了离散情况下求和形式的
计算公式。
最复杂原理或者最大熵原理是说上述积分达到极大值。它也就是拉格朗日方法中
待求的函数。在离散场合拉格朗日方法是针对一个已经知道的多元函数，求那些
自变量在什么值时函数值极大。在连续变量场合拉格朗日方法就是直接求一个未
知函数（分布函数）。
在连续变量情况下的约束条件的形式也有一些对应的变化。它们的一般形式是
gi=∫ui(x)f(x)dx i=1,2,…m
这里也是有例如m个约束，gi是个常数（第i个，共有m个），而ui(x)是已知的函
数（第i个，共有m个）。f(x)是待求的分布函数。
在m个方程的约束下，使复杂程度C最大，求分布函数的方法是构造一个函数F
F=-∫f(x)lnf(x)dx +∑Ci(∫ui(x)f(x)dx-gi)
这里的各个Ci是补入的未知常数。显然，使F最大也就是使复杂程度C最大。现在
F的值是未知函数f的函数（泛函数）。问题变成了未知函数是什么时F极大（复杂
程度极大）。为此，求F对f 的微熵（变分）并且令它为零就可以了。这样可以得
到
-[lnf(x)+1]+ ∑Ciui(x)=0
把它可以改写为
f(x)=exp[-1+∑Ciui(x)]
由于各个ui都是已知函数，所以未知函数f(x) 的解已经得到了。这里没有解决的
问题是各个Ci的值还不知道。它可以利用m个约束条件去求得。
如果把F对f的微熵再求一次微熵，得到其两次微熵等于
-1/ f(x)
由于分布函数必然大于零所以这个函数必然小于零，即我们得到的极值是最大值
。
连续变量情况下的拉格朗日求极值就介绍到这里。这里的解不是一个数值或者多
个数值（这是它与前面一讲的主要差别），而是一个连续函数。即利用它可以得
到待求的分布函数。
这么介绍当然太抽象，下一讲再举例说明。
张学文1999/12/25
--
※ 来源:．月光软件站 http://www.moon-soft.com．[FROM: 202.100.166.74]
|
|