精华区 [关闭][返回]

当前位置:网易精华区>>讨论区精华>>科学大观>>● 自然科学>>物理学>>改造后的熵——张学文(xjzhangxw)>>改造后的熵 .18.-原理.6.-拉格朗日方法(

主题:改造后的熵 .18.-原理.6.-拉格朗日方法(
发信人: xjzhangxw()
整理人: (2000-01-07 01:04:28), 站内信件
改造后的熵 .18.-原理.6.-拉格朗日方法(2)
本讲转向利用拉格朗日方法和最复杂原理求分布函数。
先说明两点:
1. 由于复杂程度与信息熵是两个成正比例的量。把信息熵乘上该广义集合的个体
的个数就是复杂程度。而在我们讨论的问题中广义集合的个体的个数是不变化的
。所以求复杂程度最大与求信息熵最大是一个问题。由于文献中介绍信息熵最大
的文章比较多,我们后面的讨论就以信息熵最大为主。最复杂原理与最大熵原理
是一个问题的两种讲法。
2. 过去我们对分布函数的介绍都是以离散情况为例说明问题的。介绍拉格朗日也
是针对离散情况。但在自然科学中有很多情况用连续变量比较方便。后面我们也
主要讨论连续变量的问题。这里针对连续变量再介绍类似的拉格朗日方法(离散
变量与连续变量的关系要费很多口舌,熟悉高等数学的人都知道,我们没有细说
。)

本校不同年龄的学生各有多少?这个问题的答案就是一个分布函数。我们对年龄
这个标志值一般是离散地取值为6岁、7岁等等不连续的值。而常用一个表或者图
表示这个离散的分布函数。
但是年龄真的是离散变量吗?并不,6岁与7岁之间仍然有很多中间值不过被我们
离散化了。在处理理论问题时用一个连续函数表示本分布函数可能方便。例如某
分布函数符合高斯分布等等,这在理论上表示为一个方程式,在实用也不难把它
离散化以与资料对比。
因此我们一般地用符号f(x) 表示标志值(自变量)是x的一个分布函数或者概率
分布函数。它在很多场合是连续函数。而连续变量的复杂程度的公式就由下面的
积分计算
复杂程度C=-∫f(x)lnf(x)dx
这个积分从分布函数的标志值x的下限积到上限。它代替了离散情况下求和形式的
计算公式。
最复杂原理或者最大熵原理是说上述积分达到极大值。它也就是拉格朗日方法中
待求的函数。在离散场合拉格朗日方法是针对一个已经知道的多元函数,求那些
自变量在什么值时函数值极大。在连续变量场合拉格朗日方法就是直接求一个未
知函数(分布函数)。
在连续变量情况下的约束条件的形式也有一些对应的变化。它们的一般形式是
gi=∫ui(x)f(x)dx  i=1,2,…m
这里也是有例如m个约束,gi是个常数(第i个,共有m个),而ui(x)是已知的函
数(第i个,共有m个)。f(x)是待求的分布函数。
在m个方程的约束下,使复杂程度C最大,求分布函数的方法是构造一个函数F
F=-∫f(x)lnf(x)dx +∑Ci(∫ui(x)f(x)dx-gi)
这里的各个Ci是补入的未知常数。显然,使F最大也就是使复杂程度C最大。现在
F的值是未知函数f的函数(泛函数)。问题变成了未知函数是什么时F极大(复杂
程度极大)。为此,求F对f 的微熵(变分)并且令它为零就可以了。这样可以得

-[lnf(x)+1]+ ∑Ciui(x)=0
 把它可以改写为
f(x)=exp[-1+∑Ciui(x)]
由于各个ui都是已知函数,所以未知函数f(x) 的解已经得到了。这里没有解决的
问题是各个Ci的值还不知道。它可以利用m个约束条件去求得。
如果把F对f的微熵再求一次微熵,得到其两次微熵等于
-1/ f(x)
由于分布函数必然大于零所以这个函数必然小于零,即我们得到的极值是最大值

连续变量情况下的拉格朗日求极值就介绍到这里。这里的解不是一个数值或者多
个数值(这是它与前面一讲的主要差别),而是一个连续函数。即利用它可以得
到待求的分布函数。
这么介绍当然太抽象,下一讲再举例说明。 
张学文1999/12/25

--
※ 来源:.月光软件站 http://www.moon-soft.com.[FROM: 202.100.166.74]

[关闭][返回]