0softmax和背后的最大熵（极大似然法）

 只要无穷阶矩都一样，那么两个分布一定一样。

 

 

 

 

 

整理思路：1、设定样本的概率模型与目标概率模型一致（两个模型特性函数一致）建立服从伯努利分布的变量（此处需要理解样本空间及变量的关系）对两个模型进行降维（降维后两个概率模型依旧一致），由于降维后的两个概率模型只有一阶矩不为零，可以产生一个条件用于后面的计算：降维后样本模型与目标模型的一阶矩相等；2、在满足第一个条件后（降维后样本模型与目标模型的一阶矩相等），可大胆的地将目标概率模型的条件熵转换公式用样本概率模型的经验概率替换，然后计算目标概率模型的条件熵最大值（即满足最大熵原理），计算过程使用了拉格朗日乘数法以及概率论的基本知识