自信息，信息熵，交叉熵，KL散度，JS散度

自信息

自信息 用来衡量一个事件发生所包含的信息量，定义为

$I(x)=\log \frac{1}{p(x)}=-\log p(x)$，

即一个事件 $x$ 越不可能发生，信息量越大。

信息熵（熵）

信息熵 用来衡量一个随机变量或概率分布的不确定性或平均信息量，定义为

$H[X]={\mathbb{E}}_{x\sim X}[I(x)]$。

当 $X$ 是 离散分布 时，表达为

$H[X]={\Sigma }_{x_i}p(x_i)I(x_i)=-{\Sigma }_{x_i}p(x_i)\log p(x_i)$；

当 $X$ 是 连续分布 时，表达为

$H[X]={\int }_{x\sim X}p(x)I(x)dx=-{\int }_{x\sim X}p(x)\log p(x)dx$。

交叉熵

交叉熵 是衡量两个分布差异的一种方法，可以理解为用一个分布去编码另一个分布的数据时的平均信息量，离散分布 时表达为

$H(P,Q)=-{\Sigma }_{x_i}p(x_i)\log q(x_i)$，

连续分布时同理可得

$H(P,Q)=-{\int }_{x\sim X}p(x)\log q(x)dx$。

值得特别注意的是，在分类任务中，某个样本的真实类别通常只有某一个目标类，且该类被one-hot编码为1，其他类均为0。故分类任务中的交叉熵通常也可以简化为

$H(P,Q)=-p(y_{\text{true}})\log q(y_{\text{true}})$，

其中 $y_{\text{true}}$ 是真实类别。

KL 散度 （Kullback-Leibler Divergence）

KL散度 用于衡量两个概率分布的差异，离散分布 时定义为

$D_{KL}(P||Q)=H(P,Q)-H(P)={\Sigma }_{x_i}p(x_i)\log \frac{p(x_i)}{q(x_i)}$，

连续分布 时定义为

$D_{KL}(P||Q)=H(P,Q)-H(P)={\int }_{x\sim X}p(x)\log \frac{p(x)}{q(x)}dx$。

要注意的是，KL散度 不具有对称性， 即

$D_{KL}(P||Q)\ne D_{KL}(Q||P)$。

另外， KL散度的范围为 $[0,\infty )$。

JS散度 （Jensen–Shannon Divergence）

JS散度 同样用于衡量两个概率分布的差异，是KL散度的对称化版本，定义为

$D_{JS}(P||Q)=\frac{1}{2}{D}_{KL}(P||M)+\frac{1}{2}{D}_{KL}(Q||M)$，

其中，$M=\frac{1}{2}(P+Q)$。

JS散度 具有对称性，即

$D_{JS}(P||Q)=D_{JS}(Q||P)$。

另外，JS散度的范围为 $[0,{\log }_{a}2]$。