Softmax函数的学习

如大家所了解的，在二元的逻辑回归模型中，我们用Sigmoid函数将一个多维数据（一个样本）映射到一个 0 - 1 之间的数值上，有没有什么方法从数学上让一个样本映射到多个 0 - 1 之间的数值呢？答案是通过Softmax函数。

使所有概率之和为 1，是对概率分布进行归一化。

为什么选用指数函数呢？有一些简单的理由 [2]：

1. 指数函数简单，并且是非线性的
2. 该函数严格递增
3. 这是一个凸函数

定义了新的假设函数（hypothesis function）之后，我们要得到其对应的代价函数（cost function）。