背景
由浅入深。
最近在回归深度学习的一些基础知识，希望把一些最基本的概念或者原理梳理一遍，方便自己在此后的工作和学习中对 深度学习 算法有更高层次的理解。
本次目的是：证明 2 路 softmax 等于 sigmoid！
证明如下：
step1: 对于 sigmoid
在逻辑回归二分类中，预测类别概率的形式如下：
$$Pr(Y_{i} = 1) = \frac{1}{1+e^{-\beta \cdot X_{i}}}$$
$$Pr(Y_{i} = 0) = 1 - Pr(Y_{i} = 1) = \frac{e^{-\beta \cdot X_{i}}}{1+e^{-\beta \cdot X_{i}}}$$
step2: 对于softmax
我们知道对于包含 K 个类别的多类别逻辑回归任务，当使用 softmax 进行激活时，预测的概率形式如下:
$$Pr(X_{i} = K) = \frac{e^{\beta_{k} \cdot X_{i}}}{\sum_{c=0}^{K} e^{\beta _{c} \cdot X_{i}}}$$
当 k=2 时，由 softmax 激活后得到的预测概率如下：
$$Pr(Y_{i} = 1) = \frac{e^{\beta_{1} \cdot X_{i}}}{\sum_{c=0}^{K} e^{\beta _{c} \cdot X_{i}}} = \frac{e^{\beta_{1} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} = \frac{e^{\beta_{1} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} \cdot \frac{e^{- \beta_{1} \cdot X_{i}}}{e^{ - \beta_{1} \cdot X_{i}}} = \frac{1}{e^{(\beta_{0} -\beta_{1})\cdot X_{i}} +1} = \frac{1}{1+e^{-\beta \cdot X_{i}}}$$
$$Pr(Y_{i} = 0) = \frac{e^{\beta_{0} \cdot X_{i}}}{\sum_{c=0}^{K} e^{\beta _{c} \cdot X_{i}}} = \frac{e^{\beta_{0} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} = \frac{e^{\beta_{0} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} \cdot \frac{e^{- \beta_{1} \cdot X_{i}}}{e^{ - \beta_{1} \cdot X_{i}}} = \frac{e^{(\beta_{0} - \beta_{1}) \cdot X_{i}}}{e^{(\beta_{0} -\beta_{1})\cdot X_{i}} +1} = \frac{e^{-\beta \cdot X_{i}}}{1+e^{-\beta \cdot X_{i}}}$$
注： $\beta = -(\beta_{0} - \beta{1})$ 关于这个等式的证明请点击链接。
