MENU

证明 2 路 softmax 等价于 sigmoid

August 30, 2018 • Read: 4562 • 深度学习阅读设置

背景

由浅入深。
最近在回归深度学习的一些基础知识,希望把一些最基本的概念或者原理梳理一遍,方便自己在此后的工作和学习中对 深度学习 算法有更高层次的理解。

本次目的是:证明 2 路 softmax 等于 sigmoid!

证明如下:

step1: 对于 sigmoid

在逻辑回归二分类中,预测类别概率的形式如下:

$$Pr(Y_{i} = 1) = \frac{1}{1+e^{-\beta \cdot X_{i}}}$$

$$Pr(Y_{i} = 0) = 1 - Pr(Y_{i} = 1) = \frac{e^{-\beta \cdot X_{i}}}{1+e^{-\beta \cdot X_{i}}}$$

step2: 对于softmax

我们知道对于包含 K 个类别的多类别逻辑回归任务,当使用 softmax 进行激活时,预测的概率形式如下:

$$Pr(X_{i} = K) = \frac{e^{\beta_{k} \cdot X_{i}}}{\sum_{c=0}^{K} e^{\beta _{c} \cdot X_{i}}}$$

当 k=2 时,由 softmax 激活后得到的预测概率如下:

$$Pr(Y_{i} = 1) = \frac{e^{\beta_{1} \cdot X_{i}}}{\sum_{c=0}^{K} e^{\beta _{c} \cdot X_{i}}} = \frac{e^{\beta_{1} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} = \frac{e^{\beta_{1} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} \cdot \frac{e^{- \beta_{1} \cdot X_{i}}}{e^{ - \beta_{1} \cdot X_{i}}} = \frac{1}{e^{(\beta_{0} -\beta_{1})\cdot X_{i}} +1} = \frac{1}{1+e^{-\beta \cdot X_{i}}}$$

$$Pr(Y_{i} = 0) = \frac{e^{\beta_{0} \cdot X_{i}}}{\sum_{c=0}^{K} e^{\beta _{c} \cdot X_{i}}} = \frac{e^{\beta_{0} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} = \frac{e^{\beta_{0} \cdot X_{i}}}{e^{\beta_{0} \cdot X_{i}} + e^{\beta_{1} \cdot X_{i}}} \cdot \frac{e^{- \beta_{1} \cdot X_{i}}}{e^{ - \beta_{1} \cdot X_{i}}} = \frac{e^{(\beta_{0} - \beta_{1}) \cdot X_{i}}}{e^{(\beta_{0} -\beta_{1})\cdot X_{i}} +1} = \frac{e^{-\beta \cdot X_{i}}}{1+e^{-\beta \cdot X_{i}}}$$

注: $\beta = -(\beta_{0} - \beta{1})$ 关于这个等式的证明请点击链接。

step3:由此可见,在二分类逻辑回归问题中,softmax 和 sigmoid 是等价的。如果有疑问欢迎联系我一起讨论。

参考文献

Last Modified: January 7, 2019
Archives Tip
QR Code for this page
Tipping QR Code