在机器学习和深度学习中,Sigmoid函数是一个非常重要的激活函数,其公式为:
\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]
但你知道它的导数是如何推导出来的吗?今天就用手写方式简单推导一下吧!
首先,我们需要记住一个关键点:
\[ \sigma'(x) = \sigma(x) \cdot (1 - \sigma(x)) \]
接下来,我们从定义出发,对 \(\sigma(x)\) 求导:
\[
\sigma(x) = \frac{1}{1 + e^{-x}}
\]
利用商法则 \((f/g)' = (f'g - fg')/g^2\),我们可以得到:
\[
\sigma'(x) = \frac{(0 - (-e^{-x}))}{(1 + e^{-x})^2} = \frac{e^{-x}}{(1 + e^{-x})^2}
\]
然后将分子分母同时乘以 \(e^{x}\),化简后得到:
\[
\sigma'(x) = \frac{1}{1 + e^{-x}} \cdot \frac{e^{-x}}{1 + e^{-x}} = \sigma(x) \cdot (1 - \sigma(x))
\]
🎉 这就是Sigmoid函数的导数推导过程啦!是不是很简单呢?💪
🌟 小提示:这个导数形式非常适合编程实现,因为它只涉及原函数的计算,大大减少了计算量哦!