您的位置首页 >综合 > 科技资讯 >

😊 Sigmoid函数求导:简单手写推导过程

导读 在机器学习和深度学习中,Sigmoid函数是一个非常重要的激活函数,其公式为: [ sigma(x) = frac{1}{1 + e^{-x}} ]但你知道它的导

在机器学习和深度学习中,Sigmoid函数是一个非常重要的激活函数,其公式为:

\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]

但你知道它的导数是如何推导出来的吗?今天就用手写方式简单推导一下吧!

首先,我们需要记住一个关键点:

\[ \sigma'(x) = \sigma(x) \cdot (1 - \sigma(x)) \]

接下来,我们从定义出发,对 \(\sigma(x)\) 求导:

\[

\sigma(x) = \frac{1}{1 + e^{-x}}

\]

利用商法则 \((f/g)' = (f'g - fg')/g^2\),我们可以得到:

\[

\sigma'(x) = \frac{(0 - (-e^{-x}))}{(1 + e^{-x})^2} = \frac{e^{-x}}{(1 + e^{-x})^2}

\]

然后将分子分母同时乘以 \(e^{x}\),化简后得到:

\[

\sigma'(x) = \frac{1}{1 + e^{-x}} \cdot \frac{e^{-x}}{1 + e^{-x}} = \sigma(x) \cdot (1 - \sigma(x))

\]

🎉 这就是Sigmoid函数的导数推导过程啦!是不是很简单呢?💪

🌟 小提示:这个导数形式非常适合编程实现,因为它只涉及原函数的计算,大大减少了计算量哦!

版权声明:本文由用户上传,如有侵权请联系删除!