2. 📈 什么是sigmoid激活函数? sigmoid激活函数是一种数学函数，它在机器学习和深度学习领域中扮演着重要的角色。它的名字来源于希腊字母σ（sigma），这个符号通常表示求和。然而，在这里，它代表的是一个S形曲线，这正是sigmoid函数的图形表现形式。sigmoid函数的公式为：f(x) = 1 / (1 + e^-x)，其中e是自然对数的底数。
📊 sigmoid函数的输出范围在0到1之间，这使得它非常适合用于将线性回归的结果转化为概率值。例如，在二分类问题中，sigmoid函数可以将模型预测的得分转换成一个介于0和1之间的概率，表示属于某一类别的可能性大小。
💡 在神经网络中，sigmoid函数常被用作隐藏层的激活函数，因为它能够引入非线性特性，使模型能够学习更复杂的模式。但是，需要注意的是，当输入值非常大或非常小时，sigmoid函数的梯度会变得很小，这可能会导致所谓的“梯度消失”问题，影响模型训练效率。因此，在现代深度学习实践中，其他一些激活函数如ReLU（Rectified Linear Unit）更为常用。