榕树贷款使用PyTorch----激活函数
-
榕树贷款激活函数Sigmoid在定义域内处处可以求导，当输入一个较小或者较大的数据时，该函数的导数会变得很小，梯度趋近于0。 如果榕树贷款每次梯度值都减小，神经网络具有很多层，当梯度穿过很多层，会逐渐趋近于0，出现梯度消失现象,模型无法继续收敛，sigmoid函数以前被广泛使用，现在很少被人使用。 Tanh激活函数 榕树贷款Tanh是双曲函数中的双曲正切函数.在数学中, 双曲正切函数都是由双曲正弦函数和双曲余弦函数推导而来 榕树贷款和Sigmoid函数很相似，但是Tanh函数的输出范围为(-1，1)，Sigmoid函数的输出范围为（0，1）。 PyTorch中同样有两种实现方式 ReLU激活函数 榕树贷款双曲正切函数和Sigmoid函数都差不多，都有梯度消失的现象，解析式中也存在幂运算，计算的时间也慢。 榕树贷款为了解决梯度消失的问题，线性修正单元函数(Rectified Linear Units，简称ReLU) 就被发明了出来。 ReLU函数是现在最常用的激活函数之一： x为常数，当x<0时，ReLU全部取值为0，梯度也为0，减少了梯度运算的成本。 当x>=0时，ReLU的取值为x，梯度始终为固定的一个值，解决了梯度消失的问题。
上一篇：
通过多线程提高代码的执行效率例子