【深度学习笔记】梯度消失与梯度爆炸

**深度学习笔记**

**梯度消失与梯度爆炸**

在深度学习中，梯度下降算法是训练神经网络的基本方法。然而，在实际应用中，我们常常会遇到两个问题：梯度消失和梯度爆炸。

###1. 梯度消失**什么是梯度消失？**

梯度消失（Vanishing Gradient Problem）是指在训练神经网络时，反向传播的梯度值变得非常小，导致模型无法有效地更新权重和偏置。这种现象通常发生在深层神经网络中。

**原因分析**

1. **激活函数**: sigmoid 和 tanh 函数的输出范围是 (-1,1) 或 (0,1)，当这些值乘以梯度时，结果会变得非常小。
2. **反向传播**: 在反向传播过程中，每层神经网络的梯度都会被乘以前一层的激活函数的导数。由于激活函数的输出范围是 (-1,1) 或 (0,1)，因此每层的梯度都会变得非常小。

**解决方案**

1. **使用 ReLU 激活函数**: ReLU 函数的输出范围是 [0, ∞)，当这些值乘以梯度时，结果不会变得非常小。
2. **使用 LSTM 或 GRU**: LSTM 和 GRU 是一种特殊的神经网络结构，可以有效地处理长期依赖关系，并且可以避免梯度消失问题。

###2. 梯度爆炸**什么是梯度爆炸？**

梯度爆炸（Exploding Gradient Problem）是指在训练神经网络时，反向传播的梯度值变得非常大，导致模型无法有效地更新权重和偏置。这种现象通常发生在深层神经网络中。

**原因分析**

1. **激活函数**: sigmoid 和 tanh 函数的输出范围是 (-1,1) 或 (0,1)，当这些值乘以梯度时，结果会变得非常大。
2. **反向传播**: 在反向传播过程中，每层神经网络的梯度都会被乘以前一层的激活函数的导数。由于激活函数的输出范围是 (-1,1) 或 (0,1)，因此每层的梯度都会变得非常大。

**解决方案**

1. **使用 Gradient Clipping**: 在反向传播过程中，设置一个阈值，当梯度超过该阈值时，将其裁剪到阈值。
2. **使用 Gradient Normalization**: 在反向传播过程中，标准化每层的梯度，以避免梯度爆炸问题。

###3.代码示例

import torchimport torch.nn as nn# 定义一个简单的神经网络class Net(nn.Module):
 def __init__(self):
 super(Net, self).__init__()
 self.fc1 = nn.Linear(784,128) # 输入层到隐藏层 self.relu = nn.ReLU()
 self.fc2 = nn.Linear(128,10) # 隐藏层到输出层 def forward(self, x):
 x = self.relu(self.fc1(x)) # 使用 ReLU 激活函数 x = self.fc2(x)
 return x# 初始化神经网络和损失函数net = Net()
criterion = nn.CrossEntropyLoss()

# 定义一个随机的输入数据input_data = torch.randn(100,784)

# 前向传播output = net(input_data)

# 反向传播loss = criterion(output, torch.randint(0,10, (100,)))
loss.backward()