自然语言处理: 第五章Attention注意力机制

**第五章 Attention 注意力机制**

在前几章中，我们已经学习了序列模型、循环神经网络（RNN）和自我注意力机制等基本概念。然而，在处理长序列数据时，传统的RNN模型可能会遇到一些问题，如梯度消失和爆炸等。在这种情况下，注意力机制（Attention Mechanism）就显得尤为重要。

**5.1 Attention 注意力机制**

注意力机制是一种机制，它允许模型在处理序列数据时关注特定位置的信息，而不是简单地平均所有位置的信息。这种机制可以帮助模型更好地理解序列中的关系和模式。

**5.2 Self-Attention 自我注意力机制**

自我注意力机制是一种特殊类型的注意力机制，它允许模型在处理序列数据时关注特定位置的信息，并且不需要额外的参数。这种机制可以帮助模型更好地理解序列中的关系和模式。

**5.3 Attention Mechanism 的实现**

下面是一个简单的例子，展示了如何使用注意力机制来处理序列数据：

import torchimport torch.nn as nnclass SelfAttention(nn.Module):
 def __init__(self, embed_dim, num_heads):
 super(SelfAttention, self).__init__()
 self.embed_dim = embed_dim self.num_heads = num_heads self.query_linear = nn.Linear(embed_dim, embed_dim)
 self.key_linear = nn.Linear(embed_dim, embed_dim)
 self.value_linear = nn.Linear(embed_dim, embed_dim)

 def forward(self, x):
 # Query、Key和Value的线性变换 query = self.query_linear(x)
 key = self.key_linear(x)
 value = self.value_linear(x)

 # Attention权重计算 attention_weights = torch.matmul(query, key.T) / math.sqrt(self.embed_dim)

 # Softmax函数应用于Attention权重 attention_weights = F.softmax(attention_weights, dim=-1)

 # Attention值的计算 attention_values = torch.matmul(attention_weights, value)

 return attention_valuesclass Transformer(nn.Module):
 def __init__(self, embed_dim, num_heads):
 super(Transformer, self).__init__()
 self.self_attention = SelfAttention(embed_dim, num_heads)
 self.feed_forward = nn.Linear(embed_dim, embed_dim)

 def forward(self, x):
 # Self-Attention attention_values = self.self_attention(x)

 # Feed Forward output = F.relu(self.feed_forward(attention_values))

 return output# Example usage:
transformer = Transformer(embed_dim=512, num_heads=8)
input_tensor = torch.randn(1,10,512) # (batch_size, sequence_length, embed_dim)
output = transformer(input_tensor)
print(output.shape) # Output: torch.Size([1,10,512])