【动手学深度学习】--02.Softmax回归

**软最大值回归（Softmax Regression）**

在前面的章节中，我们已经了解了线性回归的基本概念。然而，在实际应用中，输出变量往往不是连续的，而是离散的类别标签。例如，手写数字识别问题中的输出变量可能是0到9之间的整数。这种情况下，我们需要使用一种新的回归模型来处理这些类别标签。

软最大值回归（Softmax Regression）正是这样一种模型，它可以用于多分类问题的预测。

**什么是软最大值函数？**

软最大值函数（Softmax Function）是一个将输入向量映射到一个概率分布的函数。它的输出是一个向量，每个元素代表某一类别的概率。

假设我们有一个输入向量x = [x1, x2, ..., xn]，其中n是类别数。软最大值函数可以计算如下：

softmax(x) = exp(xi) / Σexp(xj)

其中exp()是指数函数，Σexp(xj)是所有元素的和。

**软最大值回归模型**

软最大值回归模型是一种线性分类器，它使用软最大值函数来输出类别概率。假设我们有一个输入向量x = [x1, x2, ..., xn]，其中n是类别数。软最大值回归模型可以计算如下：

y = softmax(Wx + b)

其中W是权重矩阵，b是偏置向量。

**损失函数**

软最大值回归的损失函数是交叉熵（Cross-Entropy）损失函数。假设我们有一个真实标签y_true和预测输出y_pred。交叉熵损失函数可以计算如下：

loss = -Σ(y_true * log(y_pred))

其中log()是对数函数，Σ是所有元素的和。

**代码示例**

下面是一个简单的软最大值回归模型的Python实现：

import numpy as npclass SoftmaxRegression:
 def __init__(self, n_classes):
 self.n_classes = n_classes self.weights = np.random.rand(n_classes)
 self.bias = np.zeros((n_classes))

 def forward(self, x):
 # 计算软最大值函数 softmax_output = np.exp(x) / np.sum(np.exp(x))
 return softmax_output def loss(self, y_true, y_pred):
 # 计算交叉熵损失函数 loss = -np.sum(y_true * np.log(y_pred))
 return loss# 初始化数据n_classes =10x_train = np.random.rand(1000, n_classes)
y_train = np.random.randint(0, n_classes, size=1000)

# 训练模型model = SoftmaxRegression(n_classes)
for epoch in range(100):
 y_pred = model.forward(x_train)
 loss = model.loss(y_train, y_pred)
 print(f"Epoch {epoch+1}, Loss: {loss:.4f}")

# 预测结果y_pred = model.forward(x_train)
print("预测结果：", y_pred)