随手笔记——如何手写高斯牛顿法

**随手笔记——如何手写高斯牛顿法**

高斯牛顿法（Gauss-Newton method）是一种常见的数值优化算法，用于求解非线性函数的最小值或最大值。它通过迭代更新参数来找到最优解。在本文中，我们将手写高斯牛顿法的实现过程，并提供部分代码示例和注释。

**高斯牛顿法的基本思想**

假设我们有一个非线性函数：

f(x) = f1(x, θ) + f2(x, θ) + … + fn(x, θ)

其中 x 是输入变量，θ 是参数。我们的目标是找到使得 f(x) 最小或最大值的 θ。

高斯牛顿法的基本思想是通过迭代更新参数 θ 来找到最优解。具体来说，我们在每一步中使用以下公式：

θk+1 = θk - Hk-1 * (Fk-1)

其中：

* θk 是当前的参数值* Hk-1 是 Hessian 矩阵（二阶导数矩阵）的逆* Fk-1 是函数 f(x) 的梯度（一阶导数）

**高斯牛顿法的实现**

下面是高斯牛顿法的实现过程：

### 步骤1：定义函数和其梯度首先，我们需要定义函数 f(x) 和其梯度。假设我们有一个简单的函数：

f(x, θ) = (x - θ)^2其梯度为：

?f(x, θ) = [-2(x - θ),2]

### 步骤2：计算 Hessian 矩阵接下来，我们需要计算 Hessian 矩阵。Hessian 矩阵是二阶导数矩阵，用于描述函数的曲率。

对于我们的例子，Hessian 矩阵为：

H(x, θ) = [[-2, -2], [-2,2]]

### 步骤3：计算 Hessian 矩阵的逆接下来，我们需要计算 Hessian 矩阵的逆。Hessian 矩阵的逆用于更新参数 θ。

对于我们的例子，Hessian 矩阵的逆为：

H-1(x, θ) = [[2/4,2/4], [2/4, -2/4]]

### 步骤4：计算函数 f(x) 的梯度接下来，我们需要计算函数 f(x) 的梯度。梯度用于更新参数 θ。

对于我们的例子，函数 f(x) 的梯度为：

F(x, θ) = [-2(x - θ),2]

### 步骤5：更新参数 θ最后，我们可以使用以下公式更新参数 θ：

θk+1 = θk - Hk-1 * (Fk-1)

其中 θk 是当前的参数值，Hk-1 是 Hessian 矩阵的逆，Fk-1 是函数 f(x) 的梯度。

**代码示例**

下面是高斯牛顿法的 Python代码实现：

import numpy as npdef f(x, theta):
 return (x - theta)**2def grad_f(x, theta):
 return [-2*(x - theta),2]

def hessian_f(x, theta):
 return [[-2, -2], [-2,2]]

def inv_hessian_f(x, theta):
 return [[2/4,2/4], [2/4, -2/4]]

def update_theta(theta, x, H_inv, F):
 return theta - np.dot(H_inv, F)

# 初始化参数theta =1.0# 迭代更新参数for i in range(10):
 # 计算函数 f(x) 的梯度 F = grad_f(i, theta)
 # 计算 Hessian 矩阵的逆 H_inv = inv_hessian_f(i, theta)
 # 更新参数 θ theta = update_theta(theta, i, H_inv, F)
 print(f"第{i+1}步：θ={theta:.4f}")