机器学习线性回归笔记

**机器学习线性回归笔记**

**1.什么是线性回归**

线性回归是一种常见的监督学习算法，用于预测连续输出变量。它假设输出变量与输入特征之间存在线性的关系。

**2. 线性回归模型**

线性回归模型可以表示为：

y = w^T x + b其中：

* y：输出变量* x：输入特征向量* w：权重向量* b：偏置项**3. 线性回归的目标**

线性回归的目标是找到最优的权重向量w和偏置项b，使得预测值y与实际输出变量之间的差异最小。

**4. 线性回归的成本函数**

线性回归的成本函数通常使用均方误差（MSE）或平方误差（MAE）。

* 均方误差（MSE）：MSE = (1/n) * ∑(y_i - y_pred)^2* 平方误差（MAE）：MAE = (1/n) * ∑|y_i - y_pred|

其中：

* n：样本数量* y_i：实际输出变量* y_pred：预测值**5. 线性回归的优化算法**

线性回归可以使用各种优化算法来找到最优的权重向量w和偏置项b。常见的优化算法包括：

* 最小二乘法（OLS）：使用梯度下降法或牛顿法来找到最优的权重向量。
*传统线性回归：使用矩阵运算来直接求解权重向量。

**6. 线性回归的实现**

以下是Python代码示例，使用Scikit-learn库实现线性回归：

# 导入必要的库from sklearn.linear_model import LinearRegressionimport numpy as np#生成随机数据X = np.random.rand(100,1)
y =3 +2 * X + np.random.randn(100,1)

# 实例化线性回归模型model = LinearRegression()

# 训练模型model.fit(X, y)

# 预测值y_pred = model.predict(X)

# 打印预测值和实际输出变量之间的差异print("预测值：", y_pred)
print("实际输出变量：", y)