支持向量机（SVM）的超参数调整 C 和 Gamma 参数

**支持向量机（SVM）超参数调整**

支持向量机（SVM）是一种常见的机器学习算法，用于分类问题。然而，SVM 的性能取决于其超参数的选择。在本文中，我们将讨论如何调整 SVM 的两个重要超参数：C 和 Gamma。

**什么是 C 和 Gamma？**

* **C（惩罚系数）**：C 是 SVM 中的一个超参数，它控制着错误分类样本的惩罚程度。C 的值越大，意味着错误分类样本将受到更大的惩罚，从而导致模型更加保守。
* **Gamma（核函数宽度）**：Gamma 是 SVM 中另一个重要的超参数，它控制着核函数的宽度。当 Gamma 值较小时，核函数的宽度较窄，意味着模型将更关注局部区域；当 Gamma 值较大时，核函数的宽度较宽，意味着模型将更关注全局区域。

**如何调整 C 和 Gamma？**

调整 C 和 Gamma 的方法有很多种，我们可以使用以下几种常见的方法：

###1. Grid SearchGrid Search 是一种简单有效的超参数调优方法。我们需要指定一个超参数搜索空间，然后在这个空间中进行网格搜索，找到最好的超参数组合。

from sklearn.model_selection import GridSearchCVfrom sklearn.svm import SVC# 初始化 SVM 模型svm = SVC(kernel='linear', C=1)

# 指定超参数搜索空间param_grid = {'C': [0.1,1,10], 'gamma': ['scale', 'auto']}

# 进行网格搜索grid_search = GridSearchCV(estimator=svm, param_grid=param_grid, cv=5)
grid_search.fit(X_train, y_train)

print("最佳超参数组合：", grid_search.best_params_)

from sklearn.model_selection import RandomizedSearchCVfrom sklearn.svm import SVC# 初始化 SVM 模型svm = SVC(kernel='linear', C=1)

# 指定超参数搜索空间param_grid = {'C': [0.1,1,10], 'gamma': ['scale', 'auto']}

# 进行随机搜索random_search = RandomizedSearchCV(estimator=svm, param_distributions=param_grid, cv=5, n_iter=10)
random_search.fit(X_train, y_train)

print("最佳超参数组合：", random_search.best_params_)

from sklearn.model_selection import KFoldfrom sklearn.svm import SVC# 初始化 SVM 模型svm = SVC(kernel='linear', C=1)

# 指定超参数搜索空间param_grid = {'C': [0.1,1,10], 'gamma': ['scale', 'auto']}

# 进行 KFold 分割kf = KFold(n_splits=5, shuffle=True, random_state=42)

for train_index, test_index in kf.split(X_train):
 X_train_fold, X_test_fold = X_train[train_index], X_train[test_index]
 y_train_fold, y_test_fold = y_train[train_index], y_train[test_index]

 # 进行超参数调优 grid_search = GridSearchCV(estimator=svm, param_grid=param_grid, cv=5)
 grid_search.fit(X_train_fold, y_train_fold)

 print("最佳超参数组合：", grid_search.best_params_)