目录
SVM和KNN的对比分析
原理图对比
KNN
SVM
KNN分类问题，离哪些点较近，就归哪一类。
SVM分类问题，找决策边界，把数据进行划分开。
区别
1 KNN对每个样本都要考虑。SVM是要去找一个函数把达到样本可分。
2 朴素的KNN是不会去自助学习特征权重的，SVN的本质就是在找权重。
3 KNN不能处理样本维度太高的东西，SVM处理高纬度数据比较优秀。
场景
KNN的场景：
1. 准确度不需要精益求精。
2. 样本不多。
3. 样本不能一次性获取。智能随着时间一个个得到。
SVM的场景：
1.需要提高正确率。
2. 样本比较多。
3. 样本固定，并且不会随着时间变化。
SVM原理梳理
SVM分类的原理
支持向量积
支持向量积
支持向量
寻找支持向量
选出最好的决策边界
支持向量是要大的，还是要小的？
要小的，要考虑离自己最近的雷才最安全。
决策边界是要大的还是小的？
要大的，要最宽的道路才能行动的更快，更不容易踩雷。
是先找支持向量，还是先找决策边界呢？
怎么去找支持向量呢？
距离与数据定义
在平面上构造了直线
点到平面的距离公式，借助了向量和法向量进行相关求解。
1.距离计算（点到平面的距离）
点现在知道了，但面其实是不知道的，需要进行假设。
2.目标函数
目的：找到一条线，使得离该线最近的点能够最远。
放缩变换和优化目标
目标函数能够体现SVM的基本定义。
4.软间隔优化
考虑一些异常的噪音，让分类更合理。（引入松弛因子）
目标函数的变化，及C的引入（能够体现容错能力）
5.核函数（关键）
升维，二位的变成三维的，可能能够很好的用平面分开。
升维效果展示
映射到高维，更好数据分类区别
高斯核函数
百度飞桨SVM案例运行
加载相关包
import numpy as np #数据处理包，如列表转换数组
from matplotlib import colors #作图相关包
from sklearn import svm #sklearn工具包
from sklearn import model_selection #sklearn工具包
import matplotlib.pyplot as plt #作图相关包
import matplotlib as mpl #作图相关包
加载数据、切分数据集
# ======将字符串转化为整形==============
def iris_type(s):
it = {b'Iris-setosa':0, b'Iris-versicolor':1,b'Iris-virginica':2}
return it[s]
# 1 数据准备
# 1.1 加载数据
data = np.loadtxt('/home/aistudio/data/data2301/iris.data', # 数据文件路径i
dtype=float, # 数据类型
delimiter=',', # 数据分割符
converters={4:iris_type}) # 将第五列使用函数iris_type进行转换
# 1.2 数据分割
x, y = np.split(data, (4, ), axis=1) # 数据分组 第五列开始往后为y 代表纵向分割按列分割
x = x[:, :2]
x_train, x_test, y_train, y_test=model_selection.train_test_split(x, y, random_state=1, test_size=0.2)构建SVM分类器，训练函数
# SVM分类器构建
def classifier():
clf = svm.SVC(C=0.8, # 误差项惩罚系数
kernel='linear', # 线性核 高斯核 rbf
decision_function_shape='ovr') # 决策函数
return clf
# 训练模型
def train(clf, x_train, y_train):
clf.fit(x_train, y_train.ravel()) # 训练集特征向量和 训练集目标值初始化分类器实例，训练模型
# 2 定义模型 SVM模型定义
clf = classifier()
# 3 训练模型
train(clf, x_train, y_train)展示训练结果及验证结果
# ======判断a,b是否相等计算acc的均值
def show_accuracy(a, b, tip):
acc = a.ravel() == b.ravel()
print('%s Accuracy:%.3f' %(tip, np.mean(acc)))
# 分别打印训练集和测试集的准确率 score(x_train, y_train)表示输出 x_train,y_train在模型上的准确率
def print_accuracy(clf, x_train, y_train, x_test, y_test):
print('training prediction:%.3f' %(clf.score(x_train, y_train)))
print('test data prediction:%.3f' %(clf.score(x_test, y_test)))
# 原始结果和预测结果进行对比 predict() 表示对x_train样本进行预测,返回样本类别
show_accuracy(clf.predict(x_train), y_train, 'traing data')
show_accuracy(clf.predict(x_test), y_test, 'testing data')
# 计算决策函数的值 表示x到各个分割平面的距离
print('decision_function:\n', clf.decision_function(x_train))
def draw(clf, x):
iris_feature = 'sepal length', 'sepal width', 'petal length', 'petal width'
# 开始画图
x1_min, x1_max = x[:, 0].min(), x[:, 0].max()
x2_min, x2_max = x[:, 1].min(), x[:, 1].max()
# 生成网格采样点
x1, x2 = np.mgrid[x1_min:x1_max:200j, x2_min:x2_max:200j]
# 测试点
grid_test = np.stack((x1.flat, x2.flat), axis = 1)
print('grid_test:\n', grid_test)
# 输出样本到决策面的距离
z = clf.decision_function(grid_test)
print('the distance to decision plane:\n', z)
grid_hat = clf.predict(grid_test)
# 预测分类值 得到[0, 0, ..., 2, 2]
print('grid_hat:\n', grid_hat)
# 使得grid_hat 和 x1 形状一致
grid_hat = grid_hat.reshape(x1.shape)
cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
cm_dark = mpl.colors.ListedColormap(['g', 'b', 'r'])
plt.pcolormesh(x1, x2, grid_hat, cmap = cm_light)
plt.scatter(x[:, 0], x[:, 1], c=np.squeeze(y), edgecolor='k', s=50, cmap=cm_dark )
plt.scatter(x_test[:, 0], x_test[:, 1], s=120, facecolor='none', zorder=10 )
plt.xlabel(iris_feature[0], fontsize=20) # 注意单词的拼写label
plt.ylabel(iris_feature[1], fontsize=20)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title('Iris data classification via SVM', fontsize=30)
plt.grid()
plt.show()
# 4 模型评估
print('-------- eval ----------')
print_accuracy(clf, x_train, y_train, x_test, y_test)
# 5 模型使用
print('-------- show ----------')
draw(clf, x) 