机器学习算法应用——K近邻分类器（KNN）

K近邻分类器（KNN）（4-2）

K近邻分类器（K-Nearest Neighbor，简称KNN）是一种基本的机器学习分类算法。它的工作原理是：在特征空间中，如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别。

具体来说，KNN算法首先计算待分类样本与其他所有样本的距离，然后按照距离的递增关系进行排序，选取距离最小的K个样本，最后根据这K个样本的类别通过多数投票等方式进行预测。当K=1时，KNN算法又称为最近邻算法。

KNN算法的优点包括：

1. 思想简单，易于理解和实现。
2. 对数据分布没有假设，完全基于距离度量进行分类。
3. 适用范围广，可以用于多分类问题。

然而，KNN算法也存在一些缺点：

1. 对距离度量函数和K值的选择敏感，不同的距离度量函数和K值可能会产生不同的分类结果。
2. 计算量大，需要计算待分类样本与所有训练样本的距离。
3. 内存需求大，需要存储所有的训练样本。
4. 可解释性不强，无法给出决策边界等直观的解释。

KNN算法的应用场景非常广泛，包括但不限于：

1. 垃圾邮件识别：可以将邮件分为“垃圾邮件”或“正常邮件”两类。
2. 图像内容识别：由于图像的内容种类可能很多，因此这是一个多类分类问题。
3. 文本情感分析：既可以作为二分类问题（褒贬两种情感），也可以作为多类分类问题（如十分消极、消极、积极、十分积极等）。

此外，KNN算法还可以用于其他机器学习任务，如手写数字识别、鸢尾花分类等。在这些任务中，KNN算法都表现出了较好的性能。

1. 数据实例

使用第1题中的Universal Bank数据集。

注意：数据集中的编号（ID）和邮政编码（ZIP CODE）特征因为在分类模型中无意义，所以在数据预处理阶段将它们删除。

1. 使用KNN对数据进行分类

1. 使用留出法划分数据集，训练集:测试集为7:3。

# 使用留出法划分数据集，训练集:测试集为7:3
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

1. 使用KNN对训练集进行训练

# 使用KNN算法对训练集进行训练，最近邻的数量K设置为5
model = KNeighborsClassifier(n_neighbors=5)
model.fit(X_train, y_train)

最近邻的数量K设置为5。

1. 使用训练好的模型对测试集进行预测并输出预测结果和模型准确度

# 使用训练好的模型对测试集进行预测
y_pred = model.predict(X_test)

# 输出预测结果
for item in y_pred:
    print(item, end='\n')  # 每项后面都换行，这样就不会合并在一起
print("预测结果:")
print(y_pred)

# 输出模型准确度
accuracy = accuracy_score(y_test, y_pred)
print("模型准确度:", accuracy)

 完整代码：

# 导入所需的库
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
import pprint

# 禁用输出省略
pd.set_option('display.max_rows', None)
pd.set_option('display.max_columns', None)
pd.set_option('display.width', None)
pd.set_option('display.max_colwidth', None)

# 读取数据集
data = pd.read_csv("universalbank.csv")

# 数据预处理：删除无意义特征
data = data.drop(columns=['ID', 'ZIP Code'])

# 划分特征和标签
X = data.drop(columns=['Personal Loan'])
y = data['Personal Loan']

# 使用留出法划分数据集，训练集:测试集为7:3
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 使用KNN算法对训练集进行训练，最近邻的数量K设置为5
model = KNeighborsClassifier(n_neighbors=5)
model.fit(X_train, y_train)

# 使用训练好的模型对测试集进行预测
y_pred = model.predict(X_test)

# 输出预测结果
for item in y_pred:
    print(item, end='\n')  # 每项后面都换行，这样就不会合并在一起
print("预测结果:")
print(y_pred)

# 输出模型准确度
accuracy = accuracy_score(y_test, y_pred)
print("模型准确度:", accuracy)