（OneNote不太方便的地方在于没法建立目录跳转，于是决定直接写在CSDN上）

数据处理

数据集建立

交叉验证：适合数据量小的数据集

数据处理

归一化（normalize）
降维

方法

最近邻 (Nearest Neighbors)

取对应格点差的总和最小

K-最近邻 (KNN, K-Nearest Neighbors)

找到最近的K个点进行距离加权投票，使分类决策边界更平滑

超参数 hyperparameters：如K和L1/L2范数的选择

K的选择：

距离度量方式的选择：

L1 Loss 平均绝对误差 Mean Absolute Error (MAE)：

依赖于坐标系统，可根据特征向量具有实际意义建立坐标

distances = np.sum(np.abs(self.Xtr - X[i,:]), axis = 1)

L2 Loss 均方差损失 Mean Squared Error, MSE：极大似然估计

不受坐标系的影响，适合不同向量都为通用向量或含义未知时，无法衡量图像的相似性

distances=np.sqrt(np.sum(np.square(self.Xtr-X[i,:]),axis=1))

MSE 假设了误差服从高斯分布，MAE 假设了误差服从拉普拉斯分布。拉普拉斯分布本身对于 outlier 更加 robust。参考下图（来源：Machine Learning: A Probabilistic Perspective 2.4.3 The Laplace distribution Figure 2.8），当右图右侧出现了 outliers 时，拉普拉斯分布相比高斯分布受到的影响要小很多。因此以拉普拉斯分布为假设的 MAE 对 outlier 比高斯分布为假设的 MSE 更加 robust。