一、机器学习概述
定义：机器学习是通过大量经验数据来完成特定任务，并通过分析这些数据来优化任务完成效果的过程。
案例：2016年阿尔法围棋战胜韩国围棋九段棋手李世石，展示了机器学习在复杂任务中的强大能力。
二、机器学习应用领域
图像识别、自然语言处理、推荐系统、医疗诊断、金融风险预测等。
三、机器学习基本术语
数据集：数据记录的集合。
样本：数据集中每条记录，描述一个事件或对象。
特征（属性）：反映事件或对象在某方面的表现或性质。
属性空间：属性张成的空间，也称样本空间。
向量表示：样本在属性空间中的表示，每个样本是一个向量。
训练集：用于训练模型的数据集合，包含标记信息。
测试集：用于测试模型的数据集合。
四、监督学习与无监督学习
监督学习：利用已知类别的样本调整分类器参数，数据集包含“正确答案”。
分类：输出结果为离散型数值。
回归：输出结果为连续型数值。
无监督学习：提供数据集合但不提供标记信息，如聚类算法。
集成学习：通过构建并结合多个学习器来完成学习任务。
五、模型评估与选择
错误率：分类错误的样本数占总样本数的比例。
精度：1 - 错误率。
残差：实际预测输出与真实输出之间的差异。
训练误差：学习器在训练集上的误差。
泛化误差：学习器在新样本上的误差。
损失函数：衡量模型预测误差的大小。
欠拟合：模型未能很好地捕捉数据特征。
原因
模型复杂度过低：模型过于简单，无法捕捉数据中的复杂关系。例如，用线性模型去拟合非线性数据。
特征不足：输入的特征太少，或者特征与目标变量的相关性不强，导致模型无法学习到有效的规律。
训练时间不足：模型没有足够的时间学习数据中的规律。
过拟合：模型对训练数据学习过度，泛化能力差。
原因
模型复杂度过高：模型过于复杂，能够完美拟合训练数据中的每一个点，包括噪声。
训练数据不足：模型没有足够的数据来学习通用的规律，只能记住训练数据的细节。
特征过多：输入的特征过多，其中一些特征可能只是噪声，模型会学习到这些噪声特征。
处理方法：
过拟合：增加训练数据、降维、正则化、集成学习。
欠拟合：添加新特征、增加模型复杂度、减小正则化系数。
六、模型选择原则
奥卡姆剃刀原理：选择简单有效的模型。
没有免费的午餐定理：不存在对所有问题都有效的算法，算法的优劣需要针对具体问题。
七、模型评估方法
留出法：将数据集划分为训练集和测试集，通常比例为70%、30%。
交叉验证法：将数据集划分为k个子集，每次用k-1个子集作为训练集，剩下的一个子集作为测试集，进行k次训练和测试，返回k个测试结果的均值。
性能指标：
TP（真正例）：将正类预测为正类的数量。
FP（假正例）：将反类预测为正类的数量。
TN（真反例）：将反类预测为反类的数量。
FN（假反例）：将正类预测为反类的数量。
查准率（P）：TP / (TP + FP)。
查全率（R）：TP / (TP + FN)。
P-R 图：直观显示学习器的查全率和查准率，用于比较学习器性能。
八、总结
- 为机器学习的入门提供了全面的概述，涵盖了从基本概念到模型评估的各个方面。通过具体的例子和图表，可以快速掌握机器学习的核心思想和方法。