👀学习参考视频
📚从生物神经元到人工神经元
- 神经元是信息处理的基本单元。
- 生物神经元：大脑中的神经元通过电信号传递信息。当一个神经元接收到足够强的信号时，它会“激活”，将信号传递给其他神经元。
- 人工神经元（感知机）：模拟生物神经元，接受输入信号，通过计算决定是否激活。
- 想象神经元是一个工厂里的工作站。原材料（输入信号）被送到工作站，工人（计算过程）对原材料进行初步加工（线性计算，计算输入的加权和并加上偏置），质检员（激活函数）决定是否加工这些材料，并将成品（输出信号）传递给下一个工作站。
📚神经网络初识
神经网络是模仿人脑结构和功能的计算模型，由大量简单的人工神经元（节点）组成，通过连接权重传递和处理信息，能够学习数据中的模式和规律，广泛应用于图像识别、自然语言处理等领域。
🐇激活函数——让神经元“动起来”
激活函数决定神经元是否传递信号。常见激活函数有Sigmoid、ReLU、Tanh。它们的核心作用是引入非线性并控制信号的传递方式，让网络能学习复杂模式。
⭐️激活函数像质检员。比如：
ReLU：如果输入值小于0，直接扔掉（输出0）；如果大于0，原样通过。
Sigmoid：质检员会根据输入值打分（0到1之间），比如“这个包裹有70%的概率需要特殊处理”。
激活函数套娃实现复杂线性关系的激活，理论上可以逼近任意的线性函数，但这样表示太繁琐且麻烦——用神经元表示，每套一层相当于神经元水平方向又扩展了一层，水平扩展以后，中间的就是隐藏层，起始和末端分别是输入层和输出层。
- 神经网络由输入层、隐藏层、输出层构成。
- 输入层：接收原始数据（如图像像素、文字等）。
- 隐藏层：负责提取数据的特征（如识别图像中的边缘、颜色）。
- 输出层：生成最终结果（如分类结果“猫”或“狗”）。
虽然函数可能非常复杂，但我们的目标非常简单且明确——根据已知的一组x和y的值，猜出所有的w和b都是多少。
🐇权重与偏置——调整信息的重要性
- 权重控制输入信号的影响程度，偏置调整激活阈值。
- 权重（Weights）：每个输入信号乘以一个权重值，决定其重要性。权重的本质是通过线性组合放大/抑制输入信号，公式为 z = w 1 x 1 + w 2 x 2 + . . . + w n x n + b z = w_1x_1 + w_2x_2 + ... + w_nx_n + b z=w1x1+w2x2+...+wnxn+b。
- 偏置（Bias）：类似“门槛”，调整神经元激活的难易程度。偏置独立于输入的常量，决定激活函数的触发难易度，公式为 输出 = f ( z ) = f ( 加权和 + b ) 输出= f(z) = f(\text{加权和} + b) 输出=f(z)=f(加权和+b)。
🐇训练神经网络——学习的过程
通过调整权重和偏置，让网络输出接近正确答案。
前向传播：数据从输入层流向输出层，生成预测结果。
损失函数：计算预测结果与真实答案的差距，如均方误差： M S E = 1 N ∑ i = 1 N ( y i − y ^ i ) 2 MSE= \frac{1}{N} \sum_{i=1}^{N} \left( y_i - \hat{y}_i \right)^2 MSE=N1∑i=1N(yi−y^i)2）。
反向传播：根据误差反向调整权重和偏置。
优化器（如梯度下降）：决定如何调整参数。
神经网络的训练，就是一个通过错误不断自我修正的过程，和人类学习本质上是一样的。
⭐️训练神经网络像教一个新手厨师做菜：
- （前向传播）厨师按自己的菜谱（当前参数）做了一道宫保鸡丁（输出结果）→ 神经网络根据权重和偏置计算预测值。
- （损失函数）你对照标准菜谱（真实标签），逐项打分：辣度差距：-3分（少放了辣椒），甜度差距：+2分（糖放多了）→ 计算预测值与真实值的误差（如MSE）。
- （反向传播）你告诉厨师，辣椒的影响：每少放1克辣椒，辣度降低2分（梯度计算 ∂ l o s s / ∂ 辣椒 ∂loss/∂辣椒 ∂loss/∂辣椒）；糖的影响：每多放1克糖，甜度增加1分（梯度计算 ∂ l o s s / ∂ 糖 ∂loss/∂糖 ∂loss/∂糖）→ 通过链式法则计算每个参数的梯度。
- （优化器）厨师根据反馈调整菜谱，普通厨师：直接按误差比例调整（SGD优化器）；聪明厨师：参考上次调整的效果，避免反复震荡（Adam优化器）→ 根据梯度更新权重和偏置。
- （迭代训练）厨师重复做这道菜100次（epoch），每次调整后味道越来越接近标准→ 模型通过多次迭代最小化损失函数。
- ps：学习率 ↔ 厨师的调整幅度，如果厨师每次只敢微调0.1克盐（小学习率），学习速度慢但稳定；如果一次猛加5克盐（大学习率），可能导致味道失控（梯度爆炸）。
🐇过拟合与正则化——避免“死记硬背”
- 防止模型在训练数据上表现太好，但泛化能力差。
- 过拟合：模型记住了训练数据的细节（如噪声），但无法处理新数据，像学生死记硬背考试题，但遇到新题就懵了。
- 正则化（如L1/L2正则化、Dropout）：
- L1/L2正则化：限制模型的复杂度。通过在损失函数中添加权重惩罚项，抑制其野蛮生长。
- Dropout：随机让一部分学生缺席复习（训练时随机忽略部分神经元）。
- L1/L2正则化：限制模型的复杂度。通过在损失函数中添加权重惩罚项，抑制其野蛮生长。