机器学习数学通关指南——微积分基本概念

前言

本文隶属于专栏《机器学习数学通关指南》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见《机器学习数学通关指南》

正文

函数

一、函数的定义与本质

1. 映射关系：函数是 实数集到实数集的映射（或更一般地，非空数集到数集的映射）。

   • 规范形式：$f:D\to \mathbb{R}$，其中 $D\subseteq \mathbb{R}$ 为定义域，$f(D)\subseteq \mathbb{R}$ 为值域。
   • 核心要素：定义域（$D$）和 对应法则（$f$），两者共同决定函数的唯一性。若两函数定义域与对应法则相同，则视为同一函数。

2. 变量依赖：自变量 $x\in D$ 通过对应法则 $f$ 唯一确定因变量 $y=f(x)$，形成依赖关系。

二、函数的表示与分类

1. 表示方法

   • 解析法（公式法）：如 $y=x^2$。
   • 分段函数：不同定义域区间用不同表达式，如 $f(x)=\{\begin{array}{ll}x,& x\ge 0\\ -x,& x<0\end{array}$。
   • 其他形式（隐函数等）：如方程 $F(x,y)=0$ 隐含 $y$ 与 $x$ 的依赖关系。

2. 特殊类型

   • 反函数：若原函数为单射（不同输入对应不同输出），存在逆映射 $f^{-1}$，如 $y=\sin x$ 的反函数为 $y=\arcsin x$。
   • 满射：值域等于目标集合，如将单位圆周映射到区间 $[-1,1]$。

三、函数的特性

1. 有界性

   • 存在常数 $K$，使 $|f(x)|\le K$ 对所有 $x\in D$ 成立，则函数有界（如 $y=\sin x$）。

2. 单调性

   • 单调递增：$x_1<x_2\Rightarrow f(x_1)\le f(x_2)$。
   • 严格单调递增：$x_1<x_2\Rightarrow f(x_1)<f(x_2)$（递减同理）。

3. 奇偶性

   • 奇函数：$f(-x)=-f(x)$，图形关于原点对称（如 $y=x^3$）。
   • 偶函数：$f(-x)=f(x)$，图形关于 $y$ 轴对称（如 $y=x^2$）。

4. 周期性

   • 存在最小正数 $T$（周期），使 $f(x+T)=f(x)$ 恒成立，如 $\sin x$ 的周期为 $2\pi$。

四、几何与数值意义

1. 图形表示：函数 $y=f(x)$ 的图像是坐标系中点的集合，直观反映定义域、值域及特性（如单调性）。
2. 数值对应：对每个 $x_0\in D$，$f(x_0)$ 表示因变量在 $x_0$ 处的具体值（如 $f(2)=4$）。

五、示例与应用

• 例证1：$f(x)=x^2$ 的定义域为 $\mathbb{R}$，值域 $[0,+\infty )$，既非单射（如 $y=4$ 对应 $x=2$ 和 $x=-2$）也非满射（值域不覆盖全体实数）。
• 函数构成分析：定义域、表达式或分段规则是判断函数是否相同的核心依据（如 $f(x)=1$ 与 $g(x)=\frac{x}{x}$ 因定义域不同而不同）。

综上，函数是数学中描述变量间严格依赖关系的工具，通过定义域、对应法则及特性揭示变量变化的规律。

极限

一、极限的定义与核心思想

1. 本质

   • 变量趋于某点时的趋势：描述自变量（如数列项数n、函数变量x）无限接近某一状态（如n→∞、x→x₀）时，因变量（数列通项uₑ、函数值f(x)）稳定趋近的确定值。
   • 几何意义：点的无限趋近行为（如数列点在数轴上向a聚集，函数图像在x→x₀时趋近水平直线y=A）。

2. 严格数学定义（ε语言）

   • 数列极限：∀ε>0，∃正整数N，当n>N时，|uₙ−A|<ε。意义：项数充分大时，数列项离A的距离任意小。
     示例：lim(1/n)=0，当n→∞时1/n无限接近0。
   • 函数极限：
     • x→x₀：∀ε>0，∃δ>0，当0<|x−x₀|<δ时，|f(x)−A|<ε。
       示例：lim(x→2)(3x−6)=0，当x→2时3x−6是无穷小。
     • x→∞：∀ε>0，∃M>0，当|x|>M时，|f(x)−A|<ε。
       示例：lim(x→∞)(1/x)=0，x→∞时1/x是无穷小。

二、极限的存在性与判定

1. 必要条件

   • 单侧极限存在且相等：例如，f(x)在x₀处极限存在 ⇨ 左极限lim(x→x₀⁻)f(x) = 右极限lim(x→x₀⁺)f(x)。
     示例：分段函数f(x)=x−1（x<0），0（x=0），x+1（x>0），x→0时左右极限不相等⇒极限不存在。

2. 存在性准则

   • 夹逼准则（准则I）：若g(x)≤f(x)≤h(x)且limg(x)=limh(x)=A⇒limf(x)=A。
     应用：证明lim(x→0)(sinx/x)=1，利用单位圆面积夹逼。
   • 单调有界准则（准则II）：单调递增（减）且有上（下）界的数列必收敛。
     应用：证明数列{ (1+1/n)ⁿ }收敛（自然对数底e的定义）。

三、极限的性质与运算

1. 基本性质

   • 唯一性：若极限存在，则唯一。
   • 局部有界性：若lim(x→x₀)f(x)=A，则f(x)在x₀某去心邻域内有界。
   • 保号性：若limf(x)=A>0，则在x₀某邻域内f(x)>0。

2. 无穷小与无穷大

   • 无穷小：极限为0的变量，如lim(x→0)(sinx)=x+o(x)。
     运算性质：
     • 有限个无穷小之和/积仍是无穷小。
     • 有界函数与无穷小乘积仍为无穷小。
   • 无穷大：变量绝对值无限增大（非数），如lim(x→0)(1/x²)=∞。
     关系：若limf(x)=∞⇨lim(1/f(x))=0，反之未必成立。

3. 运算规则

   • 四则运算：若limf(x)=A，limg(x)=B，则：
     • lim[f(x)±g(x)]=A±B
     • lim[f(x)·g(x)]=A·B
     • lim[f(x)/g(x)]=A/B（B≠0）
   • 复合运算：若limg(x)=u₀，limf(u)=A，则limf(g(x))=A。

四、重要极限及其应用

1. 基本极限

   • lim(x→0)(sinx/x)=1：用于求解含三角函数的0/0型极限。
     示例：lim(x→0)(tanx/x)=1·1=1（因tanx=sinx/cosx）。
   • lim(x→∞)(1+1/x)ˣ=e：用于指数、对数函数极限及连续复利模型。
     应用：lim(n→∞)(1+1/n)ⁿ=e，证明关键为数列单调递增且有上界。

2. 泰勒展开与等价无穷小

   • 近似替换：如x→0时，sinx∼x，1−cosx∼x²/2。
     注意：等价无穷小替换需乘除项适用，加减法谨慎使用。

五、实际背景与数学思想

1. 起源

   • 几何问题：如刘徽割圆术（用正多边形逼近圆面积），阿基米德求抛物线面积。
   • 物理问题：瞬时速度（Δt→0时平均速度极限）、曲线切线斜率。

2. 思想方法

   • 无限逼近：通过有限步骤无限接近精确解，避免直接计算不可达值。
   • 动静结合：变量动态变化中捕捉静态的极限值，如x→x₀时f(x)→A。

示例总结：

1. 计算极限：lim(x→2)(3x−6)=0（直接代入法）。
2. 判断存在性：lim(x→0)sin(1/x)不存在（震荡无界）。
3. 重要应用：自然对数e=lim(n→∞)(1+1/n)ⁿ，源于连续复利模型。

通过对极限概念的深层理解，可掌握微积分核心工具，并为后续导数、积分等学习奠定基础。

连续性与导数

一、连续性的定义与理解

1. 基本定义
   函数 $f(x)$ 在点 $x_0$ 处连续，需满足：

   • 三点条件：
     1. $f(x)$ 在 $x_0$ 有定义；
     2. ${\lim }_{x\to x_0}f(x)$ 存在（包括左极限 ${\lim }_{x\to x_0^{-}}f(x)$ 与右极限 ${\lim }_{x\to x_0^{+}}f(x)$ 存在且相等）；
     3. 极限值等于函数值：${\lim }_{x\to x_0}f(x)=f(x_0)$.

   几何意义：函数图像在 $x_0$ 处无间断、跳跃或无限发散。

2. 举例分析
   例如函数 $f(x)=\{\begin{array}{ll}x+1,& x\le 0\\ \frac{\sin x}{x},& x>0\end{array}$ 在 $x=0$ 处连续：

   • 验证条件：
     • $f(0)=1$（在 $x=0$ 处有定义）；
     • 左极限 ${\lim }_{x\to 0^{-}}(x+1)=1$，右极限 ${\lim }_{x\to 0^{+}}\frac{\sin x}{x}=1$；
     • ${\lim }_{x\to 0}f(x)=1=f(0)$，故连续。

3. 间断点分类

   • 第一类间断点：左、右极限均存在但不相等（如跳跃型）或极限存在但不等于函数值（如可去型）。
   • 第二类间断点：左、右极限至少一个不存在（如无穷型或振荡型）。

   例：$f(x)=\frac{x^2-1}{x^2-3x+2}$ 在 $x=1$ 处为可去间断点（${\lim }_{x\to 1}f(x)=-2$ 但 $f(1)$ 无定义），在 $x=2$ 处为第二类间断点（${\lim }_{x\to 2}f(x)=+\infty$）。

二、导数的定义与核心性质

1. 导数本质
   函数 $f(x)$ 在 $x_0$ 处的导数描述其 瞬时变化率，定义为：
   $$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
   或等价形式：
   $$f^{\prime }(x_0)=\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}.$$

   几何意义：切线的斜率。

2. 可导与连续的关系

   • 若可导，则必连续（导数存在的必要条件），但直线运动的位移连续不一定可导。
   • 连续不一定可导：例如 $f(x)=[2](@ref)|x|$ 在 $x=0$ 处连续但不可导（左导数为 $-1$，右导数为 $1$）。

3. 导数计算规则

   • 四则运算法则：加减、乘法、除法规则。
   • 链式法则（复合函数求导）：
     $$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}.$$
   • 隐函数求导：对方程 $F(x,y)=0$ 两边同时关于 $x$ 求导。

   例：隐函数 $\ln \sqrt{x^2+y^2}=\arctan \frac{y}{x}$ 求导时需应用复合函数链式法则。

三、连续性与导数的核心联系

1. 方向导数与单侧连续

   • 导数存在需 左右导数均存在且相等，而连续性只需左右极限存在且等于函数值。
   • 例如 $f(x)=\sqrt[3]{x}$ 在 $x=0$ 处连续但不可导（左右导数为无穷大）。

2. 应用场景

   • 在优化问题（如AI训练）中，目标函数需连续以定义导数的方向，进而通过梯度优化求解最小值。

四、总结

• 连续性是研究函数行为的基础，确保函数未发生“断裂”；
• 导数刻画变化的动态特性，是优化算法（如梯度下降）的核心工具；
• 重要关系：可导 ⇒ 连续，但连续 ⇏ 可导。

示例图示：

• $f(x)=|x|$ 在原点连续但不可导（V形尖点）；
• 分段函数在分段点的连续性需左右极限验证。

偏导数

偏导数可以用“只动一个变量”的方式来理解。想象你同时调整空调的温度和风速——偏导数就是问：当只调温度时，房间降温速度多少？（风速不变），或者只调风速时降温速度多少？（温度不变）。

举个具体例子：

• 假设你的电费 $z=3x+2y$，其中：
  • $x$ 是每小时开空调的时间
  • $y$ 是每小时开灯的时间

✦ 对x的偏导数（只动空调时间）：
保持开灯时间 $y$ 不变，电费随空调变化的速率是 3 元/小时
（每多开1小时空调，电费增加3元）

✦ 对y的偏导数（只动开灯时间）：
保持空调时间 $x$ 不变，电费随灯光变化的速率是 2 元/小时
（每多开1小时灯，电费增加2元）

翻译成数学：

• $\frac{\partial z}{\partial x}=3$（单纯空调的影响）
• $\frac{\partial z}{\partial y}=2$（单纯灯光的影响）

核心要点：
1️⃣ 隔离变量：同时用多个变量控制现象时，单独观察某一个的影响
2️⃣ 建模常用：物理中分析摩擦力、工程中优化成本、机器学习中调节参数都依赖这种“逐个分析变量”的方法
3️⃣ 几何意义：三维曲面在某一个坐标轴方向的倾斜程度（比如山的东-西坡度，忽略南北变化）

方向导数

方向导数的简单解释：

想象你站在山坡上的某一点，山坡高度由数学函数描述。方向导数就是当你朝着特定方向（比如正东、东北或任意斜方向）移动时，海拔的瞬时变化率。它告诉你在那个方向上山坡有多陡。

举个日常例子：

• 空调和电灯每小时的电费是 z = 3x + 2y \（( x：空调时间，$y$：开灯时间）。
• 偏导数好比“只调空调时间”或“只调灯光时间”时电费的变化速度（比如多开1小时空调，电费多3元）。
• 方向导数则是当你同时调整两个时间（比如空调多开0.8小时，灯光多开0.6小时）时，电费的变化速度。此时的变化率是：
  $$\text{方向导数}=3\times 0.8+2\times 0.6=3.6\text{元/小时}[2](@ref)$$
  其中，$0.8$ 和 $0.6$ 是方向的单位分量。

关键点：

1. 与坡度的关系：方向导数越大，沿该方向移动越“陡峭”。
2. 梯度是方向导数的最大值方向，指向最陡上升方向。
3. 偏导数是特例：比如沿纯东或纯北方向的方向导数就是对应的偏导数。

一句话总结：方向导数描述函数在某一方向的“陡峭程度”，是梯度在该方向上的投影。

梯度

梯度的简单解释：

想象你在爬山时，想找到上升最快的路径。梯度就像指南针指向最陡的上坡方向，并且告诉你这个方向的坡度有多陡。数学中，梯度是偏导数的组合，帮你分析多变量函数在各个方向的变化。

举个日常例子：

• 电费公式是 $z=3x+2y$（$x$$y$:开灯时间）。
• 梯度就是 $(3,2)$，表示同时调空调和灯光时，电费增长最快的方向——每多开1小时空调$3+2=5$ 元（实际需换算为方向）。

数学定义：
对函数 $f(x,y)$，梯度写作：
$$\text{grad}f=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)$$
例如，$f=x^2+y^2$ 的梯度是 $(2x,2y)$，在点 $(1,1)$ 处梯度为 $(2,2)$，指向右上方，坡度大小为 $\sqrt{2^2+2^2}=2\sqrt{2}$。

关键点：
1️⃣ 方向最陡：梯度方向是函数值增长最快的方向，反方向下降最快。
2️⃣ 垂直于等高线：比如地图上的等高线，梯度指向垂直于等高线的方向（如图，山顶向外的箭头）。
3️⃣ 多远都适用：三元函数 $f(x,y,z)$ 的梯度是 $(f_x,f_y,f_z)$，指向空间中最速上升方向。

一句话总结：梯度是多变量函数的“方向导数最大值指示器”，既告诉方向又告诉坡度。

原函数

原函数的简单解释：

原函数就像“导数反过来”——如果一个函数的导数等于原来的函数，它就是原函数。
通俗地说，你可以把它理解成**“积分后的函数”**。它有一个关键作用：帮你轻松算面积（定积分）。

举个例子：

• 已知车速随时间变化的函数是 $v(t)$，那么路程的函数 $s(t)$ 就是 $v(t)$ 的原函数。因为速度的导数是加速度，而路程的导数就是速度。
• 牛顿—莱布尼茨公式说：计算车速 $v(t)$ 在时间 $[a,b]$ 内让你跑的总路程，只需用原函数 $s(t)$ 在终点 $b$ 和起点 $a$ 的差，即 $s(b)-s(a)$。

数学核心：

• 若 $F^{\prime }(x)=f(x)$，则称 $F(x)$ 是 $f(x)$ 的原函数。
• 作用：原函数可以把复杂的积分计算转换成简单的减法（如例题中 $f(x)=\frac{\sin (x)}{x}$ 的积分）。

一句话总结：原函数是导数的“逆运算”，是积分难题的快速解法钥匙。