《量化绿皮书》Chapter 3 Calculus and Linear Algebra 微积分与线性代数（一）

《A Practical Guide To Quantitative Finance Interviews》，被称为量化绿皮书，是经典的量化求职刷题书籍之一，包含以下七章：

Chapter 1 General Principles 通用技巧

Chapter 2 Brain Teasers 脑筋急转弯

Chapter 3 Calculus and Linear Algebra 微积分与线性代数

Chapter 4 Probability Theory 概率论

Chapter 5 Stochastic Process and Stochastic Calculus 随机过程与随机微积分

Chapter 6 Finance 金融

Chapter 7 Algorithms and Numerical Methods 算法与数值方法

目录

3.1 Limits and Derivatives 极限与导数

3.1.1 Basics of derivatives 导数基础

**导数：**对$y=f(x)$，导数$f^{\prime }(x)=\frac{dy}{dx}=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x}$

乘法法则：$\frac{d(uv)}{dx}=u\frac{dv}{dx}+v\frac{du}{dx}$，$(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }$

除法法则：$\frac{d}{dx}(\frac{u}{v})=(v\frac{du}{dx}-u\frac{dv}{dx})/v^2$，$(\frac{u}{v}{)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$

**链式法则：**对$y=f(u(x))$和$u=u(x)$，$\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}$

广义幂法则：$\frac{d{y}^n}{dx}=n{y}^{n-1}\frac{dy}{dx},\forall n\ne 0$

常见等式：

• $a^x=e^{x\ln a}$、$\ln (ab)=\ln a+\ln b$、$e^x=\underset{n\to \infty }{\lim }(1+\frac{x}{n}{)}^n$
• $\underset{x\to 0}{\lim }\frac{\sin x}{x}=1$、$\underset{x\to 0}{\lim }(1+x{)}^k=1+kx,对任意k$
• $\underset{x\to \infty }{\lim }(\ln x/x^r)=0,对任意r>0$、$\underset{x\to \infty }{\lim }(x^r{e}^{-x})=0,对任意r>0$
• $\frac{d}{dx}{e}^u=e^u\frac{du}{dx}$、$\frac{d}{dx}{a}^u=(a^u\ln a)\frac{du}{dx}$、$\frac{d}{dx}\ln u=\frac{1}{u}\frac{du}{dx}=\frac{u^{\prime }}{u}$
• $\frac{d}{dx}\sin x=\cos x$、$\frac{d}{dx}\cos x=-\sin x$、$\frac{d}{dx}\tan x={\sec }^{2}x$

问：求$y=\ln x^{\ln x}$的导数。

答：

令$u=\ln y=\ln (\ln x^{\ln x})=\ln x\times \ln (\ln x)$，

则有$\frac{du}{dx}=\frac{d(\ln x)}{dx}\times \ln (\ln x)+\ln x\times \frac{d(\ln (\ln x))}{dx}=\frac{\ln (\ln x)}{x}+\frac{\ln x}{x\ln x}$

$\because \frac{du}{dx}=\frac{d(\ln y)}{dx}=\frac{1}{y}\frac{dy}{dx}$

$\therefore \frac{dy}{dx}=y\frac{du}{dx}=\frac{\ln x^{\ln x}}{x}(\ln (\ln x)+1)$

3.1.2 Maximum and minimum 最大值和最小值

**局部最大值和最小值：**假设$f(x)$在$c$处可微，并且定义在包含$c$的开区间上。如果$f(c)$是$f(x)$的局部最大值或最小值，则$f^{\prime }(c)=0$。

**二阶导检验：**假设$f(x)$的二阶导$f^{\prime \prime }(x)$在$c$附近连续。如果$f^{\prime }(c)=0$且$f^{\prime \prime }(c)>0$，则$f(x)$在$c$处有局部最小值；如果$f^{\prime }(c)=0$且$f^{\prime \prime }(c)<0$，则$f(x)$在$c$处有局部最大值。

问：在不计算数值结果的情况下，$e^{\pi }$和${\pi }^e$哪个更大？

答：

两边取$\ln$，对比$e^{\pi }$和${\pi }^e$ $\iff$ 对比$\pi \ln e$和$e\ln \pi$ $\iff$ 对比$\frac{\ln e}{e}$和$\frac{\ln \pi }{\pi }$

考虑**$f(x)=\frac{\ln x}{x}$的单调性**，$f^{\prime }(x)=\frac{1-\ln x}{x^2}$，在$x>e$时，$f^{\prime }(x)<0$

$\because e<\pi$

$\therefore \frac{\ln e}{e}>\frac{\ln \pi }{\pi }$ $\iff$ $e^{\pi }>{\pi }^e$

也可以使用3.4.1 泰勒级数，$e^x={\sum }_{n=0}^{\infty }\frac{1}{n!}=1+\frac{x}{1!}+\frac{x^2}{2!}+\frac{x^3}{3!}+\dots$

即$e^x>1+x$，令$x=\pi /e-1$，则$e^{\pi /e}/e>\pi /e$ $\iff$ $e^{\pi }>{\pi }^e$

3.1.3 L’Hospital’s rule 洛必达法则

洛必达法则：

假设$f(x)$和$g(x)$在$x\to a$处可微，且$\underset{x\to a}{\lim }{g}^{\prime }(a)\ne 0$

进一步假设$\underset{x\to a}{\lim }f(a)=0$，$\underset{x\to a}{\lim }g(a)=0$或$\underset{x\to a}{\lim }f(a)\to \pm \infty$，$\underset{x\to a}{\lim }g(a)\to \pm \infty$

则$\underset{x\to a}{\lim }\frac{f(x)}{g(x)}=\underset{x\to a}{\lim }\frac{f^{\prime }(x)}{g^{\prime }(x)}$

问：求$\underset{x\to \infty }{\lim }\frac{e^x}{x^2}$和$\underset{x\to 0^{+}}{\lim }{x}^2\ln x$？

答：

$\underset{x\to \infty }{\lim }\frac{e^x}{x^2}=\underset{x\to \infty }{\lim }\frac{e^x}{2x}=\underset{x\to \infty }{\lim }\frac{e^x}{2}=\infty$

$\underset{x\to 0^{+}}{\lim }{x}^2\ln x=\underset{x\to 0^{+}}{\lim }\frac{\ln x}{x^{-2}}=\underset{x\to 0^{+}}{\lim }\frac{1/x}{-2x^{-3}}=\underset{x\to 0^{+}}{\lim }\frac{x^2}{-2}=0$

3.2 Integration 积分

3.2.1 Basics of integration 积分基础

**不定积分：**如果能找到一个函数$F(x)$，其导数是$f(x)$，则$F(x)$为$f(x)$的不定积分（原函数）。${\int }_a^{b}f(x)={\int }_a^b{F}^{\prime }(x)dx=[F(x){]}_a^b=F(b)-F(a)$

反向广义幂法则：$\int u^{k}du=\frac{u^{k+1}}{k+1}+c$，$k\ne 1$

换元积分法：$\int f(g(x))\cdot g^{\prime }(x)dx=\int f(u)du$，其中$u=g(X),du=g^{\prime }(x)dx$

• 定积分中的换元（上下限相应改变）：${\int }_a^{b}f(g(x))\cdot g^{\prime }(x)dx={\int }_{g(a)}^{g(b)}f(u)du$

分部积分法：$\int udv=uv-\int vdu$

问：求$\int \ln xdx$？

**答：**分部积分法

$\int \ln xdx=x\ln x-\int 1dx=x\ln x-x+c$

问：求${\int }_0^{\pi /6}\sec x$？

答：

$\frac{d\sec x}{dx}=\frac{d(1/\cos x)}{dx}=\frac{\sin x}{{\cos }^{2}x}=\sec x\tan x$

$\frac{d\tan x}{dx}=\frac{d(\sin x/\cos x)}{dx}=\frac{{\cos }^{2}x+{\sin }^{2}x}{{\cos }^{2}x}={\sec }^{2}x$

$\therefore \frac{d(\sec x+\tan x)}{dx}=\sec x(\sec x+\tan x)$

将$(\sec x+\tan x)$视为一个整体，则有：

$\frac{d\ln |\sec x+\tan x|}{dx}=\frac{\sec x(\sec x+\tan x)}{(\sec x+\tan x)}=\sec x$

$\Rightarrow \int \sec x=\ln |\sec x+\tan x|+c$

${\int }_0^{\pi /6}\sec x=\ln |\sec (\pi /6)+\tan (\pi /6)|-\ln |\sec (0)+\tan (0)|=\ln (\sqrt{3})$

3.2.2 Applications of integration 积分应用

问：两个半径为1的圆柱体成直角相交，中心也相交，相交的部分体积是多少?

**答：**计算三维体积$V={\int }_{z_1}^{z_2}A(z)dz$，其中$A(z)$是垂直于$z$轴的平面在坐标$z$处切割的实体的横截面积。

用水平面切割，横截面为边长为$2\ast \sqrt{r^2-z^2}$的正方形

体积为$2\ast {\int }_0^{r}4\ast (r^2-z^2)dz=8\ast [r^{2}z-z^3/3{]}_0^r=16/3r^3=16/3$

考虑一个半径为$r/2$的球，处在相交的部分中间，每个部分的横截面与相交部分的横截面关系为相切的圆和正方形，即$A_{circle}=\frac{\pi }{4}{A}_{square}$，高相同，所以$V_{intersection}=\frac{4}{\pi }{V}_{sphere}=\frac{4}{\pi }\frac{4}{3}\pi r^3=16/3$

问：在中午之前的某个时候，雪开始以恒定的速度下起来。中午，剑桥市派出了扫雪机清理麻省理工到哈佛大学之间的马萨诸塞大道。这台扫雪机以每分钟固定的量铲雪。下午1点，它移动了2英里，下午2点，移动了3英里。什么时候开始下雪的?

答：

设中午为$t=0$，下午1点为$t=1$，下午2点为$t=2$，$T$小时之前开始下雪；

设雪的横截面积（雪的深度*路的宽度）为$A(t)$，雪的横截面积增加率为常数$c_2$（雪以恒定的速度下），则某时刻雪的横截面积$A(t)=c_2(t+T)$；

设扫雪机每小时能扫雪的体积为常数$c_1$，则扫雪机移动速度为$v=\frac{c_1}{A(t)}=\frac{c_1}{c_2(t+T)}=\frac{c}{t+T}$，其中$c=\frac{c_1}{c_2}$；

• 下午1点，移动了2英里：${\int }_0^1\frac{c}{T+t}dt=c\ln (1+T)-c\ln T=c\ln (\frac{1+T}{T})=2$

• 下午2点，移动了3英里：${\int }_0^2\frac{c}{T+t}dt=c\ln (2+T)-c\ln T=c\ln (\frac{2+T}{T})=3$

可得$(\frac{1+T}{T}{)}^3=(\frac{2+T}{T}{)}^2$ $\Rightarrow$ $T^2-T+1=0$ $\Rightarrow$ $T=(\sqrt{5}-1)/2$

3.2.3 Expected value using integration 积分与期望

问：随机变量$X$服从标准正态分布，$X\sim N(0,1)$，求$E[X|X>0]$？

答：

概率密度函数为$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-1/2x^2}$

所以，$E[X|X>0]={\int }_0^{\infty }xf(x)dx={\int }_0^{\infty }x\frac{1}{\sqrt{2\pi }}{e}^{-1/2x^2}dx$

$\because d(-1/2x^2)=-x,\int e^{u}du=e^u+c$

$\therefore {\int }_0^{\infty }x\frac{1}{\sqrt{2\pi }}{e}^{-1/2x^2}dx={\int }_0^{-\infty }-\frac{1}{\sqrt{2\pi }}{e}^{u}du=-\frac{1}{\sqrt{2\pi }}[e^u{]}_0^{-\infty }=\frac{1}{\sqrt{2\pi }}$

$E[X|X>0]=\frac{1}{\sqrt{2\pi }}$

3.3 Partial Derivatives and Multiple Integrals 偏导数和多重积分

**偏导数：**对$w=f(x,y)$，对$x$的偏导数$f_x=\frac{\partial f}{\partial x}(x_0,y_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}$

二阶偏导数：$\frac{{\partial }^{2}f}{\partial x^2}=\frac{\partial }{\partial x}(\frac{\partial f}{\partial x})$，$\frac{{\partial }^{2}f}{\partial x\partial y}=\frac{\partial }{\partial x}(\frac{\partial f}{\partial y})=\frac{\partial }{\partial y}(\frac{\partial f}{\partial x})$

**一般链式法则：**对$w=f(x_1,x_2,\dots ,x_m)$，其中每个$x_1,x_2,\dots ,x_m$都是$t_1,t_2,\dots ,t_n$的函数，且都有连续一阶偏导数，则$\frac{\partial w}{\partial t_i}=\frac{\partial w}{\partial x_1}\frac{\partial x_1}{\partial t_i}+\frac{\partial w}{\partial x_2}\frac{\partial x_2}{\partial t_i}+\dots +\frac{\partial w}{\partial x_m}\frac{\partial x_m}{\partial t_i}$

**将笛卡尔积分转化为极坐标积分：**二维平面上的变量可以映射到极坐标$x=r\cos \theta ,y=r\sin \theta$中。积分被转换成在连续的极区间$R$中的积分：${\iint }_{R}f(x,y)dxdy={\iint }_{R}f(r\cos \theta ,r\sin \theta )rdrd\theta$

问：求${\int }_0^{\infty }{e}^{-x^2/2}dx$？

**答：**转化为极坐标积分
$$
\begin{aligned}
\int_{-\infty}^{\infty} e^{-x2/2}dx\int_{-\infty}^{\infty} e^{-y2/2}dy&=\int_{-\infty}^{{\infty}\int_{-\infty}}{\infty}e^{-(x2+y^{2)/2}dxdy=\int_{0}}{\infty}\int_{0}^{2\pi}e{-(r^2\cos ^2\theta+r2\sin^2\theta)/2}rdrd\theta \

&=\int_{0}^{{\infty}\int_{0}}{2\pi}e^{-r2/2}rdrd\theta=\int_{0}^{\infty}e{-r^2/2}d(-r2/2)\int_{0}^{2\pi}d\theta \

&=[e^{-r2/2}]_{0}^{{\infty}[\theta]_{0}}{2\pi}=2\pi
\end{aligned}
$$
$\because {\int }_{-\infty }^{\infty }{e}^{-x^2/2}dx={\int }_{-\infty }^{\infty }{e}^{-y^2/2}dy$

$\therefore {\int }_0^{\infty }{e}^{-x^2/2}dx=\frac{\sqrt{2\pi }}{2}=\sqrt{\frac{\pi }{2}}$

标准正态分布的概率密度函数为$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-1/2x^2}$，由定义可得：${\int }_{-\infty }^{\infty }f(x)dx={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-1/2x^2}dx=2{\int }_0^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-1/2x^2}dx=1$

$\therefore {\int }_0^{\infty }{e}^{-x^2/2}dx=\sqrt{\frac{\pi }{2}}$

3.4 Important Calculus Methods 重要的微积分方法

3.4.1 Taylor’s series 泰勒级数

**一维泰勒级数：**将函数$f(x)$展开为在$x=x_0$处的导数构成的多项之和

• $f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+\dots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+\dots$

麦克劳林公式：

• 如果$x_0=0,f(x)=f(0)+f^{\prime }(0)x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+\dots +\frac{f^{(n)}(0)}{n!}{x}^n+\dots$

泰勒级数经常被用来表示幂级数形式的函数，三个常见的超越函数(Transcendental Functions)在$x_0=0$处的泰勒级数为：

• $e^x={\sum }_{n=0}^{\infty }\frac{1}{n!}=1+\frac{x}{1!}+\frac{x^2}{2!}+\frac{x^3}{3!}+\dots$
• $\sin x={\sum }_{n=0}^{\infty }\frac{(-1{)}^n{x}^{2n+1}}{(2n+1)!}=x-\frac{x^3}{3!}+\frac{x^5}{5!}-\frac{x^7}{7!}+\dots$
• $\cos x={\sum }_{n=0}^{\infty }\frac{(-1{)}^n{x}^{2n}}{(2n)!}=1-\frac{x^2}{2!}+\frac{x^4}{4!}-\frac{x^6}{6!}+\dots$

泰勒级数也可以表示为n次多项式$T_n(x)$和余项$R_n(x)$之和：$f(x)=T_n(x)+R_n(x)$

• $T_n(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+\dots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n$
• Lagrange拉格朗日余项（具体表达式）：$R_n(x)=\frac{f^{(n+1)}(\tilde{x})}{(n+1)!}|x-x_0{|}^{n+1},\tilde{x}\in (x_0,x)$
  • 假设$M$为$|f^{(n+1)}(\tilde{x})|$在$\tilde{x}\in (x_0,x)$中的最大值，则$|R_n(x)|=\frac{M\times |x-x_0{|}^{n+1}}{(n+1)!}$
• Peano皮亚诺余项（高阶无穷小）：$R_n(x)=o((x-x_0{)}^n)$

问：求$i^i$？

**答：**使用欧拉公式$e^{i\theta }=\cos \theta +i\sin \theta$，可由泰勒级数证明

$e^{i\theta }=1+\frac{i\theta }{1!}+\frac{(i\theta ){)}^2}{2!}+\frac{(i\theta {)}^3}{3!}+\frac{(i\theta {)}^4}{4!}+\frac{(i\theta {)}^5}{5!}+\dots =1+i\frac{\theta }{1!}-\frac{{\theta }^2}{2!}-i\frac{{\theta }^3}{3!}+\frac{{\theta }^4}{4!}+i\frac{{\theta }^5}{5!}+\dots$

$\cos \theta =1-\frac{{\theta }^2}{2!}+\frac{{\theta }^4}{4!}-\frac{{\theta }^6}{6!}+\dots$

$\sin \theta =\theta -\frac{{\theta }^3}{3!}+\frac{{\theta }^5}{5!}-\frac{{\theta }^7}{7!}+\dots \Rightarrow i\sin \theta =i\frac{\theta }{1!}-i\frac{{\theta }^3}{3!}+i\frac{{\theta }^5}{5!}-i\frac{{\theta }^7}{7!}+\dots$

$\therefore e^{i\theta }=\cos \theta +i\sin \theta$

令$\theta =\pi$，得$e^{i\pi }=\cos \pi +i\sin \pi =-1$

令$\theta =\pi /2$，得$e^{i\pi /2}=\cos (\pi /2)+i\sin (\pi /2)=i$

$\therefore \ln i=\ln (e^{i\pi /2})=i\pi /2$

$\ln (i^i)=i\ln i=i(i\pi /2)=-\pi /2\Rightarrow i^i=e^{-\pi /2}$

问：证$(1+x{)}^n⩾1+nx$，对任意$x>-1$和任意整数$n⩾2$？

**答：**令$f(x)=(1+x{)}^n$，则$1+nx$为$f(x)$在$x_0=0$处泰勒级数的前两项

一阶导和二阶导：$f^{\prime }(x)=n(1+x{)}^{n-1},f^{\prime \prime }(x)=n(n-1)(1+x{)}^{n-2}$
$$
\begin{aligned}
f(x)&=f(x_0)+f’(x_0)(x-x_0)+\frac{f’‘(\tilde x)}{2!}(x-x_0)^2=f(0)+f’(0)x+\frac{f’'(\tilde x)}{2!}x^2\

&=1+nx+n(n-1)(1+\tilde x)^{n-2}x2
\end{aligned}
$$
$\because \tilde{x}\in (x_0,x),x>-1$

$\therefore x<0,x⩽\tilde{x}⩽0;x>0,x⩾\tilde{x}⩾0$

即$(1+\tilde{x}{)}^{n-2}>0,x^2⩾0$

又$\because n⩾2$

$\therefore n>0,(n-1)>0$

因此，$n(n-1)(1+\tilde{x}{)}^{n-2}{x}^2⩾0\Rightarrow (1+x{)}^n⩾1+nx$

也可以用数学归纳法

3.4.2 Newton’s method 牛顿法

**牛顿法：**求解$f(x)=0$的迭代过程。从初始值$x_0$开始进行迭代$x_{n+1}=x_n-\frac{f(x_n)}{f^{\prime }(x_n)}(x_1,x_2,\dots 收敛)$求解$f(x)=0$

牛顿法的收敛性不能保证，尤其是当初始值离正确解较远时。为了使牛顿法收敛，通常需要初始值足够接近根，且$f(x)$在根附近可微。

• 牛顿法的收敛速度是二次的，即$\frac{|x_{n+1}-x_f|}{(x_n-x_f{)}^2}⩽\delta <1,x_f为f(x)=0的解$

问：求解$x^2=37$，三位小数

答：

初始值$x_0=6$

$x_1=x_0-\frac{f(x_0)}{f^{\prime }(x_0)}=x_0-\frac{x_0^2-37}{2x_0}=6-\frac{36-37}{2\times 6}=6.083$

问：假设$f(x)$是一个可微函数，求解$f(x)=0$的寻根方法有什么？

**答：**除了牛顿法外，还有Bisection method二分法和Secant Method弦截法

**二分法：**初始值$a_0,b_0$，满足$f(a_0)<0,f(b_0)>0$，因为$f(x)$是一个可微函数，所以一定存在一个$x\in (a_0,b_0)$满足$f(X)=0$。

每一步，检查$f((a_n+b_n)/2)$的正负，如果$<0$，令$b_{n+1}=b_n,a_{n+1}=(a_n+b_n)/2$；如果$>0$，令$a_{n+1}=a_n,b_{n+1}=(a_n+b_n)/2$，直到$f((a_n+b_n)/2)=0$或误差在可接受范围内

• 二分法的收敛速度是线性的，即$\frac{x_{n+1}-x_f}{x_n-x_f}⩽\delta <1$

弦截法：初始值$x_0,x_1$，迭代$x_{n+1}=x_n-\frac{x_n-x_{n-1}}{f(x_n)-f(x_{n-1})}f(x_n)$，即用线性近似替代了牛顿法中的$f^{\prime }(x_n)$

• 弦截法的收敛速度为$(1+\sqrt{5})/2$

3.4.3 Lagrange multipliers 拉格朗日乘数法

**拉格朗日乘数法：**求解具有一个或多个约束的多元函数局部最大值/最小值的常用方法。

问：从原点到平面$2x+3y+4z=12$的距离是多少?

答：

$\min D^2=f(x,y,z)=x^2+y^2+z^2$

$s.t.g(x,y,z)=2x+3y+4z-12=0$

$L(x,y,z,\lambda )=x^2+y^2+z^2+\lambda (2x+3y+4z-12)$
$$\{\begin{array}{l}{L}_x^{\prime }=2x+2\lambda =0\\ L_y^{\prime }=2y+3\lambda =0\\ L_z^{\prime }=2z+4\lambda =0\\ L_{\lambda }^{\prime }=2x+3y+4z-12=0\end{array}$$
$x=\frac{24}{29},y=\frac{36}{29},z=\frac{48}{29},\lambda =-\frac{24}{29}$

$D=\sqrt{(\frac{24}{29}{)}^2+(\frac{36}{29}{)}^2+(\frac{48}{29}{)}^2}=\frac{12}{\sqrt{29}}$

原点到平面$ax+by+cz=d$距离公式：$D=\frac{|d|}{\sqrt{a^2+b^2+c^2}}$