应用广义线性模型二|二响应广义线性模型

系列文章目录

2响应模型中响应变量的哑变量编码的维数是1，是值域为 { 0 , 1 } \{0,1\} {0,1}的变量。将这个哑变量编码记为$Y$，则k响应模型具体为：
$$E(Y|X)=h(Z\beta )$$
称之为二响应广义线性模型，简称二响应模型，进一步称$Z=Z(X)$为二响应模型的设计向量，$\beta$为模型参数。

设计向量中，人们通常称1为常数项，称解释变量的分量为主效应量，将解释变量的k个分量的乘积成为这k个分量的k阶交互作用项。
设计向量：$Z(x)=(1,x_1,x_2,x_3,x_1{x}_2,x_1{x}_3,x_2{x}_3)$中包含了所有的主效应项和所有的2阶交互作用项。

一、二响应模型的不同表达方式和响应函数

响应函数$h$：
为了确保条件概率位于0和1之间，响应函数的值域为$[0,1]$。为了研究方便，响应函数总是被要求为严格单增连续分布函数，在这样的假设下，响应函数$h$是可逆函数，称：$g=h^{-1}$为二响应模型的连接函数。

二响应模型$E(Y|X)=h(Z\beta )$的不同表达方式：

• 因为$E(Y|X)=P(Y=1|X)$，所以二响应模型可以表示为以下两种形式：
  • $P(Y=1|X)=h(Z\beta )$
  • $Y\sim B(1,h(Z\beta ))$
• 用连接函数表示：
  • $g(E(Y|X))=Z\beta$

二响应逻辑回归模型：（逻辑回归模型或logit模型）
当响应函数和连接函数分别是逆逻辑函数和逻辑函数时，即：
$$ilogit(x)\triangleq \frac{exp(x)}{1+exp(x)}和logit(x)\triangleq log(\frac{x}{1-x})$$
二响应模型就成为了二响应逻辑回归模型：（简称为逻辑回归模型或logit模型）
$$E(Y|X)=\frac{exp(Z\beta )}{1+exp(Z\beta )}$$

正态分布概率模型或proit模型：
当响应函数和连接函数分别是：
$$h(x)=\Phi (x)和g(t)={\Phi }^{-1}(t)$$
模型就成为了正态分布概率模型或proit模型：
$$E(Y|X)=\Phi (Z\beta )$$

极小值分布概率模型或chaglog模型：
当响应函数和连接函数分别是：
$$h(x)=1-\exp (-\exp (x))和g(t)=\log (-\log (1-t))$$
模型就成为了极小值分布概率模型或chaglog模型：
$$E(Y|X)=1-\exp (-exp(Z\beta ))$$

这三个响应函数曲线的差异十分明显：
但是这三个响应函数可以通过平移和刻度变换相互逼近。因此，当设计向量含有常数项时，逻辑回归模型、正态分布模型和极小值分布模型拟合样本观测数据的效果差不多。

二、二响应模型的性质

（一）二响应变量的条件数学期望与方差

已知二响应模型可以表示为：$Y\sim B(1,h(Z\beta ))$，因此根据二项分布的性质可以得到：
$$E(Y|X)=h(Z\beta ),Var(Y|X)=h(Z\beta )(1-h(Z\beta ))$$

（二）二响应模型参数的极大似然估计

对于变量$(Y,X)$的独立观测样本$(Y_i,X_i)$，$1\le i\le n$，每个样本点都满足二响应模型，即：
$$P(Y_i=1|X_i)=h(Z_i\beta ),P(Y_i=0|X_i)=1-h(Z_i\beta )$$
进而可以得到第$i$项观测的个体似然函数：
$$L_i(\beta )\triangleq h(Z_i\beta {)}^{Y_i}(1-h(Z_i\beta ){)}^{1-Y_i}$$
第$i$项观测的对数似然函数：
$$l_i(\beta )\triangleq Y_i\log h(Z_i\beta )+(1-Y_i)\log (1-h(Z_i\beta ))$$
进而得到参数$\beta$的对数似然函数：
$$l(\beta )\triangleq \sum _{i=1}^n(Y_i\log h(Z_i\beta )+(1-Y_i)\log (1-h(Z_i\beta )))$$
模型参数的似然估计即为：
$$\hat{\beta }=\mathrm{argmax}l(\beta )$$

显然，对数似然函数由样本所决定，因此它的最大值点也完全由样本所决定，即似然估计$\hat{\beta }$是一个统计量。

（三）二响应模型的优势

优势（Odds）：一个事件发生的概率与其不发生的概率的比值。
二响应模型中的优势与解释变量的取值有关，他在x点的值为：
$$O(x)\triangleq \frac{P(Y=1|X=x)}{P(Y=0|X=x)}=\frac{P(Y=1|X=x)}{1-P(Y=1|X=x)}$$
因此二响应模型的优势为：
$$O(x)\triangleq \frac{h(z\beta )}{1-h(z\beta )}$$

对于逻辑回归型来说，优势为：
$$O(x)\triangleq \frac{P(Y=1|X=x)}{P(Y=0|X=x)}=exp(z\beta )$$
因此解释变量$x^{(1)}$和$x^{(2)}$的优势比为：
$$\frac{O(x^{(1)})}{O(x^{(2)})}=exp((z^{(1)}-z^{(2)})\beta )$$
因此在逻辑回归模型中，$exp((z^{(1)}-z^{(2)})\beta )$是$x^{(1)}$和$x^{(2)}$的的优势比，或等价地，$x^{(1)}$的优势是$x^{(2)}$优势的$exp((z^{(1)}-z^{(2)})\beta )$倍。其他二响应模型中，$x^{(1)}$和$x^{(2)}$的优势比的计算更为复杂，这是人们喜欢用逻辑回归模型拟合二响应变量样本观测数据的一个原因

三、二响应模型参数的假设检验

二响应模型中模型参数的假设检验问题：$H_0:C\beta =\xi$

• $C$是已知的$s\times t$行满秩矩阵，称为限制矩阵
• $\beta =({\beta }_1,...,{\beta }_t{)}^T$是模型参数

（一）对数似然比检验方法

对数似然比统计量与原假设之间的关系：

• 模型参数$\beta$的限制似然估计量：$\tilde{\beta }={\mathrm{argmax}}_{\beta :C\beta =\xi }l(\beta )$
• 对数似然比统计量：$\lambda (Y,X)=-2(l(\tilde{\beta }-(\hat{\beta }))$
  • $\hat{\beta }$是极大似然估计量
  • $(Y,X)$为样本

$$\lambda (Y,X)=-2\log (\frac{L(\tilde{\beta })}{L(\hat{\beta })})=2\log (\frac{L(\hat{\beta })}{L(\tilde{\beta })})$$
显然满足限制条件$H_0$的似然函数局部最大值$\tilde{\beta }$应该小于全局最大值$\hat{\beta }$，全局最大值越接近限制最大值，就越有利于限制条件$H_0$的成立。即$\lambda (X,Y)$越大，越不利于原假设。

检验方法：
当$H_0$成立时，$\lambda (X,Y)\stackrel{\text{a}}{\sim }{\chi }^2(r)$，其中$r=rank(C)$。进而可以通过对数似然比统计量的极限分布来近似计算p值：
$$p=P(\xi >\lambda (y,x))$$

• 如果p小于$\alpha$，则拒绝原假设，这种拒绝犯错误的概率不会超过$\alpha$
• 否则就接受原假设，即没有发现不利于$H_0$的证据

（二）Wald统计量

Wald统计量为$C\hat{\beta }$与$C\beta =\xi$之间距离的加权平均：
$$W(Y,X)=(C\hat{\beta }-\xi {)}^T(C(F(\hat{\beta }){)}^{-1}{C}^T{)}^{-1}(C\hat{\beta }-\xi )$$

• $\hat{\beta }$是极大似然估计量
• $F^{-1}(\hat{\beta })$为Fisher信息矩阵的逆矩阵
• $(Y,X)$为样本

当原假设成立时，Wald统计：
$$W(Y,X)=(\hat{\beta }-\beta )C^T(C(F(\hat{\beta }){)}^{-1}{C}^T{)}^{-1}C(\hat{\beta }-\beta )$$
是似然估计与真实参数$\beta$的距离，这个距离越大越不利于原假设。

检验方法：
当$H_0$成立时，$W(Y,X)\stackrel{\text{a}}{\sim }{\chi }^2(r)$，其中$r=rank(C)$。进而可以通过对数似然比统计量的极限分布来近似计算p值：
$$p=P(\xi >W(y,x))$$

• 如果p小于$\alpha$，则拒绝原假设，这种拒绝犯错误的概率不会超过$\alpha$
• 否则就接受原假设，即没有发现不利于$H_0$的证据

（三）得分统计量

得分统计量：
$$U(Y,X)=s(\tilde{\beta })F^{-1}(\tilde{\beta })(s(\tilde{\beta }){)}^T$$

• $s$为得分函数
• $\tilde{\beta }$为限制极大似然估计
• $F^{-1}(\tilde{\beta })$为Fisher信息矩阵的逆矩阵在限制极大似然估计点处的值

一般情况下得分统计量越小，$s(\tilde{\beta })$与0越接近，导致$\tilde{\beta }$与似然方程的解$\hat{\beta }$越接近，从而$H_0$成立的可能性越大。
检验方法：
当$H_0$成立时，$U(Y,X)\stackrel{\text{a}}{\sim }{\chi }^2(r)$，其中$r=rank(C)$。进而可以通过对数似然比统计量的极限分布来近似计算p值：
$$p=P(\xi >W(y,x))$$

• 如果p小于$\alpha$，则拒绝原假设，这种拒绝犯错误的概率不会超过$\alpha$
• 否则就接受原假设，即没有发现不利于$H_0$的证据

（四）模型参数分量是否为0的检验

实际应用时会经常关心模型参数的第$i$分量${\beta }_i$是否为0，如果为0，就说明响应变量与设计向量的第$i$个分量没有关系，否则响应变量就与设计向量的第i个分量有关系。
$$H_0:{\beta }_i=0$$
这个假设检验问题可以使用似然比统计、Wald统计量或得分统计量来简答，但是也有更简单的统计量：
$$T_i(X,Y)=\frac{{\hat{\beta }}_i}{\sqrt{a_{ii}}}$$
其中，$a_{ii}$为$F(\hat{\beta }){)}^{-1}$的对角线上的第i个元素。并且在一般情况下，$|T_i(X,Y)|$越大，越不利于原假设。

检验方法：
当$H_0$成立时，即${\beta }_i=0$时，$T_i=\frac{{\hat{\beta }}_i}{\sqrt{a_{ii}}}\stackrel{\text{a}}{\sim }N(0,1)$，其中$r=rank(C)$。进而可以通过对数似然比统计量的极限分布来近似计算p值：
$$p=P(|\xi |>|T_i(x,y)|)$$

• 如果p小于$\alpha$，则拒绝原假设，即${\beta }_i\ne 0$，这种拒绝犯错误的概率不会超过$\alpha$
• 否则就接受原假设${\beta }_i=0$，即没有发现不利于$H_0$的证据

（五）四种检验统计量的特点与应用

• 对数似然比统计量同时依赖于似然估计量和限制似然估计量，其值的计算量大
• Wald统计量仅依赖于无限制似然估计量$\hat{\beta }$，其值的计算量小，适用于前推式变量筛选
• 得分统计量仅依赖于限制似然估计量$\tilde{\beta }$，计算量较小，常用于后推式变量筛选
• 统计量$T_i$用于解答假设检验问题

四、二响应模型的拟合优度统计量

（一）样本观测数据的表示方法

• 不分组样本观测数据（不分组数据）：$(Y,X)$的原始观测数据$(y_i,x_i),i=1,...,n$
• 分组相应均值数据（分组数据）：当观测数据的解释变量中仅有$g$个不同取值$v_1,...,v_g$时，可用将样本观测数据表示为$(n_k,\overline{y_k},v_k),k=1,...,g$
  • $n_k$为数据中$v_k$的频数
  • $\overline{y_k}$为数据中解释变量为$v_i$的响应变量的算术平均值

（二）皮尔逊统计量

皮尔逊统计量是衡量二响应广义线性模型拟合效果的指标之一：
$${\chi }^2=\sum _{k=1}^g\frac{n_k(\overline{Y_k}-h(Z(v_k)\hat{\beta }){)}^2}{h(Z(v_k)\hat{\beta })(1-h(Z(v_k)\hat{\beta }))}\stackrel{\text{a}}{\sim }{\chi }^2(g-p)$$
其中：
Y k ˉ = 1 n k ∑ i = 1 n 1 { v k } ( X i ) Y i , 1 ≤ k ≤ g \bar{Y_k}=\frac{1}{n_k}\sum_{i=1}^n1_{\{v_k\}}(X_i)Y_i,1\leq k\leq g Yk​ˉ​=nk​1​i=1∑n​1{vk​}​(Xi​)Yi​,1≤k≤g
在皮尔逊统计量中，$\overline{Y_k}-h(Z(v_k)\hat{\beta })$是频率与概率估计值之差，$\hat{D}(\overline{Y_k})=\frac{h(Z(v_k)\hat{\beta })(1-h(Z(v_k)\hat{\beta }))}{n_k}$是$D(\overline{Y_k})$的估计值，显然：$\frac{({\bar{Y}}_k-h(Z(v_k)\hat{\beta }){)}^2}{\hat{D}(\overline{Y_k})}$越小，说明用$h(Z(v_k)\hat{\beta })$估计$P(Y|X=v_k)$的效果越好。因此可以用其和${\chi }^2$来衡量广义线性模型的拟合效果：皮尔逊统计量${\chi }^2$越小，拟合的效果越好。

对于分组数据，皮尔逊计量要求各个$n_k$都很大的情况效果才会好，当$n_i$很小，甚至等于1的情况，皮尔逊统计量比较模型的效果会很差。

（三）偏差统计量

当解释变量可能取值为$v_1,...,v_g$时， 1 = ∑ k = 1 g 1 { v k } ( X i ) 1=\sum_{k=1}^g1_{\{v_k\}}(X_i) 1=∑k=1g​1{vk​}​(Xi​)，因此对数似然函数可以表达为：
l ( β ) = ∑ i = 1 n ∑ k = 1 g 1 { v k } ( X i ) ( Y i log ⁡ h ( Z ( X i ) β ) + ( 1 − Y i ) log ⁡ ( 1 − h ( Z ( X i ) β ) ) ) = ∑ i = 1 n ∑ k = 1 g 1 { v k } ( X i ) ( Y i log ⁡ h ( Z ( v k ) β ) + ( 1 − Y i ) log ⁡ ( 1 − h ( Z ( v k ) β ) ) ) \begin{aligned} l(\beta)=&\sum_{i=1}^n\sum_{k=1}^g1_{\{v_k\}}(X_i)(Y_i\log h(Z(X_i)\beta)+(1-Y_i)\log (1-h(Z(X_i)\beta)))\\ =&\sum_{i=1}^n\sum_{k=1}^g1_{\{v_k\}}(X_i)(Y_i\log h(Z(v_k)\beta)+(1-Y_i)\log (1-h(Z(v_k)\beta)))\\ \end{aligned} l(β)==​i=1∑n​k=1∑g​1{vk​}​(Xi​)(Yi​logh(Z(Xi​)β)+(1−Yi​)log(1−h(Z(Xi​)β)))i=1∑n​k=1∑g​1{vk​}​(Xi​)(Yi​logh(Z(vk​)β)+(1−Yi​)log(1−h(Z(vk​)β)))​

记 n k = ∑ i = 1 n 1 { v k } ( X i ) ,   Y k ˉ = 1 n k ∑ i = 1 n 1 { v k } ( X i ) Y i n_k=\sum_{i=1}^n1_{\{v_k\}}(X_i),\ \bar{Y_k}=\frac{1}{n_k}\sum_{i=1}^n1_{\{v_k\}}(X_i)Y_i nk​=∑i=1n​1{vk​}​(Xi​), Yk​ˉ​=nk​1​∑i=1n​1{vk​}​(Xi​)Yi​，则可以用分组样本将似然函数表达为：
$$l(\beta )=\sum _{k=1}^g{n}_k(\overline{Y_k}\log h(Z(v_k)\beta )+(1-\overline{Y_k})\log (1-h(Z(v_k)\beta )))$$
记：$f_i(u)=(\overline{Y_k}\log u+(1-\overline{Y_k})\log (1-u)),u\in (0,1)，1\le i\le g$，则有：
$$\frac{d{f}_i(u)}{du}=\frac{{\bar{Y}}_i}{u}+\frac{1-{\bar{Y}}_i}{1-u}=\frac{{\bar{Y}}_i-u}{u(1-u)}$$
所以$f_i(u)\le f_i({\bar{Y}}_i),u\in (0,1)$。

由于$h(Z(v_k)\hat{\beta })$和$\overline{Y_k}$都是概率$P(Y=1|X=v_i)$的估计，并且：
$$\underset{n_i\to \infty }{\lim }{\bar{Y}}_i=P(Y=1|X=v_i)$$
因此当$n_i$充分大时，$f_i(\overline{Y_i})-f_i(h(Z(v_i)\hat{\beta })$越小，用$Z(v_i)\hat{\beta }$估计$P(Y=1|X=v_i)$的效果越好。因此人们常用偏差统计量：
$$D(X,Y)\triangleq -2\sum _{i=1}^g{n}_i(f_i(h(Z(v_i)\hat{\beta }))-f_i({\bar{Y}}_i))$$
来衡量模型的拟合效果，偏差统计量的值越小，拟合效果也就越好。

五、全模型与子模型

设计向量中，人们通常称1为常数项，称解释变量的分量为主效应量，将解释变量的k个分量的乘积成为这k个分量的k阶交互作用项。
设计向量：$Z(x)=(1,x_1,x_2,x_3,x_1{x}_2,x_1{x}_3,x_2{x}_3)$中包含了所有的主效应项和所有的2阶交互作用项。

若设计向量$\tilde{V}$是设计向量$V$的子向量，则称$V$所对应模型为$\tilde{V}$所对应模型的全模型或父模型，称$\tilde{V}$所对应模型为$V$所对应模型的子模型。如二响应逻辑回归模型$logit(E(Y|X))=(1,x_3,x_1{x}_3)\alpha$是全模型$logit(E(Y|X))=(1,x_1,x_2,x_3,x_1{x}_2,x_1{x}_3,x_2{x}_3)\beta$的子模型。当全模型的模型参数一些分量为0时，全模型就变为子模型。

在选择使用全模型还是子模型拟合数据时，可以通过全模型参数的假设检验问题来进行探索：
$$H_0:{\beta }_1={\beta }_2={\beta }_{1,2}={\beta }_{2,3}=0$$

事实上，当模型参数估计的多个分量的p值都超过显著水平时，直接在设计向量中剔除这些分量所得的子模型的你和效果可能会很差。

变量选择问题：

• AIC准则：$AIC=2p-2l(\hat{\beta })$，在子模型中选择AIC值最小的模型拟合数据。对于全模型，人们常用逐步回归法选择最优子模型。
  • 令设计向量$Z=(1,Z_1,...,Z_k)$，计算模型$E(Y|X)=h(Z\beta )$的AIC的值$a_{none}$
  • 对于$1\le i\le k$，删除$Z$的第$i+1$分量得子向量：$Z^{(i)}=(1,Z_1,...,Z_{i-1},Z_{i+1},Z_k)$，计算模型$E(Y|X)=h(Z^{(i)}{\beta }^{(i)})$的AIC的值$a_i$
  • 若 a n o n e ≤ m i n { a 1 , . . . a k } a_{none}\leq min\{a_1,...a_k\} anone​≤min{a1​,...ak​}，结束运算；否则，寻找$a_1,...a_k$中最小者$a_m$，令$k=k-1,Z=Z^{(m)}$，跳转到第一步
• 另外也可以通过假设检验来考察最优子模型与全模型间是否有差异。

一般来说，最优逻辑回归模型的选择思路可以是：从设计向量出发，利用逐步回归方法获取最优子模型，通过一个分类变量的哑变量编码拓展最优子模型的设计向量，用拓展设计向量替代，重复上述过程，得到最终选择模型。

六、响应变量的预报

依据均方误差准则，应该用条件期望预报随机变量的值，但是二响应线性回归模型的条件期望的值是小数，实际应用中希望得到的预报却应该为0或1,因此需要通过一些特殊方式来实现响应变量的预报。

（一）阈值

核心思想： 通过 Y ^ c = 1 { h ( Z ( x ) β ) > c } \hat{Y}_c=1_{\{h(Z(x)\beta)>c\}} Y^c​=1{h(Z(x)β)>c}​来预报响应变量，称c为阈值。

阈值的确定：

• 根据极大似然的原理得到预报规则：如果$P(Y=1|X=x)\ge P(Y=1|X=x)$，就预报响应变量的值为1，否则预报为0，因此极大似然预报公式即为：
  Y ^ c = 1 { h ( Z ( x ) β ) > 0.5 } \hat{Y}_c=1_{\{h(Z(x)\beta)>0.5\}} Y^c​=1{h(Z(x)β)>0.5}​

${\hat{Y}}_c$的预报效果：

• 总体误报率：$E(|{\hat{Y}}_c-Y|)$的值越小，说明预报效果越好。
• 样本预报率：$f=\frac{1}{n}{\sum }_{i=1}^n|Y_i-{\hat{Y}}_i|$
• 误报率与响应变量$Y_1,...,Y_n$中1的比例有关，因此不宜用这一指标衡量预报效果。

（二）ROC曲线

二响应广义线性模型常常关心预报值1是否为误报，即真值1和0是否能够被正确预报出来。

• TP：n次预报中真值为1预报值也为1的预报次数
• FN：n次预报中真值为1预报值为0的预报次数
• FP：n次预报中真值为0预报值为1的预报次数
• TN：n次预报中真值为0预报值也为0的预报次数

$$TPR\triangleq \frac{TP}{TP+FN},FPR\triangleq \frac{FP}{FP+TN}$$

• TPR是真值1被预报成功的频率，称为真正类率，我们希望它尽可能大
• FPR是真值0被预报成1的频率，称为假正类率，我们希望它越小越好