因果系列文章(9)——反事实(下)

发布于:2022-12-24 ⋅ 阅读:(604) ⋅ 点赞:(0)
4月4日,新冠病毒全球累计确诊已经突破100万,其中美国已超过24万。4月2日,外交部新闻发言人华春莹在新闻发布会上质问美国:“如果当初最先发生疫情的国家是美国,而不是中国,美国会处理的比中国更好吗?”我们难以假设那种情况的存在,但是从美国现在的处理行动来看,答案很大可能是不好的。——现实中的“反事实”

这一节还是继续学习反事实推理。有关反事实有一个重要的定理描述如下:

【定理】如果变量集 Z 满足 X→Y 的后门条件,那么对于所有可能的 x ,反事实 Yx 都与 X 以 Z 为条件独立。

                                                    P(Yx|X,Z)=P(Yx|Z)                                                       (1)

这个定理使得我们直接得到了一个有关估计P(Yx=y) 的式子:

第一个等号是全概率公式。第二个等号是根据(1)式。第三个等号是根据上一节提到的“一致性原则”:如果我们观测到X=x,那么反事实的结果与原结果保持不变,YX=x=Y。

另一个定理是关于线性系统中的反事实。这个定理告诉我们,只要 E[Y|do(X=x)] 是可估计的,任何反事实 E[YX=x|Z=e] 都是可估计的。

【定理】定义 X 对 Y 的总效应的斜率 τ 如下:

                                           =E[Y|do(x+1)]−E[Y|do(x)]

那么,对于任何已知的证据 Z=e 都有:
                                          E[YX=x|Z=e]=E[Y|Z=e]+(x−E[X|Z=e])                               (3)

在上一节课外辅导和考试成绩的例子中,我们计算了在观测到证据 e={X=0.5,H=1,Y=1} 情况下的的反事实 YH=2 。现在我们可以用公式(3)来计算参与者处理效应(effect of treatment on the treated,ETT)。

ETT=E[Y1−Y0|X=1]

根据这个定理我们可以得到:

ETT=E[Y1|X=1]−E[Y0|X=1]

=E[Y|X=1]−E[Y|X=1]+(1−E[X|X=1])−(0−E[X|X=1])=

=b+ac=0.9

图1

Pearl教授的《为什么》一书中介绍了“参与者处理效应”(ETT)这个非常流行的概念,它是“用来评估获得处理的人是否能从该处理中受益最多的人”。比如上面的例子,我们求出的便是如果参加了课外辅导的人没有参加课外辅导的话,他的考试成绩会有怎样的变化。这对于医学诊疗方面也会有十分重要意义,比如某个患者接受了治疗,但是并没有康复或者效果不佳,此时患者家属很可能发生医患纠纷,那么我们便非常愿意弄清楚,如果接受了治疗的患者没有接受治疗的话,他的病情会不会更糟

接下来我们浏览几个有关反事实的例子,以便更加深入地理解反事实的概念。这些例子出现在《Casual Infernce in Statistics》一书第四章,有节选。

案例:就业培训计划

第一个故事是说,政府主导了一项就业培训计划,就是给那些失业的人提供职业技能培训的机会,以使得他们能够更好地找到新工作。结果,参加了就业培训计划的人的就业率得到了明显的提高。政府很满意,决定继续增加投资以扶持这一计划。然而,批评者却说这是在浪费纳税人的钱,他们认为,虽然这些参加培训的人是随机选择的,但是他们自愿来参加培训,就表明他们比那些没有自愿报名的人更加聪明明智、积极上进,因而很可能本身就更能找到工作。批评者认为,应该估计的是那些已经参加培训的人如果没有参加培训的话,他们的就业率会不会有变化

这个故事正是刚才提到的ETT问题。我们用 Y=1 代表被雇佣, X=1 代表参加培训,那么就可以使用ETT的标准公式来估计

ETT=E[Y1−Y0|X=1]

E[Y0|X=1] 代表的是一个参加了培训的人 (X=1) 如果没有参加培训能找到工作的期望。这种与事实相悖的期望似乎与经验度量相悖,因为我们永远无法重新回放已经发生的历史,也无法否定已经参加过培训的人。但是在某些情形下却可以通过一些简单的变换来实现对 E[Y0|X=1] 的计算。比如,如果我们有一个其它的变量(集) Z 满足 X→Y 的后门条件,那么

P(Yx=y|X=x′)=∑zP(Y=y|X=x,Z=z)P(Z=z|X=x′)

这个式子是这样推出的。首先,根据之前的(2)式我们可以得到

P(Yx=y)=∑zP(Y=y|Z=z,X=x)P(Z=z)

然后根据全概率公式

P(Yx=y|X=x′)=∑zP(Yx=y|Z=z,X=x′)P(Z=z|X=x′)

根据变量集 Z 带来的条件独立性, Yx 与 X 是以 Z 为条件独立的,所以我们 x′ 可以替换为 x ,并根据一致性原则可去掉下标 x ,于是就有了:

P(Yx=y|X=x′)=∑zP(Y=y|Z=z,X=x)P(Z=z|X=x′)

根据以上的式子,我们再来重新推导ETT:

ETT=E[Y1−Y0|X=1]=E[Y1|X=1]−E[Y0|X=1]=E[Y|X=1]−∑zE[Y|X=0,Z=z]P(Z=z|X=1)

案例:补充胰岛素

之前提到的干预都是把 X 固定为 X=x 或者 X=x′ ,但是在实际情况中,我们的干预可能希望保留现在的某个状态并在此基础上增加或减少一些量,而不是完全替换这个干预量。比如我们希望给一组体内胰岛素水平不同的患者注射相同剂量的胰岛素。这种干预称为附加干预(additive Interventions)。假如患者现在的胰岛素水平是 X=x′ ,然后我们假如要给他注射额外的胰岛素 q ,那么我们希望知道的反事实便是 Yx′+q ,在 X=x′ 的情况下对不同可变条件的期望表达式是 E[Yx|x′] ,其中 x=x′+q 。因此同样可以用之前的公式计算ETT。

E[Y|add(q)]−E[Y]

=∑x′E[Yx′+q|X=x′]P(X=x′)−E[Y]

=∑x′∑zE[Y|X=x′+q,Z=z]P(Z=z|X=x′)P(X=x′)−E[Y]

案例:个人抉择

琼斯女士是一名癌症患者,她面临着两种可能的治疗方法之间的艰难抉择:(i)仅切除乳房肿瘤,或者(ii)切除乳房肿瘤加放疗。在咨询了她的肿瘤医生后,她决定选择(ii)。十年后,琼斯女士还活着,而且肿瘤没有复发。于是她推测:我的重生应该归功于做了放疗。另一边,史密斯夫人只做了单独的乳房肿瘤切除术,没有做放疗。一年后,她的肿瘤复发了。于是她开始后悔:我应该接受放疗。这些推测能从统计数据中得到证实吗?

《新英格兰医学》杂志的研究发现,肿瘤切除术中加入了放射治疗能够降低乳腺癌的复发率。但是这毕竟是群体数据的结论,并不代表个体。对于个体案例有什么借鉴意义呢?

将琼斯女士和史密斯女士的担忧以反事实的数学形式表达出来,如果用 Y=1 表示康复,用 X=1 表示接受放疗的决定,那么琼斯女士将其康复归因于放疗的决定 (X=1) 是否合理的概率可以表达为

PN=P(Y0=0|X=1,Y=1)

这个式子的意思是,当琼斯女士已经接受了放疗 X=1 并且康复 Y=1 的情况下,推理自己如果没有接受放疗 YX=0 ,不会康复 YX=0=0 的概率是多少。PN表示必要性概率(probability of necessity)。它的准确定义是,当已知 X=x , Y=y 这个事实的前提下,假设 X=x′ 时, Y=y′ 的概率:

PN(x,y)=P(Yx′=y′|X=x,Y=y)

【定理】如果 Y 与 X 是单调相关的,也即,对于所有的 u ,都有 Y1(u)≥Y0(u) ,那么,只要 P(y|do(x)) 是可估计的,则PN就是可估计的,并可以用如下的式子计算:
PN=P(y)−P(y|do(x′))P(x,y)
如果代入 P(y)=P(y|x)P(x)+P(y|x′)(1−P(x)) 则还可进一步得到:
PN=P(y|x)−P(y|x′)P(y|x)+P(y|x′)−P(y|do(x′))P(x,y)                                                         (4)

(4)式中等号右边的第一项叫做超额风险比率(excess risk ratio,ERR),也称为可贵因风险度(fraction of attributable risk,FAR)。第二项被称为混杂因子(confounding factor,CF)。

类似的,我们可以用充分性概率(probability of sufficiency)来表示史密斯女士将其复发归因于没有做放疗的决定 X=0 是否正确的概率:

PS=P(Y1=1|X=0,Y=0)

这个式子的意思是,当史密斯女士没有接受放疗 X=0 ,并且病情复发 Y=0 的情况下,推理自己如果接受了放疗 YX=1 ,并且病情康复 YX=1=1 的概率是多少。

通过计算这些反事实的推理,人们不仅仅是产生了成功的喜悦、失败的懊恼等情感上的价值,更重要的是能够增强未来个人决策的信心,也能促使我们找到错误决策的来源并进行纠正。这个理念与强化学习(reinforcement learning)有相当程度的异曲同工,因此因果推理与强化学习如何结合,也是一个很值得研究的方向。

此外,这些反事实推理的经验,对于正处于类似情况的其他人,也有重要的借鉴意义。试想现在有一位戴利女士,她处在和琼斯女士相同的情形下,面临着相同的抉择。那么她的考虑思路便可以是:如果这个肿瘤是那种只要单纯切除就不会复发的肿瘤,那就没有必要接受放疗;或者如果这个肿瘤是那种无论是否接受放疗都会复发的肿瘤,那宁愿不接受放疗减少痛苦。只有当不放疗就会复发并且放疗后不会复发的情况时我才接受放疗。

因此,戴利女士要估计的是放疗这个动作对他肿瘤是否复发的充分必要概率

PNS=P(Y1=1,Y0=0)

其中Y1 和 Y0 分别表示在接受放疗和不接受放疗的情况。也就是说,戴利女士要求出的概率是她接受放疗时肿瘤不复发并且不接受放疗时肿瘤会复发的概率。但这种概率无法从实验研究中评估,因为我们永远无法从实验数据中得知,如果一个人被分配到不同的治疗方案,结果是否会有所不同。但是在假设单调性(monotonicity)的情况下,PNS是可以被估计的。

PNS=P(Y=1|do(X=1))−P(Y=1|do(X=0))

此处不作进一步展开了,相关文献可查找《Casual Inference in Statistics》[1]一书第4.4.3和4.5.1节,也可查阅《Causality: Models, Reasoning and Inference》[2]第9章。


从疫情期间开始学习这方面的资料以来,前几篇的内容已经相继涵盖了因果推理的基础知识和概念,包括d-分离、后门调整、前门调整、中介、干预、反事实等等。现在对因果推理这个领域总算有了一个更深刻的认识,虽然还只是非常非常浅显和粗鄙,但也总算是有了一个起步。有关因果推理的大部分参考文献都来自于Pearl的英文教材。中文资料较少(B站上有大神视频连载一个自录的因果推断的课程)。所以这个《因果推理初探》系列如果能够给对这方面感兴趣的读者提供一点点理解上的共鸣,也算是为知识分享做出的一点贡献吧。感谢部分读者指出了文中的一些错误,也欢迎感兴趣的读者、在本领域有一定研究的大神、或者向我一样正在学习的人能分享一些更加实际的案例研究(case study),帮助学习者更好的理解书本上的知识,特别是因果推理与人工智能、机器学习、机器人领域的结合。相关分享欢迎向本专栏投稿,如果文章质量不错的话,可以考虑单独开辟一个《因果推理实战》系列。

参考

  1. ^Judea Pearl, Madelyn Glymour, and Nicholas Jewell, "Causal Inference in Statistics: A Primer",Wiley
  2. ^Judea Pearl, "Causality: Models, Reasoning and Inference", Cambridge University Press, 2009
  3. 参考系统:关河因果分析系统  https://yinguo.grandhoo.com/home
  4. 因果,因果推断,因果关系是什么?
  5. 因果分析:原理、方法论、应用

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到