AI安全研究发现
AI安全研究主要集中于：模型鲁棒性（对抗样本攻击）、机密性（成员推理攻击）、完整性（模型后门攻击）
e.g. 人脸识别身份认证协议的安全威胁：传输过程、感知器件、终端系统、宿主软件、业务代码、识别模型
联邦学习：面向端侧隐私保护的分布式学习模式，每个节点只需要提供梯度，广泛应用于开放环境中，同样也存在终端节点更易被恶意控制的威胁
安全问题：梯度投毒、梯度泄密
自动驾驶系统：多感知模块协同的智能系统，涉及软件安全、模型安全、策略安全
安全测试：道路测试+仿真测试
机器学习即服务：以预训练模型、API等形式提供
安全问题：开源模型存在后门、云端模型被窃取、原始数据被泄露
e.g. NLP训练模型中间结果（BERT）泄露原始数据、模型量化存在后门
模型知识产权保护：模型指纹
物联网带外脆弱性
物联网：感知+控制
带外脆弱性：无人系统“信号-信息”的失配映射（超限/奇异映射）
BCSD：二进制代码相似性检测
应用：代码克隆检测、相似漏洞挖掘、对比补丁检测
传统方法：语义、CFG方法（控制流图相似性）、I/O相似性
人工智能方法：将函数映射为向量，对向量的相似性进行比较
特征提取：代码0/1特征（CNN提取）、函数内调用（调用结构图）、函数间调用（统计集合）
其他方法：GNN图神经网络（忽视语义）、NLP方法将代码块转为向量（忽视图结构）、二者结合
人脸实名认证安全风险
人脸识别：AI技术最重要的落地场景（健康宝、app、服务注册登录、银行借贷、考勤、闸机）
产品形态：光线活体（打光后检测面部及瞳孔反光）、静默活体、语音活体、动作活体（面部动作）
采用端云结合方案（采集+预处理后上传到云端）
风险事件：黑产售卖人脸改机设备、近期银行盗刷
攻击方式：分为2D/3D假体攻击和设备劫持攻击（把人脸认证SDK本应从设备实际摄像头中获取的视频流数据篡改为读取指定的视频文件）两大类
安全防护：端到端全链路（终端数据采集+数据传输+服务端认证逻辑）
算法层面：人脸活体检测（将泛化性弱的二分类模型改为度量学习模型）、合成图检测（应用DFQ框架）
数据安全采集：代码、数据、网络
风险环境识别
异常操作行为识别：对非敏感行为序列建模