韦韬 安全攸关应用中AI面临的挑战与应对

CodeWarrior

2019/07/08 发布于 编程 分类

GIAC2019 

文字内容
1. 韦韬 百度首席安全科学家 GIAC 2019
3. ▪ Titles ▪ 百度首席安全科学家,北大客座教授,CISO发展中心理事长 ▪ 网安国际(InForSec) Cofounder, BASec Founder ▪ UC Berkeley BitBlaze Co-organizer, MITBBS Cofounder ▪ 关注领域 ▪ 安全体系架构、现代编程语言与程序分析、机器学习与安全、开源生态
4. ▪ 第四次产业革命: AI时代的巨大前景或潜在危险 ▪ AI 模型安全 (Safety & Security) ▪ AIoT 系统安全 与 生态安全
5. ▪ “从来没有哪个历史阶段像现在这样拥有巨大前景或潜在危险” ▪ 世界经济论坛WEF 创始人 Klaus Martin Schwab ▪ 第四次工业革命正在颠覆几乎所有国家的所有行业,从人类历史的 角度来看,其蕴含的希望和潜在危险超过以往任何时候 ▪ 第一次工业革命 蒸汽机 ▪ 第二次工业革命 电力、石油 ▪ 第三次工业革命 原子能、计算机、互联网
6. ▪ Dartmouth workshop 1956 Environment Percept Sensor Action Actuator Decision Intelligent Agent Knowledge
7. ▪ IoT => Bigdata => AI => Robot/Self-driving Cars, BI, Entertainment Business, … ▪ IoT 是感知器和执行器 ▪ Bigdata 是AI时代的石油 ▪ AI 是点石成金的炼油厂 ▪ 丰富的产业应用
8. ▪ 防御纵深急剧压缩:单体设备(无人驾驶,智能家居)、数据离岸 ▪ 攻击面急剧扩大:数据、模型、供应链、UGC、品牌 ▪ 风险急剧提升:隐私、财产、生命 ▪ ==> 迫切需要革命性的下一代安全技术支持以保障业务的健康成长
10. 隐私风险 Amazon Echo用户曾 发现在家里的一段私 人对话被音箱录制, 并被随机发送给了西 雅图的一位联系人 财产风险 人身风险 社会风险 研究人员披露,只需 要价值 600 美元的无 线电和树莓派等设备, 就能开走一辆特斯拉 Model S 叫车服务巨头Uber的一 辆无人驾驶汽车在亚利 桑那州坦佩市撞死了一 名横穿马路的女士 安全研究人员披露了 三个运行中的智慧城 市系统的17个严重安 全漏洞,可以导致攻 击者操纵警报系统、 篡改感应器数据,造 成民众恐慌或城市的 混乱
11. ▪ 美国著名工程师海因里希(Herbert William Heinrich)提出的 300∶29∶1法则 ▪ 统计了55万件机械事故 ➔ 当一个企业 有300起隐患,大概率要发生29起轻伤 或故障,另外还有一起重伤或死亡事 故 ▪ 300的钟声已经一再响起
12. ▪ IoT 是感知器和执行器 ==> 系统与网络安全 ▪ Bigdata 是AI时代的石油 ==> 数据安全与隐私 ▪ AI 是点石成金的炼油厂 ==> 模型安全 ▪ 丰富的产业应用 ==> 业务安全,生态安全
13. ▪ AI技术应用的正面作用 ▪ 颠覆性的生产力提升 ▪ 跟不上浪潮的国家和企业将被淘汰,贫富差异增大 ▪ AI技术应用的负面作用 ▪ 破坏力也随之大规模扩张,从网络空间延伸到物理空间 ▪ 保障不了安全的国家和企业面临巨大危机 ▪ 一旦庞大AI系统的安全缺陷被恶意利用,社会利益和关系将会受到巨大破坏
14. ▪ 第四次产业革命: AI时代的巨大前景或潜在危险 ▪ AI 模型安全 (Safety & Security) ▪ AIoT 系统安全 与 生态安全
15. ▪ 输入扰动导致深度学习模型产 生错误的判断 ▪ 与深度学习的本质有关 ▪ 威胁模型 ▪ 安全性(Security):恶意扰动 ▪ 可靠性:正常环境扰动 -> 在自动 驾驶等场景下会引发Safety问题 By Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy
16. By Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy
20.https://github.com/advboxes/AdvBox 深度学习对抗样本攻防工具箱 ▪ 支持PaddlePaddle、PyTorch、Caffe2、MxNet、Keras以及TensorFlow平台 ▪ 业内第一款同时支持白盒、黑盒攻击算法和加固算法 ▪ 2018年联合工信部信通院测试国内主流十款智能音响,均可以通过该工具构造语音对 抗样本唤醒设备并执行指定的语音命令,包括转账、充话费
21. ▪ 白盒攻击算法 ▪ 黑盒攻击算法 ▪ L-BFGS ▪ Single Pixel Attack ▪ FGSM ▪ Local Search Attack ▪ BIM ▪ ILCM ▪ MI-FGSM ▪ JSMA ▪ DeepFool ▪ C/W ▪ 防护算法 ▪ Feature Fqueezing ▪ Spatial Smoothing ▪ Label Smoothing ▪ Gaussian Augmentation ▪ Adversarial Training ▪ Thermometer Encoding
22. ▪ 攻击的目标结果 ▪ 非定向攻击 vs 定向攻击 分类器(模型) 白盒 任意错误分类结果 (非定向攻击) ▪ 攻击者对模型的了解程度 ▪ 白盒攻击 vs 黑盒攻击 ▪ 攻击者对输入数据的控制能力 ▪ 数字世界攻击 vs 物理世界攻击 黑盒 指定分类结果 (定向攻击)
23. ▪ 典型场景:基于AI的API服务 ▪ 黑盒场景 ▪ 利用机器学习的可迁移性,通过 白盒替代模型生成对抗样本 ▪ “指纹攻击”可导致Google Object Localization API输出错 误结果(Baidu @ BlackHat Asia 2019) ▪ 其他:空间变换可导致例如 Google Safesearch API等云端鉴 黄审查被绕过(Baidu @ BlackHat Asia 2019)
24. ▪ 云端AI开放服务平台的安全威胁 – 对云端黑盒模型的攻击 ▪ 通过Spatial Attack对云端AI服务图像审核成功欺骗 ▪ 已经观测到黑产开始应用相关技术绕过AI监管
25. ▪ 已经观测到黑产在利用工具 生成人脸动态视频以绕过活 体检测,并大规模应用 ▪ CVPR Face Anti-spoofing Attack Detection Challenge ▪ 百度击败300多个参赛队伍, 获得比赛世界第一 ▪ 将在视觉定级会议CVPR 2019做报告分享
26. 成功实施物理世界攻击的挑战(Baidu @ BlackHat Europe 2018) 1 Controlled Perturbation Area 4 Color Distortion on various devices Digital color palette 32 x 21 Kyocera Taskalfa 3551 ci 2 Object appearance changes at various distances, angles 3 Various Light conditions: e.g. glaring, dimming Captured by iPhoneX from a distance 5 Inaccurate Patch Location
30. CCS 2016 - Accessorize to a Crime: Real and Stealthy Attacks on State-Of-The-Art Face Recognition Fooling automated surveillance cameras: adversarial patches to attack person detection
31. ▪ 当前通过数字世界白盒攻击(针对 Mozilla DeepSpeech)可以成功实现 语义篡改 ▪ 其他物理世界对抗样本攻击 ▪ 隐藏命令攻击 ▪ 其他语音攻击 ▪ 海豚音攻击 [Carlini & Wagner, 2018] Illustration of Carlini & Wagner targeted attack on automatic speech recognition
32. ▪ 大量生物识别技术的采用 ▪ 指纹、人脸、虹膜、.. ▪ 生物特征易被窃取,且无法更改 ▪ 伪造手段多样化、低成本,AI识别很容易被绕过 ▪ 纸张、图片、视频、VR、印章、3D打印 ▪ 活体识别辅助硬件成本高 ▪ iPhone X,三星Galaxy S10都有被公开绕过的案例 ▪ 黑产一直在利用软件生成动态人脸图片绕过活体检测 ▪ 百度DeepFaceDetect (Defcon China 2019)
34. 亮度+26 对比度+1.06 右旋 0.56° 漏检车辆 漏检车辆 漏检车辆
35. ▪ 深度学习鲁棒性:深度学习模型抵抗输入扰动并给出正确判断的能力 ▪ Safety-Critical场景下的模型可靠性 ▪ 恶意攻击场景下的模型安全性 ▪ Advbox Perceptron Robustness Benchmark ▪ https://github.com/advboxes/perceptron-benchmark ▪ 用于对深度学习模型鲁棒性的测试、增强及量化评估 ▪ 模型鲁棒性的有效提升和度量对于业界还是一个长期的挑战
36. ▪ 第四次产业革命: AI时代的巨大前景或潜在危险 ▪ AI 模型安全 (Safety & Security) ▪ AIoT 系统安全 与 生态安全
37. ▪ 产品形态种类 ▪ 操作系统种类 ▪ 芯片种类 ▪ 终端设备厂商数量
38. ▪ 设备软硬件供应链复杂,从操作系统到软件库,每个 环节都引入大量安全漏洞 ▪ 2016年,一个潜藏在Linux内核中长达9年之久的漏洞被 发现( DirtyCow ),可以通杀几乎所有以Linux内核为 基础的设备 ▪ 2017年9月,蓝牙协议栈中的一系列漏洞被发现 (Blueborne),潜在影响全球超过80亿IoT设备 ▪ 2018年10月,Amazon FreeRTOS及AWS连接模块曝出 13个严重安全漏洞 ▪ 2019年,百度安全实验室发现市面上超过15款主流4G模 块都存在软件漏洞,可被用于实现远程命令执行(Baidu @ BlackHat 2019)
39. ▪ 对供应链的强依赖,导致大量设备只能采用多年 前的老旧系统,系统自身安全机制极其薄弱 ▪ 操作系统以及系统库中存在大量遗留漏洞 ▪ 无法有效利用硬件安全机制 ▪ 缺少有效的漏洞防御手段 ▪ 缺少有效的访问控制策略 Android版本分布数据(来源:Google)
40. ▪ AIoT设备厂商普遍缺乏安全意识,暴露大量低 级安全问题 ▪ Mirai:简单的远程登录密码猜测 ▪ 2018年3月,信通院泰尔实验室联合百度在内的多 家厂商,针对小米、TCL、创维、海信、康佳等在 内的十余款主流品牌的AI智能电视进行了全面安全 评测,测试发现所有电视设备普遍存在严重安全漏 洞,均可导致root权限被远程获取,造成设备被远 程完全控制
41. ▪ 安全响应极为滞后,高危漏洞无法得到及时修复 ▪ 漫长甚至断裂的漏洞修复链条 ▪ Mirai变种Satori:利用了一个已公开长达三年之久的路由器漏洞 ▪ 有59%的Android手机设备超过半年未打补丁 ▪ 公开已7个月的cve-2018-9568(WrongZone)Linux内核漏洞,至 今仍能用于root绝大多数的电视设备
42. ▪ 生态碎片化是时代挑战 ▪ 安全技术的自适应能力 将碎片化生态融 合 是安全业务模式成立的关键 ▪ 安全领域需要主动推进行业标准化、规范 化,社区合作避免因为恶性竞争导致的生 态二次碎片化 ▪ 在此支点之上,产业需要更好的与安全服 务对接
43. ▪ 百度安全实验室在业界首创的自适应内核漏洞热修复解决 方案,使得智能终端设备厂商能够灵活、快速、低成本地 KARMA热补丁 修复其设备上的内核漏洞 ▪ 利用热修复技术动态修复内核漏洞,补丁即时下发即时生 效,无需系统重启,不修改系统及内核文件,不影响OTA ▪ 自适应性是KARMA的核心优势,在兼容传统内核热修复技 术的基础上,首次攻克了现有热修复技术无法适应平台碎 片化的业界难题,也是目前全世界唯一一个可以解决这一 问题的技术方案 漏洞定位模块 KARMA修复框架 内核适应模块 漏洞修复模块 内核1 内核2 内核3 内核4 内核5 …...
44. ▪ Baidu AIoT Security System ▪ 本身不是一个OS,而是可与各类AIoT OS无缝集成的独立安全子系统 ▪ 一系列独立安全能力的组合,覆盖全 栈 ▪ 不再受限于供应链,有效提升现有 AIoT设备的安全等级和攻击门槛 ▪ 有效应对碎片化生态带来的安全挑战
45. ▪ “柠檬市场:质量的不确定性和市场机制” ▪ George Akerlof 1970年发表,2001年诺贝尔经济学奖,信 息不对称导致市场机制失灵 ▪ 买方并不知道商品的真正价值,只能通过市场上的平均价格 来判断平均质量,由于难以分清商品好坏,因此也只愿意付 出平均价格 ▪ 由于商品有好有坏,对于平均价格来说,提供好商品的自然 就要吃亏,提供坏商品的便得益。于是好商品便会逐步退出 市场 ▪ 最终导致劣等品充斥市场
46. ▪ 经济学上的外在性(externality) ▪ 像环境污染一样,产品安全漏洞造成的损失需要全社会来承受 ▪ 厂商为修复漏洞所付出的代价与社会因为漏洞遭受的损失相比微 不足道 ▪ 最终厂商也会为社会对产业的整体负面印象买单 ▪ Blackhat 2014,我的预言:移动黑产收割
47. ▪ 为了避免安全柠檬市场,尽量降低生态负面外在性 ▪ 由政府部门与头部设备厂商带动,安全厂商提供支持,推动生 态的整体健康发展 ▪ 由一线安全专家参与推动的法规、标准、评测、竞赛 ▪ 智能设备安全测评常态化 ▪ 智能设备安全比赛每年新爆点 ▪ 让安全投入不被口号代替,让安全投入成为产品的显性竞争力
48. ▪ 百度、信通院、华为于2017年底联合发起 ▪ 共同推进安全测评、标准建设,推进安全质量显性化,促进安全技术及产品在AIoT产 业中的应用,建立健康合理的产业利益链,共建健康AIoT产业生态
49. ▪ AI产业给人类带来了巨大的机遇,也伴随着巨大的风险 ▪ IoT 是感知器和执行器 ==> 系统与网络安全 ▪ Bigdata 是AI时代的石油 ==> 数据安全与隐私 ▪ AI 是点石成金的炼油厂 ==> 模型安全 ▪ 丰富的产业应用 ==> 业务安全,生态安全 ▪ 安全的使命是 对抗威胁、控制风险、建立信任 ▪ 安全在AI产业发展中会起到越来越重要的作用
50. 韦韬 百度首席安全科学家 GIAC 2019