端侧AI及其在蚂蚁金服场景的落地

微风

2019/03/24 发布于 技术 分类

文字内容
1. 端侧AI及其在蚂蚁金服场景的落地 蚂蚁金服多媒体产品技术部 周大江(弘川) 蚂蚁金融服务集团 版权所有
3. 端侧AI的优势 体验 隐私 成本 精度* 使能实时交互类 应用,用户体验 不受到网络稳定 性的影响 数据上传非必须, 保护用户敏感数 据,规避商户法 律与舆论风险 计算本地化,节 省云侧计算/流量 /存储开销 失败后立即重试, 在最佳拍摄角度/ 光照等条件下捕 捉精准识别机会 依赖具体场景
4. 开源的端侧AI实现 端侧框架 移动模型 为移动处理器优化性能 SDK裁剪到数百KB级别 中端机型上准实时图片分类 模型缩小到数MB级别 Tensorflow Lite ncnn mace CoreML … MobileNet v1/v2 MnasNet ShuffleNet v1/v2 …
5. 支付宝的端侧AI挑战 端侧固有资源限制 x 国民金融App的特有挑战
6. 支付宝的端侧AI挑战 端侧固有资源限制 x 国民金融App的特有挑战 覆盖 空间 安全 效率 海量的用户基数 与“普惠”的服 务原则,更需要 对低端老旧机型 的不离不弃 支付宝App承载 众多业务线,空 间资源的紧张程 度远超普通移动 App 商业知识产权保 护与金融风险防 控的要求 如何以有限的团 队人力支撑众多 业务线的端侧AI 需求
7. 破局:算法与工程实现的紧密配合 算法层 模型加密 卷积分组 通道剪裁 网络结构搜索 熵编码 算子融合 权重稀疏化 权重&激活量化 工 具 体 系 定点NEON 预计算 稀疏矩阵运算 浮点NEON 多线程优化 SDK剪裁 实现层 内存空间优化 扩展算子 异构计算 缓存优化 稀疏卷积运算 模型解码 反反汇编
8. xNN:蚂蚁金服的端侧AI解决方案 定损宝 理赔宝 芝麻信用 预研 2016/10 网商银行 支付宝上线 2017/08 2016/12 立项 扫价签 定损宝2.0 尬舞 …… 蚂蚁EDGE 2018/03 2018/02 春节集五福 AR扫一扫 银行卡 千亿调用 2018/07 10业务场景 股票 口碑图片 Alibaba.com
9. xNN开发部署架构
10. 算法层
11. 实现层
12. xNN开发流程 模型训练 常规训练流程 模型优化 专用工具链支撑 模型压缩加速 模型转换 云转换平台提供 模型编码加密 模型预览 扫描二维码发起 实时效果预览
13. 加速与压缩效果 单核耗时@armv7 (ms) 模型尺寸 (MB) 12.611 173.13 153.21 75.47 51.41 26.94 业务模型1 TFLite 业务模型2 xNN fp32 3.254 3.153 39.55 xNN int8/fp32 0.496 0.814 业务模型1 Original 业务模型2 Quantized xNN 0.227
14. 业务案例 - AR互动 2018春节集五福 AR扫一扫 98% 机型覆盖 10ms 预测耗时 100KB 模型包 1000亿 预测调用 扫花识花 ……
15. 业务案例 - 金融OCR 卡证识别 银行卡 身份证 社保卡 交通卡 …… 扫价签 算汇率
16. 业务案例 - 蚂蚁保险 理赔宝 凭证类型 拍摄质量 文档定位 定损宝 OCR车牌/VIN码识别 距离检测 模糊/光线检测 部件检测 损伤检测 ……
17. 业务案例 - 娱乐设备
18. 端侧AI的演进 0 1 2 3 云侧AI框架向端 侧的简单移植 通用的工程实现 优化;手工的模 型压缩加速 算法与工程实现 紧密配合;工具 化/自动化的模型 压缩加速 端到端、可视化 的、面向不同专 业程度开发者的 训练/优化/部署/ 测试平台
19. 端侧AI的团队 业务算法 工具算法 运用深度学习技术解决具 体业务问题的专家,专精 图像分类/分割/目标检测 /OCR等算法 深入理解机器学习原理、 深度学习基础网络结构、 信息论,主攻自动化模型 压缩与加速工具的研发 工程架构 算法优化 打通端侧框架与后台支撑 系统,建设覆盖算法开发 /发布/监控/数据/质量的 端到端工程平台 计算机体系结构与算法性 能领域的专家,运用 NEON/OpenCL/汇编等 技术提升端侧框架的效率
22. 谢谢 欢迎加入蚂蚁金服多媒体产品技术部 dajiang.zdj@antfin.com