【刘学徽】让终端侧的人工智能无处不在

犹思菱

2017/12/31 发布于 技术 分类

2017年,droidcon 第2次来到中国,并将于2017年11月在北京盛大开幕。参会人群包括业界领袖、技术大咖、技术开发者、大众创业者及领域从业者。大会将邀请来自Google、微软、Facebook、Ebay、Intel、Telenav、阿里巴巴、腾讯、小米、乐视、联想等国内外安卓技术与应用领域的大咖,沿袭历年国际大会特色,聚焦行业最前沿技术,碰撞切磋技术火花。

文字内容
1. 让终端侧的人工智能 无处不在 ​刘学徽 ​资深产品市场经理 ​Qualcomm
2. 200 亿 截止2020年联接的设备 Machina Research, Dec. ’16, Gartner, Dec. ’16 Qualcomm Confidential and Proprietary 2
3. 提供全新功能以丰富我们的生活 感知 听、看、 监测、观察 推理 行动 学习、情景推断、 预估 直观行动、自然交互、 保护隐私 3
4. 终端侧的智能 至关重要 在最靠近数据源的位置 处理,对云端处理进行 补充 隐私性 可靠性 低时延 高效利用网络带宽 4
5. 让终端侧的智能无处不在 专注于高性能硬件/软件以及优化的网络设计 高效硬件 开发异构计算, 在散热限值内以低功耗 运行要求严苛的神经网络 选择合适的计算单元 处理合适的任务 算法改进 算法研究受益于 最先进的深度神经网络 面向空间和运行时长效率 进行优化 软件工具 面向深度学习的 软件加速运行时间 SDK/开发框架 5
6. Qualcomm® Snapdragon™ 835 DNN Performance Energy Efficiency 8x 25x Qualcomm® Kryo™ CPU Performance Qualcomm® Adreno™ GPU 4x Qualcomm® Hexagon™ DSP 8x 6
7. 骁龙 神经处理 引擎 离线转换工具 可通过以下网址获取:developer.qualcomm.com Qualcomm® Kryo™ CPU Qualcomm® Adreno™ GPU Qualcomm® Hexagon™ DSP 在骁龙移动平台上高效运行 • 充分利用骁龙异构计算能力 • 运行时长和库加速深度神经网络在所有内核上执行 处理:CPU、GPU和DSP、HVX 模型框架/ 网 络 支 持 • 卷积神经网络和周期性神经网络/LSTMs • 支持Caffe/Caffe2、TensorFlow,以及用户/开发者 自定义层 分析性能 示例代码 易于集成 优化/ 调 试 工 具 • 离线网络转化工具 • 调试并分析网络性能 • API和SDK文件(包括示例代码) • 易于集成到客户应用中 通过软件来加速在终端侧执行的深度神经网络 Qualcomm Kryo、Qualcomm Adreno和Qualcomm Hexagon是Qualcomm Technologies, Inc.的产品。 7
8. Model to runtime workflow: Training and inference Training: Machine learning experts build and train their network to solve their particular problem Deep learning frameworks (e.g., Caffe2, TensorFlow) Training data Test data Data 1 Data 1 Model building and training Backward propagation Model testing No Good enough match? Yes Model file Static weights and biases Inference: NPE enables the network to run on Snapdragon devices Application NPE Enabled App .dlc file NPE runtime Optimized NPE Model (.dlc file) Model optimization tools NPE Model (.dlc file) Model conversion tools Optional (quantization, compression, etc.) 8
9. 基于终端侧的机器学习用例 骁龙为机器智能提供最佳的处理器 • 情景/ 分类 • 语音/ 录音 • 音频ID • 文档记录 • Cont. Auth.- 活性 • 情景/ 分类 • 目标追踪/ 定位 • 面部&人识别 • 视频摘要 • 手势追踪 • 面部识别 • 语音/音频/关键词 • 目标追踪 • 深度/定位 • 情景/ 分类 • 目标追踪 • 目标定位 • 目标避障 • 视频摘要 • 情景/ 分类 • ADAS/自动 • 目标追踪&避障 • 语音记录. • 诊断 • 语音与扬声器识 别 • 音频ID • 关键词探测 • 自然语言理解 “…现在仅有不到1%的软件开发者将认知功能集成到他们的应用中,而IDC预计到 2018年,这个百分比会超过50%。” International Data Corp – 2016年4月 保密且专有– Qualcomm Technologies, Inc. 10
10. 智能手机正成为最普遍的人工智能(AI)平台 >85亿 预计2017- 2021年智能手机累积出货量 将超过85亿 资料来源:Gartner 2017年3月 11
11. 人工智能为智能手机 提供增强体验和全新功能 真正的个人助理 更长的电池续航 提升的连接性 全新开发模式 推动万物不断升级 出色的拍摄 自然用户界面 增强的安全性 12
12. 拍照 物体和周围环境识别便于更好的成像与 拍照. 后处理和美化也成为可能. 13
13. 语音识别和个人助手 不会消耗你的电池续 航时间 通过使用适合的核心,“始终开启”的 个人助手和关键词检索可在低功耗情况 下完成运行。 14 14
14. 让你的手机了解你并 保护你 多种传感器的生物识别鉴权和端上的恶 意软件检测 15
15. VR/AR • 对手实时跟踪,在体验中增加手 • 对周边物体的识别, 建立SLAM (同 步位置和地图) • 关键词触发交互接口以及自然语言 语义理解 16
16. 围绕着你的增强世界 Cable Car Cost: €3 Departing: 10 min Destination time: 1 hr Lisbon, Portugal Temp: 28°C Café 4.5 stars Serves Caldo Verde Taxi Cost: €25 Departing: Now Destination time: 15 min 18th Street Passenger boarding Sarah M. Last talked: 2 months Ask about her son, Joe 识别真实物体 Perceptual tasks 理解文字 辨别人 辨别行为 17
18. 谢谢! 请关注我们的新浪微博:@Qualcomm中国 欲了解更多信息,请访问我们的网站:www.qualcomm.cn,或博客: http://blog.sina.com.cn/qualcommchina 此PPT包含或披露的全部数据和信息都是Qualcomm Technologies, Inc.和/或其关联公司的保密和专有信息,明确保留全部权利。接受本资料,接受方同意保密和托管 本资料及其所含信息并且未经Qualcomm Technologies, Inc.明确书面许可,不使用、复制、全部或部分重现本资料,不以任何方式向他人透露内容。 其中所提及的内 容不涉及任何组件或终端的销售要约。 ©2016年 Qualcomm Technologies, Inc.和/或子公司。保留所有权利。 Qualcomm®是Qualcomm Incorporated的商标,已在美国和其他国家/地区注册。其他产品和品牌名称可能是各自所有者的商标或注册商标。 此PPT中提及的“Qualcomm”可能指Qualcomm Incorporated、Qualcomm Technologies Inc.和/或其子公司/或Qualcomm公司架构中的业务单元(若适用)。 Qualcomm Incorporated包括Qualcomm技术许可业务、QTL及大部分专利组合。Qualcomm Technologies, Inc.是Qualcomm Incorporated全资子公司,与其子公司一 起运营Qualcomm所有的工程、研发以及所有产品和服务业务,其中包括其半导体业务QCT。