议题3,马晓昕Dumix AR平台3,0 20180725

Razor

2019/07/04 发布于 技术 分类

安卓绿色联盟 

文字内容
1. 安卓绿色联盟·第17期技术沙龙 探寻百度AI3.0背后的技术实践 北京场 2018/7/28 主办方:
2. 安卓绿色联盟公众号 现场交流群
3. DuMix AR平台3.0 ——人机互动升级 马晓昕 百度-AIG-增强现实技术部 资深研发工程师 3
4. 目录 contents 1 AR应用设计指南 2 Dumix AR 平台概述 3 技术开放平台 4 内容开放平台 4
5. AR应用的技术构成 全景 三维动画 三维重建 4D重建 动态重建 内容 交互 人脸表情 肢体手势 语音 眼动 呈现 软硬 结合 2D与3D渲染 材质系统 骨骼动画 粒子系统 地形系统 跟踪 感知 2D识别 图像语义感知 环境光感知 三维语义感知 2D与3D跟踪 SLAM 多目标跟踪 深度摄像头融合 动态跟踪
6. 指南——架构设计 场景解决方案 业务场景 生产内容 管理内容 存储 操作系统 场景引擎 视觉检索 感知算法 跟踪算法 重建算法 预测框架 矩阵代数 适配参数 手持设备 线下大屏 AR眼镜 分发 内容平台 技术平台 能力层 结合层 硬件层 渲染算法 内容推荐
7. 指南——技术选型 上下组合,产生不同的技术方案满足业务场景需求 业务场景 营销 幼教 电商 视频 社交 物料编辑器 课件编辑器 商品编辑器 道具编辑器 百度云 数据生产 地图服务 BOS/CDN 内容模板 PC编辑器 iOS Android Unity3D Web&小程 序 i+A+PC Cloud Scenekit Sceneform Unity Engine 3D JS Engine BD Scengine 云识别 Body 2DTrack SLAM Face ARKIT ARCore TF Caffe Paddle Hardware Config Web编辑器 内容平台 技术平台 3D Track 能力层 结合层 硬件层 CPU GPU TPU IMU Camera
8. 指南——典型布局 业务场景 电商APP 社交APP 内容平台 中间件 内容工具 技术平台 完整应用 能力层 硬件 结合层 硬件层 基础算法
9. 目录 contents 1 AR应用设计指南 2 Dumix AR 平台简介 3 技术开放平台 4 内容开放平台 9
10. 总体优势 高效、灵活的AR应 用开发部署方案 全面开放的AR能力 快速规模化内容 10+ 8类 4种 1 站式 AR核心能力 AR核心能力 AR场景引擎 AR开发框架 AR内容平台 人脸、手势、肢体 通用的SLAM算法 2D识图/跟踪 背景分割 3D/多媒体 材质系统 粒子系统 物理系统 滤镜系统 极简UI开发框架 相机增强框架 底层算法接口 Unity版 SDK 场景编辑器 交互模板 简单管理 百度入口分发
11. 平台构成 内容托管 技术开放平台 AR应用开发者 鉴权接入 开发框架 内容开放平台 AR内容开发者 内容私有化部署 文档示例 管理分发 内容工具 供应商
12. 目录 contents 1 AR应用设计指南 2 Dumix AR 平台概述 3 技术开放平台 4 内容开放平台 12
13. 开放人脸互动 赋予摄像头全三维人脸互动体验 三维 三维 姿态估计 特征及表情识别 三维 大角度和运动情况下 皮肤运动计算 保证稳定性
14. 开放三维肢体互动 创造移动体感互动新体验 突破性的 计算速度可达 兼容 3D关节点识别 实时处理 主流移动硬件平台
15. 开放SLAM技术 提供设备友好的SLAM技术,促进存量设备广泛覆盖 跨平台 高覆盖 简单易用 iOS/Android通用 支持主流高中低端手机 初始化快速,交互简单
16. 开放SDK 提供四种集成方案,满足不同开发需要 互动UI 开发组件 相机增强 开发框架 底层算法API Unity AR插件 10分钟集成 无需AR知识 内置轻量引擎 可选私有化部署 接口按需集成 可自选引擎 集成AI识图 实例丰富
17. 目录 contents 1 AR应用设计指南 2 Dumix AR 平台概述 3 技术开放平台 4 内容开放平台 17
18. 一站式内容平台 内容开放平台为内容开发提供全流程支持 开发者APP 申请注册 制作内容 管理内容 分发内容 百度APP 制作工具-编辑器 提供素材编辑功能,让AR内容 制作效率更高、效果更炫; AR内容管理平台 提供便捷的内容管理 功能,一键发布流程 云端实时分发服务 • 百度App-相机AR(全面开放) • 百度App-小程序 • 百度App-熊掌号 • 百度App-百家号
19. AR编辑器 让AR内容开发简单、高效 可视化开发 调试和实时预览 联动手机实时编辑 所见即所得 开放编辑器API 第三方灵活扩展和集成
20. 内容分发 高效分发,快速连接互联网用户 点击AR标识 ->立即体验AR 点击AR标识 ->立即体验AR 打开手百App->点击相机,选 择AR->立即扫描 AR相机 信息流 搜索
21. 内容分发(续) 高效分发,快速连接互联网用户 点击AR标识 ->立即体验AR 点击AR相机 ->立即扫描 百家号文章页 智能小程序
22. 开放渠道 全面开放百度App-相机AR入口 识图连接+AR互动,优质内容一键发布,即刻触及全网用 户 应用场景 一键发布 便捷高效 创作内容 图书海报 企业名片 报刊杂志 百度App 亿级装机量 申请渠道 获取资质 …… 景区门票 存储和CDN 完全免费 触达用户
23. 筑新平台、共赢未来 三项能力升级 人脸互动 肢体互动 SLAM 四类集成方案 两种内容工具 广纳合作伙伴 AR SDK Pro版 AR编辑器 技术合作伙伴 AR SDK Core版 相机AR全面开放 内容合作伙伴 AR SDK Easy版 AR SDK Unity版
24. THANKS FOR YOUR LISTENING
25. Q&A