腾讯IEG游戏平台部 涂远东:VR视频直播探索与创新

驹平晓

2017/11/14 发布于 技术 分类

当前高清VR视频直播相比普通视频分辨率更高,所需的带宽也是几何倍增,无论服务端和客户端带宽都是个瓶颈,当VR视频内容只需要高清视频的传输码率带宽,内容更容易被广泛传播,也许会带来新的行业机会。

文字内容
1. VR视频S直A播腾C讯CI探EG2游0索戏1平7与台部创(We新Game)涂远东
2. 目录 CONTENTS 1 WeGame V+直播介绍 3S2 ACCVV2+R0直直1播播7的的技关术键探技索术
3. 1. WeGame V+直播 V+直播APP(IOS/Android) 涵盖英雄联盟、王者荣耀高清直播和点播内容 SACC2017V+ 直播WebVR(H5)
4. 1. WeGame V+直播 V+游戏全景直播 SACC2017
5. 1. WeGame V+直播 场馆模式,打造较强的临场感和沉浸感 SACC2017
6. VR直播行业解读 VR直播普及需要跨越的几座大山: • 设备 如何制造和普及人体亲和、价格低廉的VR设备 • 内容 如何生产高质量VR内容 17• 带宽 0如何解决高码率VR直播带来的“三高”问题(高 2成本、高卡顿、高耗电) CC• 体验 SA如何提升观看体验,降低眩晕、抖动、延时 • 交互 如何打造具有较强沉浸感和临场感的直播互动模式 Tips: 据相关咨询公司数据显示,未来五年VR市场的年复合增长率将超过80%, 预计到2021年,中国会成为全球最大的VR市场,行业整体规模将达到790.2亿元。
7. VR直播技术探索——全视角传输码率过高 现阶段4K VR 入门阶段8K VR 250 标准 视频分辨率 200 单眼分辨率 (90度FOV) 17150 PPD 0 等效传统TV屏 2100 点播平均码率 CC50 点播流畅播放 SA 点播任意拖拽 0 直播视频码率 单位:Mbps 点 播 平 均 码 率 点 播 流 畅 播 放 点 播 任 意 拖 拽 直 播 流 程 码 率 VR 全视角4K 3840*1920 960*960 11 240P 16Mbps 48Mbps 64Mbps 25Mbps 入门VR 全视角8K 7680*3840 1920*1920 21 480P 64Mbps 192Mbps 256Mbps 100Mbps
8. VR直播技术探索——FaceBook金字塔模型 投影观看效果 SACC2017 金字塔模型投影变换过程
9. VR直播技术探索——谷歌EAC投影 SACC2017 等角投影 立方体投影 等角立方体投影
10. VR直播技术探索——Pixvana FOV技术 SACC2017
11. WeGame如何解决VR直播技术难题 VR全景投影 VR FOV投影 VR视频传输 • 图像存在拉伸变形 • 越往两极越严重 • 压缩效率不高,整体压缩 • 细节损失大 • 视角切换清晰度问题 • SACC2017• 视角切换延时、卡顿 • 解决方案: • 采用钻石模型增强投影效果 传输码率高 传输延时、卡顿 • 优化FOV投影、传输、切换等策略 • 采用ROI编码降低码率、提升体验
12. V+直播关键技术——FOV投影技术应用 直播类型 2D高清直播 VR4入K-门FO(V4K) VR8体K-验FO(V8K) 成本高 分辨率 帧率 直播码率 1920x1080 30fps 2.5mbps 13583406x1593206 30fps 120mmbbppss SACC201773608702x3087420 30fps 480mmppbbss 卡顿高 FOV投影效果 耗电高
13. V+直播关键技术——砖石投影模型 提升画质: SACC2降0低1失真7: • 正前方投影面积大 • 更大更清晰,增加四周边界缓冲 • 投影为砖石多面体 • 失真小 • 畸变小
14. V+直播关键技术——V+直播架构 音频采集 音视频数 据接收 36V0RVFRO视V 频推转流F端OVS视DK频 音频处理 音频编码 音视频 Mux 视频编码 协议封装 视频采集 视频采集 音频采集 图解像处码理 图像投影 视频编码 协议封装 推流端 SDK 。。。 。。。 图像处理 音频处理 视频编码 音频编码 音M视视u频频x 编码网传输络 协议封装 网络 传输 网络 传输 网络 传输 网络 传输 网络 传输 直播SDK 第三 方网络 流 音视V频R2接FO入V 服Sv务r 器 第三方普VVR通R视视频频直直接播播入架直架构播构架构 SACC2017节目管理服务器 转码 服务器 CDN FOVPusher Plugin 观众姿态信息链表 VR FOV视频流Buffers FOVRemuxer FovSender FOV Streams FOVFOStVreams 手手机机FO播VP放la器yer 合流 服务器 FOV回源 服务器 自TE建G CDN 网速 帝联 FOVPlayer 用户姿态检测 FovStreams Recver Video Decoder FOV Render
15. V+直播关键技术——FOV传输架构 E RP图像 数据 推流编码器 FovMediaSvr ERP2FOVS Encoders Fov NetData Senders Fov Streams Fov Streams Push CDN FovPusher SACC2017To CDNPush Svrs FovPlayer Postural angle Setting Fov Buffers Fov Pusher FovPlayer Fov VR Render
16. V+直播关键技术——FOV传输策略 VR FOV视频传输优化,降低FOV视频切网络延时,降低播放端的加载延时 CDN Pusher 017vrfov1_1.m4s vrfov1_2.m4s,……,vrfov1_n.m4s SACC2vrfov2_1.m4s vrfov2_2.m4s,……,vrfov2_n.m4s socket connect …… socket connect vrfovm_1.m4s vrfovm_2.m4s,……,vrfovm_n.m4s socket connect FOVPlayer
17. V+直播关键技术——FOV视频传输 VR视频切分多视角传输,FOV视角传输降低码率,只传输当前视角所在区域 优点 降低传输数据量 • 视角切换时,需要重新拉 流,存在延迟,但此延时 基本等同于网络RTT SACC2017 缺点
18. V+直播关键技术——视频切换技术 高分辨率 头部转动 未超过阈值 高分辨率 头部转动 超过阈值 请求另一 FOV数据 高分辨率 低分辨率 低分辨率 2017T 切换时延= T1(网络请求交互) +T2(流GOP时间间隔) +T3(播放器缓冲时间) SACC0 <= T2 <= GOP(I帧间隔时间差) 切换至另外一条流时, 存在时延 处理策略: • 对于正常FOV帧序列,I帧稀疏,降低码率; • 对于切换视角帧序列,单独生成I帧,200ms一个关键帧,降低切换等待GOP延迟。
19. V+直播关键技术——ROI编码应用 SACC2017ROI(感兴趣区域)编码算法 • 视角中心区域,高码率,高帧率 • 非视角区域,低码率,低分辨率 • 同等带宽情况下,感兴趣区域更清晰 VR-ROI菱形增强区域
20. V+直播关键技术——ROI编码 SACC2017 VR-ROI编码前 VR-ROI编码后
21. 建立VR直播行业生态 SACC2017
22. 腾讯云生活娱乐VR直播平台——丰富VR直播生态 观看 Web 播放器 观众 FLV/RTMP IOS/Android 播放器 观看 2017质量监控 流监控 直播平台 ACC移动全景摄像设 RTMP推流 S备 FLV/RTMP 录制 点播平台 H5播放器 观看 回看 HLS 微信/QQ分享 HLS 转码存储 单/多机位全景摄像设 备 RTMP推 流 视频存储 活动现场/主播
23. SACC2017