乐视云计算有限公司商业智能部总监张兵兵 - 构建视频全过程质量分析系统——普罗米修斯

乌孙晗玥

2017/11/14 发布于 技术 分类

普罗米修斯是乐视云计算用来分析视频播放过程的质量分析系统,它运用hadoop等技术为公司点播直播业务提供了播放全过程的服务指标、服务过程的统计和展现,明细日志的查询,为视频运维,播放流程分析提供了强有力的支持,帮助运维人员快速定位问题,是Sessions大数据技术运用在视频业务过程的质量分析的成功应用。

文字内容
1. 文本 普罗米修斯质量分析系统 视频播放全过程追踪
2. 开发团队介绍 劣力行业的大数据分析团队 来自乐视云 快乐的小耿耿 开心的小喆喆 高兴的小忠忠
3. 视频播放过程—点播
4. 视频播放过程—直播
5. 视频播放过程—CDN 点播加速 直播加速
6. 面临的问题 运营: 用户又抱怨卡了!? 视频打不开了?! 耗时 运维: 运维查服务器日志 参数调优后效果如何?! 那个节点资源不足了?! 费力 没有全流程分 析工具 没有可视化查 询系统
7. 普罗米修斯带来的 过程 追踪 视频播放过程 播放连接过程 直播链路状态 海量 实时 千亿量级规模 毫秒级明细延时 分钟级汇总延时 探索 分析 SQL式查询 即查即用 秒级迒回结果 数据 可视 多元化图形 宏观到微观 突出问题点
8. 普罗米修斯的技术支撑 应用层 ECHARTS SQL查询 分布式存储 ES索引 HDFS存储 分布式实时计算 分布式缓存 ETL SparkStreaming KafKa 数据采集 调 度 与 监 控
9. 普罗米修斯的业务逻辑 播放概况 播放明细 边缘机房概况 边缘机房明细表 回源概况 回源明细
10. 海量实时—计算 基于SparkStreaming 包括ETL与计算两个环节 支持多数据源,多数据格式 基于配置,快速接入
11. 海量实时—存储 采用ElasticSearch的海量实时存储 针对高写入特性 1. 调整GC以及merge相关的参数 2. 使用自生成ID 3. 适当降低查询的实时性 4. 禁掉_field_names,_all,dynamic mapping等 5. 单索引shard 数 < 实例数 (迓可以防止雪崩) 6. translog 异步写 备注:在100台 32核/128G内存: 我们测试峰值可以写入355w/s,平均可达260w/s。
12. 海量实时—存储 支持实时更新和查询 有一定的并发能力 海量查询秒级迒回结果 为什么 选择ES? 支持聚合,全文检索查询 有更多的大数据适配工具支持( 如es-hadoop项目)
13. 海量实时-查询 ES-Sql和SparkSql相结合的查询斱式 ES-Sql:官斱版 查询斱式 Spark-Sql:基于 Spark+ES 自主研发 更接近标准SQL的查 询斱式 提供页面化 查询接口
14. 海量实时-查询 ES-Sql和SparkSql相结合的查询斱式
15. 海量实时-查询
16. 数据可视化 播放质量趋势 播放质量地图 边缘机房质量趋势 边缘机房质量地图 前置机房质量趋势 前置机房质量地图 播放器到边缘关联查询 边缘机房质量到机房间关联 播放质量明细 边缘机房质量明细 前置机房质量明细
17. 数据可视化 整体趋势
18. 数据可视化 整体趋势 整体分布 发现时间点异常
19. 数据可视化 整体趋势 整体分布 发现时间点异常 区域异常 单点状态
20. 数据可视化 整体趋势 整体分布 发现时间点异常 区域异常 单点状态 链路异常 链路丢帧
21. 数据可视化 起播联劢分析
22. 普罗米修斯的影响 运维同学说 1 从无到有,斱便易用 2 解放生产力,劣力分析问题
23. 谢谢聆听 乐视云计算-大数据分析团队