鞠大升-美团实时计算平台

融灵枫

2018/05/13 发布于 技术 分类

区别于非电商行业对大数据的需求,O2O行业数据/数据仓库的规模、复杂度、对商业决策的重要性都高若干个量级,其中数据质量、数据安全、商业智能尤为重要。 如何在业务快速增长、新业务快速涌现的条件下,紧跟业务需求、保证数据质量、快速迭代架构是一个极大的挑战。虽然都是基于开源组件搭建,但是由于业务的场景不同,发展阶段不同,各家都会面临不一样的问题,见仁见智有不同的解决方案。 本期美团技术沙龙,我们邀请到的在美团-点评、小米从业的资深技术专家,不但具备丰富的实践经验和技术功底,也乐于与大家一起探讨领域前沿技术及未来发展趋势。

文字内容
1. 美团实时计算平台 实践与应用
2. Outline  Background  Architecture  Features  Customers & Benefits  Lessons Learned  Q&A
3. Outline  Background  Architecture  Features  Customers & Benefits  Lessons Learned  Q&A
4. 美团数据仓库 • 业务场景多:2500+指标数,600+分析师/运营/ 数据RD; • 业务变化快:40K 任务/天,500+ 报表,半年翻 倍; • 数据量大:4P+总数据量,30T/天增量;
5. 实时计算技术 • 以Kafka, Storm为代表的流式计算技术蓬勃发展, 解决了大数据处理的时效性问题;
6. Outline  Background  Architecture  Features  Customers & Benefits  Lessons Learned  Q&A
7. 数据处理平台架构
8. 实时计算平台架构
9. Outline  Background  Architecture  Features  Customers & Benefits  Lessons Learned  Q&A
10. 开发者困惑 我想开发一个实时应用,除了写业务 逻辑外,我还要做什么?
11. 拓扑框架 • 拓扑 = 应用逻辑 + 可配置框架
12. 开发者困惑 准备开发前,我要怎样引入数据流? 程序中间状态存在哪?结果存在哪?
13. 一体化解决方案 • 应用拓扑 = 流 + 计算框架 + State + 结果
14. 一体化解决方案 • 应用拓扑 = 流 + 计算框架 + State + 结果
15. 开发者困惑 准备开工啦!那我在哪开发?在哪测 试?
16. 测试开发平台化 • Git整合、版本管理、开发测试,线上运维;
17. 开发者困惑 我的拓扑终于上线啦!如何控制延迟? 如何监控我的拓扑状态?
18. 延迟统计 • 日志流转全流程的延迟报告
19. 延迟统计 • 日志流转全流程的延迟报告
20. 定制化报警服务 • 用户自定义Metrics的报警服务
21. 定制化报警服务 • 用户自定义Metrics的报警服务
22. 开发者困惑 运行了一段时间,开始考虑:我的拓 扑和别人的拓扑会不会抢资源?
23. 资源分组 • 按等级/部门对资源进行分组隔离
24. 调度策略优化 • 机器独占、拓扑独占、拓扑共享
25. 开发者困惑 是否有公共数据可以用?能否使用其 它拓扑产出的结果?如何管理数据?
26. 拓扑依赖关系解析 • 清晰展示拓扑和数据之间的关系
27. 功能特性 • 拓扑框架; • 一体化的解决方案; • 测试开发平台化; • 延迟统计服务; • 定制化报警服务; • 资源分组和调度策略优化; • 拓扑依赖关系解析;
28. Outline  Background  Architecture  Features  Customers & Benefits  Lessons Learned  Q&A
29. 应用领域 • 风控 • 推荐 • 安全、反爬虫 • 机群指标统计报警 • 业务指标统计(新客,销售额等) •… • 100+个Topology;高峰期4GB/s,60万 record/s的实时数据;
30. 收益 • 节省开发时间:5Days->Hours;2W->1W; • 反爬虫:获得线性扩容能力;延迟从3小时降到十 几秒;在现有框架下增加新的封禁分析功能,几个小 时就完成从开发到上线观察效果; • 安全:获得实时性,完成异常识别从3-4小时降到 30s内;
31. 收益 • 推荐:准实时反馈,CTR和访购率提升5-10%;实时 的用户行为分析,推荐效果提升较大,点击下单提高 2%; • 推荐效果展示:实时看到推荐策略的效果,查找 问题从2天缩短到当天,加快了算法迭代速度; • 风控刷机项目:项目开发、测试、上线只用了不 到2周,节省了分布式数据流和分布式计算框架的开 发,只需要关注逻辑模块的开发,节省了70%的工作 量;
32. Outline  Background  Architecture  Features  Customers & Benefits  Lessons Learned  Q&A
33. 经验教训 • 拥抱开源:受益于开源,跟进社区发展,积极回 馈社区;Storm管理系统尝试开源; • 一体化解决方案:输入、输出、状态、监控报 警、延迟等,以开发者为中心; • 贴近用户做产品:了解用户的痛点/需求,然后 做产品; • 平台化和产品化:开放平台为目标,产品化思 路做平台;
34. Outline  Background  Architecture  Features  Customers & Benefits  Lessons Learned  Q&A
35. 欢迎加入美团 鞠大升 judasheng@meituan.com 美团技术团队