3 基于Flink的流计算平台

SparkMaster

2019/03/15 发布于 技术 分类

文字内容
1. 基于Flink的流计算平台 梁梁永锋(天姥)
2. ⽬目录 01 流计算开发运维痛点 02 基于Flink的流计算平台
3. 01 流计算开发运维痛点 开发 调优 运维
4. 01 流计算开发运维痛点 任务需要底层API开发 • 环境配置复杂 • 理理解引擎接⼝口逻辑 • Java、Scala等偏底层语⾔言 • 拷包运⾏行行任务,⼀一致性
5. 01 流计算开发运维痛点 任务逻辑调试 • 造数据 • UT、IT • 远程debug • 防⽌止⽣生产环境污染 • 结果数据对⽐比
6. 01 流计算开发运维痛点 上下游数据预览 • 多种存储客户端 • 可视化⽅方式各有不不同 • 如何关联排查问题 • 数据安全
7. 01 流计算开发运维痛点 任务指标曲线 • 任务⼤大盘 • 物理理参数 • 逻辑指标 • 任务健康度 • failover • checkpoint
8. 01 流计算开发运维痛点 性能调优 • 上下游批量量读写 • 资源配置 • 反压点 • 数据倾斜
9. 01 流计算开发运维痛点 监控报警 • 延时,没数据 • 数据波动 • failover • 。。。
10. 02 基于Flink的流计算平台 StreamCompute AliCloud ⼀一站式平台
11. 02 基于Flink的流计算平台 StreamCompute
12. 02 基于Flink的流计算平台 双11实时⼤大屏 —交易易峰值:30+ 万笔/s —⽀支付峰值:20+ 万笔/s —⽇日志峰值: 数亿条/s
14. 02 基于Flink的流计算平台 = + Apache Flink Blink Alibaba Blink Alibaba’s Improvements + Alibaba Blink = Productization Blink 流计算 StreamCompute
15. 02 基于Flink的流计算平台 Yarn相关改造 1个job 1个JM 01 02 动态调整并发 ⼆二级调度 局部failover task局部failover 04 03 增量量checkpoint JM failover 06 异步IO 05 SQL 增加DDL 扩展DML
16. 02 基于Flink的流计算平台 UDF/UDTF/UDAF Stream JOIN, etc. Window AGG DML: INSERT etc. SQL改造 Retraction DDL
17. Hundreds of Products 数据应⽤用 Search / Recommedation/ BI/ DataWarehose/ Security Productive IDE 数据开发 StreamCompute Thousands of SQL Jobs Flink SQL/Table API Flink/Blink DataSet API DataStream API Large Scale Production Flink Runtime Common Cluster Managers 集群管理理 Apache Yarn/Fuxi Apache HDFS/Pangu Thousands of Machines 物理理层 Machine
18. 基于Blink的流计算平台 —namespace:project —阿⾥里里云账号权限体系 —⼀一站式 • 数据探查 • 数据开发 • 数据运维 • 性能调优 • 监控报警 —轻量量化
19. 02 基于Flink的流计算平台
21. 02 基于Flink的流计算平台 之前的痛点如何解决?
22. 02 Declarative Understandable Unify 基于Flink的流计算平台 Optimizable Stable Cross-language 使⽤用SQL+UDX解决底层API问题
23. 02 基于Flink的流计算平台
24. 02 基于Flink的流计算平台 使⽤用local debug解决 造数据、调试难问题
25. 02 基于Flink的流计算平台 丰富的connector
26. 02 基于Flink的流计算平台 使⽤用“数据存储”打 通各类型存储系统
27. 02 基于Flink的流计算平台 丰富的指标曲线让任 务健康状况⼀一⽬目了了然
28. 02 基于Flink的流计算平台 丰富的指标曲线让任 务健康状况⼀一⽬目了了然
29. 02 基于Flink的流计算平台 指标采集流程 Toll cector put query 流计算 put job put flume sub DRUID job SLS/ KAFKA put machine
30. 02 调优 基于Flink的流计算平台
31. 02 基于Flink的流计算平台
32. 02 基于Flink的流计算平台
33. 02 基于Flink的流计算平台 智能调优 + ⼿手动 灵活的资源配置
34. 02 基于Flink的流计算平台 统⼀一云监控配置告警
35. 02 安全-RAM 1.⽀支持⼦子⽤用户授权 2.⽀支持带IP/SSL限制的授权 3.⽀支持带MFA限制的授权 4.带时间限制的授权 …
36. 02 安全-⼩小集群化 ᓕഴ ᓕഴ Master Master Master Master Worker Worker Worker Worker User VPC User VPC User VPC User VPC 逻辑隔离 物理理隔离
37. 02 流计算场景 හഝጱਫ෸Ⴔ။̵୭ଚ̵ᕮ຅۸! ੒አಁᤈԅ౲ፘ‫ى‬Ԫկਫ෸ፊ ഴ޾‫ړ‬ຉ҅चԭ‫ړ‬ഴᥢ‫ڞ‬ᶼᦄ! හՙጱᤑ꧌޾ս۸! ਫ෸හՙ! ਫ෸ፊഴ! ਫ෸‫ړ‬ຉ! ਫ෸ಸᤒ! ਫ෸ᦇᓒፘ‫ى‬೰ຽ҅᧣ෆ ٬ᒽ! ٖ਻ಭන҅ฬᚆവᭆ҅ӻ௔۸വគ! አಁᤈԅᶼᦄ҅appᇫா ᶼᦄ҅๐‫ۓ‬ධ‫ڋ‬ᶼᦄ! ‫܈݌‬Ӟ̵‫܈݌‬ԫፗඎय़੽! හഝ۸ᬩ០! ੒क़හഝԾߝғኞ఺݇᧪!
38. Thanks! ! Q&A!