Sloth: 网易流计算服务化平台架构实践

ArchSummit

2017/07/15 发布于 技术 分类

ArchSummit 2017 全球架构师峰会 深圳 PPT下载

ArchSummit2017  全球架构师峰会 

文字内容
1. Sloth: ᗑฃၞᦇᓒ๐‫ۓ‬۸ଘ‫ݣ‬ຝ຅ਫ᪢ ᰂป٠
4. 个人a绍 ᰂป٠ 网易杭州研究院 大数据技术负责人&首席架构师 2010ଙླӱ‫فے‬ᴨ᯾҅ṛᕆದ๞ӫਹ̶Aliyun StreamCompute(galaxy)ຝ຅૵ّ໐ஞ୏‫̶ݎ‬Ӟፗ ՗Ԫ‫૲ړ‬ୗᦇᓒଘ‫ᦇᦡݣ‬ӨᎸ‫ݎ‬ૡ̶֢ ሿᨮᨱᗑฃय़හഝଘ‫ࢫݣ‬ᴚୌᦡ҅Ո಍ङ̶ِ ෆ֛ຝ຅ᦡᦇ҅ᛔᎸᔮᕹᎸ‫ݎ‬Ө୏რᕟկ‫ۑ‬ᚆಘ઀ Өᵞ౮҅ᗑฃय़හഝԾߝᬌ‫̶ڊ‬
5. 01 数据平台
6. 数据W务架构 හഝଫአ 网易新闻 网易考拉 网易有数 / 网易猛犸 හഝଘ‫ݣ‬ හഝ᯻ᵞ 网易云音乐 日志 DaIabaHe 网易云课堂 PP 数据存k计算服务 直接导m pcb库 PP
7. 网易大数据g系 大数据应用开发层 数据加工 数据计算 ֢ӱၞ୏‫ݎ‬ Azkaban य़හഝ୏‫ॺݎ‬կҁ‫ݢ‬ᥤ۸IDE҂ හഝ୏‫ݎ‬ හഝᵞ౮ ᐶᕚᦇᓒ Hive ձ‫ۓ‬ᬩᖌ ၞୗᦇᓒ Sloth ᛔۗ‫ړ‬ຉ හഝᓕቘ ٖਂᦇᓒ Spark 统一资源管理与调度 Yarn 资源管理 ๦ᴴᓕቘ Ranger ग़ᑄಁᓕቘ ‫ز‬හഝᓕቘ 数据存k ‫૲ړ‬ୗ෈կᔮᕹ HDFS޾Kudu ‫૲ړ‬ୗහഝପ HBase හഝᨶᰁ໊ḵ DQC 数据集成 ‫ق‬ᰁ/ᶋਫ෸ള‫ف‬ Sqoop ਫ෸/ीᰁള‫ف‬ NDC޾DataStream ᑃᰬᓕቘ Kerberos 数据源 ᕮ຅۸හഝ ইRDBMS॓ପ ܎ᕮ຅۸හഝ ইJSON ᶋᕮ຅۸හഝ ইᶪ᷇෈կ ᬩᖌፊഴ Amber
8. 自研系统与开源组e的结合 流计算服务 统一l数据服务 O Hive HpaGk iBpaAa hbaHel数据打通 O /ADIh流计算服务化平台 O 数bg系rS用户无需在U同的系统一[间 O 通过增量计算的方式S来完成流计算f务 jl数据同步 O i用/QLhY开发方式S完n与离线/QLq O 统一l数据服务 流计算服务 容S支持LiCdDL/jDiC/HJbFJeGy/haviCg/ U同组e组e[前S数据n增量同步 GeIGacIiCg等复杂/QL功能 数据安n与权限 O HD&//Hive/IBpaAa//paGk等组e自动 权 限同步 O 支持到列级y的权限控制S支持数据自动加 密S即i被拖库S]U用担心敏感数据泄露 一站式 数据安n与权限 一站式 O 一站式的数据平台S数据地图 O 基于aBbaGi开发的一站式的统一部署S监 控S运维g系
9. 02 流计算服务化平台
10. Sloth——ၞᦇᓒ๐‫ۓ‬۸ଘ‫ݣ‬
11. /ADIh 特点 /QL开发 与离线/QLq容 DDL /QL级联 DiB表o联 执行引擎 扩展&AiCk 1D& HaviCg子句 多表JDiC /JbFJeGy 2hDAe /Iage CDdeGeC 增量计算模型 与离线统一平台
12. /ADIh 增量计算 考拉要对所有商家按销售额jv类统计S销售额在[0 100]区间r的归Y一类S[100 200] 区间的的归Y一类Sd此类推S通过计算输t每个区间r的商家个数。 这个f务可d用/QL定义YT -- stage1ғᦇᓒྯӻࠟਹጱᲀࠓ௛᷐ INSERT INTO tmp SELECT seller_id, sum(payment) as total FROM source GROUP BY seller_id; -- stage2: ᦇᓒྯӻᲀࠓ᷐‫܄‬ᳵٖጱࠟਹӻහ SELECT count(seller_id) as num, total/100 as range FROM tmp GROUP BY (total/100);
13. /ADIh 增量计算 输m数据 离线计算 流式计算 增量计算
14. /ADIh 增量计算 输m数据 离线计算 流式计算 增量计算
15. /ADIh 增量计算 输m数据 离线计算 流式计算 增量计算
16. /ADIh 增量计算 输m数据 离线计算 流式计算 增量计算
17. /ADIhPyhHicaAPAaC
18. 2hDAe /Iage CDdegeC
19. 2hDAe /Iage CDdegeC
20. 2hDAe /Iage CDdegeC
21. 2hDAe /Iage CDdegeC
22. 1D&—与Hive完nq容
23. 1DA&—增量1DA&
24. 自定义u数注s
25. 流计算开发平台
26. /ADIh与开源的结合 ԅՋԍӧፗളֵአFlinkSQL? FlinkSQLඪ೮ጱ‫ۑ‬ᚆᬮฎᶋଉᓌ‫ܔ‬Ӭဌᕪᬦय़ᥢཛྷኞԾਫ ᪢ଫአ̶ Slothฎ᭗አጱStreamingSQL໛ຝ҅Codegenኞ౮ runtime҅ඪ೮‫ݱ‬ᔄSQLጱ‫ۑ‬ᚆ҅Өବ੶ጱಗᤈ໛ຝ෫‫҅ى‬ ‫ݢ‬զ੒ളflink/spark/beam̶ ਖ਼ෛfeature݊‫॔ץ‬ጱbugᨯሠࢧflink&calciteᐒ‫܄‬ Sloth୏რ҅ᶼᦇଙବ
27. 03 ๚๶ದ๞ᥢ‫ښ‬
28. 网易大数据平台未来规w 得益开源 回馈开源 /ADIh开源 d/paGkY基础 ,LAPg系 0eCHDCGfADL DC YaGC &AiCkY基础的 实时计算g系 实时算法平台 新硬eQGP1S &PGA)加速计算 BaIch&,LAP &/IGaBiCg 统一计算平台
29. Thanks! ᰂป٠ hzjinxiaojun@corp.netease.com ᗑฃBDMS‫҅ߝڊ‬஠ંᔜߝ