于邦旭-一直播、小咖秀大数据平台自动化运维实践

架构师大会

2018/05/13 发布于 技术 分类

GOPS主要面向运维行业的中高端技术人员。目的在于为了帮助运维人员系统学习了解相关知识体系,让创新技术推动社会进步。你将会看到国内外知名企业的相关案例,也能与国内顶尖的技术专家探讨技术实践,使企业可以根据最佳实践确定自己的选型方案,并提前预估相关的风险和收益,实现技术落地。

文字内容
1. GOPS 全球运维大会 2018 2018.4.13-4.14 中国·广东·深圳·南山区 圣淘沙大酒店(翡翠店) GOPS 全球运维大会2018·深圳站
2. 一直播、小咖秀大数据自动化运维实践 于邦旭 大数据总监 GOPS 全球运维大会2018·深圳站
3. 目录 1 一直播、小咖秀大数据架构 2 ALPS介绍 3 如果还有明年 GOPS 全球运维大会2018·深圳站
4. 需求决定架构 支付系统 会员系统 BI系统 推荐系统 风控系统 HBase ES Kafka HDFS Spark GOPS 全球运维大会2018·深圳站
5. 一直播、小咖秀大数据架构 Galaxy数据应用服务 Venus商业智能平台 提供商业数据分析服务,数据转化价值 Orion推荐系统 视频Feeds流的个性化推荐系统 SmartRI智能风控系统 反垃圾,反作弊,防薅羊毛 CloudAtlas数据集成服务 自助式开发套件 多租户,权限管理,任务编排,数仓建模交互UI、TT任务管理与托管、计费与资源用量分析 数据仓库 提供数据存取与建模服务,基于HBase二次开发 TT(自助ETL系统) 提供基于SQL的流式计算平台 ALPS大数据基础服务 传输系统 Flume Kafka 计算调度 Yarn K8S 存储系统 HDFS HBase 运维系统 Consul ALPSServer GOPS 全球运维大会2018·深圳站
6. 目录 1 一直播、小咖秀大数据架构 2 ALPS介绍 3 如果还有明年 GOPS 全球运维大会2018·深圳站
7. 大数据平台运维需求 该有的还是得有,但希望足够简单 【运维需求】 1. 配置管理与资产管理 2. 可监控、可报警 3. 可执行批量作业 4. 如果还有点期待就是Ai更好 乱花渐欲迷人眼 GOPS 全球运维大会2018·深圳站 CMDB
8. ALPS介绍 简单可持续迭代 【功能介绍】 1. 基于Consul的配置管理 2. 基于Consul定制的监控报警平台 3. 基于Consul的作业平台 4. AI + ALPS 浅草才能没马蹄 GOPS 全球运维大会2018·深圳站
9. 基于Consul的自动化运维架构 完全基于Consul,解决CMDB,作业分发,服务发现,内部DNS问题 Consul Member CMDB Consul Event 作业分发 Consul部署架构 UIService Consul Check Consul DNS 服务发现 内部DNS ConsulServer ConsulServer ConsulServer u 该有的都有 u 足够简单,开源可修改 u 解决非专业运维团队的专业运维问题。 u 投入产出比很高,很少的投入,很大的回报 u 架构简单,一个系统迭代容易打造精品 ConsulClient ConsulClient ConsulClient ConsulClient GOPS 全球运维大会2018·深圳站
10. 基于Consul Member的配置管理 u 多数据中心支持 u 动态管理的成员关系 u 基于gossip协议的事件传输 轻量型CMDB系统,解决传统CMDB无法动态 变更,自动发现,状态探测问题。 我觉得这是一个运维人员的机会 GOPS 全球运维大会2018·深圳站
11. 基于Consul Event的批量作业平台 上传至ALPSUI并触发event分发脚本并在目标机执行 Shell Command Scripts 基于Gossip协议传输 基于DC和Tag的灰度策略 ALPSUI Consul Server DC1 DC2 …… DCN u Consul原生支持,仅需很少开发 u Event到达率很稳定,很可靠 u 解决运维中高频的批处理任务 u 如果投入还可以做得更好 Host (tag1) Watcher Host (tag2) Watcher Host (tag1) Watcher Host (tag2) Watcher GOPS 全球运维大会2018·深圳站 p Puppet p Ansible
12. 基于Consul DNS 与 Hadoop 的集成 新加入节点Consul自动解析,节点失效自动摘除解析 u 新客户端部署需要完整的ETC host 列表 u 无法动态更新,新加入节点,会有大量前期客户端报错 DNS一直是基础运维的核心,也是所有业务的 重中之重。如果有这么一款产品可以依赖,我 们为什么不去打磨他? GOPS 全球运维大会2018·深圳站
13. 基于Consul DNS 服务发现案例 服务Down掉后,Consul自动触发DNS摘除解析,无须额外配置 u 轻量级负载均衡解决方案 u 高频应用于TCP & HTTP 服务的故障自动切换 Request Consul DNS Service1 Service2 Service3 Consul 如何发现Service3 服务不可用? GOPS 全球运维大会2018·深圳站
14. Consul Service Check 多种自带check机制,支持主动探测和被动探测 u Shell Script Check u TCP Check u HTTP Check u TTL Check u Docker Check u gRPC Check 各位运维的小伙伴们,难道没有发现一个轻量的监控系统已经有了吗? GOPS 全球运维大会2018·深圳站
15. 基于Consul Check的简单监控系统 基于Consul Check 简单可依赖 Consul Server Consul Client Consul Client Consul Client TCP HTTP Script 参考了Bosun https://bosun.org/ Script prospector Cpu prospector Mem prospector DISK prospector ……prospector Alert Server u 与运维部门 统一监控系统并存,交叉验证 u 大数据业务监控均使用Consul Check u 解决非专业运维团队的专业运维问题 u 我们在监控领域做得还不够好,还得继续努力 u 后续引入机器学习来打造这个监控系统 Judge Server 它并不是多么完美多么强大,但足够简单 MongoDB GOPS 全球运维大会2018·深圳站
16. Consul Service Check 自动化运维案例 HDFS磁盘损坏自动 Decommission DataNode 并触发报警 HOST1 DataNode Consul Script Check HOST2 DataNode Consul Script Check HOST3 DataNode Consul Script Check u 轻量级自动化 u 只需要会写脚本即可 u 足够简单才能持续迭代 触发Consul User Event 执行 DataNode Decommission Script CPU Check Success Mem Check Success Disk Check Failed Consul Event Send Judge Server Consul Watcher GOPS 全球运维大会2018·深圳站
17. 目录 1 我是一个标题 2 ALPS介绍 3 如果还有明年 GOPS 全球运维大会2018·深圳站
18. 一站式大数据开发套件CloudAtlas 大幅度提高生产效率,深度释放数据潜在价值 CloudAtlas数据集成服务 自助式开发套件 多租户,权限管理,任务编排,数仓建模交互UI、TT任务管理与托管、计费与资源用量分析 数据仓库 提供数据存取与建模服务,基于HBase二次开发 TT(自助ETL系统) 提供基于SQL的流式计算平台 u 让产品、运营轻松掌控海量数据,就像操纵Excel那样轻松 u 让开发真的是在开发一款产品,而不是每天提交SQL并返回结果 u 让开发真的是在开发一款产品,而不是每天写一些重复的ETL 脚本或者JOB u 让数据更加开放,让更多人通过数据去决策 GOPS 全球运维大会2018·深圳站
19. 最后是我的个人介绍 于邦旭 一下科技大数据总监 请大家支持我们的秒拍、一直播、小咖秀 心得分享: 渴望成功的我们,应该克服对新事物,新技术学习的恐惧,尤其是云 计算、大数据、AI、区块链大行其道的当下。 能与不能不重要,想与不想才是关键。 GOPS 全球运维大会2018·深圳站
20. Thanks 高效运维社区 开放运维联盟 荣誉出品 GOPS 全球运维大会2018·深圳站
21. 想第一时间看到高效运维社区 的新动态吗? GOPS 全球运维大会2018·深圳站