bilibili运维负责人胡凯——B站的运维成长之路-

胡凯在会上演讲了主题《B站的运维成长之路》,详细介绍了运维方面的干货

2. B站的运维成长之路 监控篇 G O P S 2017 全 球 运 维 大 会 · 深 圳 站 by 胡凯 GOPS.2017@深圳
3. 目录 1 面临的困难 2 第一个警报:ELK 3 可惜还是你:Zabbix 4 监控交给你:Statsd 5 百花齐放:Grafana 6 在路上:Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
4. 面临的困难 1. 资源总有限 • 人手不够 • 事情很多 2. 平台要建设 • 缺少这个系统 • 需要那个功能 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
5. 典型应用场景 G O P S 2017 全 球 运 维 大 会 · 深 圳 站 CDN Edge - Tengine LVS Cluster - OSPF SLB - Tengine Server App Cache/MQ DB 哔哩哔哩 - ( ゜- ゜)つロ 乾杯~ - bilibili
6. 网络拓扑 G O P S 2017 全 球 运 维 大 会 · 深 圳 站 哔哩哔哩 - ( ゜- ゜)つロ 乾杯~ - bilibili
7. 理想很丰满 G O P S 2017 全 球 运 维 大 会 · 深 圳 站 摘自:itkoala
8. 现实很骨感 合并 / 拆分 G O P S 2017 全 球 运 维 大 会 · 深 圳 站 开源 / 自研
9. 摆脱繁杂事务 -- 自动发布 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
10. 目录 1 面临的困难 2 第一个警报:ELK 3 可惜还是你:Zabbix 4 监控交给你:Statsd 5 百花齐放:Grafana 6 在路上:Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
11. 第一个警报:ELK 邮件 微信 短信 G O P S 2017 全 球 运 维 大 会 · 深 圳 站 错误日志数量: 12233 按域名 TOP3: hello.bilibili.com 数量:15366 占比:92.94% world.bilibili.com 数量:1066 占比:6.44% welcome.bilibili.com 数量:23 占比:0.14% 按 CDN 节点 TOP3: 192.168.101.122 数量:1708 占比:10.32% 192.188.201.133 数量:2303 占比:10.30% 192.138.222.208 数量:1673 占比:10.12% 按用户IP TOP3: 192.132.142.118 数量:496 占比:3.00% 192.162.189.223 数量:476 占比:2.88% 192.138.157.219 数量:169 占比:1.02% 按 http-code TOP3: 500 数量:占比:5.66% 502 数量:37 占比:0.22% 503 数量:16477占比:92.33% 504 数量:17 占比:0.10%
12. 第一个警报:ELK 邮件 微信 短信 G O P S 2017 全 球 运 维 大 会 · 深 圳 站 错误日志数量: 12233 按域名 TOP3: hello.bilibili.com 数量:15366 占比:92.94% world.bilibili.com 数量:1066 占比:6.44% welcome.bilibili.com 数量:23 占比:0.14% 按 CDN 节点 TOP3: 192.168.101.122 数量:1708 占比:10.32% 192.188.201.133 数量:2303 占比:10.30% 192.138.222.208 数量:1673 占比:10.12% 按用户IP TOP3: 192.132.142.118 数量:496 占比:3.00% 192.162.189.223 数量:476 占比:2.88% 192.138.157.219 数量:169 占比:1.02% 按 http-code TOP3: 500 数量:占比:5.66% 502 数量:37 占比:0.22% 503 数量:16477占比:92.33% 504 数量:17 占比:0.10%
13. 代码示例 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
14. 目录 1 面临的困难 2 第一个警报:ELK 3 可惜还是你:Zabbix 4 监控交给你:Statsd 5 百花齐放:Grafana 6 在路上:Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
15. Snmp + Rrdtool --> Zabbix G O P S 2017 全 球 运 维 大 会 · 深 圳 站
16. 目录 1 面临的困难 2 第一个警报:ELK 3 可惜还是你:Zabbix 4 监控交给你:Statsd 5 百花齐放:Grafana 6 在路上:Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
17. 监控交给你:Statsd G O P S 2017 全 球 运 维 大 会 · 深 圳 站
18. 监控交给你:Statsd G O P S 2017 全 球 运 维 大 会 · 深 圳 站
19. Statsd - Graphite G O P S 2017 全 球 运 维 大 会 · 深 圳 站
20. Statsd - Grafana G O P S 2017 全 球 运 维 大 会 · 深 圳 站
21. 目录 1 面临的困难 2 第一个警报:ELK 3 可惜还是你:Zabbix 4 监控交给你:Statsd 5 百花齐放:Grafana 6 在路上:Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
22. Grafana + Zabbix G O P S 2017 全 球 运 维 大 会 · 深 圳 站
23. Grafana + ELK -> 故障定位 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
24. 故障追踪 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
25. 突破壁垒 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
26. 突破壁垒 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
27. 告警 + 事件 整合 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
28. 缓存监控 bilitw: https://github.com/bilibili G O P S 2017 全 球 运 维 大 会 · 深 圳 站
29. 队列监控 Databus: 兼容 Redis 协议,与后端保持长连接。 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
30. PAAS监控 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
31. PAAS监控 G O P S 2017 全 球 运 维 大 会 · 深 圳 站
32. 目录 1 面临的困难 2 第一个警报:ELK 3 可惜还是你:Zabbix 4 监控交给你:Statsd 5 百花齐放:Grafana 6 在路上:Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
33. 在路上: Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
34. 在路上: Prometheus G O P S 2017 全 球 运 维 大 会 · 深 圳 站
35. G O P S 2017 全 球 运 维 大 会 · 深 圳 站 Thanks 高效运维社区 开放运维联盟 荣誉出品
36. 想第一时间看到 高效运维社区公众号 的好文章吗? 请打开高效运维社区公众号,点击右上角小人,如右侧所示设置就好 G O P S 2017 全 球 运 维 大 会 · 深 圳 站