拍拍贷 杨波 - 拍拍贷基础架构的DevOps演进之路

弓妙颜

2017/12/18 发布于 技术 分类

拍拍贷是一家超过十年的互金行业科技公司,近年,不断成长扩大的业务规模对公司的技术交付能力和稳定性等各个方面提出了严峻的挑战。DevOps和微服务架构是近年企业数字化和技术转型升级的最佳实践,拍拍贷从2016年底开始推动公司技术向DevOps研发模式和微服务架构方向转型。 本分享介绍拍拍贷DevOps和微服务基础架构体系总体规划,重点分享2017年基础架构的升级之路和阶段性成果,同时分享2018和未来进一步升级展望。

文字内容
1. 拍拍贷基础架构的   DevOps演进之路   杨波   拍拍贷基础框架研发总监  
3. 杨波   拍拍贷基础框架研发总监   超过10年的互联网分布式系统架构和研发经验的老司机,曾先后就职于:   eBay中国研发中心(eBay  CDC),任资深研发工程师,参与eBay开放平台研发;   携程旅游网(Ctrip),任框架研发总监,主导携程大规模SOA体系建设;   目前专注于微服务架构体系,DevOps实践,PaaS云平台建设和团队管理。  
4. •  业务和技术架构背景简介   •  2016挑战和2017基础架构升级之路(从0到1)   •  DevOps深度思考   •  2018和未来升级展望(从1到n)  
5. 业务和技术架构背景1   •  10年发展历程,互联网消费金融行业领导者,纽交所上市公司 PPDF,总部位于上海张江   •  千万级用户量,亿级网站流量,上百个微服务,几百人研发团队   •  架构始于经典.Net+SqlServer单体应用,近年的架构变迁围绕   1.  解耦拆分和服务化   2.  效能和系统稳定性   3.  .Net转Java  +  SqlServer转MySql  
6. 业务和技术架构背景2  
7. 2016困局和挑战   •  Too  busy  to  improve   1.  业务压得喘不过气   2.  系统耦合历史负担重   3.  老系统还得升级(换轮子)   4.  系统不稳定   5.  工程师人才缺乏,安全攻击,机 房容量不足…  
8. 2017基础架构优先级  ~  高速换轮   1.  打造轻量级微服务基础架构   2.  支持业务持续迭代和创新   3.  支持业务解耦拆分   4.  提升系统稳定性   5.  DevOps?如何实践?  
9. 监控不足造成的坑   •  分布式微服务依赖关系错综复杂,如何理解?   •  线上发布了服务,怎么知道它一切正常   •  大量报错,需要花很久才能定位   •  一次将测试配置配到生产,通宵排查   •  应用程序有性能瓶颈,怎么知道?   •  很多问题最终都说可能是网络问题   •  …  …   •  任何可能出问题的地方都需要监控  
10. DevOps实践  ~  要改进必先测量  
11. DevOps实践  ~  开发自助监控  
12. 微服务实践  ~  分布式调用链监控  
13. 升级之路  ~  调用链监控选型  
14. CAT报错大盘  
15. LogView  
16. Transaction报表  
17. Heartbeat报表  
18. 升级之路  ~  四层监控体系  
19. 微服务实践  ~  异步消息   •  Loosely  coupled  service  oriented   architecture  with  bounded  context   •  分布式引入最终一致性问题,消息中间件是 微服务基础架构的核心   •  基于推模式消息1.0的挑战   •  慢消费者造成消息堵塞、消费延迟甚至丢消息  
20. 升级之路  ~  拉模式消息系统2.0   pull!
21. MySQL表结构  
22. 数据模型  
23. 微服务实践  ~  网关+熔断限流   •  反向路由   •  限流熔断   •  安全防爬   •  日志监控   网关   熔断限流! 微服务  
24. 升级之路  ~  Netflix  Zuul网关  
25. 升级之路  ~  Netflix  Hystrix断路器  
26. 微服务和DevOps实践  ~  配置中心   •  挑战   •  主要采用本地静态配置   •  配置散乱格式不标准   •  易引发生产事故   •  配置修改麻烦周期长   •  配置中心场景   •  应用配置   •  DB连接字符串,线程池大小, 请求超时,服务地址,黑白名单, 限流阀值   •  功能开关   •  蓝绿/金丝雀发布,业务开关, 降级熔断  
27. 升级之路  ~  Apollo配置中心  
28. 2017成果  ~  轻量级基础架构体系  
29. 2017优先级初步达成   •  业务创新项目按期完成   •  核心中台服务完成解耦拆分   •  总体系统稳定性大幅提升   •  DevOps实践和微服务架构初步落地  
30. 可以喘口气了?  
31. 从1到n  ~  近期思考和2018未来升级展望  
32. 2017新的挑战   •  团队众多分散沟通成本高   •  烟囱式重复系统建设和维护带来 的重复投资   •  系统间集成和协作成本高   •  不利于业务沉淀,规模化和持续 发展   •  总体研发效能和一线DevOps组织 差距很大  
33. DevOps深度思考1   通向DevOps的三条道路  
34. DevOps深度思考2     从传统职能项目型到跨职能产品平台型组织转型  
35. DevOps的深度思考3   中台化战略  
36. DevOps和微服务架构体系未来规划  
37. Take  Away   •  DevOps和微服务是企业技术升级改造最佳实践   •  明确阶段性痛点和优先级,分阶段驱动DevOps和微服务 落地   •  利用成熟开源技术产品驱动企业DevOps和微服务架构落 地转型是一条捷径   •  DevOps和微服务本质上是一种组织架构的重组Re-org, 有赖于扎实的技术中台和人才密度,最终目标都是赋能业 务持续创新