全球运维技术大会

青云 梁帅

1. Active/Active DC Design 
 多活业务架构设计 梁梁帅 ⻘青云QingCloud 资深解决⽅方案架构师
2. • ⾯面向⽤用户的互联⽹网构建-BGP/MPLS 简述 • 如何完成 AA DC 设计 • QingCloud 公有云中多活架构
3. BGP的⼀一些故事 BGP:全球最⼤大、覆盖⾯面积最 ⼴广的关系型数据库(RDS) AFI多种服务,极佳的扩展性能 Path selection:⽆无最短路路径算 法,效能⾼高,灵活的policy控 制选路路(⾮非IGP SPF/DUAL) USE Case: INET+CLOUD
4. Why BGP? 根据实际互联⽹网组建需求 BGP成为了了最优选择,且成 为了了⽹网络中维护Routing table (Database)最优的 协议。 实际案例例:INET/INETv6、VPN service/EVPN VXLAN 云计算/容器器云
5. BGP在⽹网络中的地位/基础概念 https://www.cisco.com/c/en/us/support/docs/ip/bordergateway-protocol-bgp/13753-25.pdf ,84 O> > G B BF DD > B GNB BF ,84 > G >PA BGF 71. () >P F A> ,84 B>D G <<GEEG > > B 9AB DDGO G ) ) ) FBI > ,84 GNB BF I B > D> GE A> G B BF D ,84 9OG DG<C G BN > ,84 > N BD D> G F G FBR BGF G > DGF A> > F>N> >P<A F > DB<D GF A> 3F > F> , > BN > ,84 OB ABF A> B ,84 F > > BN > ,84 OB ABF A> >P >F > B F> 3-26 8 E> ,84 -26 9.6 8> BGF 89 G ) -26 5 A> ,84 7G > > D>< BGF -26 73- <GF GD D F>
6. BGP Path selection 1. NEXT-HOP 2. Weight 3. Local Preference 4. Local originated (network statement, redistribution, aggregation) 5. AIGP (Multiple Interior Gateway Protocols/ Multi-area OSPF/ISIS) 6. Shortest-AS Path 7. Origin Type IGP>EGP>incomplete 8. Lowest MED 9. EBGP over IBGP 10.Lowest IGP Next-Hop 11.EBGP Multipath/IBGP Multipath<ECMP> 12.If both paths are external (EBGP), prefer the first (oldest) https://www.cisco.com/c/en/us/support/docs/ip/bordergateway-protocol-bgp/13753-25.pdf 13.Prefer the route that comes from the BGP peer with the lower RID 14.Prefer the route with the minimum cluster list length 15.Prefer the path that comes from the lowest neighbor address
7. Why MPLS? 替代传统路路由表查询逻辑 流量量⼯工程MPLS-TE SLA服务质量量保障 Single data plane+multiple service control-plane(MP-BGP)
8. MPLS-label allocation MPLS Control-plane TDP.LDP RSVP MP-BGP Segment Routing<OSPF/ISIS> MPLS Data-plane Label Forwarding information base
9. MPLS-use-case BGP Control-plane • IPV4 unicast <INET> • IPV6 unicast <INET> • VPNv4 unicast <MPLS VPN> • VPNv6 unicast <MPLS VPN> • EVPN <Cloud computing> • VPLS/PBB-EVPN <L2VPN> • Link-state<Topology gen> MPLS Data-plane Label swap/pop
10. BGP与云计算的结合 控制平⾯面-Control Plane RFC 7432定义EVPN BGP TCP 179 稳定性保证 多租户VRF RD、RT 多协议⽀支持 通⽤用标准 互联⽹网必备协议 基于策略略,灵活控制与⾼高扩展性 VTEP Ethernet VPN          数据平⾯面-Data plane RFC 7348定义 VXLAN 24bit VNI 16百万逻辑域隔离 UDP封装 源端⼝口随机提供hash流量量负载 UDP⽬目的端⼝口4789 Virtual tunnel endpoint VTEP VXLAN封装、解封装 VTEP
11. • ⾯面向⽤用户的互联⽹网构建-BGP/MPLS 简述 • 如何完成 AA DC 设计 • QingCloud 公有云中多活架构
12. 如何完成AA DC设计-GSLB // // / / . A/ - / / / AAA B/ AAA B/ ED C // / AAA B/ - / / AAA B/ ED C // / / . A/ ⾏行行业解决⽅方案F5-BIG-DNS/Citrix Netscaler • 在多个数据中⼼心边界(⾯面向互联⽹网)部署GSLB设备 • GSLB设备充当Authoritative DNS⻆角⾊色,站点间通过⼚厂商私有协议进⾏行行状态同 步(流量量为加密流量量) • 当客户端请求对应数据中⼼心Domain的域名,GSLB将⾃自动发送更更新到INET local DNS server(智能DNS) • 通过智能DNS回复与状态同步机制判定最优数据中⼼心进⾏行行DNS回复 • 当客户端请求www.example.com,Local DNS服务器器将返回最优公⽹网地址为 客户端提供服务,将流量量引导进最优数据中⼼心,从⽽而提⾼高客户端⽤用户体验。 限制条件 • ⼚厂商技术绑定(多⼚厂商易易出现兼容性问题) • License收费⾼高昂 • 公⽹网地址浪费 • 部署难度复杂,同步机制流程过多 • 最⼤大连接数上限(如性能不不⾜足,必须升级设备)
13. http://www.example.com DNS Server http://www.example.com DC-1 User-INET-1 DNS response with Public-IP Address-DC-1 INET-1 INET-2 User-INET-2 DNS response with Public-IP Address-DC-2  F5 BIG- IP DNS  F5 BIG- IP DNS DC-2 Servers Servers
14. Anycast与BGP的结合  IP   DDOS http://www.root-servers.org/index.html
15. 如何完成AA DC设计-Anycast-IP 6D6 : D:B 6D6 6C: D B6 : 4: :F6B: : / ED:B :6 : 1 C:CC EA 6D: 2 I -:GD A -1 EA 6D: 2 I -:GD A 1 C:CC 6D6 : D:B : / ED:B :6 : 6D6 6C: D B6 : 4: :F6B: Anycast-IP • 在多个数据中⼼心边界路路由器器与运营商进⾏行行BGP路路由协议对接 • 在多个数据中⼼心发布同样的公⽹网IP地址 • 当客户端访问www.example.com,Local DNS中对应的domain entry对应发布的公⽹网IP 地址,最短路路径由公⽹网运营商进⾏行行计算 • 流量量将⾃自动分配到就近的数据中⼼心,⽆无需⼲干预任何配置即可完成 • 如出现某数据中⼼心中断,因发布的IP地址为⼀一样的,运营商将⾃自动清除路路由表的表象,对 于客户端来说是⾃自动重路路由,从⽽而完成灾难场景的备份需求 • 硬件部分为选⽤用⽀支持BGP协议的路路由器器即可完成需求,⼚厂商⽆无绑定,且⽆无兼容性问题 • 原⽣生缓解公⽹网DDOS攻击
16. QingCloud公有云中灾备的实践 如何保证公有云中数据安全 ‣ 数据保护机制 ‣ 业务数据的安全 ‣ 公有云Zone间数据迁移 ‣ 资源编排妙⽤用 ‣ 单区域和多区域的灾备架构
17. 数据保护机制 R I I R I GE 4A1 R O 24 D 35M 60V C B V
18. 公有云中业务数据的备份 BA D /
19. 公有云Zone间镜像迁移 1 3 1 1 
20. 资源编排的妙⽤用 • DBM<-.$8")& • ,=.$? @*5'26  %@* H# #)&  26)& • K3G: • <E; • F(' • I C7J ! 59 6L G:E; E 5 A  /> 1 04 +
21. 公有云中的业务连续性和数据安全                     ⽅方案功能实现: • 基于负载均衡集群和⾃自动伸缩服务提供满⾜足服务等级 需求的应⽤用层分布式服务 • 基于主机 OS 和数据磁盘的实时副本来应对硬件故障 时的快速切换 • 针对主机 OS 和数据磁盘定期进⾏行行全量量或增量量备份 • 通过 MySQL Plus 的⼀一主多从、读写分离、故障秒级 切换来应对数据库节点故障 • ⽆无论是云主机⽂文件,客户⾃自⼰己搭建的数据库,还是云 端 PaaS 服务,都可以通过专业备份软件,进⾏行行集 中的策略略化备份,备份数据直接存⼊入对象存储的冷 数据区
22. 公有云中的业务连续性和数据安全      ⽅方案功能实现:                           业务系统分别部署在 QingCloud 同城的不不同数据中⼼心内或 跨城的不不同可⽤用区中,通过专线或者 GRE/IPsec 隧道的⽅方 式将两端VPC连通 在⽣生产和灾备节点间的数据库建⽴立同步服务,所有读写操 作都在主节点上执⾏行行,灾备站点数据提供只读业务。 通过 DNS 解析实现主备节点的故障切换。 对有本地持久化数据的应⽤用系统采⽤用连续复制保护,可以 利利⽤用同步⼯工具,实时同步保证数据的⼀一致性
23. 难点 ‣ 单可⽤用区内的⾼高可⽤用是不不够的 ‣ 光纤总是会被挖断的 ‣ 点对点隧道 ‣ 隧道的性能损失 ‣ DNS延迟
24. • ⾯面向⽤用户的互联⽹网构建-BGP/MPLS 简述 • 如何完成 AA DC 设计 • QingCloud 公有云中多活架构
25. Region是什什么 ‣ Region/区域:由多个物理理独⽴立的 Availability Zone可⽤用区互联组成 ‣ 可⽤用区:⼀一个独⽴立部署的资源集合。如 PEK3B/SH1A/GD2A ‣ 可⽤用区内:< 0.2 ms ‣ Region可⽤用区间:< 1.5 ms
26. Region 级 VPC 21 21 ▶ ▶ ▶0 21 7 /. 7263
27. Region 级 VxNet 0 04 23 C + C + ▶ 04 23 ▶ 4 237 B 6 C GE ▶ ▶ ▶ . /21I KD C +
28. Region 级 VxNet / / +3 CPB + 23 CPB # + 23 + 23 ▶# 3 ▶ V DN E DCPB ▶ SG 34 R # 3 ▶ C CPBc ▶ CPB + 23 31 d b Kd CLIK
29. Region 级 APP ▶ 3 BKG ▶ 3 / / G I / I / / P / RCQLDRM E D
30. Region 的特点 ‣ Region 级 VPC ‣ Region 级 VxNet:VxNet 中主机可在不不同可⽤用区运⾏行行 ‣ Region 级 LB Cluster:LB 节点同时在不不同可⽤用区运⾏行行 ‣ Region 级 EIP:需绑定到 Region 级 LB Cluster ‣ Region 级 VIP:可跨可⽤用区漂移 ‣ Region 级 APP:MySQL Plus/MongoDB/RadonDB/Redis Cluster 等
31. Region 中的灾备架构 /+# / B +# 2 ML G + W B+ 2 2 ML G 1 Q RE N CP +3 IV 1 S RE NBK
32. 多活业务架构 1 CB 1 24 24 ER P EIP CB # 24 24 ER P CB 24 KM S / + 3 KM S / DN + +3 DN L/ WV Q SLCIG KM S / + 3
33. 案例例
34. Thank you.
36. 在此键⼊入姓名 在此键⼊入Tittle
37. 在此键⼊入姓名 在此键⼊入Tittle
38. 在此键⼊入姓名 在此键⼊入Tittle
39. 在此键⼊入姓名 在此键⼊入Tittle

相关幻灯片