云数据库在网易的发展与实践

迟海逸

2018/05/13 发布于 技术 分类

网易云硬盘是在传统块存储技术的基础上,基于廉价设备构建可扩展,高可靠,高可用,有QOS保证,易运维的存储系统。公司的关系型数据库服务(RDS)及云搜索(NCS)都是建构在硬盘之上的,另外还承接了公司多个重要产品的数据存储服务。在2015年中国数据库技术大会上来自网易杭州研究院后台技术中心...

文字内容
1. 云数据库在网易的发展与实践 网易 杭州研究院 数据库技术团队 郭忆 新浪微博:@郭忆_宝 Copyright © 2015 NetEase cloud.netease.com
2. 网易云数据库 目录 关键技术实现 典型应用案例 未来与展望 Copyright © 2015 NetEase cloud.netease.com
3. 网易云计算的诞生  拥有众多的互联网产品和移动终端 应用  云计算为移动互联网提供强大的计 算和存储能力  业务的快速发展促使资源管理模式 的变革  2012年4月上线,目前已经覆盖公 司主要互联网产品  产品线:IaaS与PaaS相结合 Copyright © 2015 NetEase cloud.netease.com
4. 网易私有云平台架构图 Copyright © 2015 NetEase cloud.netease.com
5. 网易私有云部署架构图 Region 机房 可用域 Copyright © 2015 NetEase cloud.netease.com
6. 网易云数据库  Netease RDS是网易数据库技术团队基于开源MySQL分 支InnoSQL打造的云端数据库托管平台,提供即开即用、 稳定可靠、弹性伸缩的在线数据库服务。 编程接 口 运维自 动化 高可用 挑战 在线伸 缩 高可靠 高性能 Copyright © 2015 NetEase cloud.netease.com
7. 功能特色 Copyright © 2015 NetEase cloud.netease.com
8. 系统架构 Copyright © 2015 NetEase cloud.netease.com
9. 管理平台 Copyright © 2015 NetEase cloud.netease.com
10. 目录 关键技术实现  高可用  高可靠  高性能  在线扩展  “一键”迁移 Copyright © 2015 NetEase cloud.netease.com
11. 高可用 对应用 透明 服务可 用时间 需求 通用性 数据一 致性 性能 Copyright © 2015 NetEase cloud.netease.com
12. 高可用实现  主要挑战:  数据一致性  服务可用时间  性能 Copyright © 2015 NetEase cloud.netease.com
13. 数据一致性  虚拟同步复制  InnoSQL 5.5.20-v3  Oracle MySQL 5.7.2(Not GA)  MariaDB 10.1.3 (Not Release) Copyright © 2015 NetEase cloud.netease.com
14. 服务可用时间  Batch Commit  Reduce disk sync  InnoSQL 5.5.20-V4  并行复制  InnoSQL 5.5.30-V2  Oracle MySQL 5.7.2  MariaDB 10.0.5 binlog Gcid Begin … commit …… Gcid DDL MASTER IO thread Relay log worker thread SQL thread worker thread worker thread SLAVE worker thread Copyright © 2015 NetEase cloud.netease.com
15. 高性能  Group Commit  InnoSQL 5.5.20-V3  MariaDB 5.3  Oracle MySQL 5.6.6 Copyright © 2015 NetEase cloud.netease.com
16. 高可靠  计算、网络  主从节点位于不同的可用域  物理机、机架、交换机隔离  存储  云硬盘双副本,Raid1  主从节点的云硬盘卷位于不 同的存储池  存储物理机隔离 Copyright © 2015 NetEase cloud.netease.com
17. 在线扩展:Scale Up  计划内主从切换  CPU、内存、数据库版本、 存储空间、硬盘介质  VIP 浮动P 虚拟同步复制 浮动P 异步复制 主机 从机 (1)主备虚拟同步复制 浮动P 虚拟同步复制 主机 从机 ScaleUp (2)主机切异步复制、从机ScaleUp 浮动P 异步复制 主机 从机 (3)重新建立虚拟全同步复制 ScaleUp 新从机 新主机 (4)主从切换、新从机ScaleUp 浮动P 虚拟同步复制 新从机 新主机 (5)建立新从机到新主机的虚拟 同步复制 Copyright © 2015 NetEase cloud.netease.com
18. 在线扩展:Scale Out  只读实例  DDB Copyright © 2015 NetEase cloud.netease.com
19. “一键”迁移  三种模式  主机全量迁移  主机全量&增量  主机全量&从机增量  工具选择  Mydumper  Mysql dump  Xtrabackup  流控:  并发线程控制  扫描记录控制  基于负载的自适应导出  锁超时保护  更多功能:  权限检查  压缩表 Copyright © 2015 NetEase cloud.netease.com
20. 典型应用案例  成本  弹性  效率  管理  服务  运维 Copyright © 2015 NetEase cloud.netease.com
21. 应用案例(成本) 非云环境 云环境 收益 数据库 35台 6台 82.8% 应用 147台 8台 94.5% Copyright © 2015 NetEase cloud.netease.com
22. 应用案例(弹性) “上云”就是这么任性! 业务上线 初期,访 问量低 修改计算规格 (CPU、内存) 世界杯期 间,业务 大规模推 广 修改硬盘 大小 世界杯过 后,活动 结束,业 务访问量 骤减 修改硬盘 介质 Copyright © 2015 NetEase cloud.netease.com
23. 应用案例(效率) 服务部署 非云环境 云环境 新产品上线1 2分钟 周-1个月 在线扩容 5-6个小时 10分钟以内 商务:询价 DBA:部署数 据库 商务:采购 误操作回滚 3-4个小时 5分钟以内 SA:系统初 始化 网管:上架 Copyright © 2015 NetEase cloud.netease.com
24. 应用案例(管理)  云计算本身就是一个资源池,基于云计算实现的容量规划, 能够站在整个平台的层面评估资源使用情况,提高资源规 划的准确度。 Copyright © 2015 NetEase cloud.netease.com
25. 应用案例(服务) Copyright © 2015 NetEase cloud.netease.com
26. 应用案例(运维)  平台管理系统  将复杂的数据库管理流程全部自动化“一键”执行  线上“零”误操作  工单系统 Copyright © 2015 NetEase cloud.netease.com
27. 后续工作  RDS到DDB的迁移功能  RDS Proxy  更加快速的备份  跨机房容灾  Oracle数据库支持 运维 成本 服务 弹性 管理 效率 Copyright © 2015 NetEase cloud.netease.com
28. Copyright © 2015 NetEase cloud.netease.com