阿里巴巴 余锋 - MySQL数据库架构的演化观察

闭春华

2017/12/18 发布于 技术 分类

ArchSummit全球架构师峰会是InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会,参会者中超过50%拥有8年以上的工作经验。 ArchSummit秉承“实践第一、案例为主”的原则,展示新技术在行业应用中的最新实践,技术在企业转型中的加速作用,帮助企业技术管理者、CTO、架构师做好技术选型、技术团队组建与管理,并确立技术对于产品和业务的关键作用。

文字内容
1. MySQL数据库 架构的演化观察 y锋(禇霸Z V1.( 阿里巴巴研究员
3. y锋(禇霸Z 阿里巴巴研究员 2$13年起负责阿里云计算公司的数据库相关业务,他的研究领域包括云计算、边缘 计算和软硬s协同设计。 2$1$年加入阿里前,在a国k联网基础软s领域工作g12年,nh过k联网、游 戏、通讯业务等行业,作d早期员工服务过网易、迅雷等公司。 作d资深工程师在a间s、数据库、存储系统和硬s等技术领域都有突出的造诣, 有超过2$年的系统软s编码功底和b富的大规模复杂集群系统的构建和演进经验。
4. • 架构演进的动力 • 架构演进的路径 • 技术社区的变化
5. 用户视角需求 • 成本合理,只d使用付钱,维护费用少 • 使用方便,尊重当下投资,满足业务未来发展需求 • 业务适应面广, 最好O82 =IB2 3I>= .LL • 平台开放性,不被MPEL-iO
6. 架构d业务服务 • 面向如政府、银行、IP>、高并发k联网场景一揽子解决方案 • Q:=# 可靠性、成本和性能的平衡 • 稳定性第一、不惹h(业务连续Z • 数据闭环和生态,尊重用户熟悉的姿势,提 选择的能力 • 用户行d不可预测带来挑战,系统自证清白能力
7. 业务关键词 ฃአ Ի՞ ౮๜ ‫ݢ‬ᶌ ਞ‫ ق‬ኞா ௔ᚆ ّ਻ ‫ݢ‬አ ᵍᐶ ‫ݳ‬ᥢ ଘჶ
8. 架构演进的推动力 • 云化普及、基础设施地位 • 大数据、IP>和.I带来的机u • 硬s迭r:0:U(12)核ZW 网络(1$TR级别ZW IO(1$TR级别) W 超大内存 (>级别ZW 8U<.M • 基础软s技术突破
9. 架构演化路径 • 数据结构:算法围绕数据转 • 业务架构:计算围绕着数据库 • ###MV=QL在1/
10. 架构演化路径-续 • ###数据库(资源消耗和智力密集性基础软sZ = =QL + 存储 + 计算 • 存储层面 • e路径 -- 共m存储(实时Z,安全和容灾能力 • k通 -- 文s存储(类v.A= .ShGOC) • 异构数据冗y和可靠性保证 • 计算层面 • 类vOQCEMG数据库能力 • 混合计算(OL>:和OL.:、搜索、0CEhGZ • 实时化能力,LCNDFC数据流动和hs触发(存储过程Z
11. 架构演化路径-续 • =QL层面: • 屏蔽后端变化(软硬s升级、灾难、平滑扩缩容Z • =QL路由负载均衡#读写分离 • 运营和生态支撑 • 可视化闭环系统,提高研发和运营效率 • 异构数据k通 (如:4、MPOIP1/k通ZW 异构系统k通 (如=GCQEhk通Z • 数据o库#/I支撑等生态能力 • 服务 • 专家服务和体检 += h前 W 诊断系统 += ha W 救援服务 += h后
12. 架构突破 • 计算存储分离 • 计算 +---网络---- 存储 • 好处:减少维度 • 计算维度 =- 0:U + 内存 • 存储维度 =- IO + 网络 • 网络是最大瓶颈,解决手段: • 提高网络速度和带宽+-硬s红利 • 减少网络lk次数和加大信息密度+-软s红利 • 多.B,加大并行度和容灾+-I10红利
13. 架构突破-续 • 单机架构逐层拆解: • W =QL W • W h务 W • W 0CEhG W • W 存储 W • 关键词PffMPCF • 数据库核心逻辑下沉到存储:利用集群分布和闲时资源细水长流算 • 再下沉到硬s层:3:4.、.=I0、盘载计算资源
14. 架构突破-续 • 解决数据副本、数据变形、=EhGNC演化即刻计算的rt • 解决高并发、高扩展(毛刺和突发Z • 解决隔离问题,n存储颗粒级别、设备、存储、引擎、h务、=QL、虚拟化整链条k不干扰 • 解决扩展问题: • 计算能力 : 一e多读 -- 读写分离 -- MTMSi MCRSGQ • 存储能力: 提高引擎存储效率(新数据结构,压缩Z-- 共m存储 -- 引擎逻辑下沉的共m存储 • 解决=CC=化i次多租户问题 • 衡量指标: • 架构保证业务平滑 • 秒开秒关,秒扩秒缩,数据保持温热
15. 规模化带来的挑战 • 无需提前容量规划、秒计费、应对突发和c时需求 • 辅助运营 .FUiRPQ#0MPTF1/. • 可时光回溯的问题追踪定位系统 • 全自动化下的业务顺滑和风险规避
16. 技术社区的变化 • 商业驱动技术变化 • 数据库厂商版权收紧推迟开源 • 0MPTF 8CSiUG设计理念、混合云趋势化