陈靓 高性能软件定义存储架构设计 ArchSummit2019深圳

文字内容
4. 目录 COMPANY 01 SDS系统介绍 02 SDS系统数据流 03 经典SDS和鹏云系统架构比较 04 总结
5. 行业前景 大数据和云计算时代,数据呈指数形式增长。海量数据如何存储?
6. 传统的磁盘阵列 传统的磁盘阵列 成本高 扩展性差 削弱业务竞争力 难以支撑业务迅速增长 管理复杂 学习周期长, 无法快速响应业务系统需求 难运维 影响业务稳定
7. 软件定义存储 软件定义存储是什么 对外接口 应用实例 软件定义存储 分布式块存储 X86存储 服务器 对象存储 分布式文件
8. 软件定义存储优势 用软件定义存储(SDS)存储海量数据 SCALABILITY 灵活扩展 AGILITY 高效敏捷 横向扩展,按需随时扩容 弹性伸缩,适应业务变化 海量存储,支撑数据增长 按需供给,快速开通业务 SIMPLICITY 管理简单 LOW-COST 更低成本 智能自愈,无需人工干预 通用硬件,更低建设成本 架构简单,无高技能要求 软件定义,避免厂商绑定
9. SDS存储特点 高可用性 高扩展性 高性能 SDS 低成本 管理简单 自动化
10. 目录 COMPANY 01 SDS系统介绍 02 SDS系统数据流 03 经典SDS和鹏云系统架构比较 04 总结
11. SDS系统数据流程 1. 客户端驱动寻址 2. 备份到多个存储服务器上 3. 存储服务器之间数据同步 StorNode StorNode StorNode StorNode 存储服务器
12. 目录 COMPANY 01 SDS系统介绍 02 SDS系统数据流 03 经典SDS和鹏云系统架构比较 04 总结
13. 数据寻址方式 • 地址存放在元数据中 闭源产品使用 缺点:维护元数据很复杂 优点:系统的容错性、稳定性和可扩展性高 • 通过算法直接计算数据地址,无需元数据 DHT(Distributed Hash Table),GlusterFS等在使用 CRUSH(Controlled Replication Under Scalable Hashing)Ceph 在使用 缺点:系统的容错性、稳定性和可扩展性低 优点:实现简单
14. 数据寻址方式
15. 数据寻址方式
16. 数据寻址方式
17. 数据寻址方式
18. 数据存储方式 原生块存储 底层基于对象存储的产品 客户端 对象或 分布式文件系统 直接管理磁盘裸设备 不依赖对象或文件系统 无需复杂数据格式转换 低访问延迟 更低系统开销 客户端 DataNode 硬盘 本地文件系统 硬盘 不能操作裸设备 底层依赖对象或文件系统 复杂数据格式转换 高访问延迟 高系统开销
19. 数据优化方式 ZettaStor DBS 非优化的同类产品 客户端 客户端 随机IO 随机IO IO优化 半顺序IO 400~700 IOPS 200 IOPS 变随机IO为半顺序IO 磁盘随机IO性能不佳 IO性能提升2~3.5倍 更高性能,降低成本 需配置更多磁盘来提升性能 更低性能、更高成本
20. 数据传输方式
21. 提高写性能 • 数据写到多个备份节点时,用全量写 客户端驱动确保数据写到了所有的备份节点里,才返回给应用端 优点:实现简单 缺点:如果某台服务器某段时间变慢,会影响整个集群的写操作性能 • 数据写到多个备份节点时,用Quorum写 客户端驱动确保数据写到了主节点和(M -1) 从节点便可以返回 优点:写操作性能受个别慢的服务器影响小 缺点:实现复杂
22. 提高写性能 • Quorum写的实现 用日志记录下来所有的写操作 主节点拥有所有的日志 因为Quorum写,导致从节点缺失部分数据,通过增量地同步主节点 上的日志,确保从节点有全部的数据
25. Thanks 南京鹏云网络科技有限公司