摩拜数据库团队资深经理 李凯:摩拜开源技术的线上应用之路

遇俊民

2017/11/14 发布于 技术 分类

分享摩拜在管理近千万单车,每天处理数千万次骑行的情况下,数据库在技术选型、运维和定制开发方面的经验。介绍摩拜在构建大规模物联网的思路,以及数据库在面向高可用、可扩展、低成本以及TPAP混合挑战上的发展思路。介绍摩拜对TiDB的应用现状、经验和发展思路。

文字内容
1. SACC2017
2. 开源技术的线上SA应CC用20之17路 摩拜数据库团队 资深经理 李凯
3. 提纲 个人简介 摩拜数据存储现状与挑战 技术选型与生态建设 中长期规划 SACC2017 1
4. 个人简介 2007-2010, 百度, Pyramid(分布式文件系统) 2010-2015, 阿里巴巴, OceanBase 172015-2016, 美团, Mangix(S3存储) C202016-2017, 华为, Taurus(MySQL计算存储分离) SAC2017, 摩拜, 数据库团队 2
5. 摩拜 • 用户:1.5亿 • 单车:700万+ 17• 每日订单: C20• 摩拜:0  3000万(1.5年) SAC• 滴滴出行: 0  2500万(5年) • 美团外卖: 0  1600万(4年) 3
6. 构建在云上的服务 SACC2017 4
7. 摩拜数据存储现状与挑战 数据总量 ~300亿 数据存储面临的挑战 每日增量 ~1.5亿 17每日访问 ~80亿 20存储产品 SACC关系数据库 MySQL 文档数据库 MongoDB 云PaaS  私有化部署 自身稳定性 多AZ/Region容灾 业务国际化/单元化部署 业务持续增长 缓存 Redis  Codis 自动化运维 分布式数据库 TiDB TP/AP融合 5
8. 存储技术选型 云服务的优势 快速部署 私有化部弹监云署服性控的务、优技告势术警支、持备份、S容A灾CC2017 灵活可控 国际化 低成本 6
9. 数据存储生态体系 读写分离, SQL审计 限流/熔断 分库分表 DDL预审核 SQL语句实时审核 Inception 7 MySQL Codis 数据库 Proxy SQL 自动 审核 自动化 SACC2017关系 数据库 分布式 缓存 文档 运维 分布式 多模 数据库 数据库 数据库 复制 中心 MongoDB 集中化、容器化部署 权限管理 监控 告警 运行数据收集展现 日报、周报 TiDB SQL/KV/文档多模型 多数据源 多目的端 增量数据同步
10. 数据库中间件 开源 功能完整 性能、稳定、易用 易于修改 社区活跃度 DRDS MVMityaeSCxsSAsAcTaCle C2017 Kingshard 8
11. 数据复制与国际化/单元化部署 一份数据多次消费 跨Region复制 业务单元间数据相互同步 在线业务与离线分析间同步 支持多种数据源 MySQL Mongo DB SACC2017WAL增量 数据 数据复制中心 Message Queue TiDB DB容灾 数据仓库 实时分析 …分区 数据同步 9
12. 分布式缓存 跨AZ高可用 Proxy路由请求 平滑迁移Redis 集群管理平台 容器化部署 热迁移性能优化 10 AZ1 Client SACC2017LB Codis Proxy Codis Server Codis Server Codis Server Codis Server AZ2 Client LB Codis Proxy Codis Server Codis Server Codis Server Codis Server Redis
13. 分布式数据库 关系数据库容量/性能可扩展 TiDB GA: Namespace特性 多AZ高可用 MySQL协议兼容 Hadoop生态兼容 TP/AP融合 多模型存储 Syncer用于数据增量同步 SACC2017负载平衡与迁移限速 规模:50+ 业务:信用分, 用户账务记录, 开 关锁记录, 离线数据仓库 11
14. 技术展望 全自动SQL审核 Codis自动伸缩 TiDB RRoegckiosnD物B 理Co隔m离paSctAioCn优C化2017 独占物理机 多模型统一存储:SQL,KV,Cache 12
15. What Makes Us Special 工程师文化 SDE = Something Do Everything Eat Your Own 信息透明 Dog FoodSACC2017 自由平等 13
16. Let’s Mobike SACC2017 14