汽车之家盛旺强__私有云建设

公叔嘉树

2017/11/14 发布于 技术 分类

02云专场_盛旺强_汽车之家_私有云建设_最新版

文字内容
1. 汽车之家私有云建设 系统平台部 盛旺强 ShengWangQiang@Autohome.com.cn
2. 目录 CONTENTS 1. 汽车之家私有云发展现状 2. 汽车之家私有云核心技术 3. 汽车之家私有云未来展望
3. 1 汽车之家私有云发展现状 Confidential & Proprietary
4. 汽车之家私有云建设 发展现状 我们为什么做私有云? 节约成本 运维能力 数据在线 资源整合 提高生产 Confidential & Proprietary 1
5. 汽车之家私有云建设 发展现状 汽车之家私有云建设总体目标 汽车之家 公有云平台 无人值守 一键交付 趋势预判 资源调拨 能力融合 Confidential & Proprietary 2
6. 汽车之家私有云建设 发展现状 汽车之家私有云起步晚、发展快 大规模应用 虚拟化技术 专利技术 FSM上线 视频存储 2015Q3 2016Q1 2016Q2 私有云 项目启动 Confidential & Proprietary 2016Q3 第三方接入 多系统融合 实现平台化 3
7. 汽车之家私有云建设 发展现状 私有云正在汽车之家大规模使用 10% 10% 16% 5% 18% 4% 6% 5% 8% 8% 10% 电商 移动团队 二手车 资讯 汽车金融 后市场 数据平台 广告 经销商 系统平台 其他 Confidential & Proprietary 4
8. 2 汽车之家私有云核心技术 Confidential & Proprietary
9. 汽车之家私有云建设 核心技术 私有云系统核心技术及关联子系统 OpenStack Autostack …… Ceph FSM OA 配管CMS 监控Radar …… Confidential & Proprietary 资产CMDB 发布Publish 堡垒机Bastion 5
10. 汽车之家私有云建设 核心技术 OpenStack Ceph OpenStack Nova-extend Autostack FSM Confidential & Proprietary 6
11. 汽车之家私有云建设 核心技术 OpenStack Nova-extend 实现 Ceph 云主机元数据注入 通过nova.extend. injeced_ips 注入,实 现云主机hostname,network,puppet, disk format 等初始化操作 01 Autostack FSM 03 云主机快照管理 重新构建instance snapshot 接 口,支持快照回滚操作 云主机硬盘IO限制 通过nova.extend.disk 实现云主机限 制:IO 读:70MB/s 写:50MB/s 02 04 云主机迁移 云主机故障迁移,需结合监控实现。 需要考虑网络故障,监控误报,迁移 范围 Confidential & Proprietary 7
12. 汽车之家私有云建设 核心技术 OpenStack Nova-extend 实现 Ceph 云主机Resize功能改造 云主机resize接口定制,通过修改云主 机规格(flavor)调整云主机大小,硬 盘大小配置 05 云主机Schedule 调度优化 云主机调度策略,避免多个云主机创 建在同一个宿主机,单个宿主机不超 过10台 06 Autostack FSM 07 网络定制与自动化 针对nova-network功能定制,不在使用 dnsmasq,iptables 服务,通过novaextend.create_network 实现云主机网络 配置自动化 08 版本迭代 OpenStack 新版本升级,无需二次开 发,只需import nova.extend.* Confidential & Proprietary 8
13. 汽车之家私有云建设 核心技术 OpenStack 业务数据收集与对比 Ceph Autostack FSM Confidential & Proprietary 9
14. 汽车之家私有云建设 核心技术 OpenStack 业务上云的思考 Ceph 用数据说话 稳定大于一切 Autostack 自动化交付 Confidential & Proprietary FSM 10
15. 汽车之家私有云建设 核心技术 OpenStack Ceph 统一存储 Ceph Autostack FSM 基于Ceph RBD 实现云主机镜像,系 统盘,数据盘存储服务 基于CephFS 实现视频存储,移 动,广告,资讯等服务 视频存储 Openstack 存储 音频存储 基于Ceph object Storage 实现音频 文件存储,提供论坛,电台存储服务 提供Docker镜像,img存储,目前 处于探索与研究阶段 Docker存储 Ceph 高性能存储 采用SSD 高性能集群,提供业务数据 库存储服务 归档存储 提供业务文档,临时文件,统一文件的管 理,统一维护 Confidential & Proprietary 11
16. 汽车之家私有云建设 核心技术 OpenStack 数据收集与对比-1 Ceph Autostack FSM Confidential & Proprietary 12
17. 汽车之家私有云建设 核心技术 OpenStack Ceph Autostack FSM 数据收集与对比-2 随机写模式 块大小 文件大小 并发数 带宽 (ks) (size/GB) (numjobs) 写入模式(rw) bw(MB/s) iops cpu util 4k 16k 512k 4M 100G 100G 100G 100G 200 randrw write 66.634 16658 1.13 200 randrw write 223.623 13976 1.01 200 randrw write 501.022 978 0.16 200 randrw write 714.258 174 0.13 随机读模式 文件大小 块大小 并发数 写入模 带宽 (ks) (size/GB ) (numjobs) 式(rw) bw(MB/s) iops cpu util 4k 100G 200 randread 180.721 45180 1.65 16k 100G 200 randread 413.548 25846 0.84 512k 100G 200 randread 780.571 1524 0.1 4M 100G 200 randread 911.693 222 0.06 顺序写模式 顺序读模式 块大小 文件大小 并发数 写入模式 带宽 cpu (ks) (size/GB) (numjobs) (rw) iops bw(MB/s) util 块大小 文件大小 并发数 写入模式 带宽 (ks) (size/GB) (numjobs) (rw) bw(MB/s) iops cpu util 4k 100G 200 write 64.955 3738 0.17 4k 100G 16k 100G 200 write 49.427 3089 0.15 16k 100G 512k 100G 200 write 1076.4 2152 0.18 512k 100G 4M 100G 200 write 1119.3 279 0.13 4M 100G 200 read 109.932 27483 0.95 200 read 460.147 28759 0.96 200 read 824.383 1610 0.39 200 read 904.879 220 0.07 Confidential & Proprietary 13
18. 汽车之家私有云建设 核心技术 OpenStack Ceph 部署方式 Ceph CEPH部署方式 Autostack FSM ceph-deploy https://github.com/ceph/ceph-deploy ceph-puppet https://github.com/ceph/puppet-ceph inter-vsm https://01.org/zh/group/1938/documentation-list Confidential & Proprietary 14
19. 汽车之家私有云建设 核心技术 OpenStack Ceph Autostack FSM Confidential & Proprietary 15
20. 汽车之家私有云建设 核心技术 OpenStack Ceph Ceph 后记 01 性能提升 Autostack 02 自动化选型 FSM 03 权限控制 04 场景化方案 Confidential & Proprietary 16
21. 汽车之家私有云建设 核心技术 OpenStack Ceph Autostack FSM AutoStack 背景(自研核心技术) 功能特点 在运维的工作中经常会发生机器安装的操作,如交换机配置,raid 阵列配置,硬盘分区,系统安装包选择,系统安装,网络配置, 基于Linux 平台开发,支持异构系统安装 kernel优化,puppet初始化等等操作,为了简化人工干预,减少跑 机房操作,AutoStack 实现了一键安装,做到解放运维第一步 。 支持任意Raid创建(raid0 10 5 1) 支持汽车之家所有机型 AutoStack 实践成果一览图 1500 异构系统标准化配置 1000 实时查看日志与进度 500 0 A机房 B机房 安装总量 C机房 Windows系统 D机房 Linux 系统 汇总 Confidential & Proprietary 17
22. 汽车之家私有云建设 核心技术 OpenStack CMDB 入口 Ceph Autostack FSM Confidential & Proprietary 18
23. 汽车之家私有云建设 核心技术 OpenStack Ceph Autostack FSM Confidential & Proprietary 19
24. 汽车之家私有云建设 核心技术 OpenStack Ceph AutoStack 后记 创建Raid 工具选型 Windows BCD 文件编辑 Windows mdsnbp 文件 Autostack FSM Windows 产商驱动植入 服务器硬件驱动问题 Windows 自动化处理 Confidential & Proprietary 20
25. 汽车之家私有云建设 核心技术 OpenStack Ceph Autostack FSM 功能特点 以流程+内外工单(内部工单系统)的方式处理任务 联动私有云子系统,打通子系统的API接口 分布式状态机器,可放在任何地域 支持任意公有云厂商 FSM (自研核心技术) FSM 分布式状态机是私有云核心,它的出现是通过 技术来梳理流程,梳理资产,资源申请, 变更申请 (lvs,nginx,dns,bastion)等,自研FSM技术, 通过 FSM打通私有云子系统(CMDB,CMS, AutoStack ),实现自动化,快速交付,解放运 维,提高生产和智能管理。 支持第三方堡垒机系统 物理机自动化 网络自助化 申请自助化 物理机、云主机落地 堡垒机自助化 堡垒机申请,下架, 变更等流程落地 网络自助化 云主机,物理机首次 网络基础配置落地 混合云接入,打通内 部流程,内部运维系 统落地 Confidential & Proprietary 21
26. 汽车之家私有云建设 核心技术 OpenStack 案例分享-1 Ceph Autostack FSM Confidential & Proprietary 22
27. 汽车之家私有云建设 核心技术 OpenStack 案例分享-2 Ceph Autostack FSM Confidential & Proprietary 23
28. 汽车之家私有云建设 核心技术 OpenStack 案例分享-3 Ceph Autostack FSM Confidential & Proprietary 24
29. 3 汽车之家私有云未来展望 Confidential & Proprietary
30. 汽车之家私有云建设 未来展望 故障分析与画像 04 故障或风险“无痛”摘除 01 故障报告编制收集 02 故障场景画像 03 数据实时采集分析 Confidential & Proprietary 25
31. 汽车之家私有云建设 未来展望 电商业务 媒体业务 社交业务 广告业务 金融业务 数据业务 移动业务 …… Confidential & Proprietary 26
32. 汽车之家私有云建设 未来展望 汽车之家私有云对外输出愿景 短期目标 垂直领域混合云计算软件解决方案 中期目标 细分的、有竞争力的公有云计算服务 长期目标 提供具有数据计算能力的一体化平台 Confidential & Proprietary 持续满意 27
33. Thanks 北京市海淀区丹棱街3号中国电子大厦B座10层 100080 10th Floor Tower B,CEC Plaza,No.3 Dan Ling Street, Hai Dian District, Beijing 100080,China