顾复-浅谈海量平台的质量管理

郁阳曦

2018/05/13 发布于 技术 分类

GOPS主要面向运维行业的中高端技术人员。目的在于为了帮助运维人员系统学习了解相关知识体系,让创新技术推动社会进步。你将会看到国内外知名企业的相关案例,也能与国内顶尖的技术专家探讨技术实践,使企业可以根据最佳实践确定自己的选型方案,并提前预估相关的风险和收益,实现技术落地。

文字内容
1. 浅谈海量平台的质量管理 顾复 京东商城 前台产品研发部 首席测试架构师 GOPS 全球运维大会2018·深圳站
2. 自我介绍 • 互联网电商企业10余年技术质量保障从业经历 • 曾历任1号店质量总监、高级技术总监 • 历年电商大促的技术保障总负责人; • 担任运维开发/质量保障/架构中间件/企业信息化平 台等部门负责人; • 长期负责千人研发规模的敏捷开发转型、过程管理 改进、CI/CD基础设施平台设计和研发。 • 现就职于京东商城前台产品研发部 • 负责和参与配置管理、测试质量、工程效率相关工 作。 GOPS 全球运维大会2018·深圳站
3. 目录 1 读懂质量 2 思考、挑战、趋势 3 构建海量平台的质量体系 4 总结与展望 GOPS 全球运维大会2018·深圳站
4. 质量事故 1行代码 损失¥18亿 1个闹钟没响 损失¥20k 没改代码的上 线 损失¥40k GOPS 全球运维大会2018·深圳站
5. 读懂“质量” GOPS 全球运维大会2018·深圳站
6. 读懂“质量保障” 发布 管理 变更 配置 管理 管理 缺陷 管理 风险 管理 1 功能 5 2 可靠 质 性能 量 4 3 易用 安全
7. 目录 1 读懂质量 2 思考、挑战、趋势 3 构建海量平台的质量体系 4 总结与展望 GOPS 全球运维大会2018·深圳站
8. 系统视角 - 海量业务的考验 GOPS 全球运维大会2018·深圳站
9. 业务视角 - 无界零售的考验 前台直面用户需求 手 音 (高效响应事业部/用户/商家) 机 箱 规模和增速并举 (海量流量下保持高速增长) 冰 电 箱 视 技术复杂度提升 (多平台兼容、系统依赖) 业务与系统越来越复杂 终端入口从集中走向分散 GOPS 全球运维大会2018·深圳站 敏捷高效 追求品质 协作创新 对工程效能的更高要求
10. 管理视角 - 敏捷研发测试转型的挑战 GOPS 全球运维大会2018·深圳站
11. 目录 1 读懂质量 2 思考、挑战、趋势 3 构建海量平台的质量体系 4 总结与展望 GOPS 全球运维大会2018·深圳站
12. DevOps趋势下质量保障组织的架构设计 质量管理 组织架构 技术风险组 过程规划组 过程审计组 配置管理组 框架平台组 验收支持组 业务测试组 GOPS 全球运维大会2018·深圳站
13. 质量保障体系全景图(京东商城前台) 国际站 Aura Bundle WQ 京东商城 App SDK M站 微服务 咚咚 PC iBiu RN 小程序 GOPS 全球运维大会2018·深圳站
14. 京东商城工程效能 - “四化”建设 标准化 自动化 积木化 智能化 应用、配置、流程 测试、运维、协作 模块、服务、赋能 分析、预警、决策 GOPS 全球运维大会2018·深圳站
15. 标准化建设 系统 人 应用 配置 流 角色 程 组织 团队 绩效 GOPS 全球运维大会2018·深圳站 标准化建设 有时并不用来解决问题, 反而能让我们更看清楚问题。
16. 标准化建设案例 - 业务暴涨带来的技术负债 某研发团队业务应用依赖(2014年) 原系统依赖关系复杂: 1. 打包过程复杂。 代码修改一处,无关修改的应用也必须打包。其他应 用的影响,有时到了上线才能发现。 2. 分支维护过多。 各个应用对common library依赖版本不一,必须创建 新分支。过多的分支使得开发、测试在每个迭代都需 要重新拉分支、部署分支的环境、修改配置路径。这 些工作原本是可以省略掉的。 通过配置管理的标准化建设,应用信息结构 得到了统一,于是应用之间的构建依赖关系 清晰显露。由此,系统解耦和重构顺理成章 地开始施行。 GOPS 全球运维大会2018·深圳站
17. 标准化建设案例 - YHD代码质量标准 • 业界创新尝试与实践(2013) • 代码质量扫描和单元测试标准 • 标准定义,精确到每个Application • 度量收集,精确到每个Application • 灵活应对 • 不同业务特征的应用 • 不同成熟度的研发团队 GOPS 全球运维大会2018·深圳站
18. 自动化建设 - 2环工具链开发 代码 提交 功能 验证 编译 构建 持续 集成 环境 部署 代码 扫描 单元 测试 STG 集成 发布 验证 自动 验收 持续 部署 发布 执行 自动 发包 上线 申请 GOPS 全球运维大会2018·深圳站
19. 自动化建设 - 测试自动化策略 • 分层设计、配合执行、尽可能自动 • 开发人员自测 • 单元测试 • 接口自测 • 功能自测 • Test多阶段 • 代码静态测试 • 接口测试 • 集成测试 • 兼容测试 • 性能测试 5% 探索性测试 M 系统测试 10% GUI 集成测试 20% API 模块测试 50% API 单元测试 100% xUnit GOPS 全球运维大会2018·深圳站
20. 自动化建设案例 -京东商城食蚁兽静态代码扫描平台 提供对Android App、iOS app、后台服务全方面的代码扫描,已经应用到240多个前后端项目。 Android iPhone 主客户端 主客户端 微联 Xcode 地址 管理 Lint 4 Analyze 2 无人 客服 食蚁兽 0级 代码扫描 系统 Sonar 1级系统 (部分) 168 3级系统 2级系统 (部分) (部分) Infer 70 Sales 物联 歧视 敏感 词扫 描 物联 智能 冰箱PAD Android 主客户端 Aura 插件 代码扫描 • 日均检查服务项目 240+个 • 发现问题平均40个/ 天 • 可灵活配置检查规则, 指定相应的开发,白 名单等; 自动化监控 • 发现代码问题后,自 动在缺陷系统创建 Bug,并指定到相应 的开发; • 研发修复完毕后,自 动进行验证,提高效 率; GOPS 全球运维大会2018·深圳站
21. 自动化建设案例 - 京东商城啄木鸟质量监控平台 APP 活 PC 微Q 动 页 上 线 性 能 检 活 动 可 用 性 监 控 活 动 性 能 监 控 测 M站 GOPS 全球运维大会2018·深圳站 活动无内容 平台适配错误 节假日问题 …… 静态无缓存 首开流量过大 活动广告重复 十余种质量问题的自动检测
22. 积木化建设 - 平台架构演进规律 小型工具 工具套件 增 框架原型 模块化 服务化 可视化 集成平台 赋 效 能 零散脚本 GOPS 全球运维大会2018·深圳站 独立服务
23. 积木化建设案例 -版本集成 - 研发管理多服务协作 版本管理系统(持续交付,快速反馈,降低风险,内建质量) 需求管理 需求来源 需求拆分 需求流转 任务管理 需求报表 版本管理 版本日历 干系人管理 版本状态 风险跟进 问题跟进 集成管理 测试报告 集成申请 自动审核 打包管理 构建管理 安全扫描 预警管理 GOPS 全球运维大会2018·深圳站 一站式服务 发布管理 灰度发布 缺陷管理 一键回滚 持续监控 度量管理 质量分析 版本报表 质量报表 敏捷度量
24. 积木化建设案例 - 版本集成中多团队协作质量保证 GOPS 全球运维大会2018·深圳站
25. 积木化建设案例 - YHD工程效能云服务 GOPS 全球运维大会2018·深圳站
26. 智能化建设案例 - 京东商城用户反馈聚类分析 •App •应用市场 •M/PC站 收集 分析 •语义匹配 •聚类分析 •分配 •上报 输出 提升效能以及准确率 • 用户反馈内容与分类AI接入 匹配成功率85%; • 节约1个人的投入成本 GOPS 全球运维大会2018·深圳站
27. 目录 1 读懂质量 2 思考、挑战、趋势 3 构建海量平台的质量体系 4 总结与展望 GOPS 全球运维大会2018·深圳站
28. DevOps下的质量管理趋势 计编构部测发运 划码建署试布维 全程质量管理 力求全面 平衡之中 GOPS 全球运维大会2018·深圳站 追求极致
29. 写在最后的一点感“勿” 勿以器御心 勿忘初心,方得始终 GOPS 全球运维大会2018·深圳站
30. Thanks WeChat: hugofgu GOPS 全球运维大会2018·深圳站 高效运维社区 开放运维联盟