李友科 电商搜索系统质量保障体系建设

1. 电商搜索系统质量保障体系建设 李友科 京东 商城搜索与推荐平台部 架构师
3. 李友科 架构师 • 京东商城搜索与推荐平台部,架构师岗,兼 搜索质量部高级经理。 • 领域:搜索、大型分布式架构、测试、 Devops、大数据、机器学习。 • 加入京东前,先后就职于中国电信、惠普、 Yahoo!。 • 参与过大型电信系统、Cloud 服务、搜索和推 荐等系统的研发、咨询、测试和质量保证工 作。
4. • 质量保障体系 • 京东在电商搜索场景下挑战和成果 • 质量保障体系建立和运营实践 • 总结
5. 质量保障体系
6. 系统演进动力和质量保障
7. 质量保障千头万绪 人 工具 产品 运维 项目 业务方 开发 测试 Bug管理 功能/性能测试 代码管理 包管理 测试环境 Jenkins 静态检查 异常测试 代码review 动态检查 评估工具 开发环境 smoke环境 集成环境 性能测试环境 线上环境 预发环境 服务监控/告警 业务监控/告警 流程管理 评估环境 资源
8. 京东搜索质量保障挑战和成果
9. 架构压力:30+搜索系 统,数十亿有效SKU, 大促期间10天1598亿 GMV 搜索系统研发需求 业务需求来自:3.05 亿用户、20万商 家、平台 自研:生态、个 性化、相关性
10. 质量保障成果 • 系统稳定性:双十一峰值流量十几万。 • 搜索结果精确:无群体户体验的事故。 • 研发效率:200+研发,每周40多个功能,每个功能5-6天;其中算法AB, 每天多次上线 • 用户体验:AI主动发现线下和线上用户体验问题。
11. 京东搜索质量保障体系实践
12. 目标和方案特点 • 质量保障目标:系统稳定、结果精确、研发效率、体验效果 • 保障体系方案选型和特点 p 质量保障能力服务化对外赋能 p 质量保障自动化 p 用户体验分析智能化
13. 质量保障能力服务化对外赋能 性能压测平台 排序对比工具 排序debug工具 运维中心 任务管理平台 促销分析工具 效果监控评价平台
14. 测试 研发 运维 立体监控告警体系 主动、实时和运维操作 被动、历史和指标分析 Crawler UI DB Worker OPCenter 预发 … 生产 HBAS E Observer TSDB + Collecte d Cluster Grafana MySQ L MJDOS 业务、服务和 系统三个层面 告警 Icinga2
15. 质量保障自动化
16. 算法研发效率提升实践-系统架构 • 问题:近百人算法团队,主三个限制:流量资源、时间资源、系统资源。 • 解决方案: 流量限制:线上AB实验、线下算法评估、线下历史流量评估、线下实时流量评估。 时间限制:平台工具,自助服务。 系统限制:共享系统
17. 算法研发效率提升实践-系统架构
18. 算法研发效率提升实践-架构扩展
19. 算法研发效率提升实践-线下实时行为评测
20. 平台化研发效率提升实践-问题和方案 • 问题:30+垂搜系统,对接不同的业务方。 是全部自己开发各种需求,还是开放平台,业务方自足配置、添加plugin? • 问题:在开放平台的基础,如何保证质量? • 实践:一套平台,多套配置,组建化CI/CD方案
21. 平台化研发效率提升实践-概念
22. 平台化研发效率提升实践-研发流程
23. 平台化研发效率提升实践-CI/CD
24. 用户体验分析智能化-问题和常见解决方案 • 问题:平衡用户、商家和平台三者利益 • 常见解决方案:人工评价和标注、收集投诉和反馈、规则匹配。 • 这些方案技术缺点:质量不可控、效率低、成本高、不及时等问题。
25. 用户体验分析智能化-方案 • 把人工标注的、用户投诉和反馈的效果问题,转化为人工智能识别的特 征与标注类别,最终通过监督学习的方法进行模型训练,把训练好的模 型用来检测搜索效果问题 • 最终目标是,用模型学习和检测来代替人工检测搜索效果问题。
26. 用户体验分析智能化-数据质量 IT'S NOT WHO HAS THE BEST ALGORITHM THAT WINS, IT'S WHO HAS THE MOST DATA.
27. 用户体验分析智能化-标签数据
28. 用户体验分析智能化-特征抽取和算法选择
29. 用户体验分析智能化-架构
30. 用户体验分析智能化-AI识别bad case
31. 总结 n 目标:系统稳定、业务需求、研发效率 n 实践特点: 能力服务化对外赋能 自动化 用户体验分析智能化 n 可借鉴和参考地方: 引入更多人参与质量保证工作 组建化的CI/CD方案 质量保证工作引入智能化,常见算法监督学习、异常数据分析 n 回味句子: 三驾马车 garbage in, garbage out
32. 质量保障体系总概