许燕松 房产领域推荐系统实践

1. 房产领域推荐系统实践 贝壳找房 数据智能部 许燕松 1 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
2. 2 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
3. 自我介绍 2010/08-2012/06 2012/06-2013/11 2013/12-2015/08 2015/09-至今 美国匹兹堡大学 当当网 硕士 算法研发工程师 聚美优品 高级推荐研发工程师 贝壳找房 智能推荐平台负责人 3 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
4. 分享提纲 • 贝壳找房&智能推荐平台介绍 • 智能推荐平台演变历程 • 智能推荐平台实践感悟 4 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
5. 分享提纲 • 贝壳找房&智能推荐平台介绍 • 智能推荐平台演变历程 • 智能推荐平台实践感悟 5 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
6. 贝壳找房&智能推荐平台介绍 6 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
7. 贝壳找房&智能推荐平台介绍 核心价值 ? 7 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
8. 贝壳找房&智能推荐平台介绍 贝壳找房价值所在 对用户价值 对经纪人价值 提升购房体验 赋能于经纪人 ??? 智能推荐平台 8 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
9. 贝壳找房&智能推荐平台介绍 用户购房流程 萌生想法 找房 咨询 带看 成交 售后 智能推荐平台 • 提升用户找房效率 • 辅助用户进行决策 9 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
10. 贝壳找房&智能推荐平台介绍 经纪人服务流程 商机 录客 维护营销 线下带看 成交 售后 智能推荐平台 • 提升经纪人作业效率 • 营销赋能 10 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
11. 贝壳找房&智能推荐平台介绍 维护营销赋能 维护营销 了解用户购房需求 为用户挑选合适的 房源 赋能前 前期尬聊 逐步沟通 翻小本子 人肉检索 赋能后 系统自动展示 系统自动推荐 11 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
12. 贝壳找房&智能推荐平台介绍 C端场景: 12 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
13. 贝壳找房&智能推荐平台介绍 B端场景: 13 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
14. 分享提纲 • 贝壳找房&智能推荐平台介绍 • 智能推荐平台演变历程 • 智能推荐平台实践感悟 14 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
15. 智能推荐平台演变历程 智能推荐平台1.0 智能推荐平台2.0 智能推荐平台3.0 To be continued… 15 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
16. 智能推荐平台演变历程 智能推荐平台1.0 智能推荐平台2.0 智能推荐平台3.0 To be continued… 16 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
17. 智能推荐平台演变历程 智能推荐平台1.0 面临问题 • 用户需要更方便地浏览房源 • 房源需要更多的曝光机会 • 数据体系尚未完善 17 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 解决策略 • 初步快速建立推荐系统 • 充分利用现有房源数据 • 充分利用业务知识理解
18. 智能推荐平台演变历程 智能推荐平台1.0 基于内容推荐 • 相似二手房源 • 相似租赁房源 • 相似小区 …… 基于业务规则 • 同小区新上房源 • 同小区近期降价房源 • 同商圈价位相近房源 • 线下聚焦房源 • 房源质量分 …… 18 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 没有考虑个性化因素 !
19. 智能推荐平台演变历程 智能推荐平台1.0 • 逻辑过度耦合,复用率极低 • 仅是功能实现,效果不明 19 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
20. 智能推荐平台演变历程 智能推荐平台1.0 智能推荐平台2.0 智能推荐平台3.0 To be continued… 20 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
21. 智能推荐平台演变历程 智能推荐平台2.0 面临问题 • 推荐策略未实现个性化 • 业务方需求越来越多 • 需要对推荐效果负责 21 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 解决策略 • 加入基于协同过滤的推荐策略 • 加入基于用户画像的推荐策略 • 通过重构提升迭代效率 • 初步建立推荐指标体系
22. 智能推荐平台演变历程 智能推荐平台2.0 协同过滤系列策略 基于用户画像策略 22 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
23. 智能推荐平台演变历程 智能推荐平台2.0 房产领域协同过滤面临的问题 协同过滤系列策略 矩阵过于稀疏 ! 23 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
24. 智能推荐平台演变历程 智能推荐平台2.0 矩阵过于稀疏问题解决方案 对物料进行抽象合并,降低矩阵稀疏性 协同过滤系列策略 面积 居室个数 小区 24 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 楼层等级 厅个数
25. 智能推荐平台演变历程 智能推荐平台2.0 矩阵过于稀疏问题解决方案 协同过滤系列策略 对物料进行抽象合并,降低矩阵稀疏性 房源ID ***9856 ***9868 小区ID ***368 ***368 面积 111.75 110 厅个数 2 2 居室个数 所在楼层 总楼层数 3 15 26 3 16 26 encoding 小区ID ***368 面积编码 22 厅个数 2 house2tag: ***9856=>***368_22_2_3_2 ***9868=>***368_22_2_3_2 tag2house: ***368_22_2_3_2=> ***9856, ***9868 25 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 居室个数 3 楼层等级编码 2
26. 智能推荐平台演变历程路 智能推荐平台2.0 协同 协同过滤系列策略 过滤 26 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 按粒度划分 • house-tag协同候选 • 小区协同候选 • 商圈协同候选 按行为划分 • 带看行为协同候选 • 关注行为协同候选 • 线上IM行为协同候选 • 混合行为协同候选 历史行为 • 浏览房源列表 • 关注房源列表 • 带看房源列表
27. 智能推荐平台演变历程 智能推荐平台2.0 基于用户画像策略 房产领域用户画像如何构建?? 27 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 南北 通透 价格 2居室 600- 650 用户画像 面积 60-80 楼层 高楼层 ……
28. 智能推荐平台演变历程 智能推荐平台2.0 基于用户画像策略 南北 通透 价格 2居室 600- 650 用户画像 面积 60-80 楼层 高楼层 …… 房产领域用户画像如何使用?? 候选房源召回 基于画像的个性化精排 28 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
29. 智能推荐平台演变历程 智能推荐平台2.0 基础推荐策略(1.0) 个性化推荐策略 (2.0) 解决75%的问题 29 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 更上一层楼?? 精细化推荐策略 实时化推荐策略
30. 智能推荐平台演变历程 智能推荐平台2.0 离线挖掘架构升级 初步建立指标体系 30 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
31. 智能推荐平台演变历程 智能推荐平台2.0 • 服务部分架构依旧不合理 • 服务稳定性不足 • AB实验开发成本高 31 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
32. 智能推荐平台演变历程 智能推荐平台1.0 智能推荐平台2.0 智能推荐平台3.0 To be continued… 32 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
33. 智能推荐平台演变历程 智能推荐平台1.0 智能推荐平台2.0 直营模式 33 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 智能推荐平台3.0 To be continued… 加盟模式
34. 智能推荐平台演变历程 智能推荐平台3.0 面临问题 • 需要做到高效迭代 • 需要提升服务的稳定性 • 需要进一步提升推荐效果 34 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 解决策略 • 推荐服务架构大升级 • 推荐策略规则配置化 • 数据驱动,指导优化 • 增强推荐策略时效性 • 推荐策略深度优化
35. 智能推荐平台演变历程 智能推荐平台3.0 支持高效迭代 服务稳如泰山 建立数据生态回流 35 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
36. 智能推荐平台演变历程 智能推荐平台3.0 支持高效迭代 • 推荐策略灵活可配 • 支持快速业务接入 36 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
37. 智能推荐平台演变历程 智能推荐平台3.0 什么是推荐策略? 支持高效迭代 • 推荐策略灵活可配 • 支持快速业务接入 推荐 策略 召回策略 融合策略 精排策略 过滤策略 37 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
38. 智能推荐平台演变历程 智能推荐平台3.0 支持高效迭代 • 推荐策略灵活可配 • 支持快速业务接入 为什么推荐策略要灵活可配? 优化角度: • 推荐策略的组合要频繁迭代 • 屏蔽策略频繁变更带来的代码改动 业务支撑角度: • 实现业务方自助创建推荐服务 • 快速响应业务方对策略临时调整 38 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
39. 智能推荐平台演变历程 智能推荐平台3.0 支持高效迭代 • 推荐策略灵活可配 • 支持快速业务接入 39 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
40. 智能推荐平台演变历程 智能推荐平台3.0 支持高效迭代 • 推荐策略灵活可配 • 支持快速业务接入 40 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
41. 智能推荐平台演变历程 智能推荐平台3.0 支持高效迭代 • 推荐策略灵活可配 • 支持快速业务接入 41 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
42. 智能推荐平台演变历程 智能推荐平台3.0 场景一:新推荐场景接入 1. 配置场景信息 2. 配置策略规则 3. 验证上线 42 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
43. 智能推荐平台演变历程 智能推荐平台3.0 场景二:自有候选集接入 1. 按照约定格式写入线上存储 2. 数据层进行适配接入 3. 将此召回策略添加至策略规则配置 43 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
44. 智能推荐平台演变历程 智能推荐平台3.0 场景三:对推荐列表进行规则干预 重排需求: 重写业务重排模块的rerank方法即可 强插需求: 通过配置将指定槽位item信息替换 44 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
45. 智能推荐平台演变历程 智能推荐平台3.0 服务稳如泰山 • 提升服务稳定性 • 全方位监控 45 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
46. 智能推荐平台演变历程 智能推荐平台3.0 服务稳如泰山 • 提升服务稳定性 • 全方位监控 u 服务支持配置化快速降级 u 支持智能熔断机制 u 三层可进行独立的定向扩容 u 解除外部服务强依赖,增强容错 u 运行各环节时间动态分配 u 优化查询逻辑,避免重复查询 u 完善的负载均衡机制 46 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
47. 智能推荐平台演变历程 智能推荐平台3.0 数据策略异常监控 服务稳如泰山 • 提升服务稳定性 • 全方位监控 • 召回策略的失效率 • AB分组实际分配流量占比 • 装配特征失败率 • 各个场景推荐无结果率 • 核心指标变化率 服务功能异常监控 • 499,5xx占比实时监控 • 服务器资源监控 • 服务心跳监控 47 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
48. 智能推荐平台演变历程 智能推荐平台3.0 为什么做? 以数据驱动指导优化 建立数据生态回流 通过用户反馈调整推荐 策略 丰富用户行为数据 解决方案 建立完善的效果回收机制 建立用户实时反馈机制 推荐相关行为回落 48 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
49. 智能推荐平台演变历程 智能推荐平台3.0 建立数据生态回流 • 建立效果回收机制 • 建立用户实时反馈机制 • 行为数据落地再利用 49 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
50. 智能推荐平台演变历程 智能推荐平台3.0 建立数据生态回流 • 建立效果回收机制 • 建立用户实时反馈机制 • 行为数据落地再利用 50 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
51. 算法策略迭代之路 智能推荐平台3.0 建立用户实时反馈机制 • 构建用户实时偏好 • 构建用户负反馈数据 51 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED CTR提升 10.23%
52. 智能推荐平台演变历程 智能推荐平台3.0 建立数据生态回流 • 建立效果回收机制 • 建立用户实时反馈机制 • 行为数据落地再利用 52 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
53. 智能推荐平台演变历程 智能推荐平台3.0 精细化推荐策略 • 基于LR模型的精排策略 • 基于FM模型的召回策略 53 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
54. 智能推荐平台演变历程 智能推荐平台3.0(策略篇) 精细化推荐策略 • 基于LR模型的精排策略 • 基于FM模型的召回策略 为何选用LR模型做精准排序? • 模型训练速度快 • 模型可持久化为配置文件 • 模型预测逻辑实现简单 • 具有一定的可解释性 54 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED 逻辑回归(Logistic Regression) CTR提升 6.89%
55. 智能推荐平台演变历程 智能推荐平台3.0(策略篇) 精细化推荐策略 • 基于LR模型的精排策略 • 基于FM模型的召回策略 为何选用FM模型? 为何做召回策略? • 减少部分特征工程开发量 • 能够发现一些潜在的隐含特征 • 服务架构尚未支持复杂模型预测 • 离线计算逻辑相对简单 55 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED CTR提升 5.69%
56. 智能推荐平台演变历程 智能推荐平台1.0 智能推荐平台2.0 智能推荐平台3.0 To be continued… 56 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
57. 智能推荐平台未来展望 纵向架构算法深耕 横向业务扩展 57 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
58. 分享提纲 • 贝壳找房&智能推荐平台介绍 • 智能推荐平台演变历程 • 智能推荐平台实践感悟 58 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
59. 智能推荐平台实践感悟 u工欲善其事必先利其器 u巧妇难为无米之炊 u避免无谓的指标攀比 u 实验是检验真理的唯一标准 59 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
60. 60 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
61. 61 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED
62. Q&A 62 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED