AutoML在推荐系统排序模型的探索与应用(上) 张俊林

Razor

2019/10/20 发布于 技术 分类

文字内容
1. AutoML在推荐排序网络结构搜索的应用 张俊林 新浪微博
5. LR模型:手工特征工程
6. LR+GBDT:特征工程+高阶特征自动组合
7. FM模型:自动二阶特征组合
8. Wide & Deep:特征工程+隐式自动特征组合 Wide网络LR模型,无FM组合 两个不同的输入结构 Wide部分手工特征工程+Cross 特征 Wide &Deep是相对原始的深度模型
9. DeepFM:二阶特征组合+隐式高阶特征组合 DeepFM: 可以看作把Wide & Deep的LR换成FM; 特征组合部分+DNN部分共享输入层; 目前State of the Art 深度模型
10. xDeepFM:显示+隐式多阶特征组合 FM Function=多阶组合=类CNN的结构
12. 召回阶段:多路召回à模型Embedding统一召回 策略化à模型化 传统多路召回 索引召回àEmbedding召回 多路召回à统一召回 典型多路召回
13. 排序模型发展史:特征工程自动化 2017以来我们在这里 人工特征工程à特征工程自动化
14. 排序模型发展现状:DNN Ranking的困境 深度学习两大里程碑: 图像领域àResNet(Skip Connection) NLP领域àBert模型(两阶段:预训练+Fine-tuning) DNN Ranking模型的困境: 模型太肤浅,没深度; 没有模型具有突破性的效果提升; 缺乏好的大规模公开数据集:公开数据 vs.私有数据; 我们期待DNN Ranking的ResNet&Bert高光时刻;
15. 排序模型发展现状与趋势:细粒度特征 完备而简洁的DNN模型 今日头条系目前采用的是这个模型 当然,也有缺点:缺乏细粒度的用户行为刻画 趋势1:细粒度特征及特征组合的细致化 (W&D/DeepFM/DeepFFM/DIN/DIEN etc)
16. 排序模型发展现状与趋势:显示特征组合 趋势2:显示特征组合(xDeepFM/Deep&Cross etc.) 结论:2阶组合最重要,三阶组合有帮助,四阶组合不确定 推断:这条路走不远
17. 排序模型发展现状与趋势:特征抽取器 MLP (OK,but not good) CNN (不是好选择) RNN (辅助结构OK) 趋势3:特征抽取器的进化 现状:还没有找到很合适的 18年年中AI Lab尝试过,效果与DeepFM相当 Transformer (OK,还没证明自己)
18. 排序模型发展现状与趋势:多模态融合 Facebook 商品推荐多模态融合模型 阿里/京东也有类似的工作 微博环境下情况要比电商复杂 初步尝试图片embedding,较好效果(By 李言迪/吴玲玲 ) 趋势4:多模态(文本,图片,视频,音频…. etc.) 优势:DNN在多模态融合方面天然比传统模型有优势 推断:大有前景,工程能力要求高,任重道远
19. 排序模型发展现状与趋势:多目标 趋势5:多目标(点击,互动,时长….. etc.) 问题:单目标融合策略,不同目标的权重, 如何模型化?
20. 排序模型发展现状与趋势:多任务 行为漏斗:浏览>点击>互动>购买 趋势6:多任务(迁移学习,数据量多任务向数据量少任务迁移知识) 现状:互联网公司里,很多任务数据量够多。更多地体现在行为漏斗中。
21. 排序模型发展现状与趋势:List Wise 趋势7:Point wise->List Wise (流排序 instead of 微博打分) 优势:单点最优未必是流整体最优(增强学习) 难点:训练数据难及模型实现复杂,效率低
22. 排序模型的未来:****敏感词*** LR模型 DeepFM模型 5年后的??模型 假设我们站在5年后看现在的推荐模型
23. 排序模型的未来:****敏感词*** 大饼卷一切 by 歌手:李亮节 吃大饼有花样也能炒焖烩 刚烙得最好吃它卷嘛吃都行 大饼卷炒鸡蛋好吃又好看 大饼果子配豆浆是味道特别浓 大饼卷上炖牛肉它怎么吃都吃不腻 大饼卷素丸子它架炮往里轰 天对地雨对风是大陆对长空 大饼他卷一切咱吃的是内容
24. 排序模型的未来:AutoML+Ranking Embedding卷一切 AutoML卷一切 AutoML+Ranking:特征自动化à模型自动化 附赠思考题:算法工程师的未来?…...........如果还有未来的话….
25. 排序模型的未来:AutoML+Ranking 我们的尝试: 去年(2018)下半年微博AI Lab 做过尝试:AutoML+Ranking 基本构件:onehot-embedding/MLP隐层/FM层/Skip-connection…. AutoML方法:强化学习 结果及我的结论: AutoML找出的最优结构,效果略微比DeepFM好,不太多;
26. 排序模型的未来:排序模型也许没有未来 问题:召回和排序两阶段模型,是否可以融合为单阶段模型? 思想实验:让我们假设我们拥有一个光速版的Ranking模型…. 推论:技术的发展,也许现在我们可以拥有单阶段模型(成本)….