ai技术在短视频商业化中的应用 孔东营

Razor

2018/12/21 发布于 技术 分类

文字内容
1. AI技术在快手短视频商业化中的应用 快手商业化模型负责人 孔东营 2018.12.21
2. 个人介绍 姓名:孔东营 学历:中科院计算所研究生毕业 职位:快手商业化模型负责人 工作:建模与训练模型
3. CONTENTS Part.01 商业化介绍 Part.02 Part.03 算法问题 问题解法 Part.04 总结
4. 01 快手商业化介绍
5. 快手大事件 2011.03 2014.11 2017.03 2017.12 GIF快手诞生 改名为快手 腾讯领投快手 DAU突破1.1亿 2018.08 新版广告管理平台发布 2013.10 2015.06 2017.03 2018.06 转型为短视频社交 用户突破1亿 信息流广告公测 全资收购A站
6. 优质平台数据支撑营销行为 1.5亿 80亿 1500w+ 日均活跃用户 原创短视频库存 每日产出UGC内容 60min+ 150亿 3亿+ 用户日使用时长 日均播放视频次数 每日点赞数
7. 快手营销平台——让社交商业更有效 快手商业开放平台 快手广告 社交生态 内容生态 信息流广告 快接单 商家号 话题标签页 快享计划 内容创作平台 粉丝头条 快手小店 让你的广告更高效 “老铁经济”下的长效营销
8. 02 算法问题
9. 算法问题 平台 收入 排序机制优化 智能算法 出价机制优化 用户 客户 体验 效果
10. 排序机制优化 ueq加入排序分,保证用户体验 排序 主要问题 cxr的预估 计费
11. 出价机制优化 主要问题:自动出价 采用OCPC 客户 cpc 客户 cpa 竞价 出价系统 cpc 核算cpa cpc 竞价 ocpc
12. 03 问题解法
13. CONTENTS 1 预估算法 2 出价算法 3 训练算法
14. CONTENTS 1 预估算法 2 出价算法 3 训练算法
15. 预估算法 问题定义 二分类? OR 模型 FTRL DNN + Embedding Learning 多任务学习??
16. 预估算法 模型 fc layer2 … fc layer1 … Embedding Embed1 Embed2 Embed3 input Field1 Field2 Field3 … … EmbedM Embed M+1 Embed M+2 FieldM Offline Model Online Model Embedding Learning
17. 预估算法——Embedding Learning 作用: 复杂模型拆开做 减轻预测压力 迁移学习 做法: 基于内容的Embedding Learning 基于行为的Embedding Learning 基于内容与行为结合的Embedding Learning
18. 预估算法 基于内容的Embedding Learning Embedding CNN photo
19. 预估算法 基于行为的Embedding Learning Embedding Word2vec/LDA / Attention User Action List
20. 预估算法 内容与行为结合的Embedding Learning Tips:不直接cos, 多加几层会更好 网络层 User Embedding Item Embedding 网络层 网络层 User Ac1on PhotoId + 内容Embedding
21. CONTENTS 1 预估算法 2 出价算法 3 训练平台
22. 出价算法 ——问题定义:直观理解 广告 cpa 出价系统 目标:保证成本+最大化消耗 cpc 竞价
23. 出价算法 ——问题定义:形式化定义 对于每个广告 设定目标转化成本 对于每次pv,系统自动出价 参与竞价 目标:保证实际转化成本不超的情况下,最大化消耗
24. 出价算法 简单出价 问题 cvr预测不准,无法保证成本 不是收益最大化
25. 出价算法 ——PID控制:直观理解 比实际高,出价调低 比实际低,出价调高 cpa 出价系统 cpc 竞价 核算cpa
26. 出价算法 ——PID控制:形式化定义 出价: 更新: 问题 主要是从成本考虑,没有直接最大化cost
27. 出价算法 ——重新定义问题:考虑赔付 超出预设成本的部分,要返回给广告主,就是赔付 考虑赔付,重新定义这个问题 其中 代表广告 的赔付
28. 出价算法 ——强化学习调价 对广告 强化学习调整 最大化 对 的出价
29. 出价算法 ——强化学习调价 对广告 算法:soft actor critic 很有效
30. 出价算法 ——强化学习调价 问题:出价更倾向于往低调 解决方案: 排名第2,也有reward
31. CONTENTS 1 预估算法 2 出价算法 3 训练算法
32. 训练算法 ——训练平台 graph1 特征抽取op graph2 ps op tensorflow yarn hdfs graphN 算法 优化op op ps 图计算引擎 docker 调度 kafka 数据 服务级 Parameter Server 任务2 任务1 Worker 1 Worker 2 Worker 1 Worker 2 Worker 3 Worker n Worker 3 Worker n kafka
33. 训练算法 ——梯度计算 sparse 特征梯度 AUC+0.004 其中 是sparse特征在batch中出现的次数
34. 训练算法 ——异步更新 慢节点问题:DC-AGSD AUC+0.001 DC-ASGD收敛效果好,加速比高
35. 训练算法 ——优化算法 sgd, adagrad, adam选哪一个? • sgd 不稳定 • adam 后期收敛不好 • adagrad 更新变慢 建议adagrad
36. 训练算法 ——优化算法 Switching from Adam to SGD 首先adam优化,满足一定条件转成sgd 条件: 或更新次数 AUC+0.002
37. 训练算法 模型太大:Embedding 压缩 量化 梯度更新 效果 bit auc 1 -0.003 4 -0.001 8 0.00
38. 04 总结
39. 总结 快手商业化中算法问题及解法 • 预估问题 • 出价问题 支撑快手商业化算法的训练系统 • 训练架构 • 优化算法
40. The End 谢 谢