QCon2018 上海

路香菊 爱奇艺视频人物识别技术及应用 qcon2018

1. 爱奇艺视频人物识别技术及应用 iQIYI PersonAI 路香菊 爱奇艺身份识别团队
3. iQIYI PersonAI Face AI 人脸检测、 五官定位 Body AI 人体检测、 姿态估计 Audio AI 声纹识别 身份:爱奇艺-林超 年龄:25 性别:男 表情:微笑 姿态:正脸 颜值:85 人脸图像质量:优 Re-id:爱奇艺-林超 衣服:长袖T恤 风格:运动 行为:摆拍 体型:修长 手势:6+1 人物:爱奇艺-林超 Person AI
4. iQIYI PersonAI 数据与性能 • 爱奇艺明星库: • 支持识别10W+的明星。 • 基于总量6600TB大小的媒资库、素材库、成片库构建、 编目信息 • 人脸标签 • 人脸框、人脸身份TAG • 人脸属性:表情、人脸质量、颜值、 人脸姿态、口罩、眼镜、墨镜、年龄 • 已生产视频人脸数据点位达到4亿+ • 人体标签 • 职业:古装、警察、模特、农民等 • 衣服类型:裙子、T恤、长裤等 • 衣服色调:红橙黄绿青蓝紫等 • 处理速度 • 云优化调度 • 15分钟处理1小时,每天处理15000+ • 支持CPU、GPU 智能审核 智能推荐 爱奇艺 明星库 智能搜索 智能剪辑 爱奇艺明星库 明星库,10万+明星,识别准确率99.99% 口罩: 否 眼镜: 否 性别: 女 平均颜值: 81 最高颜值: 84 年龄: 18-24岁 人脸质量: 127 表情 : 中立、微笑 是否奇谱人物: 否 上衣:红T恤
5. iQIYI PersonAI在智能播放和生产方向的应用 • 智能播放: • 智能生产: 需方自定义选角需求 需求方可方便快捷的在线维护 一个高可视化的选角需求库 供方在线维护艺人信息 艺人或经纪人在线维护艺人 (特长及过往参演信息等) 只看TA 快速筛选仅有明星出现的片段,日均VV: 1121130 联盟公司制片人/导演 爱奇艺制片人/导演 角色信息 角色标签 角色小传 艺人要求 组讯信息 其他信息 AI智能匹配 匹配算法计算角色与艺人的标 签匹配度,给出匹配度建议 联盟公司经纪人 爱奇艺经纪人 联盟公司艺人 爱奇艺自有艺人 艺人基础信息 艺人标签 艺人作品 艺人视频 艺人照片 其他信息 智能电视盒子歌华小果中的应用 智能选角 筛选明星在线上作品中的镜头,辅助选角决策
6. iQIYI PersonAI在智能交互方向的应用 • 延禧攻略的换脸活动: • 自动上妆、染发: • 基于人脸的AR技术: • 门禁系统活体检测:
7. iQIYI PersonAI – 人脸技术限制 • 角度 • 侧脸 • 遮挡 • 化妆 • 整容 • 化妆 • 帽子、发型 • 图片的局限性 • 单单从一张图片就是无法确定 • 多重身份 • 人性的复杂性
8. iQIYI PersonAI – 爱奇艺多模态人物视频识别挑战赛 • 多模态 • 必要性 • 人脸 • 服饰 • 台词、弹幕 • 声纹 • 其他
9. iQIYI-VID 人物库 • AI竞赛-目前状态 • 397支队伍参加 • iQIYI-VID数据集发布 • iQIYI-VID库的人脸feature发布 • iQIYI-VID生产流程 • 算法辅助分析40万长视频 • 人脸识别 • 衣服识别 • 场景识别 • 人工标注、人工质检 • 抽样精度大于99.8%
10. iQIYI-VID人物库 样本示例
11. iQIYI-VID人物库
12. iQIYI-VID 人物库特点 • 首个多模态 • 首个真实场景视频人物 • 基于视频人物序列 • 人脸角度多变 • 角色多变 • 规模最大 • 4934个人物ID • 50万+视频片段 • 总时长733小时 • 人物、片段多样 • 算法辅助分析40万长视频 • 标签清晰 • 人工标注、人工质检 • 抽样精度大于99.8%
13. iQIYI-VID 人物库 性能对比
14. iQIYI PersonAI – 未来与挑战 • 多模态 • 融合 • 训练 • 高层语义 • 标签体系 • 弱监督 • 上下文 • 关系 • 不同数据源 • 挖掘 • 时效
15. iQIYI PersonAI – 视频身份识别理解 • 高层语义理解:身份+关系 高颜值 圆领毛衣 男 短发 • Face Recognition 黄种人 青年 • Body Properties 慈善家 轩少 奖学金 青年 学生 黄种人 资助 龙剑飞 陌生人 超高颜值 温柔阳光 微笑 • 声纹、OCR、NLP 微笑 感激 西装 • Characters 成熟稳重 邓超 向往 幸福地 介绍 友好地 男 短发 普通人 情侣 的生活 自己的爱人 牵手 握手 吴亦凡 陌生人 向往 幸福地 友好地 家庭主妇 孕妇装 高颜值 黄种人 青年 人鱼珊珊 温柔端庄 微笑 披肩长发 林允 女
18. PersonAI • The END