爱奇艺视频人物识别技术及应用

微风

2019/03/24 发布于 技术 分类

文字内容
1. 爱奇艺视频人物识别技术及应用 iQIYI PersonAI 路香菊 爱奇艺身份识别团队
3. iQIYI PersonAI Face AI Body AI 人脸检测、 五官定位 人体检测、 姿态估计 Audio AI 声纹识别 身份:爱奇艺-林超 年龄:25 性别:男 表情:微笑 姿态:正脸 颜值:85 人脸图像质量:优 Re-id:爱奇艺-林超 衣服:长袖T恤 风格:运动 行为:摆拍 体型:修长 手势:6+1 人物:爱奇艺-林超 Person AI
4. iQIYI PersonAI 数据与性能 • 爱奇艺明星库: • • 支持识别10W+的明星。 基于总量6600TB大小的媒资库、素材库、成片库构建、 编目信息 爱奇艺 明星库 • 人脸标签 • • 人脸框、人脸身份TAG 人脸属性:表情、人脸质量、颜值、 智能推荐 智能审核 智能搜索 智能剪辑 人脸姿态、口罩、眼镜、墨镜、年龄 • 已生产视频人脸数据点位达到4亿+ • • • 职业:古装、警察、模特、农民等 衣服类型:裙子、T恤、长裤等 衣服色调:红橙黄绿青蓝紫等 • • • 云优化调度 15分钟处理1小时,每天处理15000+ 支持CPU、GPU • 人体标签 • 处理速度 爱奇艺明星库 明星库,10万+明星,识别准确率99.99% 口罩: 否 眼镜: 否 性别: 女 平均颜值: 81 最高颜值: 84 年龄: 18-24岁 人脸质量: 127 表情 : 中立、微笑 是否奇谱人物: 否 上衣:红T恤
5. iQIYI PersonAI在智能播放和生产方向的应用 • 智能播放: • 智能生产: 供方在线维护艺人信息 需方自定义选角需求 艺人或经纪人在线维护艺人 (特长及过往参演信息等) 需求方可方便快捷的在线维护 一个高可视化的选角需求库 联盟公司制片人/导演 爱奇艺制片人/导演 角色信息 角色标签 艺人要求 角色小传 AI智能匹配 匹配算法计算角色与艺人的标 签匹配度,给出匹配度建议 组讯信息 联盟公司经纪人 爱奇艺经纪人 联盟公司艺人 爱奇艺自有艺人 艺人标签 艺人基础信息 艺人视频 其他信息 其他信息 只看TA 快速筛选仅有明星出现的片段,日均VV: 1121130 智能电视盒子歌华小果中的应用 智能选角 艺人作品 艺人照片 筛选明星在线上作品中的镜头,辅助选角决策
6. iQIYI PersonAI在智能交互方向的应用 • 延禧攻略的换脸活动: • 自动上妆、染发: • 基于人脸的AR技术: • 门禁系统活体检测:
7. iQIYI PersonAI – 人脸技术限制 • 角度 • • • 化妆 • • • 侧脸 遮挡 整容 化妆 帽子、发型 • 图片的局限性 • • • 单单从一张图片就是无法确定 多重身份 人性的复杂性
8. iQIYI PersonAI – 爱奇艺多模态人物视频识别挑战赛 • 多模态 • • • • • • 必要性 人脸 服饰 台词、弹幕 声纹 其他
9. iQIYI-VID 人物库 • AI竞赛-目前状态 • • • 397支队伍参加 iQIYI-VID数据集发布 iQIYI-VID库的人脸feature发布 • iQIYI-VID生产流程 • 算法辅助分析40万长视频 • 人脸识别 • 衣服识别 • 场景识别 • 人工标注、人工质检 • 抽样精度大于99.8%
10. iQIYI-VID人物库 样本示例
11. iQIYI-VID人物库
12. iQIYI-VID 人物库特点 • 首个多模态 • • • • 首个真实场景视频人物 基于视频人物序列 人脸角度多变 角色多变 • 规模最大 • • • • • 4934个人物ID 50万+视频片段 总时长733小时 人物、片段多样 算法辅助分析40万长视频 • 标签清晰 • 人工标注、人工质检 • 抽样精度大于99.8%
13. iQIYI-VID 人物库 性能对比
14. iQIYI PersonAI – 未来与挑战 • 多模态 • • • 融合 训练 高层语义 • 标签体系 • • 弱监督 上下文 • 关系 • 不同数据源 • 挖掘 • 时效
15. iQIYI PersonAI – 视频身份识别理解 • 高层语义理解:身份+关系 • • • • Face Recognition Body Properties 声纹、OCR、NLP Characters 奖学金 高颜值 男 短发 圆领毛衣 黄种人 青年 超高颜值 温柔阳光 资助 轩少 龙剑飞 慈善家 微笑 西装 陌生人 微笑 成熟稳重 邓超 青年 学生 黄种人 感激 幸福地 向往 普通人 情侣 的生活 向往 介绍 男 短发 友好地 吴亦凡 自己的爱人 握手 牵手 陌生人 幸福地 家庭主妇 孕妇装 高颜值 友好地 人鱼珊珊 黄种人 青年 林允 女 温柔端庄 微笑 披肩长发
18. PersonAI • The END