七牛云 姚唐仁 - 基于深度学习的视频结构化实践_部分1

仅低效、成本高,信息内容丢失也非常严重。七牛云作为互联网行业富媒体处理的领先者,结合最新的深度学习人工智能和分布式云平台技术在此领域进行了创新。通过对视频内容进行多维度智能分析与识别,可以直接结构化输出相关的标签,对图片、视频的内容进行结构化描述。同时结合大数据检索平台,可以让用户以低成本的方式对业务带来增值,加快业务创新。

1. 《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师/姚唐仁!
2. 关于七牛云 智能多媒体服务 数据洞察 内容采集 (上传加速) 海量存储 内容生产者 机器学习 •  国内领先的云计算厂商 •  围绕海量数据提供创新的云服务,帮助客户缩短想法到产品的距离 •  创立6年,每年超过300%的业绩增长 •  已完成5轮融资,累计超过20亿 内容分发 •  长期服务70多万企业用户和开发者 •  文件数超过2000亿,每日新增文件20亿 •  覆盖全球300个节点 •  覆盖金融、公安、广电媒体、互联网等行业 内容消费者
3. 海量富媒体数据的业务布局 视觉智能 Vision Intelligence ᥤ᷇+ฬᚆ! 数据智能 Data Intelligence ٖ਻ਭ໐ Ո᚜ᦩ‫ ڦ‬ᥤ᷇‫ړ‬ຉ! Ⴎଶ਍ԟ ग़ড়֛API හഝ‫ړ‬ຉ٬ᒽ ቘᥴ๢࢏᧍᥺޾ఘᖃ ၏੊๚Ꭳහഝ ፗඎԯ! ᅩඎԯ! ਫ෸ᶪᥤ᷇԰ۖ! ඎන࢏! 弹性计算 海量存储 智能网络 ਻࢏ԯ! ԯԆ๢! ᣟ‫ ݳ‬CDN API ‫ے‬᭛
4. 视觉-最重要的信息感知 11% 听觉 1% 味觉 හഝ๶რғ໑ഝ2007ଙᗦࢵߢ֡ࠟ਍ᴺጱහഝᎸᑪ 83% 视觉 3.5% 嗅觉 1.5% 触觉
5. 2017中国网络视频用户情况 ๶რғ̽2017Ӿࢵᗑᕶᥤ‫઀ݎލ‬Ꮈᑪಸ‫̾ޞ‬
6. 传统视频摘要 vs AI视频结构化 AI视频结构化 传统手工摘要 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础
7. 视频结构化场景
8. 视频分解
9. 基础模型要素
10. 视频描述-标签 ‫ۄ‬ᬋ1ғ01:02:03-01:10:05! ֛ᙙෛ᳼! Ԫկ1ғ᪃ቖྲᩦ! Ոғ ໶ᥜ! ᇔғ! ᪃ቖ! ቖ࣋(កࣥ)! ෈ਁғXX‫כ‬ᴾ!
11. 视频处理 Frames Flows Audio Others …….!
12. 七牛云深度学习平台 节省了80%的人力成本,缩短了50%的实现周期 1 2 3 4 P 5 6 IF 7 8 N 1 P2 3 PA 4 L PA 5 L 6 L
13. 大规模视频训练框架
14. 结构化策略 Ԇ᷌‫ړ‬ᔄ Ո̵ᇔ̵࣋ว ࢶ‫̵्؟‬ ᶪ̵෈ਁ
15. 主题分类-特征提取 ResNeXt SENet DPN NASNet
16. 主题分类-模型训练
17. 模型融合 a) Early fusion b) Late fusion