京东商城基础架构部技术总监 桂创华:京东图片系统演进

况尔蝶

2017/11/14 发布于 技术 分类

分享图片系统的架构和算法经验。本讲座介绍京东图片系统的演进,从图片的底层存储到上层应用server的实现,以及基于图片我们做的智能识别、智能排版技术。

文字内容
1. SACC2017
2. 桂创华 京S东A图CC片2系01统7演进 京东商城基础架构部技术总监
3. 目录 123 SACC2017
4. 京东业务高速增长 京东集团历年交易额 SACC2017 2011 2012 2013 2014 2015 2016
5. 京东图片规模变化 京东图片规模变化 SACC2017 2013 2014 2015 2016 2017
6. 网络流量变化 2013年11月11 2014年6月18 2014年11月11 2015年6月18 2015年11月11 2016年6月18 2016年11月11 SACC2017 互联网总流量 CDN
7. 目录 123 SACC2017
8. 技术革新 自研分布式存储 规模驱动开发,从开源走向自研 70% SACC201775% 100% 65% 跨机房容灾 从单机房到同城跨机房,再到两地三中心 高速图片压缩 通过技术升级将图片压缩效率提升3倍 更小图片存储 引入webp技术,降低图片存储空间
9. JFS分布式文件系统 jfs/t5/8/10240/10000/A5B8FC33-Y Java client SACC2017cocoocroodroidnriadntiaontraotror monitor datanode replica group checker
10. JFS分布式文件系统 存储引擎 复制协议 SACC2017client primary follower follower Follower A Primary Follower B
11. 图片系统 CDN SACC2017ImageImage ImageImage procespsrinogcesspinrogcespsirnogcessing ServerServer ServerServer JFS Upload Service
12. 同城跨机房 图片应用 廊坊 IDC IMP IMP IMP IMP SACC2017廊坊IDC 马驹桥IDC 数据层 副副 本本 12 副 Repl 本 Group1 3 副副 本本 12 副 本 Repl 3 Group2 马驹桥 IDC
13. 两地三中心 图片应用 IMP IMP IMP IMP SACC2017北京IDC 广州IDC 北京IDC 同步 异步 广州IDC
14. 缩放效率提升 速度X3 SACC2017速度X2 库优化、ICC编译 IPP编译
15. WEBP图片格式 图片平均大小减少45% 偏远地区3G用户提速40% SACC201745% 25% 40% 0 页面加载速度整体提升25% 移动端页面加载投诉降为0
16. Guetzli 压缩率 压缩耗时 SACC2017libjpeg Guetzli libjpeg Guetzli
17. 目录 123 SACC2017
18. 图片合规 SACC2017
19. 商描合规 SACC2017 上线效果: • 无效审核下降73%:
20. 自营店铺价格合规 SACC2017
21. 基于全卷积网络的文本行定位 SACC2017
22. 端到端的通用字符串识别系统 SACC2017
23. 商详页图片信息抽取 SACC2017 标签:60、70年代怀旧风 袖型:荷叶袖 领型:飘带领 布料:数码雪纺印花 • 补齐商品属性 • 富足商品标签
24. 图文属性校验 SACC2017reception和resnet结构
25. 智能化图片系统 业务使用 知识图谱 图片信息档案 以图搜图 智能排版 清晰度 图片质量 曝光度 色情 SACC2017智能图片识别 二维码 视觉识别 商品识别 颜色识别 图片基础服务 属性识别 图片存 储 图片裁 剪 图片 缩放 水印 服务 文字识别 OCR
26. 智能识图 获取图片 图片质量评估 图像识别 SACC2017 图片清晰度 图片亮度 图片牛皮癣 背景复杂度 … 商品主体识别 颜色识别 纹理识别 人像识别 人像面向识别… 结果输出
27. 图片信息档案 SACC2017
28. 智能排版 图像智能分析 商品主体:短裤 侧面 颜色:棕黄色系 卡其 SACC2017商品主体:短裤 正面 颜色:棕黄色系 卡其 平铺细节图 模特图 正面 模特图 侧面 商品主体:短袖模侧特面图 颜色:黑白灰系 白色 商品主体:短袖 正面 颜色:黑白灰系 商品主体:短袖 正面 颜色:黑白灰系 白色 正面 白色
29. TShAaCnkCy2o0u17!