人脸识别应用与优化

微风

2019/03/24 发布于 技术 分类

文字内容
1. 人脸识别应用与优化 杨含飞(少昊)
3. 经历: 2005年加入阿里巴巴,任阿里巴巴信息平台高级技术专家。10年 以上互联网架构经验,负责过淘宝的SNS整体技术架构体系、网商 银行风控技术平台,目前担任智慧园区园区大脑技术负责人。在互 联网高并分架构、大数据及AI算法应用上有丰富的经验。 职责: 阿里巴巴 负责智慧园区的园区大脑技术团队。目前专注于智慧园区IoT相关技 信息平台事业部-智慧园区 力、结合大数据及算法实现园区的智能化业务。 杨含飞(少昊) shaohao@Taobao.com 术,借助智能硬件、传感器等IoT相关技术,实现人物场的感知能
4. 智慧园区介绍
5. • 背景与应用 • 核心问题 • 人脸识别优化 • 性能评估
6. 人脸识别发展现状 技术突破 政策支持 人脸识别算法经过三大阶 国家从15年开始,密集出 段的发展,深度学习将人 台政策规范及鼓励人脸识 脸识别算法提升至甚至超 6 过人眼水平,具备了实际 应用条件。 资本投入 别和人工智能发展,推动 01 04 02 了应用场景的暴发。 03 场景暴发 BAT在人脸别的投入及应用 在技术和政策的推动下, 推广。国内领先的人脸识 人脸识别在安防、金融、 别公司受资本市场的青 办公、教育、政务……等领 睐。 域飞速发展。
7. 阿里巴巴智慧园区场景化应用 园区通行 园区通行 刷 脸 支 付 10万+ ⼈人员库 97% 1‰ 通过率 误识率 1秒 20万+/天 通⾏行行效率 次识别 会议通行 超98% (95.89万) 12万+(95.89万) 会 议 通 行 通过⼈人脸⼊入场 通⾏行行 ) 10+场 最⾼高253⼈人次/分 ⼊入场 各类⼤大会 云栖大会 邮 局 取 件 视频围栏 互 动 签 到 公益大会 重庆智博会 双十一晚会 物流峰会 各类年会
8. • 背景与应用 • 核心问题 • 人脸识别优化 • 性能评估
9. 影响人脸识别应用的三大核心要素 算法 照片 环境 性能约束 原料约束 外部约束
10. 算法应用问题 实验室&应用 • 实验室性能测试以固定图库为主。 • 受环境、设备、姿态等现实场景影响,实验室评估 性能和实际应用性能存在较大的差距。 识别组容量 • 识别性能随识别组容量的增大引起性能急剧下 降。 • 根据环境如何平衡两者的关系,寻找合适的平衡 点 客户端算法 3 • 低质的照片影响算法的的特征提取,更容易引起误识。 • 高质的照片要求会严重影响到整个识别过程的速度。 泛化能力 • 人种支持普通存在问题,对不同的人种识别是性能 存在较大的差异。 • 儿童识别效果较差,容易造成误识 4 2 1
11. 人员底库照片问题 风景照 合照 宠物照 婚纱照 明星照 艺术照 卡通照 自画像
12. 环境问题 Step 03 Step 01 Step 02 逆光问题 • 所有环境里最常见,也最复 杂的一种现状 • 摄像头对着高亮光源(太阳 、灯) • 摄像头所对的空间和面部所 对空间光照对比强烈 Visual trends • 空间光钱不均 • 头像黑晚,或逆光太强而导 致头像发白,难以分辨人脸 细节 01 环境评估 • 空间的灯光是否均匀 • 安装的灯光设施布点是否均匀, 密度是否合理。 • 门口朝向是否东西,是否有太阳 直晒 • 采用设备同款摄像头,进行拍照 取样。 Step 03 弱光问题 • 弱光问题在地下车库出入口比常见 • 环境灯光稀疏且亮度有限 • 人像黑暗或噪点多而大,图像失真。 装修问题-射灯 装修问题-排灯 • 在一些老式的办公场所比较常见 • 射光造成局部光线强烈,大部分 Visual trends 光线不足。 • 人像照片黑暗或部分暴光过度 • • • • 在一些老式的办公场所比较常见 安装密度较低 灯带底下光线充足,区域外不足 容易造成逆光或光线不足。 Visual trends 02 环境改善 • 安装窗帘防止太阳直晒 • 改善识别设备周边的光灯使光 线尽量均匀 • 设备上进行相应的补光
13. • 背景与应用 • 核心问题 • 人脸识别优化 • 性能评估
14. 人脸识别过程 人脸注册 人脸注册 人脸识别 人脸识别 终端应用 识别服务 图片来取自互联网,感觉作者提供这么好的素材。
15. 人脸识别三大优化 终 端 & 硬 件 算 法 服 务 底 库 照 片 大小脸控制 识别距离控制 照片质量控制 识别速度优化 硬件 误识控制 相似度管理 分组管理 识别算法 底库照片质量控制 底库照片学习
16. 人脸优化结果 误识率 误识率 误识率 误识率 1.2%->0.92% 下降23% 0.92%->0.42% 下降55% 0.42%->0.25% 下降40% 0.25%->0.1% 下降64%
17. 第1部分 01 PART 01 终端优化 01 硬件优化 PART 01 02 软件优化
18. 终端优化-摄像头 逆光适应-宽动态 宽动态考察要点: 1、噪点 2、成像质量 3、适应范围
19. 终端优化-活体优化 在门禁通行领域,2D由于环境的多样性,在识别的效果上难以达到安全要求,比较适合的是双目 和结构光,可以分场景按需采用。
20. 终端优化-软件 通过率影响 l 包括左右侧脸、 清 晰 度 影 响 l 清晰度根据判断算 抬低头等 侧脸 l 根据侧脸程度分 布及影响影响选 法,分析影响调 清晰度 择。 l 多线程并发取帧 l 大小脸控制 通过率影响 侧 脸 影 响 整。 大小脸 l 多线程质量检测 识别速度 l 焦距调整 l 两阶段识别,第一阶 l 人脸大小(基于分辨 识别距离 率调整合适比例) 段低能耗粗检测。 能耗 l 第二阶段正常检测及 质量控制。
21. 第二部分 02 PART 01 识别服务优化 01 分组优化 PART 02 02 人种泛化问题优化
22. 分组容量对算法的影响 误识率0.1% N大小 1K 通过率 96.4% 2K 96.2% 3K 95.8% 5K 95.3% 1W 94.4% 4W 92.0% 通过率 96.4 96.2 95.8 95.3 94.4 92 1K 2K 3K 5K 通过率 10K 40K
23. 组容量引起的误识问题 分组包含各类人员集合,在一定通过率的情况下,误识增加。
24. 分组应用-分组方法 根据特点确定每个 分组的人员 数据预测用户出现 时间地点 确定业务时间与空 间特点 用户行为数据时间 空间建模 分析业务规则 收集用户行为数据 业务规则法 数据预测法
25. 分组应用-分组案例(小邮局) 分组 分组1 分组2 …… 业务属性 包裹地点 包裹时效 代领习惯 分组3 地理属性 小邮局1 小邮局2 …… 小邮局N
26. 识别优化-分组优化效果 非本 人 合照 侧卧 照 卡通 背景 五对双胞胎 底库问题 通 过 率 提 升 8 % 误 识 下 降 5 2 %
27. 识别优化-模型泛化问题优化 人种分类 分组搜索 人种分组1 人种分组2 人种分组3
28. 第三部分 03 PART 01 人员底库优化 01 照片质量影响 PART 03 02 照片质量检测 03 照片自学习
29. 识别优化-底库对识别的影响 通过率影响 风景照 • 人像小,头部不清晰 • 风吹头发挡脸 • 光线不均,阴阳脸 • 摆Pose,侧脸 • 带墨镜 艺术照/婚纱照 卡通/自画像/小孩 合照 • 化妆过度,不真实 • 非真实照片 • 人脸提取容易错误 • 修图过度 • 非本人照片 • 头容易部分被他人遮挡 • 摆Pose,侧脸 • 光线不均,阴阳脸 • 穿戴装饰挡住脸部 误识率影响 卡通照 侧卧照 • 容易被算法判别为人脸 • 照片被90度旋转 • 由于提取特征有限,容 • 提取的特征会容易和终 易匹配上终端人脸特征 端人脸特征同样不足的 同样不足的照片,引起 照片,引起大量人员误 大量误识。 识。 非本照 黑镜/照片模糊 • 眼部遮挡,引起特征不 足 • 也容易引起算法误识。 • 在合照情况下,容易 提取到非本的人头像作 为底库 • 引起别人误识
30. 识别优化-底库照片检测 身份核实 • • • • 通过人证对比,确保照 片属于本人。 删除明确不可用照片 合格/不合格标记 照片身份核实 人工复核及标注 合照识别 有效控制大小脸 侧卧照片 转正人脸后再提取特征 非真实照片检测 删除非真实照片 身份核实 合照识别 侧卧照片识别 质量检测 侧脸 遮挡 模糊 卡通、小孩、自画像检测 人脸照片质量检测
31. 识别优化-底库照片自学习 人员照片序列分析 自学习原因 • • • 部分用户没有合格底库照片 用户没有提供照片的动力 上传合格照片的成本高 图片聚类分析 图片质量分析 自学习优势 • • • • • 同源 同角度 无感 通过率高 误识率低 身份核实 照片注册 自学习过程
32. 识别优化-底库质量管理效果 自学习照片1000多人 降低误识40%
33. • 背景与应用 • 核心问题 • 人脸识别优化 • 性能评估
34. 通过率评估 计次评估 会话评估 照片质量&会话评估 简单的计算识别成功次数 及识别成数,来计算通过 率。 客户端针对一个人识别过 程进行跟踪,同一个人的 通行计一次会话。 底库照片合格且识别通过 会话计一次成功,照片合 格但刷卡方式进入的计一 次失败来计算通过率。 优点是计算方式简单,可 以反映识别的通过趋势和 通行状态。 可以反映一个人的实际通 过率,不受终端照片的质 量影响,可以反映用户的 实现通行体感。 可以过滤因底库照片质量 问题造成对通过率的影响, 可以更好的反映出线上的 实际算法能力。 缺点是不能反映因终端照 片质量或人员底库质量造 成的通行影响,不能反映 通行的实际体验。 缺点是不能反映出那没底 库照片的对通过率造成的 影响。难以评估算法的实 际性能及运行效果。 会受用户的刷卡习惯行为 影响,准确率会受到一定 的限制。
35. 误识率评估-样本法 标注识别集 标注误识集 70%识别集 基于评估样本集在 28.5%攻击集 保证通过率的情况 1.5%误识集 下误识率到1‰ 自动学习攻击集 样本来源 标过程评估线上初始误识率1.2% 评估方法 优化
36. 人脸识别的挑战与未来 l技术挑战 • 人脸识别的泛化能力和大规模检索能力(1:百万/千万) • 活体检测:安全性与体验还需大幅度提升 • 环境挑战:对各种复杂环境下的识别能力还存在技术瓶颈 l未来方向 • • • • 识别能力:实现百万级搜索,保证通过率,降低误识率,满足更多的商业场景的需求。 泛化能力:外国人、小孩的识别加强。 活体检测:提升硬件及算法能力,加强活体识别的安全性、降低成本。 环境适应能力:加强硬件的性能,特别是摄像头方面的性能,保证照片的采集质量,适应各种环境。