携程基于大数据分析的实时风控体系介绍

携程基于大数据分析的实时风控体系介绍

1. 携程基于大数据分析的实时风控体系 介绍 携程 刘江
6. ontents 1 我们的挑战 2 Aegis系统架构 3 核心模块介绍 4 风控模型和策略
7. 0 风险管理是一种文化 Part n 携程文化:让旅游变得更幸福 n 风险管理文化: “ M a ke t h e Tr a ve l M o r e F r e e l y and Securely”
8. 1 我们的挑战 Part n 业务类型和数据量增长 n 需要更加自动化和智能化 n 用好设备和行为数据 n 跨海外网络的数据延迟
9. 2 Part Aegis 版本演进历史 老系统 3.0 2015年 2011年 自建风控系统 .Net+SqlServer Java版上线 实时流量服务上线 吞吐量增加10x 效率提升10x 全业务切入 3.1 2016年 Aegis系统上线 分布式并行计算 实时处理用户行为数 据交易关联排查 3.5 2017年 设备指纹 同步执行复杂模型 新的规则引擎 新的变量引擎 XMAN
10. 2 Part Aegis 运行框架
11. 2 Part Aegis 系统架构图
12. 2 Part Aegis 数据采集框架 数据贴源层 业务数据仓库 数据采集层 实时数据流 风控引擎 审核中心 数据使用层 实时数据计算平台 ETL 离线数据集市 基础数据采集 元数据中心 合作伙伴数据 社交数据 规则引擎 决策模型 案件中心 外部客户数据 数据计算层 变量工场 运营平台 数据产品 外部数据采集 数据健康度管理 外部账户数据 数据质量/数据监控/数据建模/数据优化/数据调度 服务能力 千台集群 P级存储 上万变量 99.9%稳定 性
13. Aegis 一笔支付请求的背后 实时 n 黑白名单 n 数据预处理 / 变量衍生 ~ 1000-2000个 n 执行规则 ~ 400条+ n 执行模型 ~ 5-10个 n 结果计算及后处理 异步 n… …
14. Aegis 性能和稳定性 n 日亿级交易处理能力 n 支付风控平均处理时长小于150ms,99.9%线600ms n 支持DR灾备,数据分级存储,7×24H监控&预警 n 通用性强: l 支持支付风控、业务风控、外部合作伙伴风控支持
15. 3 Aegis核心服务和模块 Part 规则引擎 模型执行器 变量服务 实时流量 用户画像 设备指纹 $ 行为分析
16. Aegis 规则引擎 Rule Engine 规则分布式并行执行 支持按业务分组 支持动态调整分组和 扩容 基于Java,高吞吐量、 低延迟 使用gRPC互联
17. Aegis 模型执行引擎 Python JPMML 自主研发 特点 标准、开源, 兼容性好 标准、开源, 兼容性好。 使用Java解析并执行.dot模型文件, 支持随即森林和逻辑回归算法,算 法可扩展 性能 10-100ms, 性能和Python执行.dot接 近,只是可以嵌入式运 行,所以稳定性比 Python高 0-10ms, 因需要独立部署,有网络 开销 嵌入式执行,性能高,稳定性高 特性: n 使用Java完全自主实现的dot模型执行器,执行耗时只有 Python版本的10% n 拥有完善的模型运行监控和熔断机制
18. Aegis 审核自动提示
19. Aegis 实时流量服务 Counter 日查询量超100亿次 支持分钟、小时、日、月等 多级精度,支持动态配置 支持3个月以上的超大时间 窗口 流量数据实时推送,1秒级 延迟 适用于限额限次、Velocity 变量和Ratio变量的实时计算
20. Aegis 设备指纹
21. Aegis 实时用户行为分析
22. Aegis 交易关联排查 Graph 订单/交 易 基于交易、人、设备、 卡、账号等多个维度的 大数据关联分析,确定 关联交易。 人 卡 数据用于规则、模型、 和人工案件排查 设备 账号 基于HBase自主实现的 Graph存储,50亿+交易 数据,1秒级返回关联 结果
23. Aegis 交易关联排查
24. 4 Part 风控模型和策略 模型 OR n 模型规则化 n 规则模型化 规则
25. 4 Part 风控模型和策略 酒店 设备 指纹 机票 Xma n 姓名 国籍 邮箱 异常 声纹识 别 批量 注册 设备 指纹 Big Data Machine Learning Deep Learning
26. 风控模型和策略 海量交易数据信号衍生 账户 电子邮箱 电话 多维度关联刻画用户行 为 设备指纹 卡信息 IP 位置 支付账户 衍生方法 刻画pattern 基础衍生 高金额、快速起飞/入住等 冲突变量 信息不一致,例如发卡国和Ip国 Recency 账户年龄,最近一次交易 velocity(单、双主体) 频繁交易\换卡等 过滤条件velocity 频繁高危行为 ratio 高危行为占比,短期交易集中 个体异常 个体行为发生变化/异常 群体异常 行为相对于同地域人群异常 躲闪行为 行为有躲避风控规则的嫌疑 跳跃行为 小额试卡的行为 risktable 历史案件信息的利用
27. 风控模型和策略 特征工程 单人游 •下单和起飞时间之间的天数 •手机和ID与ADcity是否冲突 •保费,订单金额 家庭游 •常旅客卡 •订单金额 •往返航班 好友游 •航班类型 •国内国外游 情侣游 •持卡人非出行人 •是否同省 3%2.2% 11.2% 20.1% 5.0% 56.9% 国内因公 单人游 家庭游
28. 风控模型和策略 文本信号挖掘 文本处理 分词 词性标注 文本 去字尾 N元组语义 分析 过滤 NL P/文本分析技术 语音识别 词汇库 实体识别 基于文本模型 • 声波数据预处理 • 开发词/词组库,并关联到 相关主题和目标 • 识别特殊实体类别,如人 名,地点,时间,问题类别, 关键名词 • 统计分析对特定目标字词 的相关性 − 音频采样 − 分解频带 − 傅立叶变换创建识别码 • RNN识别音频片段字符 • 文本数据对深度学习发音 预测矫正: • 考虑同义/下位词 • 使用: − 对特定目标识别问题焦 点 − 为模型特征工程做预备 • 使用: − 识别特定种类实体 − 对特定实体对相关词组 分组 • 根据标签的可用性应用业 界最新的无监督或有监督 算法 • 使用: − 模型特征库萃取
29. 风控模型和策略 字母生成概率 变量注释 变量名 26个字母+10个数字+特殊字符频率 freq_ 域名欺诈率 domain_degree 名字模式欺诈率 name_degree 正常名字模式生成可能概率 name_probability 名字复杂度 num_change 名字长度 length 生成概率(数字转移数字概率不为 prob_prefix_num_no_1 1) 生成概率(数字转移数字概率为1)prob_prefix_num_1 生成概率(只有字母) prob_prefix_alp 原 始 数 据 原 始 数 据 数据去重 数据去重 建 模 数 据 测 试 数 据 提取特征值 train data 提取特征值 test data
30. 风控模型和策略 模型工厂 平台加工 信号侦测& 预测分析 项目状态 项目状态 项目状态 数据管理和集成 应用 评估 数据源获取 项目状态 • 变量衍生和特征 工程 • 支持快速开发定 • 多重数据仓库集 成 制特定算法 • 自动生成各产线 模型报警 • 深度学习及机器 学习算法处理非 • 使用携程独创 Ageis系统高效获 结构化数据 取和存储建模所 需数据 • 线上自适应调整 • 密切监测模型运 行情况 模型参数 • 实时/离线模型表 现业务监控报表 • 快速部署支持数 亿交易量的业务 • 实时查看模型变 量和模型评分分 布 • 传统数据库 +NoSQL保证ETL 速度 基本原理 项目状态 初始 中间 完工
31. 风控模型和策略 模型生命周期 模型优化 生产系统 模型评估 模型部署 奇异值分析 数 据 集 成 数据仓库 模型监控 模型调整 分箱 模型训练 ETL 建模数据 衍生变量 抽样 变形转换 稀疏格式转 换 其它数据源 数据准备 模 型 开 发
32. 风控模型和策略 基于统计分析&机器学习的欺诈策略 欺诈交易识别分二步: 1. 欺诈特征生成;2. 机器学习模式识别 模型 & 评分 欺诈特征 § 利用传统模型方法如逻辑回归,神经网络,矩阵 因子分解,K最近邻法等 § Velocity – E.g. 2 连续交 易发生在很多时间内 – Matrix Factorization High Risk § Distance to home – E.g 持卡人地理位置和常 用地址距离很大 § Transaction time – E.g. 发生在临晨的交易欺 诈率高 § Etc Low Risk Home Compromise – Random Forest Trans Distributed – KNN
33. 风控模型和策略 AI反欺诈策略-内卡规则 自学习规则部署 用户行为分析 将贝叶斯模型部署携程云平台,根 根据采集的用户击键时间间隔序列 据欺诈形势自动更新相关特征变量, 通过序列统计方式分析此击键行为 第一时间对欺诈进行拦截。 是否来自此账户真实用户。 卡 风险 识别 针对高发案件,通过多层次关联分 重点案件得到有效控制 机 票 酒 店 机票 酒 店 火车 票 对不同策略分群,从而优化规则执 火 车 票 机 票 行路径,提供运行效率。 火车票 重点案件防御 交 易 按照AHP层次分析法依据专家经验 析,提炼特征,预防案件变种,使 应用专家经验 关 系 位 置
34. 风控模型和策略 AI反欺诈策略-外卡规则 稳定 实时的监控和报警系统, 确保策略系统的健康度; 策略的事故率为0 智能 快速 针对生产突发案件,能 够通过观察规则进行及 时调整,第一时间对突 发案件进行及时的响应 响应时长控制在30min内 将规则进行策略集聚合, 有效地降低了系统耗时以 及规则管理成本 总体策略耗时<200ms 用户性质 交易行为 策略的自我学习以及 效果迭代,策略的异 常自我熔断,能够智 能地进行自我管理 聚类 策略因素 登陆行为 精确 针对案件进行个案针对和细 分,有效地覆盖每一个案件 特征,且较少对正常客人的 影响 客户影响率<1% 社交人脉 历史交易
35. 5 风险管理五大误区 Part 技术化 not 简单化 自动化 not 排他化 智能化 not 掉包化 多样化 not 单一化 战略化 not 短期化
36. 5 Part Aegis 我们正在做 提供SAAS服务 提供风控服务和设备指纹服务 欧洲数据中心 更好的服务于海外合作伙伴