智能风控SaaS服务高可用演进之路

微风

2019/03/24 发布于 技术 分类

文字内容
1. 智能⻛风控SaaS服务⾼高可⽤用演进之路路 —从⽇日千万到亿级的优化历程 孙奇 同盾科技 ⾼高级技术专家 qi.sun@tongdun.cn
2. 在此键⼊入姓名 在此键⼊入Tittle
3. 智能⻛风控SaaS服务的业务发展及挑战 • • 智能⻛风控SaaS服务的业务发展 • ⾼高可⽤用⾯面临的挑战 针对挑战的解决⽅方案 • • • 架构&应⽤用&存储优化 • 异地多活建设 总结&未来展望
4. 同盾主要业务 信 贷 ⻛风 控 互 联 ⽹网 反 欺 诈 汽 ⻋车 ⾦金金 融 ⽤用 户 增 ⻓长 保险科技 其他分析决策场景
5. SaaS 反欺诈SDK采集/⼈人机识别等请求 ⽤用户业务请求(注册、登录、交易易、借款等) IDC B IDC A 同盾智能⻛风控请求 IDC A B
6. 业务发展 ⾏行行业拓拓展 客户数增⻓长 1 10,000 客户数 汽⻋车⾦金金融 消费⾦金金融 7,500 银⾏行行 直播 游戏 5,000 票务 电商 2,500 论坛 ⽀支付 基⾦金金 保险 政务 航司 证券 招聘 国际业务 ⼩小微企业 租赁 出⾏行行 医疗 旅游 O2O ⼴广告 互联⽹网⾦金金融 0 2013 2014 2015 2016 2017 2018 2013 2014 2015 2016 2017 2018
7. 业务发展 ⽇日累积数据量量 流量量增⻓长 1,000,000,000 300,000,000 决策调⽤用量量 ⽇日累积数据量量 SDK⽇日活 750,000,000 225,000,000 150,000,000 500,000,000 75,000,000 250,000,000 0 2013 0 2014 2015 2016 2017 2018 2013 2014 2015 2016 2017 2018
8. 当前可⽤用性情况 • 可⽤用性 (⽬目前99.995%) • 性能情况(互联⽹网反欺诈业务为例例) • 200ms内 99.99% • 数据完整性 99.99%
9. 2016架构 公⽹网⽤用 专线⽤用 公⽹网C类⽤用 接⼊入层 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 决策层 决策引擎(数据获取,实时特征计算,策略略执⾏行行,输出数据组装) ⿊黑灰名单 团伙识别 在线模型 ⽂文本/图像 IP定位 代理理IP IP情报 地址引擎 三⽅方数据 ⼿手机归属地 虚假号码 位置服务 卡信息 …… Kafka Memcached Redis Cassandra Mysql GraphSQL Elastic Search 在线存储层 ⼤大数据层 HDFS Spark Hive 监控平台,⽇日志中⼼心 模型& 数据层 离线特征计算 分布式 服务化 ⽆无单点
10. 2016架构 公⽹网⽤用 专线⽤用 公⽹网C类⽤用 接⼊入层 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 决策层 决策引擎(数据获取,实时特征计算,策略略执⾏行行,输出数据组装) 团伙识别 在线模型 ⽂文本/图像 IP定位 代理理IP IP情报 地址引擎 三⽅方数据 ⼿手机归属地 虚假号码 位置服务 卡信息 …… Kafka Memcached Redis Cassandra Mysql GraphSQL Elastic Search 在线存储层 ⼤大数据层 ⿊黑灰名单 HDFS Spark Hive 监控平台,⽇日志中⼼心 模型& 数据层 离线特征计算 异地容灾 故障转移 就近接⼊入 ?
11. 2016架构 公⽹网⽤用 专线⽤用 公⽹网C类⽤用 接⼊入层 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 决策层 决策引擎(数据获取,实时特征计算,策略略执⾏行行,输出数据组装) 团伙识别 在线模型 ⽂文本/图像 IP定位 代理理IP IP情报 地址引擎 三⽅方数据 ⼿手机归属地 虚假号码 位置服务 卡信息 …… Kafka Memcached Redis Cassandra Mysql GraphSQL Elastic Search 在线存储层 ⼤大数据层 ⿊黑灰名单 HDFS Spark Hive 监控平台,⽇日志中⼼心 模型& 数据层 离线特征计算 ⾼高效协同 灵活配置 故障隔离 ?
12. 2016架构 公⽹网⽤用 专线⽤用 公⽹网C类⽤用 接⼊入层 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 决策层 决策引擎(数据获取,实时特征计算,策略略执⾏行行,输出数据组装) ⿊黑灰名单 团伙识别 在线模型 ⽂文本/图像 IP定位 代理理IP IP情报 地址引擎 三⽅方数据 ⼿手机归属地 虚假号码 位置服务 卡信息 …… Kafka Memcached Redis Cassandra Mysql GraphSQL Elastic Search 在线存储层 ⼤大数据层 HDFS Spark Hive 监控平台,⽇日志中⼼心 模型& 数据层 离线特征计算 应⽤用⾼高性能 业务⾼高内聚 ?
13. 2016架构 公⽹网⽤用 专线⽤用 公⽹网C类⽤用 接⼊入层 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 决策层 决策引擎(数据获取,实时特征计算,策略略执⾏行行,输出数据组装) ⿊黑灰名单 团伙识别 在线模型 ⽂文本/图像 IP定位 代理理IP IP情报 地址引擎 三⽅方数据 ⼿手机归属地 虚假号码 位置服务 卡信息 …… Kafka Memcached Redis Cassandra Mysql GraphSQL Elastic Search 在线存储层 ⼤大数据层 HDFS Spark Hive 监控平台,⽇日志中⼼心 模型& 数据层 离线特征计算 热点数据 实时计算 ?
14. 2016架构 公⽹网⽤用 专线⽤用 公⽹网C类⽤用 接⼊入层 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 决策层 决策引擎(数据获取,实时特征计算,策略略执⾏行行,输出数据组装) ⿊黑灰名单 团伙识别 在线模型 ⽂文本/图像 IP定位 代理理IP IP情报 地址引擎 三⽅方数据 ⼿手机归属地 虚假号码 位置服务 卡信息 …… Kafka Memcached Redis Cassandra Mysql GraphSQL Elastic Search 在线存储层 ⼤大数据层 HDFS Spark Hive 监控平台,⽇日志中⼼心 模型& 数据层 离线特征计算 百TB数据 快速查询 ?
15. ⾯面临的挑战 如何⽀支持灵活多变的业务需求 ? 如何满⾜足客户对系统的个性化要求 ? 性能 准确性 稳定性 如何应对⼤大流量量及突发流量量 ? 如何⽀支持数据快速增⻓长情况下的进⾏行行实时特征计算和数据查询?
16. 解决⽅方案 • 架构&应⽤用&存储优化 • 多机房建设
17. 微服务化 公⽹网⽤用户 接⼊入层 业务层 专线⽤用户 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 信贷 保险 互联⽹网反欺诈 数据类 决策引擎(仅做决策) 特征计算平台 机器器学习平台 实时计算 事件 IP画像 设备画像 离线计算 ⽂文本 ⼿手机号画像 邮箱画像 指标管控 图像 三⽅方数据 基础数据 语⾳音 位置数据 名单库 ⾏行行为 卡数据 …… 数据平台 复杂⽹网络 地址服务 …… 监控平台,⽇日志中⼼心 决策层 模型& 数据层 公⽹网C类⽤用户 应⽤用低耦合 业务⾼高内聚
18. 集群动态分配 公⽹网⽤用户 接⼊入层 业务层 公⽹网C类⽤用户 ⽤用户统⼀一接⼊入⽹网关(限流、鉴权) 信贷 保险 互联⽹网反欺诈 数据类 ⽹网关(集群管理理/负载均衡/集群路路由/监控管理理/流量量复制/……) Vip1 Vip2 Basic1 Pro1 Vip3 Pro2 Basic2 Pro3 Basic3 监控平台,⽇日志中⼼心 ⽹网关层 决策层 (集群) 专线⽤用户 客户隔离 分类管控 动态扩容
19. 特征计算 id 时间戳 1 2 事件类型 事件详情 2018/09/01 10:00:01 注册 {ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,⼿手机号:123456789,身份证号: 341621*,邮箱:abc@gmail.com,设备:abc} 2018/10/03 21:00:01 2018/10/03 登录 {ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,设备:abc} {ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,⼿手机号:13412341234,身份证号: 341621*,邮箱:abc@gmail.com,设备:abc} {ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,⼿手机号:13412341234,身份证号: 341611*,邮箱:def@gmail.com,设备:abc} {ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,⼿手机号:13412341234,身份证号: 341611*,邮箱:def@gmail.com,设备:abc} 21:01:01 借款 2018/10/03 21:01:03 借款 5 2018/10/13 10:00:01 提现 6 2018/10/15 10:00:01 短信 {ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,⼿手机号:123456789,设备:abc} 7 2018/10/16 10:00:01 购票 {ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,'>ip:192.168.*,⼿手机号:123456789,设备:abc, 票:周杰伦,收货地址:xxx⼩小区xxx栋} … … … … 3 4 ip最近1分钟注册账户数[合作⽅方]? ⼿手机号最近1⼩小时发送短信个数[跨合作⽅方]? 设备最近3个⽉月借款的⼿手机号个数[跨合作⽅方]? 设备最近6个⽉月申请借贷平台个数[跨合作⽅方]? 回溯类数据,回溯周期⻓长,包含去重逻辑,有热点数据,⽆无法预计算!!
20. 特征计算优化 应⽤用计算 流计算 内存数据库 ⾼高性能磁盘数据库
21. 应⽤用优化 • 业务需求快速增⻓长,流量量快速增⻓长的情况下,如何保证持续⾼高可⽤用 ? JFR 线下压测 Pinpoint 线上 引流压测 线程数 超时控制 对象分配 流控 定时任务 数据格式 数据模块化 …… 抖动分析 超时分析 线上 监控 度量量⽅方案 P99监控 ⼦子错误码监控 架构分析 分析⽅方法 优化点(填过的坑)
22. 应⽤用优化 Json序列列化压⼒力力 规则频繁编译压⼒力力
23. 应⽤用优化 对象分配优化
24. 在线存储持续优化 有什什么业务场景不不能很好满⾜足? ⼤大数据量量、低延迟、相对低QPS 每天海海量量数据导⼊入到线上
25. 在线存储持续优化
26. 线上存储情况 100+机器器,500亿+kv,200k+TPS,100k+QPS 读rt 99.9% 1ms内,99.99% 5ms内
27. 优化效果
28. 优化效果
29. 解决⽅方案 • 架构&应⽤用&存储性能优化 • 异地多活
30. 异地多活历程 2018~ 2017~ 2016~ 2013~2016
31. 异地多活要克服的问题 • 数据同步 • 成本上升 • 调⽤用链路路机房封闭
32. 客户调⽤用机房封闭 智能路路由 反欺诈SDK采集请求 同盾⻛风控云 上海海IDC ⽤用户业务请求 合作⽅方 同盾智能⻛风控请求 同盾⻛风控云 杭州IDC
33. 随时可切换的双机房 • 数据⼀一致性 • 容量量⼀一致性 • 缓存⼀一致性 • 分机房发布 • 定期切换演练
34. 混合云的建设 多云接⼊入 就近接⼊入 IDC IDC 计算和存储分离
35. 优化总结 • 架构&应⽤用&存储优化 • 多机房建设 • 可⽤用性 (⽬目前99.995%) • 性能情况(互联⽹网反欺诈业务) • 200ms内 99.99% • 数据完整性99.99%
36. 未来展望 • AaaS (Analysis as a Service) • 调⽤用量量数量量级增⻓长下,持续⾼高可⽤用 • 全球⻛风控的⽀支撑能⼒力力 • 故障响应能⼒力力(1-5-15)
37. 在此键⼊入姓名 在此键⼊入Tittle
38. 在此键⼊入姓名 在此键⼊入Tittle