中兴 钱煜明 - 打造金融级分布式数据库服务_部分2

端谷枫

2017/12/18 发布于 技术 分类

金融环境下对分布式数据库要求极高,要求各种场景下在保证数据一致性前提下提供高性能,可扩展的数据服务。中兴与中信银行合作研发了面向金融的强一致分布式数据库并在多个业务系统成功上线,实际效果显示能够完美应对金融场景

文字内容
1. 多种读写隔离级别提升性能! UR(uncommitted  read):未提交读,即不判断分布式读写冲突,适用于允许脏读或 者不存在读写冲突的业务场景;   读语句级别   CR(consistency  read):强一致性读,先查询活跃GTID,后查询数据,严格保证返回 结果处于分布式事务已提交状态,不存在脏读的可能性;   SEMI-CR(semi-  consistency  read):半强一致性读,同时查询活跃GTID和数据,仅 判断GTM中的活跃事务,在高并发读写时存在极小概率的脏读,但效率较CR高;   写语句级别   SW(single  write):单事务写,即不判断分布式写写冲突,适用于不存在多个事务同 时写相同数据的场景;   CW(consistency  write):强一致性写,需要判断分布式写写冲突,允许多个事务同 时写相同的数据;    
2. 灵活数据分片   Create  table  bank.info  (Customer_Number  int  key,   Corporate_Property  varchar(30),  Private_type  int,   Corporate_Information  varchar(30)  distributed  by     case  Corporate_Property   when  '中信银行伦敦'  then  g9   when  '中信银行纽约'  then  g10   else    case  Private_type    when  '对私'  then  subdistributed  by  hash(Customer_Number)(g1,   g2,  g3,  g4,  g5)      else      case  Corporate_Information      when  '五矿集团'  or  '光大集团'  then  g6      else        subdistributed  by  hash(Customer_Number)(g7,  g8)      end    end   end! 支持按特定规则多重分片,满足复杂业务需求  
3. •  金融数字化趋势与挑战   •  挑战1:分布式数据一致性   •  挑战2:业务连续性   •  挑战3:数据安全性   •  挑战4:服务可扩展性   •  实践案例  
4. 中信银行   分布式数据库1.0问世   2014年   中信银行门户网站系统上线   总行核心下移验证   2015年9月   2016年11月   2017年6月   启动分布式   数据库研发   2015年7月   2016年5月   2017年4月   冠字号系统合作平台上线   金融同业平台成功上线   零售客户综合积分系统上线   秘密   ü 无需考虑分布式事务   ü 无需考虑读写分离   ü 无需考虑分库分表   降低开发成本   ü 无采购成本   ü 无维保成本   降低软件成本   提升移动 金融产品 竞争力   ü x86  PC服务器替代小型机   ü 本地磁盘替代高端存储阵列   降低硬件成本   商业数据   库方案   商业许可   分布式数据   库方案      节省  200万   硬件          节省  60%  
5. 秘密   江苏银行事后监督系统案例   江苏银行事后监督系统采用GoldenDB替换现在使用的Oracle数据库,提升系统处理性能。   项目情况简介   1. 2017年4月上线。   2. 性能情况:典型存储过成执行速度提升3倍(Oracle   VS  3节点GoldenDB集群)。   3. 2  Proxy  /3  Group/  10  虚拟机(2P16C/64G/ SATA/万兆网卡)   系统特点介绍   1. 业务介绍:由影像处理、业务监督、辅助功能三部 分组成。   2. 改造工作:现有系统使用Oracle数据,已运行7 年,涉及403张表及200多个存储过程。   3. 性能容量要求:现有数据量2T,目标规划10T的数 据容量。采用3节点安全组,每晚导入9G的数据进行 跑批处理。   4. 关键功能:GoldenDB的存储过程能力。  
6. 秘密   某银行项目综述   1. GoldenDB目前在某行开展的工作包括综合积分业务对接和行方分布式平台应用改造二个项目。   2. 已经完成基准测试、TPCC性能测试、手机银行业务对接测试。   综合积分业务对接   1. 背景:行方期望通过综合积分系统进行分布式架构 试水,成功后推广到其他业务。   2. 业务介绍:共6个业务子模块,原系统部署在16个 Oracle  RAC集群上,  目标是实现GoldenDB  与 Oracle同时混合部署。   3. 容量:共7000万用户,GoldenDB对接测试使用3 个DBGroup集群   4. 关注功能点:Oracle兼容性、数据安全性及数据一 致性   分布式平台应用改造   1. 项目介绍:综合项目,涉及分布式数据库、大数据及 Pass平台等。   2. 里程碑:17年5月底完成分布式平台开发与验证工 作。