刘睿民 - 海量并行(MPP)内存数据仓库技术实现探讨

shamrockgossip

2018/05/13 发布于 技术 分类

刘睿民在演讲中表示,现有的数据存储方式(SAN,NFS)已经不能承载大数据的数据量,而现代企事业对大数据分析的要求靠批处理的方式已经很难满足了,其中单节点的内存处理不能为用户提供足够的处理容量,无法横向扩展很致命。

文字内容
1. 海量并行(MPP) 内存数据仓库 --- 实现探讨 谢剑锋 Jason 柏睿数据科技(北京)有限公司 联想服务首席技术顾问 惠普实验室(总部)特邀研究员
2. 统一的大数据系统的整体视图 ETL 实时流 数据 实时处理 (s4, storm) Real Time Un- structured Datastore (hBase, Gemfire, Cassandra) Analytics Big SQL (Greenplum, AsterData, Etc…) Batch Processing Unstructured Data (HDFS) 3
3. 通过虚拟化来统一大数据计算平台  目标 ◦ 简单、快速、即需地监控数据集群 ◦ 允许混合负载 ◦ 利用虚拟机来提供隔离(如:多租户) ◦ 通过虚拟拓扑来优化数据处理性能 ◦ 通过虚拟拓扑来优化平台稳定性  充分利用虚拟化 ◦ 可伸缩的扩展性能 ◦ 依靠高可靠性来保护关键服务,如:Hadoop的Name Node及Job Tracker ◦ 资源控制和共享:重用低利用率的内存及CPU ◦ 对负载进行优先级控制:在混合环境中优化及限制资源的使用
4. 统一的分析云将被极大的简化 SQL集群  简化 • 单一的硬件基础架构 • 快速、简易的环境控制 NoSQL集群 Big SQL Hadoop NoSQL Unifed Analytics Infrastructure Hadoop 集群  优化 Private Public • 共享的资源 = 更高的利用率 Decision Support 集群 • 可伸缩的资源 = 快速的即需资源访问 5
5. 并行内存计算 及 持久化  关键技术: • Share-Nothing, MPP 海量并行架 构 • 基于内存分区的数据集市 • 海量并行内存计算 • 虚拟化, 云 • 性能优化 • 固态内存 6
6. 并行内存为大数据提供实时缓存 Physical Storage Logical Volume SSDs Arrays HDDs Arrays Hot Data Cold Data ResponseTime 700 660 600 500 400 330 300 200 100 0 0 All HDD Smart Flash Persist Data Cache on Warpdrive TPS 700 655 600 500 400 373 300 200 100 0 0 All HDD Smart Flash Persist Data Cache on Warpdrive
7. 并行内存针对大数据的应用场景 传统模拟对比 基于Hadoop的模拟 MapReduce可以基于MPP内存 渲染组合可以基于内存,数据库同理
8. 现有大数据处理平台的技术比较 - I Capability 低延迟 任务调度 混合负载 快速的 抢占式调度 时间敏感 SLA保证 使用计费及 分析插件 可恢复的 Hadoop任务 POSIX 文件系统 企业级 文件系统功能 Cloudera CDH EMC / GP UAP MAPR Impala No only No No HortonWorks Open Source No No No No MPP Inmemory with Hadoop No No No No No No No No No No No No No No No No No No No No No No No NFS only NFS or Gluster No No No
9. 现有大数据处理平台的技术比较 - II Capability SQL 的支持 大表 的支持 Cloudera CDH EMC / GP UAP Impala No Pivotal No MAPR Drill HortonWork s Open Source MPP Inmemory with Hadoop Via open source only No Impala, Drill No 外部数据的链接 加速器 GP DB No built-in No No No No No No 完整的硬件及 软件的支持 Through HW partners Through No No HW partners 单一厂商支持 Through HW partners No No No 全功能的 No No No No 私有云管理功能 注: Hadoop 1.0 is based on the Hadoop .20.205 branch (it went 0.18 -> 0.19 -> 0.20 -> 0.20.2 -> 0.20.205 -> 1.0). The project having matured to that point. Hadoop 2.0 is from the Hadoop 0.23 branch, with major components re-written to enable support for features like High Availability, and MapReduce 2.0 (YARN), and to enable to scale out past 4,000 machines per cluster. 10
10. 统一的基于分析的云
11. 市场对大数据的要求 – 阶段I 统一的系统 - 解决大数据的存储 预先整合的系统,便于管理及使用 • 平台 – 大容量的索引 Pre-integrated using Hadoop Foundation, • 整合的文本分析 – 面向非结构化的数据 • 可用性 – 易用的HDFS用户管理工具及查询工具 • 企业级功能 – 存储监控, 任务调度工具, 安全机制 • 支持 以基于搜索的,基于文本的XML数据模型 • 文本存储于事务性存储库内 • Schema-Free: • 无需对数据库模式有深入的了解 • 文字的索引与文本结构同时存在 • 充分利用标准的商业化硬件
12. 实现细节I –Non-Partitioned 2-way Join + Group By 2015/4/21 Tuesday
13. 实现细节II –Partitioned n-way JOIN across n-nodes 2015/4/21 Tuesday
14. 市场对大数据的要求 – 阶段II  实时的流数据分析 - 解决流数据的分析 ◦ 针对导入的数据执行实时的 “流式”的分析查询 ◦ 全速更新即时导入的数据 ◦ 调度及执行上百个复杂查询 ◦ 能够进行亿级维表和事实表JOIN,同时无需对维表及事实表进行预处理 ◦ 性能  能以>GB/Sec的速率来进行流数据分析  在使用高度规范的标准SQL查询时,能有可预期的毫秒级反应速度 ◦ 高可用性  能达到无单点故障  自动的故障恢复,提供极端的高可用性 ◦ 自动的故障修复,应当不会中断进程的操作即便是在节点故障的情况下
15. 实现设想 –围绕流式分析 功能描述 1 SQL Windowing 2 Query concurrency up to 1000 concurrent queries 3 Scale-up testing to 1024 IMDB nodes 4 High Availability (ie recovery from DQS component failures) 5 Dynamic Cluster Management eg handling dynamic addition of IMDB nodes 6 Materialized Views (over JOINs) 7 Compression of network traffic within DQS 8 Workload Management - Master and Forwarding 2015/4/21 Tuesday
16. 市场对大数据的要求 – 阶段III  基于内存计算的分析应用部署: 解决即需的快速应用部署 ◦ 实时加载及大规模部署分析应用  分析应用以虚拟机的形式存在  大规模动态的调度内存节点为分析应用虚拟机服务 ◦ 分析应用全速响应外部App或传感器  App以桌面虚拟的方式来展现 ◦ 分析应用动态生成及执行大量复杂查询  分析应用动态生成及调整复杂查询
17. 类似于大型机的虚机及混合负载的分析平台 Bigdata Consumer Analytics Consumer ETL Consumer HPC Consumer Grid Instance #1 Life Sciences / EDA / CFD / CAE IMDG + MR Container Grid Instance #2 In-memory MPP Data Warehouse IMDG + ELT Container Grid Instance #3 Open-source Apache Hadoop IMDG + ETL Container Grid Instance #4 Life Sciences / EDA / CFD / CAE 3rd Party Schedulers Ready-to-run clusters dynamically provisioned as tenants on shared infrastructure Platform with MPP IMDG + Hadoop Cluster Manager Virtual Infrastructure Hadoop In-memory Data Grid 计算及存储节点 – 商业标准服务器 18
18. Q&A