腾讯云托管hadoop服务平台(EMR)技术负责人 陈龙:云+时代大数据平台应用方案

甘淳静

2017/11/14 发布于 技术 分类

随着IT架构的不断演进,云计算必定会成为未来所有IT应用的基石,而大数据作为数据应用分析的基础技术未来将会变的越来越重要,大数据为人工智能提供基础物料,为企业决策者提供数据支撑,但是另一方面大数据的高成本和高门槛也让普通企业望而生畏,在一切基础技术服务化的今天,大数据如何高效利用云计算的海量计算资源,如何利用云的弹性以达到降低成本从而实现数据价值最大化和成本最小化,同时大数据服务化让所有企业都享受到大数据和云计算的红利等这些方面面临着不小的挑战,这些问题以及解决措施将在本次演讲中给出腾讯云在云+时代和大数据应用的一些实践经验。

文字内容
1. 云+时代大S数腾A讯C据C-陈平2龙0台17应用方案
2. 大数据特征 数据规模大 企业数据数据规模大部在 TB级别以上,像银行电信 等行业数据量都在PB以上, 而且每年都是以40%以上 的速度增长 数据类型多 除了以文本为主的结构化数 据、以网页数据为代表的半 结构数据,也存在大量网络 日志、音频、视频、图片、 地理位置信息等非结构化数 据 数据流转快 要在秒级时间范围内给出 分析结果,超出这个时间, 数据就失去价值了 4V SAC价C值密2度0低17 海量数据中,如何通过 强大的机器算法,更迅 速有效地完成数据的价 值“提纯” 效率 成本 价值
3. 企业大数据应用现状 数据 应用系统或者 物联设备以及 第三产生大量 的数据 ETL 通过ETL把各种 类型的数据处 理成高密度有 价值的数据 数据仓库 转换完成的数 据进入数据仓 库为下一步挖 掘做准备 数据分析 数据分析任务 可以在数据仓 库中提取想要 的数据 决策者 根据数据分析 结果和挖掘结 果决策者做出 决策 物联设备 应用系统 外部数据 网络 核心技术 运维成本 存储管理 SACC2017资源成本 计算处理 技术成本 分析技术 数据挖掘 深度挖掘通过 机器学习和AI 深度挖掘数据 价值 技术 成本 数据面板 个角色通过数 据面板获取想 要的数据 计算 硬件 成本 成本 效率 存储 运维 成本
4. 大数据解决方案现状 服务 考验 成本 考验 数据 应用 ETL 调度 接入 交互 计算 框架 资源 分配 存储 选型是否合理 存储成本 组件整合 计算成本 服务管理 网络成本 交付效率 数据安全成本 运维能力 系统安全成本 superset azkaban hive MapReduce SACC2017kylin 机器学习数据挖掘 oozie Zeppelin presto Spark Storm Flink 机器学习数据挖掘 airflow phoenix Flink ES YARN MESOS Hbase kafka HDFS
5. 大数据解决方案现状 服务选型 组件整合 服务管理 交付效率 运维能力 数据安全 技术支持 服务整合 计算成本 存储成本 网络成本 部分 部分 中 中 高 高 高 社区自建 需要什么样的平台 部分 价值最大化、聚焦业务 成本最小化 部分 SACC2017中 低 中差 资源 弹性 组件 整合 交付 效率 服务 能力 大数据平台 高高 高高 高高 存储 成本 数据 安全 服务 整合 技术 成本 运维 能力 计算 成本
6. 云环境下的大数据基础平台 平台服务化 云消息服务 ckafka 云服务 …. 企业应用服务 企业服务 人工智能深度应用 机器学习 数据可视化 智能BI 可视交互 SACC2017托管Hadoop计算服务 离线处理 流式计算 云服务 弹性 效率 海量 实时数据库 虚拟网络 安全 ETL 高效 云存储 云数据库 对象存储 KV存储 文档数据库 专业技术支持 海量计算资源保证 低运维和开发成本 计算存储分离 服务深度整合 快速交付 资源弹性
7. 腾讯云公有云大数据平台实践(EMR) 使用 安全校验 安全代理层 HDFS hive spark yarn hue … 组件webui EMR服务控制面板 扩缩容 弹性规则 配置管理 服务管理 集群管理 查看监控 EMR服务API接入层 集群创建 集群管理 扩缩容 配置管理 业务调用 业务调用 api调用 api调用 SACC2017EMR公有服务层 集群创建 集群扩容 集群监控 集群销毁 集群缩容 资源管理 配置生成 api接入层 配置下发 组件管理 拓扑管理 安全策略 运维指令 业务指令 服务状态上报 节点状态上报 基础设施层 云服务器 emragent emr镜像 云专有服务器 emragent emr镜像 黑石物理服务器 emragent emr镜像 流程回调 启动流程 流程驱动中心 业务驱动 模型解析 任务调度 流程管理 弹性分析 监控数据 监控中心 监控汇总 监控分析
8. 服务流程化 定义业务流程 集群创建 集群扩容 流程引擎 业务回调 业务发起流程 业务模块 业务… 集群缩容 配置生成 部署流程 Job管理 回调业务 组件管理 配置下发 业务流程… • 流程设计器设计业务流程 • 流程管理系统管理流程 SACC2017任务调度 Activity流程引擎  流程热加载  自动重试 配置管理 资源管理  业务实现原子功能  代码高度解耦 • 流程监控  步骤跳过  代码高度复用 • 流程告警  自定义配置  代码维护简单 • 流程mock  简化业务开发  代码结构高度可扩展 • 通过流程重用业务功能  业务过程可视  控制逻辑和业务分离
9. 服务模型 套件集合 服务A 服务B 组件集合 hadoop hive 服务组 hdfs yarn 服务节点 datanode rm 服务C hbase spark 服务… 套件集合 套件是软件配置的集合,套件内的软件之间的版本兼容 性在集成前都做过处理 SACC2017组件集合 …. 组件集合里是一个一个的单个软件,由软件和软件版本 组成,比如hadoop-2.7.3 服务组 …. 服务组是一个软件提供的功能集合,比如hadoop提供了 HDFS,YARN,那么HDFS是一个服务组 服务节点 nm …. 一个服务组要想提供服务,必须由多种进程提供服务, 服务节点可以理解为一种进程
10. 服务模型 服务进程元数据 namenode datanode hamster 进程n Hadoop hive 服务元数据生 成 配置生成 namenode datanode 进程节点n … 服务拓扑定义 主节点 协作节点 core节点 计算节点 SACC2017hbase zookeeper 资源分配 服务生命周期 服务安装 配置下发 服务进程 进程1 进程2 进程n flink spark 服务启动 监控启动 hmaster rm 进程节点n … hivemeta rs 进程节点n nodemanager … datanode 进程节点n
11. 服务管理 EMR服务控制面板 设置告警规则 查看服务状态 EMR公有服务层 监控元数据 日志元数据 服务节点 监控告警 监控数据 SACC2017EMR监控处理 namenode resourcemanager hmaster hiveserver2 监控 监控 监控 监控 HDFS日志处理 YARN日志处理 订阅告警 监控查看 云监控 hivemetastore 监控 hive日志处理
12. 服务弹性 Yarn资源阻塞 资源阻塞情况 弹性规则设置 弹性规则设置 根据规则缩容 扩容节点 节点内存负载 每个节点内存负载 2017节点CPU负载 每个节点CPU负载 弹性分析 根据规则扩容 缩容节点 SACC参数1:任务阻塞因子 参数2:集群总体CPU负载 a=???????????????????????? b= ??????为阻塞任务的变化曲线,??????为任务阻塞变化率 ????????????=1(????????????????????????1+??????????????????????????????2+⋯+??????????????????????????????) loadn为过去一段时间点某个时间点某个节点的 负载 参数3:集群总体内存使用率 c= ????????????=1(??????????????????????????????1+????????????????????????????????????2+⋯+????????????????????????????????????) usagen为过去一段时间某个时间点的某个 节点的内存使用率 参数a,b ,c 共同决定集群是需要扩容还是需要缩容
13. 计算存储分离 FileSystem DistributedFileSystem HDFS namenode datanode1 datanode2 datanode3 CloudStoreFileSystem LocalFileSystem SACC2017云存储 云存储API 对象存储 本地文件系统 ext3 ext4 归档存储 fat32 文件存储 ntfs OtherFileSystem 其他文件系统 ftp 内存文件系统 …
14. 组件深度优化整合 参数优化 HDFS参数优化 YARN参数优化 HIVE参数优化 Hbase参数优化 ……. 环境整合 Lzo,sanppy等压缩支持 SACC2017版本兼容性处理 多版本python支持 Spark集群学习库支持 …… 社区patch Hive-14029 Hive-15355 Hive支持中文注释 Hbase-16993 ……
15. 基于云的计算存储分离应用模式 企业应用服务 企业服务 应用系统产生数据 数据可视化 智能机B器I 学习 可视交互 人工智能深度应用 机器学习 SACC2017自助BI数据可视化 离线分析集群 master common core 弹性节点 task 离线分析集群清洗数据 发现数据之间的关系 数据应用集群 master common core 弹性节点 task 数据应用集群进一步挖掘数据的价值 云存储COS bucket1 bucket2 bucketn
16. 基于云虚拟子网的海量数据高可靠应用 同步监控 主写入端 北京Hbase集群 广州Hbase集群 VPC网络 SACC2017对等网络 VPC网络 对等网络 同步监控 上海Hbase集群 VPC网络 延时告警 延时告警
17. 腾讯云EMR服务 安全加固 组件优化整合 计算存储分离 自服务 专业技术支持 分钟级交付 SACEMCR 2017 海量资源保证 服务化 免运维 弹性
18. 腾讯云EMR服务 安全加固 数据 应用 ETL 调度 接入 交互 计算 框架 资源 分配 存 储 基础 设施 EMR服务控制面板 EMR服务API接入层 superset 机器学习数据挖掘 机器学习数据挖掘 azkaban hive MapReduce oozie SACC2017kylin Spark Zeppelin presto Storm Flink YARN MESOS airflow phoenix Flink Hbase HDFS 云服务器 COS 黑石物理服务器 弹性
19. SACC2017