Teradata大中华区总裁杨顺生 - 在大数据应用爆炸的年代

葛碧白

2017/11/14 发布于 技术 分类

杨顺生,30年咨询, 销售及管理经验;对大中华地区企业数据管理与应用痛点以及解决方案有丰富实务经验;对大数据发展及趋势有深入分析及独到见解. 曾任美国数据仓库领导厂商 Teradata大中华区总裁,负责计算机数据仓库软硬件产品及服务咨询的销售及管理工作;具备大中国地区从零布建销售、业务拓展的深厚实战经验。

文字内容
1. 在大数据应用爆炸的年代 从现状预见未来 分享人:Simon Yang
2. 一个典型的大数据应用诞生过程 寻找痛点 1 实施运维 5 BIG DATA 2 评估数据 选定平台 4 3 确定技术
3. 大数据产业 发展与繁荣
4. 数据人才 技术应用 生态体系
5. 数据人才
6. 我国大数据市场规模前景广阔 我国大数据市场规模(亿元) 41% 年均增长速度 578 234 168 84 116 2014年 2015年 数据来源:中国信通院,大数据市场调查报告 2016年 2017年E 2020年E
7. 大数据产业发展配套政策密集出台 • 截止2016年底,已有21个省区市明确出台大数据产业规划,4个省 出台相关规划和发展举措。 北京 上海 重庆 广东 浙江 江苏 吉林 辽宁 河北 陕西 山西 河南 甘肃 青海 四川 湖北 安徽 云南 贵州 广西 福建 内蒙古 黑龙江 湖南 海南
8. 大数据人才分布不均 • 全国大数据人才主要分布在经济发达的一二线城市及大数据行业 发展优先的城市,各地人才资源抓紧培养,保持和推进产业稳步 向前发展。 我国大数据人才区域分布比例 2% 11% 12% 28% 21% 26% 北京区域 上海区域 广州区域 四川区域 西北区域 其他区域
9. 大数据人才储备缺口严重 46万 当前我国 大数据人才缺口 数联寻英,大数据人才报告 14-19万 大数据科学家 人才缺口 麦肯锡 150万 未来3-5年 大数据人才缺口 数联寻英,大数据人才报告 150万 大数据分析师和经理 等决策岗位缺口 麦肯锡 1/3 目前大数据岗位 合适人员招聘比率 Gartner Group 90% 数学/经济学相关专业 硕士及以上学历 Burtch Research
10. 现有3000+公司的大数据使用情况 数据来源:麦肯锡 正在搭建大数据平台,处于测试阶段。 已经在生产环境实践大数据,并有成功用例。 已经做了足够的了解,开发准备就绪。 基本不了解。
11. 中国企业大数据研发团队规模 1000人以上 500-1000人 100-500人 50-100人 20-50人 10-20人 10人以下 数据来源:麦肯锡 11.70% 4.32% 10.72% 13.93% 25.77% 29.11% 4.46%
12. 几种大数据人才候选人特征 业务能力突出者 学校学历 工作经验 专业方向 技术潜力者 学校学历 工作经验 专业方向 技术能力 业务能力 无经验潜力者 学校学历 工作经验 专业方向 技术能力 业务能力 已经是综合领先者 学校学历 工作经验 专业方向 技术能力 业务能力 技术能力 业务能力
13. 立即着手培养企业大数据人才 • 从理解企业的业务开始要比从对于机器学习的理解开始来得更为 重要。找一个真正熟悉企业业务的人员,并教给这些人员相关的 分析能力。 • 找到那些现在还不是,但具备成长为超级巨星潜力的人才,他们 的教育和培训背景至关重要,考察对象集中在统计学,计算机科 学等相关专业,有时包括物理专业。 • Excel是学习大数据分析基本功能的一款入门级的学习工具,能够 快速学习并掌握Excel的人一定是大数据分析的潜在人才,他们对 于其他分析工具也能够快速上手。 • 通过建立一个导师计划,让有经验的专家来培训年轻人才,考察 一下那些可能只有本科学历的员工,看看他们是否对于数据分析 方面感兴趣。
14. 技术应用
15. 大数据技术的主要应用领域 金融 电信 医疗 政务 教育 工业 电商 农业 环保 生物 零售 媒体 公安 能源 交通
16. 对应的典型行业应用主题 风险 管控 流量 经营 临床 决策 智慧 社保 就业 预测 排产 计划 潜客 获取 产品 溯源 排污 管控 制药 研发 交叉 销售 节目 推荐 刑侦 反恐 设备 维护 智能 调度
17. 共同的大数据技术应用场景 替代升级传统数据仓库 流式数据处理应用 大数据技术 应用场景 数据挖掘与人工智能 交互式查询分析搜索
18. 大数据技术发展趋势 混合数据存储 基础 挖掘深度标签 融合数据库架构 核心 大数据 方向 技术 行业知识库 要素 关键 异构数据关联
19. 大数据技术发展趋势 基础 核心 方向 大数据 技术 要素 关键 混合数据存储 • 大数据存储一方面需要提供超大容量 的存储空间,另一方面需要支持对海 量数据的智能检索和分析。为了兼容 各种类型的大数据应用,大数据存储 需要提供混合的数据存储模型,支持 文件、对象、键值、块等多种访间接 口作为大数据技术的基础。
20. 大数据技术发展趋势 基础 核心 方向 大数据 技术 要素 关键 融合数据库架构 • 除了面向关系型数据库之外,面向各 类应用,接口灵活,功能丰富且高效 的NoSQL数据库也得到了蓬勃发展。 在应用类型多样、数据种类繁多的大 数据平台中,融合关系型数据库、列 数据库、内存数据库、图数据库等多 种数据库的混合数据库架构,方能满 足多种场景下的数据处理需求。
21. 大数据技术发展趋势 基础 核心 方向 大数据 技术 要素 关键 异构数据关联 • 各企业和机构的系统平台均累积了海 量的数据,这些数据结构各异且相对 独立,在没有建立起关联关系的情况 下难以进一步提升数据价值。将这些 多源异构数据进行关联和融合,挖掘 数据之间的相关性,能够为数据分析 奠定坚实的基础,最大限度地发挥数 据价值。
22. 大数据技术发展趋势 基础 核心 方向 大数据 技术 要素 关键 行业知识库 • 随着“互联网+”战略的实施,各产业尤其 是传统产业,纷纷进行互联网化转型。 在“互联网+”的浪潮下,面向多个行业, 深挖行业知识详情,构建行业知识库,形 成完整的行业知识体系,能有效推动数 据应用与价值落地,是产业互联网发展 的关键。
23. 大数据技术发展趋势 基础 核心 方向 大数据 技术 要素 关键 挖掘深度标签 • 数据挖掘越来越多地应用到各个行业, 使用数据挖掘技术而打造用户深度标 签,已经逐渐成为大数据技术应用的 热点。通过针对具体场景的数据挖掘, 深入分析用户行为,打造多层次、多 角度的用户深度标签,使得大数据应 用更加精准,业务能够更加贴近用户, 更好地满足用户的需求。
24. 跟着数据走的五个关键步骤 数据采集 1 数据存储 3 数据可视化 5 2 数据预处理 4 数据分析挖掘
25. 一款优秀大数据平台产品的必备素质 12345 共存 强大 迁移并存 RDBMS迁移 混搭架构 传统架构平滑过渡 …… 功能性能 数据挖掘 机器学习 混合负载 …… 灵活 快速 兼容 技术组件 开源组件调用 知识库引用 UDF运用 …… 零编码开发 大数据ETL 调度管理 平台运维 …… 传统技术 传统SQL 现有分析工具 已有接口 ……
26. 一个界面完成所有复杂设计与操作 • 场景示例:从多个政务系统数据源抽取数据,融合形成宽表,制作市民画像。
27. 新兴技术依旧从容上手 • 场景示例:对客户数据按不同规则进行分群,按贡献度进行筛选分类,导入不 同分析组件作为后续的数据输入。
28. 各种人性化细节设计 • 场景示例:点选标签直接锁定相关数据处理作业,快速定位问题或查看相关作 业运行情况。
29. 别人没有为你做到的,我们为你做到了。 ZEROCODE DATA HUB 场景融合操作 超强计算能力 插件扩展功能 全图形化界面 任意底层兼容
30. 生态体系
31. 大数据产业链的主体结构 以数据汇聚 而形成大数据 核心业态 大数据促进 信息产业各方面 集聚发展 驱动社会 各行业领域 效率与效益进步 核心 业态 关联 业态 衍生 业态 个人/政府/企业数据 采集/处理/存储/计算产品 政府/金融/交通/物流/… …… 电子信息制造 信息传输软硬件 信息技术服务 …… 工业4.0/普惠金融 人工智能/智慧物流 智慧交通/其他创新 ……
32. 大数据产业分类和商业模式 大数据产业的三大主要分类 0101101 1100101 1011010 数据服务 基础支撑 融合应用 数据交易 信息服务 第三方 数据服务 融合服务 软硬件 销售 多元化的商业模式
34. 基础架构 分析 企业与行业应用 分析与基础架构跨界 开源系统 数据源与接口 数据资源
35. 我们眼中大数据生态系统的各种角色 数据驱动的企业和跨领域创新者 系统开发与集成服务提供者 行业大数据方案提供者 分析软件提供者 应用软件提供者 数据服务提供者 基础平台软件提供者 大数据平台环境提供者 网络服务提供者 IT基础设施提供者 数据生产者 数据提供者
36. 为了大数据生态的共生共荣 政府 机关 • 政策扶持 • 技术创新 新兴 科技企业 • 专项资金支持 • 运营模式反馈 BIG DATA • 新旧技术融合 • 传统技术转型 • 现有客户推荐 • 合作实施共赢 需求 企业 • 业务咨询 • 方案设计 传统 科技企业
37. 大数据生态体系不断壮大的六字要义 ×× OPEN SHARE CREATE 开放 专注 创新
38. 通过不断地探索和实践前沿数据科技 提升行业效率和人类生活品质