王仿坤 - 中国电信灯塔大数据行业应用实践

CDAS 2017第4届中国数据分析师行业峰会定于2017年7月22日在北京中国大饭店举行。本次峰会分论坛众多,涉及大数据可视化、VR/AR、大数据金融等热点话题,深层剖析前沿技术和发展趋势;同时设立数十个优质展位,全方位展示企业发展成果,展现企业风采,扩大行业影响。并将吸引2000多名数据分析人士参会,为数据分析从业人员、互联网人士及行业相关人士提供具有价值的交流平台。

1. 灯塔大数据:技术创新与行业实践 王仿坤 2017年7月27日
2. 内容提纲 大数据行业发展 运营商大数据思考 灯塔大数据技术创新与行业实践 2
3. 大数据行业进入稳定发展期 学术研究 行业混沌 静观其变 择机出手 落地阶段 案例层出 市 萌芽期 过热期 幻灭期 场 持 云公司成立 内蒙云池建成 贵州云池建成 续 云公司大数据团队成立 升 温 北研布局大数据产业圈 , 价 值 不 点燃大数据热潮 断 显 现 4 2014年5月,美国白宫发布201 3 4年全球“大数据”白皮书《大数 据:抓住机遇、守护价值》 2 1  2013年4月,阿里收购友盟,参股新浪微博  2013年5月,阿里入股高德地图 2011 2012 2013 2014  2015年9月,国务院发 布《促进大数据发展的 行动纲要》 5 复苏期 6 发展期  2016年3月,《中华人民共和国国民经 济和社会发展第十三个五年规划纲要》 要求加快政府数据开放共享 习主席视察贵州信息园区 天翼大数据品牌产品发布 灯塔、旅游产品落地成功 政府大数据项目正式落地 云公司大数据开放平台 与新疆网运、乌市集成多次 推介大数据产品为战略合作 年中,硬件资源就位,乌市 项目机会展露 5月中旬,灯塔团队+市场研究部团队赴乌 鲁木齐集中撰写标书,并准备竞标 6月初,北研团队与新疆公司同事赴标场 唱标,中标 2015 2016 2017 3
4. 大数据技术体系日趋完善 • 2008年,Hbase第一个版本发布,标志着开源社区3架马车正式形成。 • 2011年,mapreduce由1.0升级至2.0,资源管理和任务调度从mapreduce拆分出来,作为独立子项目yarn 开始单独发展,mr仅作为yarn上的运行的计算框架,这为其它计算框架的百花齐放带来了机遇。 • 2016年,已经从传统的Hadoop三驾马车HDFS,MapReduce和HBase社区发展为60多个相关组件组成的 庞大生态,大数据技术体系已经发展比较完善,开源大数据架构日益丰富。 MapReduce: Simplifed Data Processing on Large Clusters Bigtable: A The Google File System Distributed Storage System for Structured Data 2003 2004 2006 4
5. 大数据的三个视角 融合 平台 智能 互联网+ 生态 大数据的三个方向 客户洞察 网络优化 智能网络 客流监测 政务大数据 消费大数据 能力平台 行业大数据 大数据三个方向涉及的关键词 5
6. 大数据平台的要素与趋势 能力 开放 微服务 云 能处理多源异构数 据,实现数据融合 增益的分析能力 对数据能力进行有 效封装,使用API 进行能力开放 平台及能力组件能 够快速部署和灵活 扩容 面向多源数据和多 种应用场景,打造 云化平台与能力 6
7. 运营商大数据核心价值:连接 运营商大数据在整个生态中充当重要的打通作用,其连接价值类似于“经线”和“纬线”,通过串联起不同行业的 数据,形成“地毯”效应,链接不同类型的数据源,通过融合,实现“1+1>2”的价值增益。 互联网数据 位置数据 企业自有数据 其他更多数据 物联网数据 大数据产业生态:运营商数据的连接价值 7
8. 以连接来实现数据融合与价值增益 以数据整合+打通+增值为核心,构建大数据生态圈。建立运营商内部多源数据融合分析与价值提升的技术及业务 体系,并寻求内外部数据打通,切入垂直领域,提供面向场景的大数据产品和服务,形成多方共赢的产业生态。 运营商数据价值体系 内外部数据融合 互联网 数据 线下WiFi 数据 物联网 数据 企业自有 数据 运营商外部数据 政务 金融 交通 旅游 教育 医疗 工业 其他 8
9. 灯塔大数据『4+1』产品体系 工作成效 新型智慧城市 综合治理 泛娱乐同源数据 解决方案 O2O领域 大数据客流洞察 Baymax大数据能力开放平台 农业云 解决方案 9
10. Baymax:打造运营商级大数据能力开放平台[1/2] 灯塔大数据通过长期技术积累,打造能力平台,实现数据质量控制、数据融合增益和数据能力封装,极大提高数据价值和数据可用性 数据 质量 异构 程度 噪声 比例 数据质量控制 数据源 A 数据源 D ID Mapping 数据源 B 数据源 C 数据融合增益 标准化API 定量刻画与预测 基础人与物关联 数据能力封装 10
11. Baymax:打造运营商级大数据能力开放平台[2/2] 能力开放API ID-Mapping 深度标签 关联挖掘 轨迹跟踪 数据可视化 内容爬虫 机器学习 实时计算 核心能力组件 任务调度 流式ETL 计算及集群管理组件 MapReduce Spark Storm Hadoop YARN 存储组件 Hive HBase MySQL Redis Neo4j OS 物理主 机 OS 物理主 机 OS 物理主 机 OS 物理主 机 OS 物理主 机 OS 物理主 机 云资源池 OS 物理主 机 OS 物理主 机 OS 物理主 机 Baymax平台架构 数据总量2600亿条,日增数据量5亿条 支持1000万级多维数据的秒级查询展现 支持10亿级多维数据的24小时内基础演算 支持100毫秒级的数据流处理 支持秒级完成10亿级边、1000万级节点的子图查 询运算 Baymax核心指标 11
12. 新型智慧城市综合治理[1/3] 基于电信用户位置数据和上网行为数据,服务于政府部门的城市管理、区域洞察、治安维稳、交通旅游等领域 实时人口热力图 人口详细统计分析 GeoInsight产品界面:人口密度综合视图 12
13. 新型智慧城市综合治理[2/3] 基于电信用户位置数据和上网行为数据,服务于政府部门的城市管理、区域洞察、治安维稳、交通旅游等领域 区域实时人口分布图 区域人口详细分析 GeoInsight产品界面:重点区域人群监测 13
14. 新型智慧城市综合治理[3/3] 基于电信用户位置数据和上网行为数据,服务于政府部门的城市管理、区域洞察、治安维稳、交通旅游等领域 T+1疆外人口迁入图 T+1疆内城市间人口迁徙图 GeoInsight产品界面:外来人口监测预警 14
15. 泛娱乐同源数据解决方案[1/3] 用户圈定 根据需求圈定 目标人群 用户洞察 分析圈定人群 行为特征 媒体渠道 投放 媒体/节目 商业价值 圈定人群使用的 媒体渠道排名 媒体、电视剧、 电影、综艺节目 的商业价值排名 收视指数 排行 广告效果 评估 圈定人群在电影、 电视剧收视排名 各类电影、电视剧 广告转化率等指标 15
16. 泛娱乐同源数据解决方案[2/3] 16
17. 泛娱乐同源数据解决方案[3/3] 17
18. O2O领域大数据客流洞察[1/2] 将用户线下的位置信息关联用户的线上行为,服务于区域人口洞察、店铺选址、客流分析等一系列地理方向的应用 物联网 移动互联网 大数据 运营商 互联网 O2O客流洞察的数据融合 线上 线下 50% 线下客流到访时间、停 留时长等人流信息监测 50% 线上行为标签画像、 商业价值、风险评估 O2O客流洞察主要功能 18
19. O2O领域大数据客流洞察[2/2] 将用户线下的位置信息关联用户的线上行为,服务于区域人口洞察、店铺选址、客流分析等一系列地理方向的应用 O2O客流洞察产品界面 19
20. 农业云解决方案[1/3] 智慧放牧 对养殖企业或牧主来讲,如何 利用科技手段降低人工养殖成 本、降低意外风险、改善工作 条件,实现智慧放牧与规模化 管理? 对上新兴的网上养羊/牛模式, 企业预售领养,如何实现消费 者可远程随心所欲地查看到所 领养牛羊的生长、活动、及视 频等,让其真正体验到网上领 养乐趣,吸引更多认养者参与? 溯源管理 对消费者来讲,如何对确保自 己吃到的牛羊肉是绿色的?如 何能看到其从出生、生长、出 栏、检疫整个全过程的详细数 据? 对于养殖企业来讲,如何向消 费者采用一种简单易行的方式 证明自己养殖的牲畜是纯散养 的、有机的? 对政府质监部门来讲,如何配 合政府部门进行食品安全监管? 科学监管 对各个环节采集到的数据进行 计算分析,输出各类分析指数、 统计图表,进行多种形式的数 据可视化展示。为提高生产效 率、降低成本、增加收益、科 学管理服务 对企业全产业链数据,结合行 业、政府、运营商数据进行深 入挖掘分析,输出专业性专题 报告和数据服务。 草原 生态 牧场 智慧 绿色 畜牧 卫生 检疫 生产 加工 绿色溯源 餐桌 20
21. 农业云解决方案[2/3]  承载不同目标客户价值  交易平台方:网上养牛(羊)消费者  畜牧企业/牧主  政府畜牧厅  保险公司  系统核心组成部分  小牧童数据采集终端,采集牛马等牲口位置 及温度等信息,上报服务平台  小牧童用户App,提供用户侧溯源信息采集 及业务使用等  小牧童运营服务平台,提供采集数据接收、 业务运营管理及第三方数据服务  溯源服务系统,在小牧童运营服务平台基础 上面向消费者和认养者等提供绿色溯源和网 上养牛(羊)的服务系统 第三方平台 数据服务接口 外包装盒 绿色溯源服务系统 小牧童服务平台 标准化接口 终端 佩带 小牧童APP 21
22. 农业云解决方案[3/3] 终端编码做为牲口唯一标识,从出生、出栏到消费者餐桌,一证到底,不是耳标,超越耳标 为每一头牛羊佩戴物联网终端,终端设备编号,即条码,做为牛羊唯一标识,对牛羊从出生到出栏的整个 过程包括牛羊基本信息、草场信息、牧民信息、生长信息 、位置信息、活动轨迹信息、视频图像信息、卫生 卫生防疫、检验检疫等进行全程记录,建立完整的电子档案,并应用于智慧放牧、绿色溯源、科学监管等。 环境 信息 草场 信息 牛羊基 本信息 牧民 信息 位置 信息 生长 信息 活动 轨迹 视频 图像 卫生 防疫 检验 检疫 22
23. 感谢观看 欢迎交流

相关幻灯片