代其锋 百分点ToB业务如何破局

文字内容
1. 百分点 ToB 业务如何破局 代其锋 百分点资深架构师
4. About The SPEAKER 代其锋 百分点资深架构师 • 教育经历:哈工大本科,中科大硕士 • 工作经历:百分点(北京)-> 科大讯飞(合肥)-> 百分点(杭州) • 现状:百分点-海外事业部-技术管理
5. TABLE OF CONTENTS 大纲 • 转型之痛 • 技术建设 • 组织建设 • 总结
6. 发展路线 l 国内企业级服务 l 本地化交付为主 l 大数据&人工智能解 决方案 2009 2010 2011 2012 2013 2014 2015 2016 2017 NOW l 推荐服务 l 扩展海外业务 l SAAS模式 l 形成了国内、海外、SAAS业务线
7. SAAS服务 业务场景 业务流程 用户行为 浏 览 客户 研发经理 浏 览 l 人员: 10+ l 周期: 5~10天 购物车 此时该推荐什么? 产品 业务目标 提流量 保利润 去库存 前后端开发
8. 业务转型 • 2013年 电商泡沫,经过一轮市场洗牌,只剩下少数巨头 • 推荐是个大应用,但不是个大生意 百分点在大数据方面的积淀 + 企业对数据应用的需求 赋能企业数字化转型
9. 初尝企业级交付:用户画像+推荐 社区 经营策略规划 用户档案管理 业务 支撑 标签 画像 会员信息 会员关怀 销售 产品研发 供应链 服务需求与满意度管理 营销活动策划 销售预测 需求管理 生产预测 O2O 产品设计 产能负荷优化 核心用户发展 会员积分 会员特权 800热线 维修 广告投放 生命周期管理 积分 会员等级 会员营销 服务运营拉通分析 知识应用 营销效果评估 体验优化 活动 运营质量分析 会员消费分析 会员价值分析 精准产品推荐 竞品分析 1项目经理+3咨询顾问+20现场技术+30后方技术 数据服务 人口属性 互联网问题 投入: 运营KPI分析 2014.11.01 群体细分检索 个体画像信息检索 上网特征 营销特征 内容偏好 购物偏好 企业触点 用户Match Key ~ 2015.7.1 内容推送服务(EDM/短信) 需求 社交图谱 社交领域 用户基本信息 一些问题: 数据统计 服务领域 会员 (VIP) 用户类型 组合标签 姓名 性别 线上购买 线下购买 产品型号 手机号 邮箱 年龄 职业 服务维修 热线问题 传播名 线上行为 (浏览/点击) 网络别名 活动参与 积分 … 文档质量差:格式不统一;按照文档执行不下去 补录标签 产品数据 用户账号 博、QQ等) 接触销售渠道用户: 包括线下购买(华为可管理门店) 线上购买(华为可管理电商) 精准推荐 IMEI 后方支持不到位:软件包不匹配现场环境;响应不及时 第三方账号(微 社交言论 级别 地域 Cookie 接触服务渠道用户: 热线、维修、自服务 产品情感 用户行为数据 流程执行比较混乱:设计没有评审;不经过测试直接上线 注册用户) 数据 拉通 营销 用户细分 阵地舆情 应用 服务 会员 用户 画像库 手机端行为 分工不明确:没有专业测试和运维;研发干测试和运维的活 第一方数据 数据源 产品 库存 官网 CRM HR 产品用户行为 第二方数据 ERP 社区 官微/官博 维修 上称 广告投放 自营商城 消费者微博 大V 第三方数据 竞品信息 淘宝、京东销售 网络舆情 DP标签库
10. 痛! • SAAS 服务 vs 企业级交付 有何异同? SAAS 服 务 企业级交付 客户需求 开发人员 研发经理 客户需求 • 整个过程以研发驱动 • 价值体现:数周 • 交付内容:产品 业务经理 产品开发&部署 项目经理 产品经理&架构师 商务经理 交付 开发 • 如何梳理客户需求并传达给产品? • 怎么应对需求变化? 服务 • 整个过程以项目为驱动,需求梳理过程蛮长,定制化程度高 • 如何统一代码、文档等规范?怎么才能不延期? • 价值体现:数月或数年 • 如何协作好大家的工作? • 交付内容:文档、系统、培训、运维保障 • 如何照顾好大家的情绪? • ……
11. 当前我们的业务 业务增长约 10 倍 人员:150 -> 800 交付项目数(每年 ):少于 10 -> 大于 100 要做好 ToB 业务,我们需要一种全新的思维!
12. TABLE OF CONTENTS 大纲 • 转型之痛 • 技术建设 • 组织建设 • 总结
13. 百分点技术体系 智能分析和决策系统 基于大数据的商业智能(BI) 数据 分析 展现 数据 建模 交互式报表分析 多维分析 自动报告 时序分析 以认知和决策为核心的人工智能(AI) 数据共享交换 维度模型 动态维度生成 可视化ETL SQL过程 数据 接入 一方数 据探头 智能 标签 + 动态 知识 图谱 ETL 混合型数仓建模技术 范式模型 模型 工场 搜 索 数据 服务 GIS分析 数据共 享交换 开放数 据抓取 云平台技术 程序脚本 编 排 和 调 度 事件预测 价值评估 用户画像 群体洞察 安全 态势感知 其他 个性化推荐 自动化营销 图谱搜索 图谱API 图谱分析扩展接口 数据版本管理 数据权限控制 数据编辑管理 异构数据本体映射 情感分析 实体融合 ETR+ETT模型 动态本体管理 自然 语言 理解 决策 应用 SaaS环境 自动分类和标签 词语义计算 句子语义计算 标签融合 模糊语义 热点抽取 分词 可视化操作平台 管理 数据生命周期 OLAP 分析 存储 命令行界面 事件识别 Hive 数据处理框架 HDFS 元数据 Kylin Presto 数据质量 Spark SQL Hadoop MR Kafka 应用开发SDK OLTP Pheonix Spark HBase 数据建模 自动摘要 语义角色分析 多语言 支持 图计算 Spark GraphX Spark Streaming Codis MySQL RESTful API 数据开发 统计 分析 R 任务调度 机器 学习 Storm Neo4J Spark MLLib TensorFlow ElasticSearch KHan DNS VPN DevOPs 弹性对象模型 大数据全栈技术 交互 高可用 关系融合 模糊推理 命名实体识别 负载均衡 持续集成 持续部署 RPM镜像 Docker镜像 IaaS基础 PaaS基础 OpenStack Sextant KVM Docker 租户和项目 Ceph 基础服务 统一认证 统一权限 监控 报警 日志审计 外部接口管理 操作系统适配 RedHat CentOS KylinOS CoreOS
14. 百分点技术体系 智能分析和决策系统 基于大数据的商业智能(BI) • • • 集成多种主流接入方式,满足企业第一二三方数 据的汇聚需求 支持亿量级终端、十万量级并发的行为数据采集 支持每天亿量级互联网开放数据的采集,99%的 采全率,97%以上的采准率 支持企业主流数据库系统,每天TB级别数据采集 数据分析展现 • • • • 支持主流关系数据库和大数据数据组件 支持拖拽式的可视化数据处理和分析,无需编程 支持灵活的多维分析,支持时间序列分析,支持 地理空间分析 支持数据源、指标、维度和图表之间的灵活关联, 自动生成数据报告 • • • • • SaaS环境 以认知和决策为核心的人工智能(AI) 数据建模和处理 数据接入 • 云平台技术 自然语言理解 每月实施项目:50+ 项目人员:2~40 项目周期:6个月~24个月 数据服务 百分点独特的混合型数仓 建模技术 动态维度生成技术,支持 灵活扩展的维度模型 基于数据语义的可视化ET 技术,自动生成ETL程序 支持亿量级数据实时搜索 支持文件导出、数据库导 出、邮件、数据API等主 流数据服务方式 网闸、SSL证书、数据脱 敏、加密等多种数据保护 措施 • • • • 分词准确率超过96%,新词发现率超过67%, 无需人工标注 命名实体识别准确超过92%,无需手工标注 情感分析准确率超过88% 支持十余种语言,且无需人工标注即可达到很好 的效果 模型工场 • • • • 智能标签+动态知识图谱 • 支持实体、关系、标签、实例等多种语义元素, 内置时间和空间等先验语义,支持模糊语义 “先同构再融合”的多源异构数据融合技术 数据多版本管理,支持对知识图谱的变更 基于数据源的ACL数据权限控制,保障数据安全 支持十亿量级图谱上的实时搜索和数据分析 顶尖的科学家和行业专家 国内一流的数据科学团队 针对政府、公安、媒体出 版、金融、智能制造等领 域的数百个业务模型 模型实战效果显著 决策应用 • 高度集成 • • • • • 中台:百分点有什么样的技术中台?如何满足各项目需求?• 协作:研发、测试、运维如何协作以提高交付效率? • 拉通:项目组众多,如何做技术拉通? • • • • • • 整合业内最常用和最成熟的大数 据组件 集成流行的数据处理框架 支持批量、流式、DAG多种任务 方式 满足T+1、秒级、毫秒级等多种 数据处理时效需求 • • • • 百分点自有的成熟数据生命周期 管理技术 完整的数据仓库建模工具套件 可视化机器学习建模套件 丰富灵活的数据质量校验技术, 支持字段、数据表、数据库三级 层次的数据质量管理 • KHan数据库 数据治理 • • • • • 自主研发的分布式分析型数据 库 高速数据分析,比Hive快24 倍,比Impala快4倍 支持标准SQL和多种SQL方言 支持Oracle PL 分布式,支持PB级别数据量 平台管理 • • • • • 支持管理员、租户和用户三级用 户权限 支持文件、数据库、数据表、字 段多层次的数据权限控制 支持系统、应用、功能、表单等 多层级的功能权限控制 可视化快速部署 可视化操作和运维 行业认证 【国标委大数据标准】 【数据中心联盟功能认证】 【数据中心联盟性能认证】 【中标麒麟兼容性认证】 支持高并发、高可用 支持智能DNS和VPN通道 支持防DDoS、入侵检测 等多种应用安全 DevOps 与政府治理、公共安全、 营销等场景契合的应用 服务数千个政企客户 大数据全栈技术 • • • • 基于RPM和Docker的软 件分发方式 Git+Jenkin+Docker+ Sextant的持续集成和持 续部署方式 提高研发标准化水平,降 低运维成本 Sextant 自主研发的Kubernetes 发行版 基于 CoreOS+Docker+K8S, 实现全自动集群部署和弹 性扩展 操作系统适配 • 产品和解决方案已通过 RedHat、CentOS、 KylinOS、CoreOS等多 个主流操作系统测试验证
15. 百分点技术建设方案 数据应用 技术中台 解决方案 具备数据应用技术中台能力 • 打造百分点数据应用技术中台能力:大数据平台 、AI 平台、系统管理等 体系化 Devops 能力 技术建设 方案 产品研发的落地,需要一整套全面的研发方法论支撑 • 项目交付的核心是提高产品研发效率,Devops 通过自动化方式, 极大提高整体能效 • 研发了 Sextant 云平台工具,解决自动化运维的问题 全面 技术拉通 全面深度的技术拉通,为百分点跨行业和团队提供能力升级 • ToB 业务涉及项目多和人员调度频繁,需要高效协作、知识传承 • 建立百分点技术委员会,拉通各项目组的技术栈 • 统一研发规范、开源共享
16. 技术中台:What & Why • ToB 技术中台以能力为主,打通各个业务的技术能力 提高交付效率 通用技术平 台,能在各个 项目进行复用 产生客户价值 提高交付质量
17. 技术中台:组织模式 事业部 业务线1 业务线2 项目1 业务线沉淀 中台支持 项目2 中台支持 客户 业务线N 商业化
18. 技术中台体系 前端业务 公安 数据开发 用户中心& 权限对接 多媒体 数据存取 用户中心 ETL 开发 日志检索 任务调度 血缘分析 政府 流程审批 业务中台 ETL 工程师 数据平台 制造 融媒体 AI 中台 权限管理 单点登录 职位管理 角色管理 资源管理 组织管理 用户信息 个人 权限管理 角色 权限管理 OSS AI 应用 流程引擎 多媒体存储 图像处理 表单定义 Bucket管理 访问控制 流程配置 情感分析 事件识别 自动分类和标签 自动摘要 词语义计算 命名实体识别 热点抽取 多语言支持 句子语义计算 分词 语义角色分析
19. 技术中台:收效 大数据平台 应用于社交网络数据、 电商数据、舆情数据等 分析产品 AI 中台 流程引擎 应用于舆情、智能问 应用于HR、政府决策 答、知识图谱等产品 等项目 用户中心&权限管理 已在50多个项目使用, 节省成本超过 1000人 月
20. 百分点 Devops 历程 阶段一:开发运维各自为战 开发 阶段二:自动化构建 开发 阶段三:集成 Docker 的CI/CD 构建 开发 代码构建 运维部署 Jenkins 自动化构建&部署 镜像存储 测试 部署上线 部署慢:部署靠人工,效率低 互相依赖:开发、测试都依赖运维,可 能找不到人 测试 部署上线 部署脚本复杂:开发编写,工作量大,部分人对 SHELL 不熟悉 环境冲突:多个服务共用同样机器,Java版本, Python包等冲突 安装包:需要手动安装软件包 应用部署 配置管理 监控报警 分 钟 级 别 完 成
21. Devops 流程(Docker+K8S)
22. Devops:Sextant
23. Devops 成效 部署快 上线 应用数 100+ 因环境 失败降为 0 成功率 提高 从1小时缩短 到5分钟 集群利 用率高 协作效 率高 集群共享, 节省资源 60% 研发&运维:无相互依赖 运维专注工具化 研发专注业务系统
24. Devops 的未来:数据化运营 计算项目资源&成本 • 计算每个项目使用资源和成本 质量度量 • 量化团队的的质量报告,辅助绩 效评估 智能运维 • 预测系统故障,提前预警 • 预测系统资源使用,提前预警 • 对日志分析,评估系统监控 • 性能分析,调用关系链分析 智能建议 • 资源建议:根据系统访问量, 资源使用等给出资源建议 • 访问趋势建议:对空闲资源给 出建议(如回收)
25. 技术拉通 技术拉通就是要定标准,定规范, 便于大家高效协作、知识传承
26. 技术拉通:组织驱动 技术管理委员会 •拉通3大业务线,近10个事业部 •按照技术栈成立7个小组 各业务线委员 SA AS 业 务 线 融 媒 事 业 部 政 府 事 业 部 大 数 据 平 台 事 业 部 专家组 •采用双周会,讨论技术规范、技 术分享等 … … 前 端 组 算 法 组 应 用 组 运 维 组 测 试 组 大 数 据 组 数 仓 组
27. 技术拉通:统一技术栈 c/c++ django/php Java/python/go svn/git 编程语言/工具 Java/python react git 编码规范 Java 规范 Python 规范 提交审查 Java/Python/JS inspection 前端规范
28. 技术拉通:协作方式 文档 沟通 需求/BUG • Wiki 记录:一切都采用 wiki 作为文档记录工具 • zoom us:能在一起沟通的不要网络;能视频分享的不要口头沟通 • 翻译工具:自研翻译工具,便于大家协作使用 • 自研 PMP:项目管理工具,拉通产品-研发-测试
29. 技术拉通:开源协作 • • • CBB ( Common Building Block ): 指一项可复用的软件资产,是构成软件系统的一个独立 的模块或组件互相依赖 规范了:大数据组件、数据库组件、前端组件等 内部开源: 自动化 安装服务 HARPC License 服务 正则库 前端 组件库 ID 生成库 微服务 配置中心 监控中心
30. TABLE OF CONTENTS 大纲 • 转型之痛 • 技术建设 • 组织建设 • 总结
31. 组织建设思路 思想 指导 方法 落实 技能
32. 组织建设:思想 统一思想:我们不抢占思想阵地, 就会被别人抢占 内容:为客户创造价值、成本意识、思想宣传 学习分享 谈话 团建 提高凝聚力 文化价值观:正直、坚韧、超越、 了解大家对公司业务、制度、绩 团队精神、为客户创造价值; 效、福利等方面的想法; 释放压力 让每个人都参与其中,分享故事, 拉近感情&职业指导 增进了解 拒绝说教 落地:统一指导、分头行动 由组织发展部牵头
33. 组织建设:方法
34. 组织建设:方法
35. 组织建设:技能 管理培训 软实力培训 技能培训 针对研发中层,提高管理水 平,内容包括 如何开会、如 何做计划、如何高效合作等 针对全员培养大家综合能 力,内容包括 高效沟通、冲 突解决等 提高大家的技术水平,内容 包括 微服务实践、高并发实 践、机器学习等
36. 组织建设:技能
37. 组织建设落实 思想 组织发展部 核心班子 + QA组 运营组 技术管理委员会 方法 技能
38. TABLE OF CONTENTS 大纲 • 转型之痛 • 技术建设 • 组织建设 • 总结
39. 总结 修炼 • ToB 业务注重效能和价值落地,不仅要技术 过硬,还需要极强的组织管理能力 技术内功 • 企业级交付不是一锤子买卖,需要以客户为 中心做好服务支持 打通技术栈和流程 思维升级:思想/方法/技能