腾讯游戏运营安全团队负责人关义春-海量业务场景下个性化安全运营之道

平采波

2017/11/14 发布于 技术 分类

从技术运营到运营安全,“鬼知道我经历了什么”,一起来聊聊从运维与安全的那些“八卦”。

文字内容
2. 海量业务场景下的个性化安全运营之道 关义春 腾讯游戏运营安全团队负责人 GOPS 全球运维大会2017·北京站
3. 目录 1 自我介绍 2 今日主题 3 运营安全案例 4 挑战 5 过去的努力 6 新方案及效果 GOPS 全球运维大会2017·北京站
4. 自我介绍 1. 运维 ü DNF/御龙/三国/飞车等数十款端游 ü 火影/七雄等数十款手游 ü 运维自动化、开放接入游戏等系统设计 2. 运营安全 ü 应用运维安全 ü 游戏经济系统安全 ü 审计支持 3. 与游戏结缘 GOPS 全球运维大会2017·北京站
5. 目录 1 自我介绍 2 今日主题 3 运营安全案例 4 挑战 5 过去的努力 6 新方案及效果 GOPS 全球运维大会2017·北京站
6. 今日主题 游戏运营中的内外部安全挑战和应对 • 外部挑战 • 游戏的玩法多样性、设计复杂性、运营动态性 • BUG、外挂等影响经济系统平衡的因素 • 内部挑战 • 误操作、设计失误等影响游戏口碑的因素 • 应对之道 GOPS 全球运维大会2017·北京站
7. 目录 1 自我介绍 2 今日主题 3 运营安全案例 4 挑战 5 过去的努力 6 新方案及效果 GOPS 全球运维大会2017·北京站
8. 影响运营安全的案例1 • 某游戏的寄售商店中,可直接批量刷取游戏中任意道具、装备 与宝石。 GOPS 全球运维大会2017·北京站
9. 影响运营安全的案例2 • 某游戏上线了一个礼包活动,玩家可以用100元购买到几千 个礼包,超出预设几十倍。 GOPS 全球运维大会2017·北京站
10. 影响运营安全的案例3 • 某著名游戏,两对后端redis failover失败,导致部分数据丢失,充值活动的奖 励,本来只能领取一次的,因为记录被清除了,可以重复不断领取。 GOPS 全球运维大会2017·北京站
11. 影响运营安全的案例4 • “XXX并不像撸啊撸,只要你有时间就能一直玩下去。体力不可能凭空而来,花钱买体力花时间刷 体力,结果却让人绝望。玩家的爱意变成恨意,对游戏的坚持变成了对游戏开发者的疑虑。 “ GOPS 全球运维大会2017·北京站
12. 一个有意思的思考 • 截图来自知乎truennfan 链接:https://www.zhihu.com/question/23713015/answer/25960703 来源:知乎 GOPS 全球运维大会2017·北京站
13. 问 • 测试、防误操作、预警、快速响应机制到用时方恨少? • 这些措施都做到了,就能止住这些严重问题的发生吗? GOPS 全球运维大会2017·北京站
14. 先定个小目标 • 尽早发现 运营期隐藏缺陷及导致经济体系失衡的异常 • 把搞事的人抓出来!保障玩家爸爸的权益和体验! • 把隐藏的Bug抓出来!保障玩家爸爸的权益和体验! • 再说一次,玩家爸爸的权益和体验很重要 GOPS 全球运维大会2017·北京站
15. 目录 1 自我介绍 2 今日主题 3 运营安全案例 4 挑战 5 过去的努力 6 新方案及效果 GOPS 全球运维大会2017·北京站
16. 游戏安全运营的挑战 • 复杂性 • 运营流程长,产生问题的环节多 • 动态运营 • 一些“不小心” • 海量 • 海量业务 • 海量支撑系统 • 海量数据 • 海量角色 GOPS 全球运维大会2017·北京站
17. 复杂性之一 • 运营流程长 GOPS 全球运维大会2017·北京站
18. 复杂性之二 • 动态运营 • 多、快、杂 • 好的游戏都是改出来的 • 历史包袱 • “真的好不容易不出bug!” GOPS 全球运维大会2017·北京站
19. 复杂性之三 • 一些“不小心” • 某大型游戏,运营人员通过测试接口给正式环境发放钻石11亿,原因是 UserID和钻石的Value填反了 • 某大型游戏,10xx大区脚本错误,导致该区玩家每升级一次,再购买首 冲的8元就能获得首充礼包 •… • “玩家爸爸不爽了!” GOPS 全球运维大会2017·北京站
20. 海量挑战之一 • 海量业务 • 人员角色的多样、复杂 • 开发框架的各式各样 • 海量数据的存储、使用 GOPS 全球运维大会2017·北京站
21. 海量挑战之二 • 海量支撑系统 • 业务需求多样性 • 运营管理便利性、效率 • 接口复杂性 • 授权的开放与回收 GOPS 全球运维大会2017·北京站
22. • 游戏运营极其复杂、节奏极其快! • 游戏是极具个性化的业务! • 除了做好开发流程中的规范、保护措施,运营阶段的异常快速发 现能力十分重要,它真实反映了用户侧正在发生的事! GOPS 全球运维大会2017·北京站
23. 目录 1 自我介绍 2 今日主题 3 运营安全案例 4 挑战 5 过去的努力 6 新方案及效果 GOPS 全球运维大会2017·北京站
24. 过去的努力 • 基础保障 • 日志规范:游戏日志、支撑系统日志、流水号 • 流程规范:开发测试规范、应急响应规范 • 权限管理:最小化授权、定期审计 • 监控告警 • 依赖策划表 • 固定阈值 • 纯手工配置 GOPS 全球运维大会2017·北京站
25. 旧方案的效果吃力不讨好 • 告警压死人 • 问题发现不了 • 还被骂死 GOPS 全球运维大会2017·北京站
26. 目录 1 自我介绍 2 今日主题 3 运营安全案例 4 挑战 5 过去的努力 6 新方案及效果 GOPS 全球运维大会2017·北京站
27. 新思路 • 不把个性化当个性化 • 借助自动学习的思路解决个性化问题 GOPS 全球运维大会2017·北京站
28. 阶段一 提升发现问题 能力 监控能力建设 告警分析能力 建设 精细化运营 技术架构改进 新监控模型 GOPS 全球运维大会2017·北京站
29. 技术架构 GOPS 全球运维大会2017·北京站
30. 重要监控模型 * 频率异常 趋势异常 日志 分区差异 持续性 单条产出 GOPS 全球运维大会2017·北京站
31. 阶段二 提升发现问题 能力 监控能力建设 告警分析能力 建设 精细化运营 辅助维度 离线分析工程 GOPS 全球运维大会2017·北京站
32. 告警分析能力 GOPS 全球运维大会2017·北京站
33. 阶段三 提升发现问 题能力 监控能力建 设 告警分析能 力建设 精细化运营 业务快速接 入 告警处理 GOPS 全球运维大会2017·北京站
34. 精细化运营 手游:所有游戏全部接入 GOPS 全球运维大会2017·北京站 星级手游接入 14% 86%
35. 平均每个业务每周接收告警量1~2个 GOPS 全球运维大会2017·北京站 告警分级情况 249 938 一级 二级
36. 建立了完整的案例库 召回率:88% GOPS 全球运维大会2017·北京站 BUG发现情况 12% 88% 未发现 发现
37. 效果 • 阈值自动化学习,接入成本从1天降到5分钟 • 发现量从个位数上升到百位数 • 告警确认时间从4小时降低到20分钟 GOPS 全球运维大会2017·北京站
38. 效果 • 1-2玩家“搞事“的时候发现问题 • 解决“海量”、“个性”带来的障碍 GOPS 全球运维大会2017·北京站
39. 欢迎交流 GOPS 全球运维大会2017·北京站
40. 会议 培训 咨询 • 8月18日 DevOpsDays 上海 • 全年 DevOps China 巡回沙龙 • 11月17日 DevOps金融上海 GOPS 全球运维大会2017·北京站 • EXIN DevOps Master 认证培训 • DevOps 企业内训 • DevOps 公开课 • 互联网运维培训 • 企业DevOps 实践咨询 • 企业运维咨询 商务经理:刘静女士 电话 / 微信:13021082989 邮箱:liujing@greatops.com
41. Thanks 高效运维社区 开放运维联盟 荣誉出品 GOPS 全球运维大会2017·北京站
42. 想第一时间看到 高效运维社区公众号 的好文章吗? 请打开高效运维社区公众号,点击右上角小人,如右侧所示设置就好 GOPS 全球运维大会2017·北京站