张乾 - 数据中心操作系统
登录发表评论
文字内容
1. GOPS 全 球 运 维 ⼤大 会 2 0 1 8 2018.4.13-4.14 中国·⼴广东·深圳·南⼭山区 圣淘沙⼤大酒店(翡翠店) G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
2. 数据中⼼心操作系统DC/OS 张乾 Mesosphere资深软件⼯工程师 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
3. ⽬目录 1 DC/OS内核Mesos的基本介绍 2 Mesos对容器器的⽀支持和推动 3 微服务概述 4 DC/OS如何⾼高效部署和管理理微服务 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
4. Mesos概述 1. Apache基⾦金金会下顶级开源项⽬目 • 发起于加州⼤大学伯克利利分校的AMP实验室 • 将多台机器器的CPU、内存、磁盘以及各种计算资源抽象并管理理起来 • 把计算资源提供给上层计算框架来创建任意类型的任务 • Mesosphere是⽀支持并维护Mesos的商业公司 2. 主要功能 • ⽀支持Linux、macOS,即将⽀支持Windows • ⽀支持超过20000个计算节点的超⼤大规模集群 • ⽀支持Docker container • 多维资源调度,包括:CPU、内存、磁盘、⽹网络端⼝口等 • 提供Java、Python、C++和HTTP的编程接⼝口 • 提供基于Web的图形化界⾯面 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
5. Mesos在业界的应⽤用 近100家公司/组织正在使⽤用Mesos 超过20个计算框架运⾏行行在Mesos之上 1. Long Running Services Aurora, Marathon, Singularity, SSSP 2. Big Data Hadoop, Spark, Storm, Exelixi, Dpark 3. Batch job Chronos, Jenkins, JobServer 4. Data Storage Cassandra, ElasticSearch, Hypertable G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
6. Mesos可运⾏行行在各种主流计算平台之上 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
7. Mesos架构 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
8. DEMO Launch Mesos Cluster G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
9. ⽬目录 1 DC/OS内核Mesos的基本介绍 2 Mesos对容器器的⽀支持和推动 3 微服务概述 4 DC/OS如何⾼高效部署和管理理微服务 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
10. 什什么是容器器 1. 轻量量级 • 更更少的系统消耗 • 更更快的启动速度 2. ⾼高密度 • 单台服务器器可运⾏行行成百上千个容器器 3. 标准化 • 打包⼀一次,四处部署 4. 核⼼心技术 • Cgroups:资源限定 • Namespace:资源隔离 • Layer-basedFS:镜像⽂文件共享 5. 容器器的本质 • ⼀一个或⼀一组使⽤用了了cgroups做资源限定、使⽤用了了 namespace做资源隔离、且使⽤用了了镜像⽂文件做根⽂文 件系统的进程。 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
11. 容器器三⼤大标准规范 1. OCI(Open Container Initiative):专注于容器器镜像⽂文件 格式和容器器⽣生命周期管理理的规范,⽬目前已经发布了了1.0的版 本。
2. CNI(Container Network Interface):专注于容器器⽹网络⽀支 持的规范,⽬目前已经发布了了0.6.0版本。
3. CSI(Container Storage Interface):专注于容器器存储⽀支 持的规范,⽬目前还在草案阶段。 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
12. Mesos对容器器的⽀支持 1. 核⼼心组件:containerizer • 位于Mesos agent和container之间 • 创建、更更新、销毁容器器 • 上报容器器的状态信息和资源使⽤用统计信息 2. Docker containerizer • 调⽤用Docker命令⾏行行将创建容器器的请求交由 Docker来处理理 3. Mesos containerizer • 完全⾃自主实现的容器器引擎 • 全⾯面⽀支持三⼤大容器器标准规范 • 插件式的架构,易易于扩展和定制 • 极⾼高的稳定性,⻓长期在超⼤大规模的⽣生产环境 中使⽤用 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
13. DEMO Launch Container G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
14. ⽬目录 1 DC/OS内核Mesos的基本介绍 2 Mesos对容器器的⽀支持和推动 3 微服务概述 4 DC/OS如何⾼高效部署和管理理微服务 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
15. 企业级软件系统的演进 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
16. 微服务 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
17. 微服务架构简介 ❖ 微服务架构的基本准则 • 把单个⼤大型软件系统分解为多个相互协作且可独⽴立部署的服务 • ⼀一般来说,服务之间通过REST协议进⾏行行交互 • 运⽤用CI/CD的⽅方式对单个服务进⾏行行快速⾼高效的开发 ❖ 微服务架构带来的优势 • 提升开发效率:多个团队可同时并⾏行行开发多个服务组件。 • 解除紧耦合:每个服务可以独⽴立上线部署和升级。 • 节省资源:仅对处于性能瓶颈的服务单独进⾏行行扩容。 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
18. 微服务架构带来的挑战 ❖ 各个微服务对资源的使⽤用要求可能都不不尽相同 • Spark在执⾏行行任务时需要尽可能多资源。 • Kafka消息队列列运⾏行行时所需的资源根据要传递的消息量量⽽而动态变化。 • Cassandra需要相对稳定数量量的资源来存储数据。 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
19. ⽬目录 1 DC/OS内核Mesos的基本介绍 2 Mesos对容器器的⽀支持和推动 3 微服务概述 4 DC/OS如何⾼高效部署和管理理微服务 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
20. Mesos的两层调度模型 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
21. DC/OS G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
22. DC/OS G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
23. DC/OS Dashboard G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
24. DC/OS应⽤用市场 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
25. Thanks ⾼高效运维社区 开放运维联盟 荣誉出品 G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
26. 想第⼀一时间看到⾼高效运维社区 的新动态吗? G O P S 全 球 运 维 ⼤大 会 2 0 1 8 · 深 圳 站
-
1
刘剑利-乐信在消费金融领域的数据库运维实践
穆童彤
-
2
唯品会 王俊峰-运维:从如履薄冰到纵横捭阖
保丝柳
-
3
赵锐-业务安全与 DevSecOps 的最佳实践
祈芸儿
-
4
刘力-负重前行 -- 顺丰数据库运维的求变之路
杞康乐
-
5
携程 雍浩淼-卓越运维之路
牛紫丝
-
6
虢国飞-饿了么异地双活数据库实战
森晓兰
-
7
于邦旭-一直播、小咖秀大数据平台自动化运维实践
架构师大会
-
8
平安科技 方国伟-如何成长为一个优秀的技术...
姜青雪
-
9
中国信息通信研究院 何宝宏-2018:关于...
缪闳丽
-
10
杨乾坤-天猫1682亿数字背后的大数据实时...
资芳馥
-
11
玲昕-阿里巴巴规模化混部技术演进
生长平
-
张乾 - 数据中心操作系统
典世韵
-
13
腾讯 张戎--腾讯运维的AI实践
郝乐生
-
14
范超-京东智能运维和自动化测试工具平台实践
荤采春
-
15
郭宏泽-《Python开发36计》之企业级...
五锐智
-
16
360 谭学士-360 AIOps 亮剑网络运维
泥翠丝
-
17
萧田国-国内首发《 企业 AIOps 实施...
flimsycalculate
-
18
王喆-用几行代码管理几十种网络设备
箕斯雅
-
19
刘曜伟-基因行业高性能计算系统全球化建设与...
Vincent
-
20
腾讯 李剑峰-海量社交业务多活及调度实战
休博敏
-
21
研发运营一体化(DevOps)能力成熟度模...
及永怡
-
22
顾宇-微服务的反思以及高效落地
Cersi
-
23
李智桦-衡量 – DevOps 架构下的人...
须寒梅
-
24
梁胜-纵观全球:运维的过去、现在与未来
郝乐生
-
25
杨春-新零售运维保障解决方案
米昌淼
-
26
企业级AIOps实施建议白皮书
汗温茂
-
27
研发运营一体化能力成熟度模型 第3部分:持...
云玉环
-
28
腾讯 孙亮--社交业务运维基础技术架构选型与演进
严丽佳
-
29
腾讯 朱海洋-百亿级别营收体系的监控能力建设
查弘懿
-
30
高校运维社区 萧田国-权威解读《企业级 A...
MDCC
-
31
华为 周荣-亿级用户百 TB 级数据的 A...
邵令暎
-
32
GOPS 赵班长-基于 SaltStack...
化念雁
-
33
腾讯 杨利东-复杂业务的自动化运维精髓
宝星泽
-
34
eBay 梅岑恺-全站跨平台系统补丁自动化部署
高雅昶
-
35
腾讯 范晶晶_十亿元背后的价值
衡云韶
-
36
研发运营一体化能力成熟度模型 第1部分:总体架构
翠悠婉
-
37
研发运营一体化能力成熟度模型 第2部分:敏...
曹兴文
-
38
腾讯 张黎明--万台服务器一人挑的实战技巧
汉莹洁
-
39
阿里巴巴 少荃-千亿交易背后的0故障发布
巴馨荣
-
40
李伟-阿里巴巴搜索稳定性实践 -- 通过自...
岳歆美
-
41
乐视 石雪峰-基于容器和微服务的端到端持续...
桑紫萱
-
42
冯晋-用户思维驱动搜狗大数据平台建设_部分1
丰德明
-
43
腾讯 吴树生--监控数据的创新应用
罕飞翮
-
44
顾复-浅谈海量平台的质量管理
郁阳曦
-
45
大梁-解密腾讯社交业务高可用架构的关键运维技术
邹庄静
-
46
冯晋-用户思维驱动搜狗大数据平台建设_部分2
刀翠柏
-
47
蘑菇街 赵成-蘑菇街 DevOps 运维实...
傅星洲
-
48
TiDB 申砾-TiDB 在金融行业的创新实践
谬雪珊
-
49
冯晋-用户思维驱动搜狗大数据平台建设_部分3
薛静涵
分享