阿里巴巴 林轩 - Pouch和阿里容器技术演进

衅访梦

2017/12/18 发布于 技术 分类

ArchSummit全球架构师峰会是InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会,参会者中超过50%拥有8年以上的工作经验。 ArchSummit秉承“实践第一、案例为主”的原则,展示新技术在行业应用中的最新实践,技术在企业转型中的加速作用,帮助企业技术管理者、CTO、架构师做好技术选型、技术团队组建与管理,并确立技术对于产品和业务的关键作用。

文字内容
1. Pouch和阿里容器技术演进 阿里巴巴系统软件事业部-林轩
5. 侯前明 阿里巴巴资深技术专家 花名林轩,2009年加入阿里巴巴,负责中间件分布式数据层 TDDL 2011年开始孵化TAE项目,建设了TAE第一代和第二代平台 2015年开始转向基础设施建设,负责电商和大数据的混布实 施。先后打造了Pouch容器和Sigma调度引擎,目前专注于容 器技术在集团内外的推广和迭代,以及不同形态业务负载的混 部和调度
6. Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
7. 在阿里内部的使用现状 Pouch的规模: l  服务了阿里集团和蚂蚁金服大部分BU l  2017年双11容器百万级别 l  活跃应用100%完成了容器化 使用了Pouch的场景: l  运行模式- 标准APP,购物车,广告、测试环境 l  编程语言- Java ,C/C++,Nodejs,Golang l  技术栈- 电商,DB,流计算,大数据,专有云 使用了Pouch的业务: l  蚂蚁&交易&中间件 l  B2B/CBU/ICBU/1688/村淘 l  搜索&广告&数据库 l  合一集团(优酷) &高德&UC l  菜鸟&钉钉&盒马 l  安全&无线&阿里云专有云输出 l  集团测试环境 l  ……
8. Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
9. 阿里从物理机到容器的演变 架构演变 l  运行:从集中式到分布式 l  运维:从分散到云化 资源使用的演变 l  从物理机到VM l  从VM到容器 容器的要素--阿里内部运维和应用视角 l  有独立IP l  能够ssh登陆 l  有独立的,隔离的文件系统 l  资源隔离—使用量和可见性 和物理机的 使用体验一致
10. 阿里容器发展轨迹 容器的要素--阿里内部运维和应用视角 l  有独立IP l  能够ssh登陆 l  有独立的,隔离的文件系统 l  资源隔离—使用量和可见性 手工Hack实现容器要素 虚拟网卡,网桥 sshd Chroot (pivot_root) CGroup,Namespace 引入LXC ( Linux Container ) T4 内核可见性隔离Patch 内核磁盘空间配额Patch 引入Docker镜像
11. 软件的本质 软件 = 文件(集) + 进程(组) ᶉா๶፡ғ෈կ -- Ӟӻํׁᩢ੶ེጱ෈կᵞ! ۖா๶፡ғᬰᑕ -- ӞӻํԻ԰‫ى‬ᔮጱᬰᑕᕟ!
12. T4和Docker的整合 2015年 cpu隔离 内存隔离 进程隔离 文件系统隔离 磁盘空间隔离 网络带宽隔离 网络模式 镜像系统 执行引擎 文件系统分层 资源可见性 支持的内核和OS T4 cgroup.cpuset,cpu,cpuacct cgroup.memory pid namespace chroot dirquota 飞天的netqos模块 网桥+独立IP 只有简单的t4模板 LXC overlayfs 内核补丁隔离 alios5u,6u; 2.6.32-358; ali1172 Docker cgroup.cpuset,cpu cgroup.memory pid namespace chroot 无 无 网桥、Host 完备的Docker镜像系统 LXC,libcontainer aufs,device mapper, overlayfs 无隔离 7u+, 3.10+
13. 研发和运维的改变 Ի՞դᎱ۱! app.tgz! ‫ڠ‬ୌ ਻࢏! ਞᤰ चᕚ! ‫ץ‬ද ᯈᗝ! ᮱ᗟ ଫአ! ‫ۖސ‬ ଫአ! चᕚ! Ի՞! ෆ֛᳒‫!؟‬ app:v1! ‫࢏਻ۖސ‬ ޾ଫአ! Dockerfile!
14. 研发关注的要素 传统要素 l  功能与性能 l  稳定性 l  可扩展性 l  可测试性 DevOps要素 l  可运维性 l  运维成本 研发 思维 安全 思维 测试 思维 运维 思维 DevOps八荣八耻 以可配置为荣,以硬编码为耻 以系统互备为荣,以系统单点为耻 以随时可重启为荣,以不能迁移为耻 以整体交付为荣,以部分交付为耻 以无状态为荣,以有状态为耻 以标准化为荣,以特殊化为耻 以自动化工具为荣,以人肉操作为耻 以无人值守为荣,以人工介入为耻
15. 阿里容器Roadmap
16. Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
17. 技术优势 隔离性 P2P镜像分发 富容器 规模化考验 内核兼容性
18. 技术优势-更好的隔离性 l  传统容器的隔离维度:namesapce,cgroup l  更优的容器可见性隔离:内核patch,lxcfs l  额外隔离维度:磁盘,网络等:diskquota l  基于Hypervisor的强容器隔离 l  runV l clear container
19. 技术优势-隔离性支持混部
20. 技术优势-镜像P2P分发
21. 内部版本的体系结构
22. 开源版本系统结构
23. 开源版本系统结构
24. 开源版本 欢迎参与: https://github.com/alibaba/pouch 如何贡献: https://github.com/alibaba/pouch/blob/master/CONTRIBUTING.md
25. 开源计划 孵化 开源 2017.10.10 合作伙伴共同孵化 外部开发者邀请内测 2017.11.11 后正式开源 与生态共建Pouch 发布版本 2018.03.31 发布第一个 大版本