阿里巴巴数据库运维发展与实践

cnutcon

2018/12/08 发布于 技术 分类

文字内容
1. ᴨ᯾૬૬හഝପᬩᖌ‫઀ݎ‬Өਫ᪢ ᝛Ӡ ᴨ᯾૬૬ṛᕆದ๞ӫਹ
2. 1 ՗ܲ‫ݥ‬፡๚๶ 阿⾥巴巴数据库运维发展历程 2 ቘమᆙᬰሿਫ 业务、技术与产品 3 ᭗ஃฬᚆԏ᪠ ⾃治数据库平台(Self-Driving Database Platform)
3. ᴨ᯾හഝପᬩᖌ‫ܲ઀ݎ‬ᑕ ᚕ๜ Ծߝ۸ ๐‫ۓ‬۸ 2009 ࠟӱӨ୏რහഝପ 2012 AliSQL ࿜ଘೆ‫ړ‬ ‫زܔ‬۸ 2014 ୑ࣈग़ၚ ӞᲫୌᒊ DevOPS Ⴐ‫ݳ‬ԯ ฬᚆ۸ ᛔလ 2016 2018 ਻࢏۸ XDB ਂ‫ᦇؙ‬ᓒ‫ړ‬ᐶ CloudDBA XDB 3.0 ᐶࣁᕚႰ૲ RDMAᗑᕶ Serverless
4. ᶐෛ1ғ՗Ծߝ‫ک‬๐‫ۓ‬ • ෭ፅीᳩጱᥢཛྷӨ॔๥௔‫؛‬ኞԧ๋‫ڡ‬ጱ“Ծߝ” • ኧӞӻࢫᴚ൉‫“׀‬Ծߝ”҅‫ݚ‬Ӟӻࢫᴚֵአ • ᵱ࿢ӨԾߝᎸ‫ݎ‬ᚙᜓ҅᎟፛ᄶ‫ݎ‬ • ਋ᒈጱ“Ծߝ”հ‫؀‬ӧय़ • ൉‫׀‬๐‫҅ۓ‬SLA
5. ᶐෛ2ғ՗๐‫کۓ‬ᛔလහഝପଘ‫ݣ‬ • ՗‫ဳى‬ᛔ᫝‫ဳىک‬ਮಁ҅੒๐‫ۓ‬ᨶᰁጱ᭄࿢ • ᥢཛྷฎ൉‫܋‬๐‫ۓ‬࿜ଘጱ‫ى‬Ძ҅Ԟฎ୚‫ݎ‬ᳯ᷌ጱ໑რ • ᥝ൉‫܋‬๐‫ۓ‬࿜ଘ҅஠ᶳ൉‫܋‬ದ๞࿜ଘ
6. 1 ՗ܲ‫ݥ‬፡๚๶ 阿⾥巴巴数据库运维发展历程 2 ቘమᆙᬰሿਫ 业务、技术与产品 3 ᭗ஃฬᚆԏ᪠ ⾃治数据库平台(Self-Driving Database Platform)
7. ᄍᬰԏ᪠ғ‫݌‬11༷ᥦ • ‫݌‬11ṛશ෸᩻ᬦ5000ӡེᦢᳯٟ҅‫ֺྲف‬ຄṛ • ‫ق‬ቖ᝜ࢱٖහ‫܈‬ӻ๢಄‫ݶ‬෸ඪඅय़‫׏‬ • य़‫ڹ׏‬ಘ਻҅ṛશ‫ݸ‬ᖽ਻ • RDMA/DBFSᒵෛᏝ᫫կ ᕮ‫ݳ‬ඪඅ໐ஞ᱾᪠
8. ᄍᬰԏ᪠ғӱ‫ۓ‬ᙧว • හഝପӾ‫҅ݣ‬ඪඅಅํᵞࢫӱ‫̵ۓ‬क़᮱‫ل‬ ‫ݪ‬ӱ‫ֵ҅ۓ‬አ݊ള‫ف‬හഝପጱොୗӧਠ‫ق‬ ‫ݑ‬ഴ‫̶ګ‬ • चᏐᦡෞग़໏҅ᛔୌ๢಄̵ԯ๢಄҅Ӟӻ ᩻य़ጱႰ‫ݳ‬ԯ̶ • ‫݌‬11᩻ᕆय़ᅾᅩ҅ᵱᘍᡤள᭛୨௔݊౮ ๜̶
9. ᄍᬰԏ᪠ғ௛֛ຝ຅ አಁഴ‫ݣګ‬ ᛔۖ‫॔ץ‬ ‫ݢ‬ᶼ๗ඳᵑ॒ቘ̵୑ଉ॒ቘ $3,ҁᰄ๦̵‫̵ੂے‬ਭᦇ̵ၞᰁഴ‫ګ‬҂ ฬᚆ᧣ଶ ਫֺኮ‫̵؟‬౮๜ս۸̵ᩒრᶼၥ ᓕቘާഴ‫ݣګ‬ &ORXG'%$ ‫ق‬᱾᪠᦬ෙ̵64/ս۸Өᴴၞ̵ᑮᳵӨ݇හս۸ /HJR ᬩᖌᓕቘ ᬩᖌ᮱ᗟ̵ਫֺኞ޸ޮ๗ᓕቘ̵॓ղ௩̵॔ṛ‫ݢ‬አᒵ හഝ᯻ᵞ޸ե᭗᭲ ௔ᚆහഝ '%̵26̵ᗑᕶ ̵64/ၞ࿜̵ᑕଧ෭ப 0\64/ ;'% 64/6HUYHU 0RQJR'% .HSOHU ᬩᤈහഝӨᬩ០‫ړ‬ຉ හഝ࿤ᘸ̵ፊഴ‫̵ᦄޞ‬ᩒრᶼၥ̵ᬩᤈಸᤒ̵୑ଉ༄ၥ '%*DWHZD\ Ⴐ‫ݳ‬ԯᓕቘ̵ਫֺ‫ݎ‬ሿ̵௔ᚆහഝතᵞ … አಁᛔୌᔮᕹ 5'6'5'6 6\UHR ᕹӞᩒრᓕቘӨ᧣ଶ ᇔቘ๢ (&6 'RFNHU ਂ‫ؙ‬ ᗑᕶ • ๐‫ۓ‬۸ຝ຅ • ਻࢏۸Өਂ‫ؙ‬ ᦇᓒ‫ړ‬ᐶ • ள୨/Ⴐ᮱ Serverless • ᥢཛྷ۸Ի՞Ө CloudDBA
10. ᄍᬰԏ᪠ғ਻࢏۸ • ਻࢏ದ๞ฎᰁ‫کݒ‬ᨶ‫ݒ‬ጱᬦ ᑕ҅୏ᬗԧෛጱ௏᪠ • හഝପ਻࢏۸ᶎԁጱ೴౴ • ᬩᖌ௏᪠ጱ᫨‫ݒ‬ Node DB DB DB Container Container Container PouchҁDocker Engine҂ • ᑞਧ௔Ө௔ᚆᳯ᷌ Syreolet Volume Plugin Network • හഝପ਻࢏۸ԅහഝପᓕቘ ൉‫׀‬ԧग़ᐿ‫ݢ‬ᚆ ፏ‫૲ړݘ‬ୗਂ‫ ؙ‬Host/Bridge2YHUO\
11. ᄍᬰԏ᪠ғਂ‫ᦇؙ‬ᓒ‫ړ‬ᐶ • Ӟེದ๞ጱ᫪ࢧ • ದ๞‫઀ݎ‬٬ਧֵአ ොୗ • ᩒრԻ՞ොୗๅ ԅ‫׎‬ഠ • ਂ‫ᦇؙ‬ᓒᚆ‫ݎێ‬ ઀ӧ࣐ᤍ • ෛದ๞ᦏਂ‫ᦇؙ‬ ᓒ‫ړ‬ᐶེٚ‫ܛ‬ս VFS DB EXT4 Block layer Kernel Space Virtual Block User Space TCP 25G ፏ‫ݘ‬2.0‫૲ړ‬ୗਂ‫ؙ‬ DB ASYNC IO DBFS PageCache PangGX6'.;5'0$ User Space RDMA 25G ፏ‫ݘ‬2.0‫૲ړ‬ୗਂ‫ؙ‬
12. ᄍᬰԏ᪠ғள୨ӨႰ᮱ • ᦏහഝପ‫؟‬ଫአӞ໏ ୨௔ • ṛશ‫ڹ‬୨ᩳ҅ṛશ‫ݸ‬ ୨ࢧ • Serverless҅1‫ړ‬ᰦਠ ౮୨௔ चԭਂ‫ᦇؙ‬ᓒ‫ړ‬ᐶጱහഝପ᧣ଶ Server Server ෭ଉᩒრ Server Server ᐶᕚᩒრ ፏ‫૲ړݘ‬ୗਂ‫ؙ‬ ECS ԯᩒრ ECS
13. ᄍᬰԏ᪠ғᥢཛྷ۸Ի՞ • ᫫կਧԎ᮱ᗟ • Ӟ‫ڔ‬᮷ᥝහഝ۸̵ ᔜᏟ۸ • ൈᬿ๋ᕣᇫா҅ ፜ኼӾᳵጱᩒრ ᦧ֌Өಗᤈᒽኼ ਧԎ State: ̴Cluster: Buyer ̴Spec: XLarge ̴Network: RDMA ̴NC: V42 AFFINITY: [BUYER] ̴ŏ ᔮᕹፓ‫ڹ‬ᇫா ኞ౮ಗᤈᦇ‫ښ‬ ‫ݳ‬ဩ௔໊ḵ ᩒრᦧ֌ ׁᩢ༄ັ Ի՞ಗᤈ ᦇ‫᧣ښ‬ս ‫ښᦇྍڡ‬ ձ‫ړۓ‬ᥴ ᅍଶᓕቘ පຎᦧ֌ ಗᤈ୚ක ಗᤈӨපຎᦧ֌
14. ᄍᬰԏ᪠ғCloudDBA • ‫ق‬᱾᪠ ᦬ෙ • SQL᦬ ෙ̵ս ۸Өᴴ ၞ
15. ᄍᬰԏ᪠ғHDMԾߝ       SQL SQL (HDM) MySQL MongoDB Redis SQL Server IDC Oracle Others ECS RDS / DRDS HDMҁHybrid Database Management҂ Ⴐ‫ݳ‬ԯහഝପᓕ ቘଘ‫҅ݣ‬ଆۗմ ӱ಑᭗Ⴐ‫ݳ‬ԯහ ഝପຝ຅҅൉‫׀‬ ग़ሾहᕹӞᓕ ቘ̵ள᭛୨௔̵ ਻ᅒ‫ڔ‬ഘጱᚆ‫ێ‬
16. 1 ՗ܲ‫ݥ‬፡๚๶ 阿⾥巴巴数据库运维发展历程 2 ቘమᆙᬰሿਫ 业务、技术与产品 3 ᭗ஃฬᚆԏ᪠ ⾃治数据库平台(Self-Driving Database Platform)
17. ᛔလғਧԎ ᛔလහഝପଘ‫ܨ҅ݣ‬Self-Driving DataBase Platform҅ฎ ӞӻᩙԨग़ᐿහഝପ෫Ոḩḡᚆ‫ێ‬ጱฬᚆහഝପଘ‫ᦏ҅ݣ‬ᬩᤈԭᧆ ଘ‫ݣ‬ጱහഝପٍ॓ᛔఽᎣ̵ᛔ٬ᒽ̵ᛔ௩̵॔ᛔս۸ጱᚆ‫҅ێ‬ԅአ ಁ൉‫׀‬෫ఽᎣጱӧᳵෙ๐‫̶ۓ‬ ᛔఽᎣ ᛔ٬ᒽ ᛔ௩॔ ᛔս۸
18. ᛔလғፓຽ • By 2020, 85% of DataBase Instances with Alibaba Group will be self-Driving
19. ᛔလғਫሿ • ᛔလฎӞӻᰁ‫کݒ‬ᨶ‫ݒ‬ጱᬦᑕ҅ฎ᫫Ꮭկದ๞‫઀ݎ‬ጱԾᇔ̶ • ಑᭗හഝӨᓒဩ‫ݱک‬ཛྷࣘጱᬟኴ҅“ฬᚆ۸”ྯӞӻ‫ۑ‬ᚆཛྷ̶ࣘ • ᶾऒᎣᦩጱහਁ۸̵ᔜᏟ۸Өᛔ਍ԟጱᕮ‫̶ݳ‬ • ܻํጱचᏐᚆ‫ێ‬೮ᖅ൉‫҅܋‬ᬰӞྍ‫׏‬ᬰᛔလ̶