滴滴出行 李培龙 - 滴滴出行海量数据场景下的智能监控与故障定位实践

竺青旋

2017/12/18 发布于 技术 分类

ArchSummit全球架构师峰会是InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会,参会者中超过50%拥有8年以上的工作经验。 ArchSummit秉承“实践第一、案例为主”的原则,展示新技术在行业应用中的最新实践,技术在企业转型中的加速作用,帮助企业技术管理者、CTO、架构师做好技术选型、技术团队组建与管理,并确立技术对于产品和业务的关键作用。

文字内容
1. ֯֯ԛྛ‫ݚ‬ਈඔऌӆࣟ༯֥ ᇆିࡓ॥ა‫ܣ‬ᅰ‫໊ק‬ൌ࡬ 李培龙 2017.12
5. ۱ದࡥࢺ ✦ ୍ࡆೆ֯֯ ✧ ᇉਈࡏ‫ڵ҆ܒ‬ᄳದ ✧ ᇶေ‫۽‬ቔ ü ‫҃ٳ‬ൔ‫ט‬Ⴈ৽ሔሶ༢๤a໙ี‫໊ק‬༢๤ ü ರᆽ‫ڛ‬ༀ௜෻aᇆିၳӈ࡟ҩ༢๤ ü ಆ৽ਫ਼࿢ҩ௜෻ ✦ ᆭభ‫܂‬ᆯႿϤ؇ ✧ ࡓ॥ა໙ี‫໊ק‬༢๤ ✧ ྟିҩ൫ა‫҃ؿࠩٳ‬௜෻ 5
6. Мࣟ ✦ ‫ݚ‬ਈᆷѓ֥Ӂള ✧ ັ‫ڛ‬ༀ߄ᄉ߄ğࡓ॥ᆷѓਈࠩิശჿП ✧ ᆷѓົ؇ᄹࡆğቆ‫ކ‬Еᅉ ✧ ֆࠏ௜नᆷѓğჿ ✦ ܱ࡯࠯ඌ็ᅞ ✧ ࠹ෘაթԥ ✧ ၳӈ࡟ҩ ✧ ‫ܣ‬ᅰ‫໊ק‬  6
7. ଽಸิ‫۔‬ ၂aࡓ॥ࡏ‫ܒ‬  ‫ؽ‬aၳӈ࡟ҩ  ೘aॹ෎‫໊ק‬  7
8. ֯֯ࡓ॥༢๤‫ۀ‬ফ 0HWULFӤಸ ᶃ Hera日志服务 හഝ᯻ᵞփᬌ ҁ෭பELQORJ᫥ᭃ҂ හഝ᭗᭲๐‫ۓ‬ '')DOFRQ ፊഴ‫ݢ‬ᥤ۸ Odin监控平台 2GLQ0HWULF6HUYHU ୑ଉ༄ၥ փᕹᴇ‫؀‬ ೰ຽᘸ‫ݳ‬ ฬᚆཛྷࣳ ᶄ ᛔਧԎ೰ຽ ᘸ‫ᦇݳ‬ᓒ ӫᶱ೰ຽ ᶆ Ⴔ။ ᇙ஄൉‫ݐ‬ ӻ֛ፊഴ ᶅ BI实时监控 2'3ӱ‫ۓ‬-RLQ 'UXLG ೰ຽᘸ‫ݳ‬ )OLQNᦇᓒ୚ක +EDVH ᶇ (6 ‫ᦄޞ‬Өਧ֖ 2GLQಸᦄ๐‫ۓ‬ ᳯ᷌ਧ֖ 把脉问题定位 8
9. æ.FUSJD๙ਫ਼ DD-Falcon metrics aggr ✦ ࢹ࡫TUBUTEഡ࠹ğࠢӮᄝြༀս઒ଽ֥҆ઘׄഈБࠏᇅđሼ6%1ླྀၰ ✦ ЧࠏBHFOUऊ‫ކ‬ğT৬؇ऊ‫ކ‬đၛࠣົ؇ऊ‫ކ‬ ✦ 4FSWFS؊ᇏྏऊ‫ކ‬ğࠏఖ৬؇ऊ‫ކ‬ 9
10. æ.FUSJD๙ਫ਼ğ%%'BMDPOൈ྽ඔऌթԥ ൌൈࢆҐဢ c SSEUPPM ཿೆൈࠧປӮࢆҐဢ ௜‫؀ޙ‬ཿି৯  c ิۚӉൈࡗॴ؇ൈ֥‫ੱི؀‬ ৏ಣ‫ٳ‬৖ c ෬ႄაඔऌ‫ٳ‬৖ ‫ࠩٳ‬෬ႄ Ⴊ߄෬ႄҰ࿘ c ߏթ‫ٳ‬ᇒቋྍඔऌ Ⴊ߄ࠧൈҰ࿘ ඔऌౢ༡ c ๙‫ݖ‬ಸਈ॥ᇅ ‫ָ״‬ c ๙‫ົ؟ݖ‬؇ሱ‫࡟׮‬ҩ ᇶ‫ؿ׮‬གྷa‫ݖ‬ੲ٤UTඔऌ Ո஍‫؀‬ཿႪ߄֩ Ⴎ0QFO'BMDPOิ‫ ܂‬ 10
11. ç èğರᆽ࠹ෘ๙ਫ਼ ࠎႿੀൔ࠹ෘ֥ᆷѓऊ‫ކ‬ ✦ ರᆽᄝ'MJOLᇏປӮ&5-a+PJOaऊ‫ކ‬đࣇթऊ‫ކ‬ᆷѓ ✦ ิ‫܂‬ো42-֥ੀൔ࠹ෘ஥ᇂ߄‫ڛ‬ༀ හഝ᯻ᵞփᬌ ҁ෭பELQORJ᫥ᭃ҂ Ⴔ။ ᘸ‫ᦇݳ‬ᓒ ᇙ஄൉‫ݐ‬ 2'3ӱ‫ۓ‬-RLQ )OLQNᦇᓒ୚ක ᶄ ᛔਧԎ೰ຽ ӫᶱ೰ຽ ࠎႿ%SVJEթԥ֥ᆷѓऊ‫ކ‬ 'UXLG ᶅ ೰ຽᘸ‫ݳ‬ ✦ ჰ൓ඔऌᄝ'MJOLປӮ&5-a+PJO ✦ ჰ൓ᆷѓඔऌթೆ%SVJE ✦ ࢹᇹ%SVJE֥ყऊ‫࠹ࠣކ‬ෘି৯ൌགྷࡓ॥ᆷѓऊ‫ކ‬ 11
12. é0%1ඔऌ+PJOࢺക ✦ ࢤೆඔऌᄝթԥުሇߐູඔऌ൙ࡱđҕაੀൔ+PJOളӮ๙ᆩ൙ࡱ ✦ ൌൈğ‫ר‬ᄇ๙ᆩ൙ࡱԨ‫ؿ‬หᆘҰ࿘‫ބ‬หᆘ࠹ෘaࡓ॥ ✦ ৖ཌğϜઝ໙ี‫໊ק‬৖ཌඔऌ൐Ⴈ
13. ‫ؽ‬aၳӈ࡟ҩğМࣟ ✦  海量指标的驱动 ✧  迫使改变传统的人工配置模式,探索模型算法 ✧  无监督学习,降低标注成本 ✦  问题定义 ✧  核心指标:高准召率,基于标注训练或者人工精细化调参 ✧  非核心指标:低成本接入,中准召率,无标注训练,冷启动,基于反馈自动调整 ✦  模型算法 ✧  预测+异常判定 13
14. ‫ؽ‬aၳӈ࡟ҩğ໡ૌࣜ৥֥ࠫ۱ࢨ‫؍‬ 1. 人工配置 2. 单模型 (一阳指) 3. 多模型 (六脉神剑) 4. 通用模型 (独孤九剑) 14
15. ࢨ‫؍‬č၂ဝᆷĎğֆଆ྘i೘ࢨᆷඔ௜߁ ✦  预测:三阶指数平滑(Holt-Winters) ✧  适用于有趋势和周期性的时序指标 ✧  模型参数:α/β/γ,截距/斜率/周期平滑系数 ✧  参数确定: ü  人工配置 ü  自动训练:排除异常点à最大化拟合度 ✦  异常判定: ✧  明确上下界:预测值±δ ✧  固定阈值 ✧  历史周期点的指数平滑 ✧  滑动窗口的偏差标准差 15
16. ࢨ‫؍‬č၂ဝᆷĎğֆଆ྘i೘ࢨᆷඔ௜߁ ✦  当前应用情况 ✧  滴滴核心业务指标:百级别 ✧  准召率90%+ ✦  适用场景及局限 ✧  适用于稳定且有周期的指标 ✧  指标需连续且无突增突降 ✧  接入效率偏低
17. ࢨ‫؍‬čੂઝപࡴĎğ‫؟‬ଆ྘đ‫طٳ‬ᇍᆭ ✦  实现思路 ✧  根据指标特征自动寻找合适模型 ✧  自动选择模型参数 ✧  目前支持类别 ü  阈值类/同环比/趋势类 ✦  当前应用及效果 ✧  应用于线上万级别指标 ✧  召回线上问题50+ ✧  准确率约60% ✧  召回率约70%
18. ࢨ‫؍‬čੂઝപࡴĎğ‫ٳ‬ো ✦  趋势类 ✧  多周期性 ✧  趋势性 ✧  高稳定,波动小 ✧  平滑,无突增突降 ✦  同环比类 ✧  有周期性 ✧  中低稳定,波动大 ✧  不平滑,有突增突降 ✦  动态阈值类 ✧  数值分布集中 ✧  成功率、时延等指标
19. ࢨ‫؍‬čੂઝപࡴĎğଆ྘ҕඔ࿞਀ 动态阈值模型: 加权同环比模型:
20. ࢨ‫؍‬čੂઝപࡴĎğ‫ٳ‬োଆൔ֥ಌཊ ✦  分类算法:合理性与准确性 ✧  分类边缘指标与模型的适配性差 ✧  分类覆盖不全:10%无法分类 ✦  模型选择及参数训练 ✧  无标注场景下,参数训练较困难 ✧  新模型研发成本高,周期长 ✦  算法架构 ✧  不够灵活,落地略困难
21. ࢨ‫؍‬č‫ࡴࣴܛ׿‬Ďğ$BOBSZෘ‫௴م‬ൡྟฐ෬ ✦  核心思路 ✧  回到“预测+异常判定”的基本思路 ✧  寻找普适性的回归预测模型,弥补HW缺陷 ü  特征的全面性 ✧  异常判定:基于残差的概率密度建模 ü  默认阈值的选择 ü  实时标注反馈机制 ࢧ୭ᶼၥ ᦒᕞ໏๜ ፥ਫ‫؀‬ ܲ‫ݥ‬ᇙ஄ ೙‫ࢧݳ‬୭ཛྷࣳ ᶼၥ‫؀‬ ୑ଉ‫ڣ‬ਧ ྜ૧‫؀‬ ྜ૧໏๜༷ሲੂଶཛྷࣳ ᦇᓒྜ૧໏๜୑ଉ༷ሲ‫؀‬ ༷ሲᴇ‫؀‬ಸᦄ 21
22. ࢨ‫؍‬č‫ࡴࣴܛ׿‬Ďğ$BOBSZෘ‫م‬ฐ෬ 22
23. ི‫ؓݔ‬бğ‫ٳ‬োෘ‫م‬WT$BOBSZ 1 ✦ ‫ٳ‬োෘ‫م‬ 0.5 ✧ ሙಒੱğ ✧ ᅺ߭ੱğ 0 ✧ '4DPSFğ 1 0.8 ✦ $BOBSZෘ‫م‬ 0.6 0.4 ✧ ሙಒੱğ 0.2 0 ✧ ᅺ߭ੱğ ✧ '4DPSFğ 1 0.5 ሙಒੱ ᅺ߭ੱ '4DPSF 0 23
24. ೘aॹ෎‫໊ק‬ ✦ ‫໊ק‬σ২ ✦ ‫࠯໊ק‬ඌٚσ  24
25. σ২၂ğห‫ק‬FSSPSDPEFБࣞ 25
26. σ২၂ğห‫ק‬FSSPSDPEFБࣞರᆽབྷ౦ࠣ5SBDFܱ৳ 26
27. σ২၂ğห‫ק‬FSSPSDPEFБࣞ‫ט‬Ⴈຉ௪ 27
28. σ২‫ؽ‬ğ౴൝োᆷѓБࣞ 28
29. σ২‫ؽ‬ğ౴൝োᆷѓБࣞӮ‫ٳٳ‬༅ 29
30. σ২೘ğྟିБࣞ 30
31. σ২೘ğྟିБࣞ৽ਫ਼௞࣠‫ٳ‬༅ 31
32. σ২ඹğြༀ໙ี‫໊ק‬
33. ‫࠯໊ק‬ඌٚσ ✦ ৽ਫ਼ሔሶაߎჰ ✧ Ⴈ޼a‫ר‬ֆa౨౰a‫ט‬Ⴈ ✦ ‫ݚ‬ਈರᆽᇍ৘ ✧ ѓሙ߄aᄉ؊߄aܱ৳‫ٳ‬༅ 33
34. ৽ਫ਼ሔሶğႨ޼đ‫ר‬ֆđ౨౰ ✦ ౨౰৽ਫ਼ ✧ 5SBDF*%๩Ԯ ✧ ѓ്ື၂၂Ց౨౰ ✦ Ⴈ޼৽ਫ਼ ✧ "11๩Ԯ6TFS*%֞ࢤೆҪ ✦ ‫ר‬ֆ৽ਫ਼ ✧ "1*Ҫğ0SEFS*%ܱ৳5SBDF*% ✧ ඳӰඔऌܱ৳ UserIDEDFG TraceIDabcd123 APP UserID: efg01 TraceIDabcd123 Router TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 Push TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 ཛྷࣘҁ3+3҂ ҁOrderID <——> TraceID҂ TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID: 1001 TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID: 1002 ཛྷࣘҁ*R҂ ཛྷࣘҁ&҂ TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID: 1003 TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID: 1004 TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID: 1004 TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID:'>CSpanID: 1004 0\VTO ҁ'E3UR[\҂ %ULGJH4 .DIND 5HGLV ҁ&RGLV҂ 34
35. ৽ਫ਼ሔሶğ‫ט‬Ⴈ৽
36. ৽ਫ਼ሔሶğଽ҆ࠏᇅ ཛྷࣘ TraceIDabcd123 7SDFNDJHғ{} Router TraceIDabcd123 7SDFNDJH{} APP TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 SpanID:'>CSpanID: 1001 7SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH: {} ཛྷࣘ փ᭓ 7/6 ৼᕚᑕ 53& ᧣አ ٟ‫ف‬Trace ᧗࿢ᕚᑕ ᯻໏‫ڣ‬ਧ ‫ڍݗف‬හ 7SDFNDJH᭦ᬋ Traceᕟկ ৼ‫ڍ‬හ ឴‫ݐ‬Trace ឴‫ݐ‬7SDFNDJH ,'ኞ౮ 7/6ᓕቘ ᯻໏ഴ‫ګ‬ 7SDFNDJH᭦ᬋ 53& ᧣አ 53& ᧣አ ឴‫ݐ‬Trace ኞ౮&6SDQLG 7SDFNDJH᭦ᬋ 7KUHDG/RFDO TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 SpanID: 1001 7SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH: {} TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 SpanID:'>CSpanID: 1002 7SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH: {} TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 SpanID:'>CSpanID: 1003 7SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH: {} TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID:'>TraceID: abcd123 SpanID:'>CSpanID: 1004 7SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH:'>SDFNDJH: {} ཛྷࣘ ཛྷࣘ ཛྷࣘ ✦ ଽ҆๩Ԯٚσഡ࠹ ✧ ֮č໭Ďြༀ౓ೆğ5-4 ✦ ็ᅞğၳ‫৽ܒ‬ਫ਼ ✧ ‫؟‬ე࿽ᆦӻğQIQHPKBWBD  ✧ ‫ླྀ؟‬ၰᆦӻğIUUQUISJGU ✧ թԥࠣؒਙğLBGLB#2NZTRM ✦ ඔऌ๩Ԯ‫ڛ‬ༀ5QBDLBHF ✧ ಆ৽ਫ਼࿢ҩğ࿢ҩੀਈѓ് ✧ ‫ٳ‬Ӭ൧‫҃ؿ‬ğӬ൧ѓ് ✦ Ґဢࠏᇅႄೆ ✧ ༥৬؇ರᆽਢൈஆҰ
37. ರᆽᇍ৘ğѓሙ߄
38. ರᆽᇍ৘ğᄉ؊߄ඔऌࡏ‫ܒ‬
39. THANK YOU ۹Ղ࡮࡮෫ᴴᑀದ‫ํ઀ݎ‬ᴴ‫ݪل‬