మీరు ఎప్పుడైనా ఒక డెమో మోడల్ ఒక చిన్న టెస్ట్ లోడ్ను చూర్ణం చేసి, నిజమైన వినియోగదారులు కనిపించే క్షణం స్తంభింపజేయడాన్ని చూసినట్లయితే, మీరు విలన్ను కలిశారు: స్కేలింగ్. AI డేటా, కంప్యూట్, మెమరీ, బ్యాండ్విడ్త్ కోసం అత్యాశతో ఉంటుంది - మరియు వింతగా, శ్రద్ధ. కాబట్టి AI స్కేలబిలిటీ అంటే ఏమిటి, మరియు ప్రతి వారం ప్రతిదీ తిరిగి వ్రాయకుండా మీరు దాన్ని ఎలా పొందుతారు?
దీని తర్వాత మీరు చదవడానికి ఇష్టపడే కథనాలు:
🔗 AI పక్షపాతం అంటే ఏమిటో సరళంగా వివరించబడింది
దాచిన పక్షపాతాలు AI నిర్ణయాలు మరియు నమూనా ఫలితాలను ఎలా రూపొందిస్తాయో తెలుసుకోండి.
🔗 బిగినర్స్ గైడ్: కృత్రిమ మేధస్సు అంటే ఏమిటి
AI యొక్క అవలోకనం, ప్రధాన భావనలు, రకాలు మరియు రోజువారీ అనువర్తనాలు.
🔗 వివరించదగిన AI అంటే ఏమిటి మరియు అది ఎందుకు ముఖ్యమైనది
వివరించదగిన AI పారదర్శకత, నమ్మకం మరియు నియంత్రణ సమ్మతిని ఎలా పెంచుతుందో కనుగొనండి.
🔗 ప్రిడిక్టివ్ AI అంటే ఏమిటి మరియు అది ఎలా పనిచేస్తుంది
ప్రిడిక్టివ్ AI, సాధారణ వినియోగ సందర్భాలు, ప్రయోజనాలు మరియు పరిమితులను అర్థం చేసుకోండి.
AI స్కేలబిలిటీ అంటే ఏమిటి? 📈
AI స్కేలబిలిటీ అంటే పనితీరు, విశ్వసనీయత మరియు ఖర్చులను ఆమోదయోగ్యమైన పరిమితుల్లో ఉంచుతూ మరిన్ని డేటా, అభ్యర్థనలు, వినియోగదారులు మరియు వినియోగ కేసులను నిర్వహించగల AI వ్యవస్థ యొక్క సామర్థ్యం. పెద్ద సర్వర్లు మాత్రమే కాదు-కర్వ్ పెరిగేకొద్దీ జాప్యాన్ని తక్కువగా, నిర్గమాంశను ఎక్కువగా మరియు నాణ్యతను స్థిరంగా ఉంచే స్మార్ట్ ఆర్కిటెక్చర్లు. ఎలాస్టిక్ ఇన్ఫ్రాస్ట్రక్చర్, ఆప్టిమైజ్ చేసిన మోడల్లు మరియు అబ్జర్వబిలిటీ గురించి ఆలోచించండి, అది వాస్తవానికి ఏమి పని చేస్తుందో మీకు తెలియజేస్తుంది.
మంచి AI స్కేలబిలిటీని ఏది చేస్తుంది ✅
AI స్కేలబిలిటీ బాగా పూర్తయినప్పుడు, మీరు పొందుతారు:
-
స్పైకీ లేదా నిరంతర లోడ్ కింద అంచనా వేయదగిన జాప్యం
-
జోడించిన హార్డ్వేర్ లేదా ప్రతిరూపాలకు అనులోమానుపాతంలో పెరిగే నిర్గమాంశ
-
ప్రతి అభ్యర్థనకు పెరగని ఖర్చు సామర్థ్యం
-
ఇన్పుట్లు వైవిధ్యభరితంగా మరియు వాల్యూమ్లు పెరిగేకొద్దీ నాణ్యత స్థిరత్వం
-
ఆటోస్కేలింగ్, ట్రేసింగ్ మరియు సేన్ SLO ల కారణంగా కార్యాచరణ ప్రశాంతత
హుడ్ కింద ఇది సాధారణంగా క్షితిజ సమాంతర స్కేలింగ్, బ్యాచింగ్, కాషింగ్, క్వాంటైజేషన్, రోబస్ట్ సర్వింగ్ మరియు ఆలోచనాత్మక విడుదల విధానాలను ఎర్రర్ బడ్జెట్లతో ముడిపడి మిళితం చేస్తుంది [5].
AI స్కేలబిలిటీ vs పనితీరు vs సామర్థ్యం 🧠
-
పనితీరు అంటే ఒక అభ్యర్థన విడిగా ఎంత త్వరగా పూర్తవుతుందనేది.
-
సామర్థ్యం అంటే మీరు ఒకేసారి ఎన్ని అభ్యర్థనలను నిర్వహించగలరో.
-
AI స్కేలబిలిటీ అంటే వనరులను జోడించడం లేదా తెలివైన పద్ధతులను ఉపయోగించడం అనేది సామర్థ్యాన్ని పెంచుతుందా మరియు పనితీరును స్థిరంగా ఉంచుతుందా - మీ బిల్లు లేదా మీ పేజర్ను వృధా చేయకుండా.
చిన్న తేడా, భారీ పరిణామాలు.
AI లో స్కేల్ ఎందుకు పనిచేస్తుంది: స్కేలింగ్ చట్టాల ఆలోచన 📚
మోడల్ పరిమాణం, డేటా మరియు గణనను లోపల స్కేల్ చేస్తున్నప్పుడు నష్టం ఊహించదగిన మార్గాల్లో మెరుగుపడుతుంది కంప్యూట్-ఆప్టిమల్ బ్యాలెన్స్ కూడా ఉంది ; రెండింటినీ కలిపి స్కేలింగ్ చేయడం అనేది ఒక స్కేలింగ్ను మాత్రమే అధిగమిస్తుంది. ఆచరణలో, ఈ ఆలోచనలు శిక్షణ బడ్జెట్లు, డేటాసెట్ ప్లానింగ్ మరియు ట్రేడ్-ఆఫ్లను అందిస్తాయి [4].
త్వరిత అనువాదం: పెద్దది అయితే మంచిది కావచ్చు, కానీ మీరు ఇన్పుట్లను స్కేల్ చేసి నిష్పత్తిలో లెక్కించినప్పుడు మాత్రమే - లేకుంటే అది సైకిల్పై ట్రాక్టర్ టైర్లను పెట్టడం లాంటిది. ఇది తీవ్రంగా కనిపిస్తుంది, ఎక్కడికీ వెళ్ళదు.
క్షితిజ సమాంతర vs నిలువు: రెండు స్కేలింగ్ లివర్లు 🔩
-
వర్టికల్ స్కేలింగ్ : పెద్ద బాక్స్లు, దృఢమైన GPUలు, ఎక్కువ మెమరీ. సరళమైనది, కొన్నిసార్లు ఖరీదైనది. సింగిల్-నోడ్ శిక్షణ, తక్కువ-జాప్యం అనుమితి లేదా మీ మోడల్ చక్కగా ముక్కలు చేయడానికి నిరాకరించినప్పుడు మంచిది.
-
క్షితిజ సమాంతర స్కేలింగ్ ఆటోస్కేలర్లతో ఉత్తమంగా పనిచేస్తుంది . కుబెర్నెట్స్లో, ట్రాఫిక్ స్పైక్ల కోసం డిమాండ్-మీ ప్రాథమిక క్రౌడ్ నియంత్రణకు ప్రతిస్పందనగా క్షితిజ సమాంతర పాడ్ ఆటోస్కేలర్ పాడ్లను స్కేల్ చేస్తుంది [1].
అనెక్డోట్ (కంపోజిట్): హై-ప్రొఫైల్ లాంచ్ సమయంలో, సర్వర్-సైడ్ బ్యాచింగ్ను ఎనేబుల్ చేయడం మరియు ఆటోస్కేలర్ ఎటువంటి క్లయింట్ మార్పులు లేకుండా క్యూ డెప్త్ స్టెబిలైజ్డ్ p95కి ప్రతిస్పందించడానికి అనుమతించడం. అన్ఫ్లాషి విజయాలు ఇప్పటికీ విజయాలు.
AI స్కేలబిలిటీ యొక్క పూర్తి స్టాక్ 🥞
-
డేటా లేయర్ : వేగవంతమైన ఆబ్జెక్ట్ స్టోర్లు, వెక్టర్ ఇండెక్స్లు మరియు స్ట్రీమింగ్ ఇంజెక్షన్ మీ ట్రైనర్లను థ్రోటిల్ చేయవు.
-
శిక్షణ పొర : డేటా/మోడల్ సమాంతరత, చెక్పాయింట్, పునఃప్రయత్నాలను నిర్వహించే పంపిణీ చేయబడిన ఫ్రేమ్వర్క్లు మరియు షెడ్యూలర్లు.
-
సర్వింగ్ లేయర్ : ఆప్టిమైజ్డ్ రన్టైమ్లు, డైనమిక్ బ్యాచింగ్ , పేజ్డ్ అటెన్షన్ , కాషింగ్, టోకెన్ స్ట్రీమింగ్. ట్రైటాన్ మరియు vLLM ఇక్కడ తరచుగా హీరోలు [2][3].
-
ఆర్కెస్ట్రేషన్ : HPA లేదా కస్టమ్ ఆటోస్కేలర్ల ద్వారా స్థితిస్థాపకత కోసం కుబెర్నెట్స్ [1].
-
పరిశీలనా సామర్థ్యం : ఉత్పత్తిలో వినియోగదారు ప్రయాణాలు మరియు నమూనా ప్రవర్తనను అనుసరించే జాడలు, కొలమానాలు మరియు లాగ్లు; వాటిని మీ SLOల చుట్టూ రూపొందించండి [5].
-
పాలన & ఖర్చు : ప్రతి-అభ్యర్థన ఆర్థిక శాస్త్రం, బడ్జెట్లు మరియు రన్అవే పనిభారాల కోసం కిల్-స్విచ్లు.
పోలిక పట్టిక: AI స్కేలబిలిటీ కోసం సాధనాలు & నమూనాలు 🧰
ఉద్దేశపూర్వకంగా కొంచెం అసమానంగా ఉంది-ఎందుకంటే నిజ జీవితం అలా ఉంటుంది.
| సాధనం / నమూనా | ప్రేక్షకులు | ఖరీదైనది | ఇది ఎందుకు పనిచేస్తుంది | గమనికలు |
|---|---|---|---|---|
| కుబెర్నెటెస్ + HPA | ప్లాట్ఫామ్ జట్లు | ఓపెన్ సోర్స్ + ఇన్ఫ్రా | మెట్రిక్స్ స్పైక్ అయినప్పుడు స్కేల్స్ క్షితిజ సమాంతరంగా పాడ్ అవుతాయి | కస్టమ్ మెట్రిక్స్ బంగారం [1] |
| NVIDIA ట్రైటాన్ | అనుమితి SRE | ఉచిత సర్వర్; GPU $ | డైనమిక్ బ్యాచింగ్ నిర్గమాంశను పెంచుతుంది | config.pbtxt ద్వారా కాన్ఫిగర్ చేయండి [2] |
| vLLM (పేజ్డ్ అటెన్షన్) | LLM జట్లు | ఓపెన్ సోర్స్ | సమర్థవంతమైన KV-కాష్ పేజింగ్ ద్వారా అధిక నిర్గమాంశ | దీర్ఘ ప్రాంప్ట్లకు గొప్పది [3] |
| ONNX రన్టైమ్ / టెన్సర్ఆర్టి | పెర్ఫ్ నెర్డ్స్ | ఉచిత / విక్రేత సాధనాలు | కెర్నల్-స్థాయి ఆప్టిమైజేషన్లు జాప్యాన్ని తగ్గిస్తాయి | ఎగుమతి మార్గాలు అస్పష్టంగా ఉండవచ్చు |
| RAG నమూనా | యాప్ బృందాలు | ఇన్ఫ్రా + ఇండెక్స్ | జ్ఞానాన్ని తిరిగి పొందటానికి లోడ్ చేస్తుంది; సూచికను స్కేల్ చేస్తుంది | తాజాదనం కోసం అద్భుతమైనది |
డీప్ డైవ్ 1: సూదిని కదిలించే ట్రిక్స్ అందించడం 🚀
-
డైనమిక్ బ్యాచింగ్ గ్రూపులు చిన్న అనుమితి కాల్లను సర్వర్లోని పెద్ద బ్యాచ్లుగా మారుస్తాయి, క్లయింట్ మార్పులు లేకుండా GPU వినియోగాన్ని నాటకీయంగా పెంచుతాయి [2].
-
పేజ్డ్ అటెన్షన్ KV కాష్లను పేజ్ చేయడం ద్వారా చాలా ఎక్కువ సంభాషణలను మెమరీలో ఉంచుతుంది, ఇది కాన్కరెన్సీ కింద థ్రూపుట్ను మెరుగుపరుస్తుంది [3].
-
కోలెసింగ్ & కాషింగ్ను అభ్యర్థించడం వల్ల నకిలీ పని జరగదు.
-
గోడ గడియారం కొంచెం తగ్గినప్పటికీ, ఊహాజనిత డీకోడింగ్
డీప్ డైవ్ 2: మోడల్-స్థాయి సామర్థ్యం - క్వాంటైజ్, డిస్టిల్, ప్రూనే 🧪
-
క్వాంటైజేషన్ పారామీటర్ ఖచ్చితత్వాన్ని తగ్గిస్తుంది (ఉదా., 8-బిట్/4-బిట్) మెమరీని కుదించడానికి మరియు అనుమితిని వేగవంతం చేయడానికి; మార్పుల తర్వాత ఎల్లప్పుడూ పని నాణ్యతను తిరిగి అంచనా వేయండి.
-
స్వేదనం అనేది ఒక పెద్ద ఉపాధ్యాయుడి నుండి మీ హార్డ్వేర్ వాస్తవానికి ఇష్టపడే చిన్న విద్యార్థికి జ్ఞానాన్ని బదిలీ చేస్తుంది.
-
స్ట్రక్చర్డ్ కత్తిరింపు తక్కువ దోహదపడే బరువులు/తలలను కత్తిరిస్తుంది.
నిజం చెప్పాలంటే, ఇది మీ సూట్కేస్ పరిమాణాన్ని తగ్గించి, మీ బూట్లన్నీ ఇంకా సరిపోతాయని పట్టుబట్టడం లాంటిది. ఏదో ఒకవిధంగా అది జరుగుతుంది, చాలా వరకు.
డీప్ డైవ్ 3: కన్నీళ్లు లేకుండా డేటా మరియు శిక్షణ స్కేలింగ్ 🧵
-
సమాంతరత యొక్క వికృతమైన భాగాలను దాచిపెట్టే పంపిణీ శిక్షణను ఉపయోగించండి, తద్వారా మీరు ప్రయోగాలను వేగంగా అందించవచ్చు.
-
స్కేలింగ్ చట్టాలను గుర్తుంచుకోండి : మోడల్ పరిమాణం మరియు టోకెన్లలో బడ్జెట్ను ఆలోచనాత్మకంగా కేటాయించండి; రెండింటినీ కలిపి స్కేలింగ్ చేయడం కంప్యూట్-ఎఫిషియెంట్ [4].
-
పాఠ్యాంశాలు మరియు డేటా నాణ్యత తరచుగా ప్రజలు అంగీకరించే దానికంటే ఎక్కువగా ఫలితాలను మారుస్తాయి. మెరుగైన డేటా కొన్నిసార్లు ఎక్కువ డేటాను అధిగమిస్తుంది - మీరు ఇప్పటికే పెద్ద క్లస్టర్ను ఆర్డర్ చేసినప్పటికీ.
డీప్ డైవ్ 4: జ్ఞానం కోసం స్కేలింగ్ వ్యూహంగా RAG 🧭
మారుతున్న వాస్తవాలతో ముందుకు సాగడానికి మోడల్ను తిరిగి శిక్షణ ఇవ్వడానికి బదులుగా, RAG అనుమితిలో తిరిగి పొందే దశను జోడిస్తుంది. మీరు మోడల్ను స్థిరంగా ఉంచుకోవచ్చు మరియు మీ కార్పస్ పెరిగేకొద్దీ సూచిక మరియు తిరిగి పొందేవారిని
తనకు తానుగా చెల్లించుకునే పరిశీలనా సామర్థ్యం 🕵️♀️
మీరు చూడలేని దాన్ని మీరు స్కేల్ చేయలేరు. రెండు ముఖ్యమైన అంశాలు:
-
కొలమానాలు : జాప్యం శాతం, క్యూ లోతులు, GPU మెమరీ, బ్యాచ్ పరిమాణాలు, టోకెన్ నిర్గమాంశ, కాష్ హిట్ రేట్లు.
-
జాడలు . మీరు కొలిచే వాటిని మీ SLO లకు కట్టండి, తద్వారా డాష్బోర్డ్లు ఒక నిమిషం లోపు ప్రశ్నలకు సమాధానం ఇస్తాయి [5].
డాష్బోర్డ్లు ఒక నిమిషం లోపు ప్రశ్నలకు సమాధానం ఇచ్చినప్పుడు, ప్రజలు వాటిని ఉపయోగిస్తారు. అవి లేనప్పుడు, వారు చేసినట్లు నటిస్తారు.
విశ్వసనీయత గార్డ్రెయిల్లు: SLOలు, ఎర్రర్ బడ్జెట్లు, సేన్ రోల్అవుట్లు 🧯
-
SLO లను నిర్వచించండి మరియు విడుదల వేగంతో విశ్వసనీయతను సమతుల్యం చేయడానికి ఎర్రర్ బడ్జెట్లను
-
ట్రాఫిక్ స్ప్లిట్ల వెనుక మోహరించండి, కానరీలు చేయండి మరియు గ్లోబల్ కట్ఓవర్ల ముందు షాడో పరీక్షలను నిర్వహించండి. మీ భవిష్యత్తు స్వీయ స్నాక్స్ పంపుతుంది.
నాటకీయత లేకుండా ఖర్చు నియంత్రణ 💸
స్కేలింగ్ కేవలం సాంకేతికమైనది కాదు; ఇది ఆర్థికమైనది. GPU గంటలు మరియు టోకెన్లను యూనిట్ ఎకనామిక్స్తో ఫస్ట్-క్లాస్ వనరులుగా పరిగణించండి (1k టోకెన్లకు ఖర్చు, ఎంబెడ్డింగ్కు, వెక్టర్ ప్రశ్నకు). బడ్జెట్లను జోడించండి మరియు హెచ్చరికను జోడించండి; వస్తువులను తొలగించడాన్ని జరుపుకోండి.
AI స్కేలబిలిటీకి ఒక సాధారణ రోడ్మ్యాప్ 🗺️
-
p95 జాప్యం, లభ్యత మరియు పని ఖచ్చితత్వం కోసం SLOలతో ప్రారంభించండి
-
బ్యాచింగ్ మరియు నిరంతర బ్యాచింగ్కు మద్దతు ఇచ్చే సర్వింగ్ స్టాక్ను ఎంచుకోండి
-
మోడల్ను ఆప్టిమైజ్ చేయండి : ఇది ఎక్కడ సహాయపడుతుందో క్వాంటిజైజ్ చేయండి, వేగవంతమైన కెర్నల్స్ను ప్రారంభించండి లేదా నిర్దిష్ట పనుల కోసం డిస్టిల్ చేయండి; నిజమైన అంచనాలతో నాణ్యతను ధృవీకరించండి.
-
స్థితిస్థాపకత కోసం ఆర్కిటెక్ట్ : సరైన సంకేతాలు, ప్రత్యేక చదవడం/వ్రాయడం మార్గాలు మరియు స్థితిలేని అనుమితి ప్రతిరూపాలతో కుబెర్నెట్స్ HPA [1].
-
ప్రతి వారం తిరిగి శిక్షణ పొందే బదులు మీ సూచికను స్కేల్ చేయడానికి తాజాదనం ముఖ్యమైనప్పుడు తిరిగి పొందడాన్ని స్వీకరించండి
-
ఖర్చుతో సమస్యను ముగించండి : యూనిట్ ఎకనామిక్స్ మరియు వారపు సమీక్షలను ఏర్పాటు చేయండి.
సాధారణ వైఫల్య రీతులు & త్వరిత పరిష్కారాలు 🧨
-
GPU 30% వినియోగంలో ఉంది, అయితే జాప్యం చెడ్డది.
-
డైనమిక్ బ్యాచింగ్ను ఆన్ చేయండి , బ్యాచ్ క్యాప్లను జాగ్రత్తగా పెంచండి మరియు సర్వర్ కంకరెన్సీని తిరిగి తనిఖీ చేయండి [2].
-
-
దీర్ఘ ప్రాంప్ట్లతో నిర్గమాంశ కూలిపోతుంది
-
పేజ్డ్ అటెన్షన్కు మద్దతు ఇచ్చే సర్వింగ్ను ఉపయోగించండి మరియు గరిష్ట ఏకకాలిక సీక్వెన్స్లను ట్యూన్ చేయండి [3].
-
-
ఆటోస్కేలర్ ఫ్లాప్స్
-
విండోలతో స్మూత్ మెట్రిక్స్; స్వచ్ఛమైన CPUకి బదులుగా క్యూ డెప్త్ లేదా కస్టమ్ టోకెన్లు-పర్-సెకనుపై స్కేల్ చేయండి [1].
-
-
ప్రారంభించిన తర్వాత ఖర్చులు విపరీతంగా పెరిగాయి
-
అభ్యర్థన-స్థాయి వ్యయ కొలమానాలను జోడించండి, సురక్షితమైన చోట క్వాంటైజేషన్ను ప్రారంభించండి, అగ్ర ప్రశ్నలను కాష్ చేయండి మరియు చెత్త నేరస్థులను రేటు-పరిమితి చేయండి.
-
AI స్కేలబిలిటీ ప్లేబుక్: త్వరిత చెక్లిస్ట్ ✅
-
SLOలు మరియు ఎర్రర్ బడ్జెట్లు ఉన్నాయి మరియు కనిపిస్తాయి
-
మెట్రిక్స్: జాప్యం, tps, GPU మెమ్, బ్యాచ్ సైజు, టోకెన్/లు, కాష్ హిట్
-
ప్రవేశం నుండి మోడల్ వరకు పోస్ట్-ప్రొక్ వరకు జాడలు
-
సర్వింగ్: బ్యాచింగ్ ఆన్, కంకరెన్సీ ట్యూన్ చేయబడింది, వెచ్చని కాష్లు
-
మోడల్: క్వాంటిజైజ్డ్ లేదా డిస్టిల్డ్ చేయబడిన చోట ఇది సహాయపడుతుంది
-
ఇన్ఫ్రా: సరైన సిగ్నల్స్ తో HPA కాన్ఫిగర్ చేయబడింది.
-
జ్ఞాన తాజాదనం కోసం తిరిగి పొందే మార్గం
-
యూనిట్ ఎకనామిక్స్ తరచుగా సమీక్షించబడుతుంది
చాలా పొడవుగా ఉంది చదవలేదు మరియు చివరి వ్యాఖ్యలు 🧩
AI స్కేలబిలిటీ అనేది ఒక ఫీచర్ లేదా రహస్య స్విచ్ కాదు. ఇది ఒక నమూనా భాష: ఆటోస్కేలర్లతో క్షితిజ సమాంతర స్కేలింగ్, వినియోగం కోసం సర్వర్-సైడ్ బ్యాచింగ్, మోడల్-స్థాయి సామర్థ్యం, ఆఫ్లోడ్ జ్ఞానాన్ని తిరిగి పొందడం మరియు రోల్అవుట్లను బోరింగ్గా చేసే పరిశీలన. SLOలను చల్లుకోండి మరియు ప్రతి ఒక్కరినీ సమలేఖనం చేయడానికి పరిశుభ్రతను ఖర్చు చేయండి. మీరు దీన్ని మొదటిసారి పరిపూర్ణంగా పొందలేరు - ఎవరూ చేయరు - కానీ సరైన ఫీడ్బ్యాక్ లూప్లతో, మీ సిస్టమ్ తెల్లవారుజామున 2 గంటలకు చల్లని-చెమట అనుభూతి లేకుండా పెరుగుతుంది 😅
ప్రస్తావనలు
[1] కుబెర్నెట్స్ డాక్స్ - క్షితిజ సమాంతర పాడ్ ఆటోస్కేలింగ్ - ఇంకా చదవండి
[2] NVIDIA ట్రైటాన్ - డైనమిక్ బ్యాచర్ - ఇంకా చదవండి
[3] vLLM డాక్స్ - పేజ్డ్ అటెన్షన్ - ఇంకా చదవండి
[4] హాఫ్మన్ మరియు ఇతరులు (2022) - శిక్షణ కంప్యూట్-ఆప్టిమల్ లార్జ్ లాంగ్వేజ్ మోడల్స్ - ఇంకా చదవండి
[5] Google SRE వర్క్బుక్ - SLOలను అమలు చేయడం - ఇంకా చదవండి