AI డేటా సెంటర్ అంటే ఏమిటి? [వీడియో మరియు క్విజ్]

సంక్షిప్త సమాధానం: ఒక AI డేటా సెంటర్ అనేది అదనపు GPUలు ఉన్న సర్వర్ రూమ్ కాదు; అది అధిక సాంద్రత గల ప్రదేశం, ఇక్కడ పవర్, కూలింగ్, ఫ్యాబ్రిక్ మరియు స్టోరేజ్ అన్నీ మోడళ్లకు శిక్షణ ఇవ్వడానికి మరియు వాటిని అందించడానికి కేంద్రీకృతమై ఉంటాయి. చిప్‌లకు కీర్తి లభిస్తుంది; అవి పనిచేస్తాయో లేదో భవనం నిర్ణయిస్తుంది. ఇమేజ్‌లను బయటకు తరలించలేని పక్షంలో, ఒక చిన్న సెల్‌ను ఏర్పాటు చేసుకోండి; చాలా బృందాలు దానిని అద్దెకు తీసుకోవాలి.

కీలకమైన అంశాలు:

చిప్స్ వర్సెస్ బిల్డింగ్: పవర్, కూలింగ్, ఫ్యాబ్రిక్ మరియు స్టోరేజ్ అనేవి యాక్సిలరేటర్లు పనిచేస్తాయో లేదో నిర్ణయిస్తాయి.

రాజభవనాలు కాదు, స్థలాలు: డేటా బయటకు వెళ్లలేని పక్షంలో రెండు ర్యాక్‌లను రెట్రోఫిట్ చేయండి; ఒక క్యాంపస్‌ను కొనవద్దు.

సగటు vs మధ్యస్థం: ఎనిమిది రన్‌లలో, మధ్యస్థం పునఃప్రారంభాలను దాచిపెట్టింది; 18-గంటల సగటును ఉపయోగించండి.

దుర్వినియోగ నిరోధకత: మిశ్రమ హాల్‌లో రెండు ర్యాక్‌ల కోసం PUEని ఉదహరించవద్దు.

ఉదాహరణ ఫలితాలు: ఎనిమిది రన్‌లు ఒక చిన్న మ్యాప్‌ను సూచిస్తాయి, అంతేగానీ 50% ఉత్పత్తి ఆదాను కాదు.

దీని తర్వాత మీరు చదవడానికి ఇష్టపడే కథనాలు:

🔗 AI విశ్వసనీయమైనదేనా? వీడియో మరియు క్విజ్.
ఆసక్తికరమైన వీడియో మరియు ఇంటరాక్టివ్ క్విజ్ ద్వారా AI విశ్వసనీయతను అన్వేషించండి.

🔗 రోజువారీ జీవితంలో AIని ఎలా ఉపయోగించాలి?
రోజువారీ పనులు మరియు దినచర్యలను AI ఏ విధంగా సులభతరం చేస్తుందో ఆచరణాత్మక మార్గాలను కనుగొనండి.

🔗 పనిలో AIని ఎలా ఉపయోగించాలి?
మరింత తెలివైన కార్యాలయ ఉత్పాదకత కోసం AIని ఉపయోగించే ఆచరణాత్మక మార్గాలను తెలుసుకోండి.

🔗 ఏఐ స్వయంగా ఆలోచించగలదా?
ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ నిజంగా స్వతంత్రంగా ఆలోచించగలదా లేదా తర్కించగలదా అని అర్థం చేసుకోండి.

ఇది "సాధారణ" డేటా సెంటర్ నుండి ఎలా భిన్నంగా ఉంటుంది

సాంప్రదాయ హాల్‌లు అనేక చిన్న సేవలలో మిశ్రమ వర్క్‌లోడ్‌లు మరియు అప్‌టైమ్‌ను ఆప్టిమైజ్ చేస్తాయి. మీరు రిడండెన్సీ గురించి, మరియు ఒక భావనగా PUE గురించి శ్రద్ధ వహిస్తారు - అంటే, ఒక వాట్ కంప్యూట్‌ను అందించడానికి భవనం అదనంగా వినియోగించే శక్తి. మీరు సాధారణంగా, ఒక పోర్టబుల్ హీటర్ ఫార్మ్ లాగా ప్రవర్తించే ర్యాక్ చుట్టూ ప్రతి కారిడార్‌ను డిజైన్ చేయరు.

AI సైట్‌లు నిష్పత్తులను తలక్రిందులు చేస్తాయి. సాంద్రత పెరుగుతుంది. ఆ నెట్‌వర్క్ ఒక పటిష్టమైన వ్యవస్థగా మారుతుంది, అది లేకుండా శిక్షణ ప్రక్రియ కుంటుపడదు. ట్రాఫిక్ జామ్‌లో చిక్కుకున్న రేసు గుర్రాల్లా, స్టోరేజ్ చెక్‌పాయింట్‌లను కదిలిస్తూ ఉండాలి, లేకపోతే యాక్సిలరేటర్లు నిశ్చలంగా ఉండిపోతాయి.

సాంస్కృతిక వ్యత్యాసం కూడా ఉంది. ఎంటర్‌ప్రైజ్ ఆప్స్ టిక్కెట్లు మరియు చేంజ్ విండోల రూపంలో ఆలోచిస్తుంది. ఏఐ ఆప్స్ జాబ్ క్యూల రూపంలో మరియు సుదీర్ఘ రన్ చివరిలో ఒక నోడ్ విఫలమైనప్పుడు కలిగే నిరాశాజనకమైన భావన రూపంలో ఆలోచిస్తుంది. రెండూ డేటా సెంటర్లే ​​కాబట్టి, వాటిని ఇప్పటికీ "డేటా సెంటర్లు" అని పిలవవచ్చు అనుకుంటాను. ఆ పేరు కేవలం దాని అంతర్గత వ్యవస్థను దాచిపెడుతుంది.

ఇది నైతిక ర్యాంకింగ్ కాదు. వేర్వేరు యంత్రాలు, ఒకే కుటుంబ పేరు.

GPUలు, యాక్సిలరేటర్లు మరియు ఎక్కువ విద్యుత్ వినియోగించే ర్యాక్

సాంప్రదాయ ఎత్తైన అంతస్తులో నడిస్తే రాక్‌లు చాలా మర్యాదగా కనిపిస్తాయి. ఆల్-ఇంక్లూజివ్ వరుసలో నడిస్తే, అవి ఆ భవనాన్ని మింగేయాలనుకుంటున్నట్లుగా కనిపిస్తాయి.

ఇక్కడ ప్రత్యేకంగా నిలిచే హార్డ్‌వేర్ ఒక తెలివైన CPU కాదు. అది యాక్సిలరేటర్ ట్రే: GPUలు లేదా ఇతర AI చిప్‌లు, వీటిని సర్వర్‌లలో, ఆపై ర్యాక్‌లలో, ఆపై అధిక బ్యాండ్‌విడ్త్ ఫ్యాబ్రిక్‌ను పంచుకునే వరుసలలో అమర్చుతారు. GPU ఇంటర్‌కనెక్ట్‌లు చిప్‌లను కలిపి ఒకే పెద్ద యాక్సిలరేటర్‌గా పనిచేసేలా చేస్తాయి; క్లస్టర్ ఫ్యాబ్రిక్ కూడా వరుసల స్థాయిలో ఇదే పని చేస్తుంది. ఆ లింక్‌లు బలంగా, ఊహించదగినవిగా ఉన్నప్పుడే సమాంతర శిక్షణ పనిచేస్తుంది. అలా లేకపోతే, మీ "క్లస్టర్" అనేది ఒకే పోస్ట్‌కోడ్‌ను పంచుకునే ఖరీదైన వర్క్‌స్టేషన్‌ల గుట్టగా మిగిలిపోతుంది.

శక్తి చిప్‌లను అనుసరిస్తుంది. భారీ ఆఫీస్ PDUని కాదు. ఒక హాల్ నిండిపోగానే మెగావాట్ల IT లోడ్ ఉంటుంది - నేను ఆ సంఖ్యను కల్పించి చెప్పను. ప్రతి ర్యాక్‌కు సాంద్రత అనేది ఇక్కడ అసలు మలుపు. తక్కువ ర్యాక్‌లు. ప్రతి ఒక్కటీ ఒక చిన్న కొలిమిలా ఉంటుంది. పరిమితం చేసే అంశం తరచుగా సబ్‌స్టేషన్, అంతేగానీ GPUల కోరికల జాబితా కాదు. మీకు తెలుసు కదా ఎలా ఉంటుందో: కొనుగోలు విభాగానికి మరిన్ని యాక్సిలరేటర్లు కావాలి; యుటిలిటీ విభాగానికి సుదీర్ఘ చర్చ మరియు చాలా పెద్ద చెక్కు కావాలి.

నా మదిలో మెదిలే ఒక వెర్రి పోలిక ఏమిటంటే: ఆ రాక్ ఒక ఆకలితో ఉన్న జంతువు. మీరు దానికంటే వేగవంతమైన దాన్ని పెంచవచ్చు. అయినా మీరు దానికి ఆహారం పెట్టాలి, దాని వేడిని కూడా తొలగించాలి. ఈ రెండింటిలో దేనిని వదిలేసినా, అది చాలా ఖరీదైన పేపర్‌వెయిట్‌గా మారిపోతుంది.

శక్తి, వేడి మరియు శీతలీకరణ సమస్య

విద్యుత్తు లోపలికి. వేడి బయటకు. అదే మతం యొక్క సారాంశం.

అధిక సాంద్రత గల ర్యాక్‌లు, గాలి నిర్వహించాల్సిన అవసరం ఎప్పుడూ లేని విధంగా వేడిని బయటకు పంపిస్తాయి. మీరు గాలిని మరింత బలంగా నెట్టవచ్చు - వెనుక-ద్వార హీట్ ఎక్స్ఛేంజర్లు, వేడిగా ఉండే నడవలు, తెలివైన నియంత్రణ వంటివి - మరియు అది ఒక స్థాయి వరకు పనిచేస్తుంది. ఆ తర్వాత ద్రవాలు రంగంలోకి వస్తాయి:

• డైరెక్ట్-టు-చిప్ కూలింగ్

• ప్లాంట్ రూమ్‌ను ఒక రసాయన కర్మాగారంలా కనిపించేలా చేసే కూలెంట్ లూప్‌లు

• నీరు మరియు సర్వర్లు ఒకే వాక్యంలో ఉండకూడదని భావించే వారిని ఇప్పటికీ ఆశ్చర్యపరిచే కొన్ని డిజైన్లలో లీనమవడం

ఇందులో ఏదీ ఆకర్షణీయమైనది కాదు. ఇదంతా కేవలం ఒక ఉత్పత్తి మాత్రమే, ఎందుకంటే వేగాన్ని తగ్గించే యాక్సిలరేటర్ అనేది మీరు ఇప్పటికే డబ్బు చెల్లించి కొన్నది, కానీ దానిని పూర్తిగా ఉపయోగించుకోలేరు.

PUE ఇప్పటికీ ముఖ్యమైనదే. అది ఒక నిష్పత్తి, వ్యక్తిత్వం కాదు. ఆపరేటర్లు దానిని వెంబడిస్తారు, ఎందుకంటే ఫ్యాన్లు మరియు పంపులపై ఖర్చు చేసే ప్రతి వాట్, GPUకి వెళ్ళని వాట్ అవుతుంది. నేను ఒక "సాధారణ" సంఖ్యను ఉదహరించను; వాతావరణం మరియు మీరు సరిహద్దును ఎలా గీస్తారనేది దానిని మారుస్తుంది, మరియు నకిలీ కచ్చితత్వం ఏమీ లేకపోవడం కంటే అధ్వాన్నమైనది. ఈ కథలో నీటికి కూడా స్థానం ఉంది. కొన్ని మొక్కలు నెమ్మదిగా తాగుతాయి. కొన్ని గటగటా తాగేస్తాయి. నది లేదా కరువు దానిని రాజకీయంగా మార్చేంత వరకు బాష్పీభవన శీతలీకరణ సమర్థవంతంగా ఉంటుంది

నెట్‌వర్కింగ్: చిప్‌లతో పాటు ఫ్యాబ్రిక్ కూడా ఎందుకు అంతే ముఖ్యం

ప్రజలు GPUలను ఫోటోలు తీస్తారు. వాళ్ళు స్విచ్‌లను ఫోటోలు తీయాలి.

శిక్షణ అనేది ఒక సంభాషణ. వేలాది యాక్సిలరేటర్లు ఒకదానితో ఒకటి దగ్గరి సమన్వయంతో గ్రేడియంట్లు, పారామీటర్లు, మోడల్ యొక్క భాగాలను మార్పిడి చేసుకుంటాయి. ఈ వ్యవస్థ తడబడితే, మొత్తం పని అత్యంత నెమ్మదైన హాప్ వద్ద ఆగిపోతుంది. అందుకే AI సంస్థలు అధిక బ్యాండ్‌విడ్త్ నెట్‌వర్కింగ్, తక్కువ లేటెన్సీ, మరియు ఒక లింక్ విఫలమైనప్పుడు కుప్పకూలిపోని టోపోలజీలపై అమితంగా దృష్టి పెడతాయి. ఇన్ఫినిబ్యాండ్ తరహా ఫ్యాబ్రిక్‌లు, అదే పాత్రలో ఈథర్‌నెట్, సిస్టమ్ లోపలే GPU ఇంటర్‌కనెక్ట్‌లు, మొదటిసారే సరిగ్గా ఉండాల్సిన కేబులింగ్ వంటివి దీనికి ఉదాహరణ.

ఇన్ఫరెన్స్ అనేది వేరే విషయం. మోడల్ సర్వింగ్ అనేది టెయిల్ లేటెన్సీ గురించి పట్టించుకుంటుంది - అంటే, సగటు సమాధానం గురించి కాదు, నెమ్మదైన సమాధానం గురించి. బ్యాచ్ మరియు రియల్-టైమ్ వాటి స్వభావంలో తేడాలు చూపిస్తాయి. ఒక ట్రైనింగ్ క్లస్టర్‌కు భారీ, సామూహిక, దాదాపు అన్నింటి నుండి అన్నింటికీ జరిగే కదలిక. ఒక సర్వింగ్ ఫ్లీట్‌కు లోడ్ బ్యాలెన్సర్ వద్ద ట్రాఫిక్ జామ్ లేకుండా, అనేక చిన్న అభ్యర్థనలు మరియు ఐసోలేషన్ కావాలి.

నేను ఇక్కడున్నప్పుడు ఒక విషయం చెప్పాలి: ప్రజలు నెట్‌వర్క్‌ను ప్లంబింగ్‌గా, చిప్స్‌ను రెస్టారెంట్‌గా భావిస్తారు. ఈ భవనంలో ప్లంబింగ్ అంటేనే రెస్టారెంట్. ఆ విషయాన్ని మీరు గమనించకపోతే, డెలివరీ తీసుకోలేని వంటగదిని కొన్నట్లే.

శిక్షణ వర్సెస్ అనుమానం: రెండు భవనాలు, కొన్నిసార్లు అక్షరాలా

శిక్షణ అనేది ఒక ప్రచారం లాంటిది. మీరు ఒక క్లస్టర్‌ను ఏర్పాటు చేసి, దానికి డేటాను అందించి, ప్రతి చెక్‌పాయింట్‌ను కచ్చితంగా పాటిస్తూ, గంటలు లేదా వారాల పాటు దాన్ని నడుపుతూ, ఆ వ్యవస్థ ఎటువంటి ఆటంకాలు లేకుండా సాఫీగా సాగిపోవాలని ప్రార్థిస్తారు. ఇది బ్యాచ్‌లతో నిండి, ఎక్కువ బ్యాండ్‌విడ్త్‌ను వినియోగించుకుంటూ, నిశ్శబ్దంగా ఓపికగా సాగుతుంది - కానీ ఒక నోడ్ విఫలమై ఆ మొత్తం ప్రక్రియపై ప్రభావం చూపేంత వరకు మాత్రమే. ఒకదానితో ఒకటి గట్టిగా ముడిపడి ఉన్న జాబ్‌లో, ఒక్క యాక్సిలరేటర్ పాడైపోవడం మొత్తం ప్రక్రియను నిలిపివేయగలదు.

ఇన్ఫరెన్స్ అనేది ఒక దుకాణం ముందు భాగం లాంటిది. ఇప్పటికే శిక్షణ పొందిన మోడల్స్ ఇప్పుడు ప్రశ్నలకు సమాధానమిస్తున్నాయి, చిత్రాలను వర్గీకరిస్తున్నాయి, టెక్స్ట్‌ను రూపొందిస్తున్నాయి. లేటెన్సీ ముఖ్యం. వినియోగదారుడికి దగ్గరగా ఉండే కొంచెం పాత యాక్సిలరేటర్, ఒక ఖండం అవతల ఉన్న ఆకర్షణీయమైన దానిని అధిగమించగలదు.

కాబట్టి మీకు ఒక విభజన కనిపిస్తుంది. శిక్షణా ప్రాంగణాలు విద్యుత్, భూమి మరియు సాంద్రత కోసం ప్రయత్నిస్తాయి. ఇన్ఫరెన్స్ సైట్‌లు లేటెన్సీ మరియు ఉనికి కోసం ప్రయత్నిస్తాయి. హైబ్రిడ్ హాళ్లు కూడా ఉన్నాయి, ఎందుకంటే మూలధనం అనంతం కాదు. అయితే - ఎల్లప్పుడూ రెండు భవనాలు ఉండవు. కొన్నిసార్లు వెల్వెట్ రోప్ మరియు రెండు కూలింగ్ లూప్‌లతో కూడిన ఒకే హాల్ ఉంటుంది.

ఇక్కడే కోలోకేషన్, హైపర్‌స్కేల్ క్యాంపస్‌లు మరియు ఆన్-ప్రెమ్ అనేవి విడిపోతాయి. హైపర్‌స్కేలర్లు నిర్మించే భారీ స్థాయి ముందు, మనలో మిగిలిన వారు ఫర్నిచర్ సర్దుతున్నట్లుగా కనిపిస్తారు. కోలోకేషన్ చేసేవారు సాంద్రతను ర్యాక్‌ల వారీగా అమ్ముతారు. డేటాను బయటకు తరలించలేని సందర్భాల్లోనే ఆన్-ప్రెమ్ జరుగుతుంది.

నిల్వ సామర్థ్యం, ​​చెక్‌పాయింట్లు మరియు హంగ్రీ చిప్స్

సమాంతర ఫైల్ వ్యవస్థను ఎవరూ బ్రోచర్ ముఖచిత్రంపై పెట్టరు.

GPUలు అధిక శ్రమకు గురికాకుండా ఉండేందుకు, శిక్షణా డేటా తగినంత వేగంగా అందాలి. ఒక క్రాష్ వల్ల వారం మొత్తం వృధా కాకుండా ఉండేందుకు, చెక్‌పాయింట్లు సరిగ్గా అమరాలి. సర్వింగ్ రెప్లికా లైవ్‌లోకి రాకముందే మోడల్ వెయిట్స్ లోడ్ అవ్వాలి. కేవలం సామర్థ్యం మాత్రమే కాకుండా, స్టోరేజ్ థ్రూపుట్ కూడా ఒక నిశ్శబ్దమైన అడ్డంకి. మీరు యాక్సిలరేటర్లపై భారీగా ఖర్చుపెట్టి, వర్చువల్ మెషీన్‌ల కోసం రూపొందించిన ఒక సాధారణ అర్రేతో వాటి సామర్థ్యాన్ని దెబ్బతీయవచ్చు.

ఈ నమూనా సుపరిచితమే: మెరిసే క్లస్టర్, జాబ్ క్యూ, మరియు ఒక మొరటు ఇన్వాయిస్ లాగా ఎదురుగా చూస్తున్న I/O వెయిట్. డేటా పాత్‌ను క్లస్టర్ చేయకుండా కంప్యూట్‌ను క్లస్టర్ చేయడం వల్ల మీకు చాలా ఖరీదైన నిష్క్రియాత్మకత ఏర్పడుతుంది. చిప్‌లకు నిరంతరం ఆహారం అందిస్తూ ఉండండి లేదా మీరు ఒక శిల్పాన్ని కొన్నారని ఒప్పుకోండి.

సాఫ్ట్‌వేర్, ఆర్కెస్ట్రేషన్ మరియు ఆకర్షణ లేని ఆపరేషన్స్ లేయర్

హార్డ్‌వేర్ ప్రధాన పాత్ర పోషిస్తుంది. షెడ్యూలర్లు అసలు పని చేస్తాయి.

జాబ్‌లకు GPUలు దొరక్కపోతే, రెండు బృందాలు గొడవ పడకుండా క్లస్టర్‌ను పంచుకోలేకపోతే, విఫలమైన ర్యాంక్‌ను భర్తీ చేయలేకపోతే, ఫర్మ్‌వేర్ క్రమంగా మారిపోయి మొత్తం వ్యవస్థ నెమ్మదిగా విఫలమయ్యేంత వరకు ఒక AI డేటా సెంటర్ నిరుపయోగం. ఆర్కెస్ట్రేషన్, అబ్జర్వబిలిటీ, పవర్ క్యాపింగ్ - ఈ ఆకర్షణ లేని ఆపరేషన్స్ లేయర్ ద్వారానే దాని ప్రాముఖ్యత మీకు తెలుస్తుంది.

ఈ లేయర్ అంటే నాకు చాలా ఇష్టం. అలాగే, తప్పుగా కాన్ఫిగర్ చేయబడిన NIC ఒక మధ్యాహ్నం మొత్తం కూలింగ్ సమస్యలా నటిస్తుంది... ఆ విషయం మీకు చాలా కష్టంగా తెలుస్తుంది.

ఒక నోడ్ మధ్యలో చనిపోయినప్పుడు

ఒక నోడ్ పాడైపోతుంది. మీ క్యాలెండర్‌ను పట్టించుకోని ట్రైనింగ్ రన్‌లతో చేంజ్ విండోలు ఇప్పటికీ ఢీకొంటాయి. మీరు పెద్ద జాబ్‌లను ఒకేసారి షెడ్యూల్ చేస్తారు, ఇన్ఫరెన్స్ పూల్స్‌ను వేరు చేస్తారు, 'జాబ్ నెమ్మదిగా ఉంది' అని మొదలయ్యే వైఫల్యాల కోసం రన్‌బుక్‌లను రాస్తారు, చివరికి అవి 'జాబ్ పూర్తిగా ఆగిపోయింది' అని తేలుతాయి. పవర్, కూలింగ్, పాత్స్, స్టోరేజ్ వంటి రిడండెన్సీ ఇప్పటికీ ముఖ్యమే - కానీ పాత 'నైన్స్-ఆఫ్-అప్‌టైమ్' స్లైడ్ లాగా ఫెయిల్యూర్ మోడ్ అంత క్రమబద్ధంగా ఉండదు. ఇన్ఫరెన్స్: రెప్లికా, పాడైన నోడ్‌ను ఖాళీ చేయడం, సమాధానాలు ఇస్తూనే ఉండటం. ట్రైనింగ్‌కు చెక్‌పాయింట్లు కావాలి, ఆశావాదం కాదు.

ప్రదేశం, నీరు, గ్రిడ్ మరియు పొరుగువారు

దృశ్యం కోసం మీరు వీటిలో ఒకదాన్ని కుటీరం పక్కన పెట్టరు.

గ్రిడ్ కనెక్షన్ అనేది తరచుగా అసలైన స్థల ఎంపిక ప్రక్రియగా ఉంటుంది. ఇతర వినియోగదారులు ఉన్న సబ్‌స్టేషన్ మరియు యుటిలిటీతో పోలిస్తే భూమి సులభం. మీరు శీతలీకరణ కోసం నీటిని ఉపయోగిస్తే, భారీ వర్షాలు కురిసిన వెంటనే అది పొరుగువారి సమస్యగా మారుతుంది. శబ్దం. కంటికి కనిపించే భారీతనం. సరిహద్దు కంచె వద్ద వేడి. ఒక పొలం మరియు నది అవసరమైన క్షణంలోనే ప్రణాళికా కమిటీలు "క్లౌడ్" గురించిన అభిప్రాయాలను కనుగొంటాయి.

లేటెన్సీ దీనికి విరుద్ధంగా పనిచేస్తుంది. ఇన్ఫరెన్స్ అనేది యూజర్లు మరియు ఇంటర్‌కనెక్ట్‌లకు దగ్గరగా ఉండటాన్ని ఇష్టపడుతుంది. శిక్షణను చౌకైన పవర్ మార్కెట్లలో మరియు చల్లని వాతావరణాలలో దాచిపెట్టవచ్చు. పరిశ్రమ ఒకే ఒక్క పరిపూర్ణమైన సైట్ ఉన్నట్లుగా మాట్లాడుతుంది. కానీ అలాంటిది లేదు. ఒక పత్రికా ప్రకటనతో రాజీ పడాల్సి వస్తుంది.

మిగిలిపోయిన వేడి మరియు అనాగతమైన కొలిమి

బ్రోచర్‌లకు ఈ భాగం చాలా ఇష్టం. వ్యర్థ వేడిని పైపుల ద్వారా ఇళ్లలోకి, ఈత కొలనులలోకి, గ్రీన్‌హౌస్‌లలోకి పంపండి; అదొక చక్కని వాక్యం. కొన్నిసార్లు జిల్లా లూప్ నిజమైనదే. కొన్నిసార్లు క్యాంపస్ తప్పుడు ప్రదేశంలో ఉంటుంది, అయినా వేడి గాలిలోకి వెళ్ళిపోతుంది. బ్రోచర్‌లోని వివరణపై నాకు సందేహం ఉంది; కానీ దానిలోని భౌతికశాస్త్రంపై నాకు సందేహం లేదు.

ఎవరికి ఒకటి అవసరం (మరియు బదులుగా ఎవరు అద్దెకు తీసుకోవాలి)

చాలా మందికి ఈ హాళ్లలో ఒకటి సొంతంగా ఉండవలసిన అవసరం లేదు.

సంక్షిప్త జాబితా:

• హైపర్‌స్కేలర్‌లు, ఎందుకంటే ఉత్పత్తియే ఫ్లీట్

• ల్యాబ్‌లలో, క్యూ సమయం అడ్డంకిగా మారినప్పుడు, లేదా డేటా బయటకు వెళ్లలేనప్పుడు

• రహస్య డేటాసెట్‌ను కలిగి ఉన్న బ్యాంకు, ఆసుపత్రుల సమూహం, ప్రభుత్వం లేదా తయారీదారు - అది ఆన్-ప్రెమ్ అయినా లేదా ప్రైవేట్ కోలో కేజ్ అయినా - అది గజిబిజిగా ఉన్నప్పటికీ హేతుబద్ధంగా ఉండవచ్చు

మిగతా వాళ్ళందరూ అద్దెకు తీసుకోవాలి. AI-సిద్ధమైన సాంద్రతతో కూడిన కోలోకేషన్. ఒక క్లౌడ్ రిజర్వేషన్. ఒక మేనేజ్డ్ క్లస్టర్. మీరు పవర్-ప్లాంట్ ఆపరేటర్ కాకుండానే యాక్సిలరేటర్లను పొందుతారు. తెల్లవారుజామున 3 గంటలకు కూలెంట్ లూప్ కోసం ఎవరు ఆన్ కాల్‌లో ఉన్నారని ఎవరైనా మొదటిసారి అడిగినప్పుడే ఆ రొమాన్స్ మాయమవుతుంది.

ఒప్పుకోవాల్సిందే, ఇందులో ఒక గర్వం ఉంది. ఆ క్లస్టర్‌ను సొంతం చేసుకోవడం అంటే, భవిష్యత్తును అంచనా వేసే సాధనాన్ని సొంతం చేసుకున్నట్లు అనిపిస్తుంది. ఆ తర్వాత కరెంటు బిల్లు వస్తుంది, అప్పుడు ఆ గర్వం సద్దుమణుగుతుంది.

భవనం దేనికోసం

అయితే, AI డేటా సెంటర్ అంటే ఏమిటి? ఇది ఒక ప్రత్యేకమైన, అధిక సాంద్రత గల ప్రాంగణం. ఇక్కడ యాక్సిలరేటర్లు, విద్యుత్, శీతలీకరణ, ఫ్యాబ్రిక్ మరియు స్టోరేజ్ వంటివి మోడళ్లకు శిక్షణ ఇవ్వడం మరియు వాటిని అందించడం చుట్టూ వ్యవస్థీకరించబడి ఉంటాయి. అంతేగానీ, ఇది ఒక మూలలో GPU ఉండే సాధారణ ఐటీ వ్యవస్థ కాదు. ఇది ఒక గిడ్డంగిలా కనిపిస్తుంది. కానీ ఇది గణితం చేసే ఒక పవర్ స్టేషన్ లాగా ప్రవర్తిస్తుంది.

మీరు మరేమీ గుర్తుంచుకోకపోయినా: చిప్‌లకు కీర్తి లభిస్తుంది; ఆ చిప్‌లు మంచి ఆలోచన అవునో కాదో సబ్‌స్టేషన్, కూలెంట్ మరియు నెట్‌వర్క్ నిర్ణయిస్తాయి. శిక్షణ మరియు అనుమానం ఒకే చోట ఉండగలవు; అయినా వాటి పద్ధతులు వేర్వేరుగా ఉంటాయి. చాలా సంస్థలు అద్దెకు తీసుకోవాలి. కొన్ని నిర్మించుకోవాలి. ఏది చేసినా ఇరుగుపొరుగు వారు గమనిస్తారు.

క్లౌడ్‌కి ఎప్పుడూ ఒక భవనం ఉండేది. ఈ రోజుల్లో ఆ భవనానికి అభిప్రాయాలు ఉన్నాయి.

వాస్తవ ప్రపంచ ఉదాహరణ: చిత్రాలు బయటకు వెళ్లలేనప్పుడు రెండు ర్యాక్‌ల శిక్షణా గది

దృశ్యం

టోమోస్, వెస్ట్ మిడ్లాండ్స్‌లోని 400 మంది ఉద్యోగులున్న తయారీ సంస్థ అయిన కెస్ట్రెల్ ప్రెసిషన్‌లో ఇన్‌ఫ్రాస్ట్రక్చర్ లీడ్‌గా ఉన్నారు. వారి వద్ద ఇప్పటికే ఒక చిన్న ఆన్-ప్రెమ్ హాల్ ఉంది: ఈ వ్యాసం ప్రారంభంలో ఉన్నటువంటి ERP, ఫైల్ షేర్లు, వర్చువల్ మెషీన్లు వంటి మిశ్రమ వ్యవస్థ. ఎయిర్ కూలింగ్. సాధారణ ఈథర్‌నెట్. ఆఫీస్ డిస్క్‌లకు ఎంతో అనుకూలమైన ఒక SAN.

మెషిన్-విజన్ బృందం ఫ్యాక్టరీ స్టిల్స్‌పై ఒక తనిఖీ మోడల్‌కు శిక్షణ ఇవ్వాలి. ఆ స్టిల్స్ ఆ ప్రాంగణాన్ని విడిచి వెళ్లకూడదు. అవి ఒక ప్రక్రియను చూపిస్తాయి, దానిని కంపెనీ క్లౌడ్ డిస్క్‌లో, ప్రైవేట్ డిస్క్‌లో కూడా ఉంచదు. ప్రొక్యూర్‌మెంట్ వారి పరిష్కారం నాలుగు డ్యూయల్-యాక్సిలరేటర్ సర్వర్లు మరియు "మా AI డేటా సెంటర్" అనే పేరు గల ఒక స్లైడ్. ఆ సర్వర్లను ఇప్పటికే ఉన్న రెండు ర్యాక్‌లలో ఉంచుతారు, ఎందుకంటే అక్కడ స్థలం ఉంది, కానీ స్థలమే ఒక పరిమితిగా అనిపించింది.

అది కాదు. పక్షం రోజుల్లోపే GPUలు బిజీగా ఉన్నట్లు శబ్దం చేస్తాయి, ఆపై నిశ్శబ్దంగా వాటి వేగం తగ్గుతుంది. SANలో ఒక చెక్‌పాయింట్ చేరినప్పుడు జాబ్‌లు చాలా నెమ్మదిగా సాగుతాయి. పదకొండవ నిమిషంలో ఒక నోడ్ చనిపోతుంది, ఇక ఆ రన్... ముగిసిపోతుంది. టోమోస్ చిప్‌లు కొనడంలో విఫలం కాలేదు. అతను ఒకే పోస్ట్‌కోడ్‌లో ఉన్న ఖరీదైన వర్క్‌స్టేషన్‌ల గుట్టను కొన్నాడు. ఆ భవనం అప్పటికీ ఒక ఎంటర్‌ప్రైజ్ హాల్‌గానే ఉంది.

వారికి క్యాంపస్, కొత్త సబ్‌స్టేషన్ లేదా నది అవసరం లేదు. వారికి కావలసింది ఒక చిన్న సెల్, అది సూక్ష్మరూపంలో ఉన్న ఒక AI డేటా సెంటర్ లాగా పనిచేయాలి: ర్యాక్‌లు నిజంగా నిల్వ చేయగల శక్తి, చిప్‌లను పాడుచేయకుండా బయటకు వెళ్లే వేడి, ట్రైనింగ్ జాబ్ కమ్యూనికేట్ చేయగల ఒక ఫ్యాబ్రిక్, ఒక చెక్‌పాయింట్‌ను తీసుకోగల స్టోరేజ్, మరియు ఒక నోడ్ పాడైపోయినప్పుడు ఉపయోగపడే ఒక రన్‌బుక్. ఇమేజ్‌లు బయటకు వెళ్లలేవు కాబట్టి, నలభై నిమిషాల దూరంలో ఒక కోలో కేజ్‌ను అద్దెకు తీసుకోవడం పరిష్కారం కాదు. రెండు ర్యాక్‌లను రెట్రోఫిట్ చేయడమే సరైన పరిష్కారం.

కణానికి ఏమి అవసరం

• ఆ వరుసకు కేటాయించిన పవర్ బడ్జెట్‌ను PDUల నుండి లెక్కించాలి, GPU విష్‌లిస్ట్ నుండి కాదు. ట్రైనింగ్ లోడ్‌లో ఉన్నప్పుడు మిగిలిన సామర్థ్యం నాలుగు సర్వర్‌లకు సరిపోకపోతే, చర్చ అక్కడితో ఆగిపోతుంది మరియు వారు మరింత దట్టమైన కోలోకేషన్‌ను పరిశీలిస్తారు, అంతేగానీ అదేమీ అద్భుతం కాదు

• ఈ సాంద్రత వద్ద గాలిని చల్లబరచడం అనేది ఎప్పుడూ చేయవలసిన పని కాదు: హాలుకు వీలైతే వెనుక ద్వారం వద్ద హీట్ ఎక్స్ఛేంజర్లను వాడతారు, లేదా దానికి బదులుగా ఒక చిన్న లిక్విడ్ లూప్‌ను ఏర్పాటు చేస్తారు. ఈ రెండూ లేకపోతే, సర్వర్లు లోపలికి వెళ్లవు

• నాలుగు నోడ్‌ల మధ్య ఆఫీస్ ఈథర్‌నెట్ కాకుండా, ఒక ప్రత్యేకమైన అధిక బ్యాండ్‌విడ్త్ ఫ్యాబ్రిక్ ఉండాలి. విక్రేత కేటలాగ్‌లో 10 Gb స్విచ్ మాత్రమే ఉంటే, అది క్లస్టర్ కాదు

• చెక్ పాయింట్లు మరియు శిక్షణా షార్డ్‌ల కోసం స్థానిక వేగవంతమైన నిల్వ, VM SAN కాదు

• ఒక షెడ్యూలర్, ఒక చెక్‌పాయింట్ వ్యవధి, మరియు వ్రాసిన పునఃప్రారంభ మార్గం. హార్డ్‌వేర్ ప్రధాన పాత్ర. ఈ పొరయే అసలైన పని

• ఫ్యాక్టరీ లైన్ కోసం, ట్రైనింగ్ చాటర్ నుండి వేరుగా, ఫెన్సింగ్ చేయబడిన ఒక ఇన్ఫరెన్స్ బాక్స్, ఎందుకంటే సర్వింగ్‌కు టెయిల్ లేటెన్సీ మరియు ఐసోలేషన్ కావాలి, అంతేగానీ ఒక కలెక్టివ్ కాదు

• పవర్, GPU క్లాక్‌లు, థ్రాటిల్ ఈవెంట్‌లు మరియు జాబ్ వాల్-క్లాక్‌ను లాగ్ చేయడానికి అనుమతి. ఒకవేళ వారు వాటిని తనిఖీ చేయలేకపోతే, వారు GPUలను ఫోటో తీసి స్విచ్‌లను గమనించరు

ఉదాహరణ సూచన

టోమోస్ ఈ విషయాన్ని ఫెసిలిటీస్ బ్రీఫ్‌లో సాధారణ భాషలో ఇలా పేర్కొన్నాడు:

దీనిని AI క్యాంపస్ అని పిలవవద్దు. నాలుగు డ్యూయల్-యాక్సిలరేటర్ సర్వర్‌ల కోసం, ప్రస్తుతం ఉన్న హాల్‌లోనే రెండు ర్యాక్‌ల ట్రైనింగ్ సెల్‌ను నిర్మించండి. ఫ్యాక్టరీ ఇమేజ్‌లు అక్కడే ఉంటాయి. విజయం అంటే: ఆ నాలుగు నోడ్‌లు థర్మల్ థ్రాటిల్ లేకుండా 12-ఎపోక్ ఇన్‌స్పెక్షన్-ట్రైనింగ్ రెసిపీని పూర్తి చేయడం, పదుల నిమిషాలు కాకుండా నిమిషాల్లోనే ఒక చెక్‌పాయింట్‌ను రాయడం, మరియు మనం ఉద్దేశపూర్వకంగా ఒక ర్యాంక్‌ను నిలిపివేసినప్పుడు అదే చెక్‌పాయింట్ నుండి తిరిగి ప్రారంభించడం. కూలింగ్ తప్పనిసరిగా GPUలను వాటి ట్రైనింగ్ క్లాక్‌ల వద్ద ఉంచాలి. నెట్‌వర్కింగ్ అనేది ఆ నాలుగు బాక్స్‌లు పంచుకునే ఒక ఫ్యాబ్రిక్‌లా ఉండాలి, అంతేగానీ ఆఫీస్ స్టాక్ గుండా వెళ్లే మార్గంలా ఉండకూడదు. స్టోరేజ్ చిప్‌లకు ఫీడ్ అందించాలి. రియర్-డోర్ హీట్ ఎక్స్ఛేంజర్‌లు సరిపోకపోతే, ఆ విషయం చెప్పి ఆపేయండి. మిక్స్‌డ్ హాల్‌లో రెండు ర్యాక్‌ల కోసం PUEను ఉదహరించవద్దు. ఆ సంఖ్య కేవలం నాటకీయత అవుతుంది.

తర్వాత అతను దీన్ని శిక్షణ ఉద్యోగంలోనే పెడతాడు:

ప్రతి 30 నిమిషాలకు స్థానిక ఫాస్ట్ పూల్ వద్ద చెక్‌పాయింట్ వద్ద ఆగవచ్చు. ఒకవేళ ర్యాంక్ పూర్తయితే, చివరిగా పూర్తి చేసిన చెక్‌పాయింట్ నుండి మళ్లీ ప్రారంభించండి. SAN వద్ద వేచి ఉండవద్దు. హీట్ కారణంగా క్లాక్‌లు పడిపోయినప్పుడు శిక్షణ కొనసాగించవద్దు. దానిని లాగ్ చేసి ఆపండి, అప్పుడే మేము ఆటంకాన్ని చూడగలం.

ఒక మంచి గంట ఇలా ఉంటుంది: ఎనిమిది GPUలు ట్రైనింగ్ క్లాక్స్‌లో ఉంటాయి, చెక్‌పాయింట్ ఫైల్ ల్యాండ్ అయి ఉంటుంది, జాబ్ ఇంకా లాక్‌స్టెప్‌లో ఉంటుంది. ఒక చెడ్డ గంట ఇలా ఉంటుంది: ఫ్యాన్లు పూర్తి వేగంతో తిరుగుతుంటాయి, క్లాక్స్ డౌన్ అయి ఉంటాయి, పది నిమిషాల తర్వాత చెక్‌పాయింట్ 2% మాత్రమే రైట్ అయి ఉంటుంది, మరియు ఆఫీసులో ఎవరో "క్లస్టర్ అప్ అయింది" అని అంటుంటారు. అప్ అంటే ట్రైనింగ్ అని కాదు.

దీన్ని ఎలా పరీక్షించాలి

వారు రెట్రోఫిట్‌కు ముందే టెస్ట్ రాస్తారు, డెమోను నమ్మకపోవడంలో ఉన్న ముఖ్య ఉద్దేశ్యం కూడా అదే.

• అదే 12-దశల విధానం, అవే 120,000 తనిఖీ కేంద్రాలు, ఎనిమిది రన్‌లు

• జాబ్ సబ్మిట్ నుండి ఎపోక్ 12 యొక్క చివరి చెక్‌పాయింట్ వరకు కొలిచిన, ఏదైనా రీస్టార్ట్‌తో సహా, పూర్తయిన రెసిపీకి పట్టే సమయం ఒక వాల్-క్లాక్ లాంటిది

• హీట్ పాస్: రన్ పూర్తయ్యేంత వరకు GPU క్లాక్‌లు ట్రైనింగ్ టార్గెట్ వద్దే ఉంటాయి. జాబ్ చివరికి పూర్తయినప్పటికీ, థ్రాటిల్ ఈవెంట్ అనేది ఒక వైఫల్యంగా పరిగణించబడుతుంది

• నిల్వపై ఒక పరిశీలన: జాబ్ లాగ్ నుండి చెక్‌పాయింట్ రైట్ సమయం, మధ్యస్థం మరియు అత్యంత చెత్త విలువలు

• ఒక విషయం గమనించండి: ఒక దళం ఆరోగ్యంగా ఉన్నప్పుడు పని సామూహికంగా వేచి ఉండదు. వారు ఆ నిరీక్షణను చూడలేకపోతే, ఆ పని పూర్తికాదు

• రీస్టార్ట్ మార్గాన్ని పరీక్షించడానికి, ఎనిమిది రన్‌లలో రెండింటిలో ఒక నిర్దిష్ట దశలో ఉద్దేశపూర్వకంగా ర్యాంక్ కోల్పోతారు

• ఫ్యాక్టరీ లైన్ నుండి ఫెన్సింగ్ ఉన్న సర్వింగ్ బాక్స్ వరకు ఇన్ఫరెన్స్ అనేది ఒక ప్రత్యేకమైన 200-చిత్రాల పరీక్ష. శిక్షణలో విజయం సాధించడం సర్వింగ్ విజయంగా పరిగణించబడదు

• వారు PDUల నుండి ర్యాక్ పవర్‌ను 15 నిమిషాల నమూనాలలో రికార్డ్ చేస్తారు, కాబట్టి ఎవరూ మెగావాట్‌ను కొత్తగా కనిపెట్టాల్సిన అవసరం లేదు

సెల్‌ను "AI-రెడీ" అని పిలవడానికి అంగీకారం: 8 రెసిపీలలో 8 పూర్తవుతాయి; 8లో 0 థర్మల్ థ్రాటిల్‌ను చూపుతాయి; ఆగిపోయిన రెండు రన్‌లు తిరిగి ప్రారంభమవుతాయి; చెక్‌పాయింట్లు నిమిషాల్లోనే ఉంటాయి. ఒకవేళ వారు దానిని సాధించలేకపోయినా, వారి వద్ద అధునాతన గ్రాఫిక్స్ కార్డ్‌లతో కూడిన సర్వర్ రూమ్ ఇంకా ఉంటుంది.

ఫలితం

ఇది ప్రచురించబడిన కెస్ట్రెల్ గణాంకం కాదు, కల్పితమైన ఎనిమిది-పరుగుల పరీక్ష నుండి వచ్చిన ఉదాహరణాత్మక ఫలితం.

అంచనాలు: రెండు ర్యాక్‌లలో నాలుగు డ్యూయల్-యాక్సిలరేటర్ సర్వర్లు; ఒక తనిఖీ మోడల్; 120,000 స్టిల్స్; ఒక స్థిరమైన 12-ఎపోక్ రెసిపీ యొక్క ఎనిమిది రన్‌లు; రెసిపీ పూర్తయ్యే వరకు వాల్-క్లాక్‌లో రీస్టార్ట్‌లు ఉంటాయి; థ్రాటిల్ అంటే ట్రైనింగ్ క్లాక్ నుండి లాగ్ చేయబడిన డ్రాప్; చెక్‌పాయింట్ సమయం అనేది రైట్, విష్ కాదు; ర్యాక్ పవర్ అనేది PDU శాంపిల్స్, క్యాంపస్ PUE కాదు.

రెట్రోఫిట్‌కు ముందు, ఆఫీస్ ఈథర్‌నెట్ మరియు VM SANలోని సాధారణ ఎయిర్-కూల్డ్ ర్యాక్‌లలో GPUలు ఉండేవి:

• 8 పరుగులలో 5 మొదటి ప్రయత్నంలోనే పూర్తయ్యాయి. ఆ ఐదింటిలో సగటు సమయం: 14 గంటలు

• సుమారు 11వ గంటలో ఆగిపోవడం వల్ల 8లో 3 మళ్లీ ప్రారంభించాల్సి వచ్చింది (పాత చెక్‌పాయింట్‌తో ఒక నోడ్ పనిచేయకపోవడం వల్ల రెండు, SANలో చెక్‌పాయింట్ నిండిపోవడం వల్ల ఒకటి). వెంటనే మళ్లీ ప్రయత్నించడం, గడియారంలో రాత్రిపూట నిరీక్షణ లేదు: 11 గంటలు వృధా అయ్యాయి, దానికి తోడు 14 గంటల రెండవ ప్రయత్నం, లేదా ఆ మూడింటిలో ఒక రెసిపీని పూర్తి చేయడానికి 25 గంటలు పట్టింది

• ఎనిమిదింటిలో ఒక వంటకం పూర్తి కావడానికి పట్టిన సగటు సమయం, పునఃప్రారంభాలతో సహా: 18 గంటలు. (ఐదుంటికి 14 గంటలు, మూడింటికి 25 గంటలు. ఎనిమిదింటి మధ్యస్థం ఇప్పటికీ 14 గంటలే, ఇది పునఃప్రారంభాలను దాచిపెడుతుంది. అందుకే ఇక్కడ సగటును ప్రామాణికంగా తీసుకున్నాము.)

• 8 ప్రయత్నాలలో 7 సార్లు థర్మల్ థ్రాటిల్ నమోదైంది. తగ్గించిన క్లాక్ వద్ద సగటు సమయం: 14 గంటల ప్రయత్నంలో 3 గంటలు

• చెక్‌పాయింట్ వద్ద రాయడం: సగటున 22 నిమిషాలు

• ర్యాంక్-కిల్ అనేది వారు నెగ్గగలిగే పరీక్ష కాదు. వారి వద్ద వ్యూహాల పుస్తకం లేదు. ఆ రెండు ప్రమాదవశాత్తు మరణాలే అసలు విషయం

• శిక్షణ సమయంలో రెండు ర్యాక్‌లపై గరిష్ట IT లోడ్: సుమారు 18 kW. ఆ వరుసలో వాట్స్ ఉన్నాయి. దానికి కూలింగ్ లేదా ఫ్యాబ్రిక్ లేదు

ఆ రెండు ర్యాక్‌లపై రియర్-డోర్ హీట్ ఎక్స్ఛేంజర్‌లు, నాలుగు నోడ్‌ల మధ్య ఒక ప్రత్యేక ఫ్యాబ్రిక్, చెక్‌పాయింట్‌ల కోసం ఒక చిన్న NVMe పూల్, 30-నిమిషాల చెక్‌పాయింటింగ్, మరియు ఒక రీస్టార్ట్ రన్‌బుక్ తర్వాత:

• 8కి 8 మొదటి ప్రయత్నంలోనే పూర్తయ్యాయి. సగటు సమయం: 9 గంటలు

• థర్మల్ థ్రాటిల్: 8 లో 0

• చెక్‌పాయింట్ రైట్: మధ్యస్థం 90 సెకన్లు. సెట్‌లో అత్యంత చెత్త సమయం: 3 నిమిషాలు

• ఆ రెండు ఉద్దేశపూర్వక ర్యాంక్-కిల్స్ రెండూ చివరి 30 నిమిషాల చెక్‌పాయింట్ నుండి తిరిగి ప్రారంభమయ్యాయి. ఆ రెండు రన్‌లలో అదనపు వాల్-క్లాక్: రోగ నిర్ధారణతో సహా ఒక్కొక్కదానికి సుమారు 40 నిమిషాలు, కాబట్టి ఆ రెండూ దాదాపు 9 గంటల 40 నిమిషాలకు చేరుకున్నాయి. ఎనిమిది స్టిల్ రౌండ్‌ల సగటు 9 గంటలు

• గరిష్ట IT లోడ్ ఇప్పటికీ సుమారు 18 kW. అవే చిప్‌లు. భవన ప్రవర్తనలో తేడా

ఈ నమూనా అంతటా, ఒక రెసిపీని పూర్తి చేయడానికి పట్టే సగటు సమయం 18 గంటల నుండి 9 గంటలకు తగ్గింది, అంటే ఎనిమిది రన్‌లలో ఒక్కో రన్‌కు 9 గంటల చొప్పున మొత్తం 72 గంటలు. మొదటిసారే పూర్తి చేయడం 8లో 5 నుండి 8లో 8కి పెరిగింది. థ్రాటిల్ 8లో 7 నుండి 8లో 0కి పడిపోయింది. ఆ చివరి సంఖ్యే వారు యాక్సిలరేటర్లు కొన్నారో లేక పేపర్‌వెయిట్‌లు కొన్నారో చెబుతుంది. ఈ సమయ మార్పును వారు ఉత్పత్తిలో 50% ఆదా అని పిలవరు. ఎనిమిది రన్‌లు అనేది ఒక చిన్న, సులభమైన సెట్.

ఈ గణాంకాలు పేర్కొన్న పరీక్ష, ఒక చిన్న నమూనా, ఒక మోడల్ మరియు ఒక మిశ్రమ హాల్ ఆధారంగా వేసిన ఒక ఉదాహరణ అంచనా. ఇవి PUE కాదు, క్యాంపస్ మెగావాట్ కాదు, మరియు కెస్ట్రెల్ ఒక పొలంలో శిక్షణా కేంద్రాన్ని నిర్మించాలని చెప్పడానికి రుజువు కూడా కాదు. లాగ్‌ల సమీక్ష 9 గంటల లోపే ఉందని తేల్చింది; వారు దానిని దాచలేదు. 18 kW అనే సంఖ్య రౌండ్ చేయబడిన PDU రీడింగ్, యుటిలిటీ ఇన్వాయిస్ కాదు. వారు 72 గంటలను ఖర్చుగా మార్చలేదు, ఎందుకంటే ఫ్యాక్టరీ యొక్క మిశ్రమ విద్యుత్ రేటు ఒక నకిలీ వ్యాపార ప్రతిపాదనను సృష్టించి ఉండేది.

సర్వింగ్ చెక్ వేరుగా మరియు చిన్నదిగా ఉండేది: ఫెన్స్ వేసిన బాక్స్‌కు 200 లైన్ ఇమేజ్‌లు, అన్నీ అక్కడికక్కడే. అది ఊహ మాత్రమే, శిక్షణ కాదు. ఆ రెండింటినీ కలపడం అనేది ఒక చిన్న హైబ్రిడ్-హాల్ పొరపాటు అయ్యేది.

ఏమి తప్పు జరగవచ్చు

• కొనుగోలు విభాగం నాలుగు సర్వర్లను "AI డేటా సెంటర్" అని పిలుస్తూనే ఉంది. ఆ పేరు దానిలోని మౌలిక సదుపాయాలను దాచిపెడుతుంది, మరియు తదుపరి కొనుగోలు కూడా అదే లోపభూయిష్టమైన విభాగం కోసం మరిన్ని GPUలే

• వెనుక ద్వార ఎక్స్ఛేంజర్లు లోపలికి వెళ్తాయి, కానీ నీటి వైపు భాగాన్ని ఎవరూ ప్రారంభించరు. అభిమానులు ఇంకా అరుస్తూనే ఉంటారు. గడియారాలు ఇంకా ఆగుతూనే ఉంటాయి

• ఈ ఫ్యాబ్రిక్ అనేది స్పేర్ పాత్ లేని ఒకే ఒక్క స్విచ్. ఒక లింక్ విఫలమైతే, "క్లస్టర్" మళ్ళీ నాలుగు వర్క్‌స్టేషన్‌లుగా మారుతుంది

• NVMe పూల్ "ఫేజ్ టూ"లో ఉన్నందున చెక్‌పాయింట్లు SANలోనే ఉంటాయి. తదుపరి డెడ్ నోడ్ వచ్చేలోపు ఫేజ్ టూ రాదు

• వారు మిక్స్‌డ్ హాల్‌లోని రెండు ర్యాక్‌ల కోసం ఒక PUEని ఉదహరిస్తారు. వాతావరణం, బౌండరీ మరియు మిగిలిన ERP వరుస ఆ నిష్పత్తిని ఒక కాస్ట్యూమ్‌గా మారుస్తాయి

• శిక్షణ మరియు సేవ రెండూ ఒకటే. చెక్‌పాయింట్ల వద్ద రద్దీ ఫ్యాక్టరీ లైన్‌ను నిలిపివేస్తుంది. అక్కడ ఉత్పత్తి సాంద్రత కాదు, చివరి దశలోని జాప్యం

• ఒక నోడ్ ఆగిపోతే, ఎవరో దాన్ని చెక్‌పాయింట్ రీస్టార్ట్‌గా కాకుండా అప్‌టైమ్ టికెట్‌గా పరిగణిస్తారు. ఎంటర్‌ప్రైజ్ ఆప్స్ మరియు ఏఐ ఆప్స్ ఒక మధ్యాహ్నం మొత్తం ఒకరి మాట ఒకరు వినకుండా మాట్లాడుకుంటారు

• వారు ఒక పంజరాన్ని అద్దెకు తీసుకుని ఉండవచ్చు, కానీ ఆ చిత్రాలు బయటకు వెళ్లలేవు. ఆ పరిమితిని మరచిపోవడం వారిని ఒక క్లౌడ్ సంభాషణలోకి నెట్టివేస్తుంది, దాని నుండి వారు బయటపడవలసి ఉంటుంది

ఆచరణాత్మక సారాంశం

ఈ రూపంలో ఉన్న AI డేటా సెంటర్ అనేది ఒక గిడ్డంగి కాదు, అలాగే అది ఒక GPU ఇన్వాయిస్ కూడా కాదు. అది యాక్సిలరేటర్లు తమ పనిని పూర్తి చేయడానికి వీలు కల్పించే ఒక సెల్: అవి నిల్వ చేసుకోగల శక్తి, బయటకు వెళ్లే వేడి, ఒక ఫ్యాబ్రిక్, ఒక చెక్‌పాయింట్, మరియు ఒక ర్యాంక్ విఫలమైనప్పుడు బాధ్యత వహించాల్సిన వ్యక్తి. కెస్ట్రెల్‌కు ఒక క్యాంపస్ అవసరం లేదు. నటించడం ఆపడానికి వారికి రెండు ర్యాక్‌లు అవసరమయ్యాయి. చాలా బృందాలు ఆ ప్రవర్తనను అద్దెకు తీసుకోవాలి. రహస్య డేటాసెట్ మరియు వేడిని తట్టుకోగల ఒక హాల్ ఉన్న కొద్దిమంది, ఒక సెల్‌ను నిర్మించుకుని, స్లైడ్‌ను తిరస్కరించాలి.

ఎఫ్ ఎ క్యూ

AI డేటా సెంటర్ అంటే ఏమిటి?

ఇది ఒక అధిక-సాంద్రత గల కంప్యూట్ సైట్, ఇక్కడ పవర్, కూలింగ్, నెట్‌వర్కింగ్ మరియు స్టోరేజ్ అనేవి సాధారణ-ప్రయోజన సర్వర్‌ల చక్కటి వరుసల చుట్టూ కాకుండా, సమాంతర శిక్షణ మరియు మోడల్ సర్వింగ్ చుట్టూ కేంద్రీకృతమై ఉంటాయి. భారీ సంఖ్యలో ఉన్న యాక్సిలరేటర్లు కరిగిపోకుండా, నెట్‌వర్క్‌లో నిలిచిపోకుండా, లేదా డిస్క్ కోసం వేచి ఉండకుండా మోడళ్లకు శిక్షణ ఇచ్చి, సర్వ్ చేయగలిగేలా ఇది రూపొందించబడింది. ఒక సాధారణ ఎంటర్‌ప్రైజ్ హాల్ అనేది ఒక మిశ్రమ పరిసర ప్రాంతం. ఒక AI హాల్ అనేది ఒకే రకమైన సంస్కృతిని కలిగి ఉంటుంది, దాని విలువకు ప్రమాణం GPUలు లేదా TPU-శైలి చిప్‌ల వంటి యాక్సిలరేటర్. ఇది ఒక గిడ్డంగిలా కనిపిస్తుంది మరియు గణితం చేసే ఒక పవర్ స్టేషన్ లాగా ప్రవర్తిస్తుంది.

AI డేటా సెంటర్ సాధారణ డేటా సెంటర్ నుండి ఎలా భిన్నంగా ఉంటుంది?

సాంప్రదాయ డేటా సెంటర్లు అనేక చిన్న సర్వీసులలో మిశ్రమ వర్క్‌లోడ్‌లు మరియు అప్‌టైమ్‌ను ఆప్టిమైజ్ చేస్తాయి. AI సైట్‌లు ఈ నిష్పత్తులను తలక్రిందులు చేస్తాయి: డెన్సిటీ పెరుగుతుంది, నెట్‌వర్క్ అనేది ట్రైనింగ్ జాబ్ తప్పనిసరిగా అవసరమయ్యే ఒక వ్యవస్థగా మారుతుంది, మరియు స్టోరేజ్ చెక్‌పాయింట్‌లను నిరంతరం కదిలేలా చేయాలి, లేకపోతే యాక్సిలరేటర్లు నిష్క్రియంగా ఉండిపోతాయి. ఎంటర్‌ప్రైజ్ ఆప్స్ టిక్కెట్లు మరియు చేంజ్ విండోల రూపంలో ఆలోచిస్తుంది. AI ఆప్స్ జాబ్ క్యూల రూపంలో మరియు సుదీర్ఘ రన్ చివరిలో ఒక నోడ్ విఫలమైనప్పుడు కలిగే అసహ్యకరమైన భావన రూపంలో ఆలోచిస్తుంది. మీరు రెండింటినీ డేటా సెంటర్లు అని పిలవవచ్చు. ఆ పేరు కేవలం దాని అంతర్గత వ్యవస్థను దాచిపెడుతుంది.

AI డేటా సెంటర్లు ఎందుకు ఇంత ఎక్కువ శక్తిని వినియోగిస్తాయి?

ఇక్కడ ప్రత్యేకంగా నిలిచే హార్డ్‌వేర్ ఒక తెలివైన CPU కాదు. అది యాక్సిలరేటర్ ట్రే: GPUలు లేదా ఇతర AI చిప్‌లు, ఇవి సర్వర్‌లలో, ఆపై ర్యాక్‌లలో, ఆపై అధిక బ్యాండ్‌విడ్త్ ఫ్యాబ్రిక్‌ను పంచుకునే వరుసలలో అమర్చబడి ఉంటాయి. ప్రతి ర్యాక్‌లోని సాంద్రతే ఇక్కడ అసలు మలుపు: తక్కువ ర్యాక్‌లు, కానీ ప్రతి ఒక్కటీ ఒక చిన్న కొలిమిలా ఉంటుంది. ఒక హాల్ నిండిపోగానే మెగావాట్ల ఐటీ లోడ్ కనిపిస్తుంది, అయితే దీనికి ఒక సాధారణ సంఖ్యను ఊహించడం అంత ప్రయోజనకరం కాదు. తరచుగా పరిమితిని విధించే అంశం GPUల కోరికల జాబితా కాదు, సబ్‌స్టేషన్.

AI డేటా సెంటర్లను ఎలా చల్లబరుస్తారు?

అధిక సాంద్రత గల ర్యాక్‌లు, గాలి నిర్వహించాల్సిన దానికంటే భిన్నంగా వేడిని బయటకు పంపిస్తాయి. మీరు రియర్-డోర్ హీట్ ఎక్స్ఛేంజర్‌లు, వేడిగా ఉండే నడవలు మరియు తెలివైన నియంత్రణ పద్ధతుల ద్వారా గాలిని మరింత బలంగా నెట్టవచ్చు. ఆ తర్వాత ద్రవ పదార్థాలు రంగ ప్రవేశం చేస్తాయి: డైరెక్ట్-టు-చిప్ కూలింగ్, కూలెంట్ లూప్‌లు మరియు కొన్ని డిజైన్లలో ఇమ్మర్షన్ వంటివి. థ్రాటిల్ చేసే యాక్సిలరేటర్ అంటే, మీరు ఇప్పటికే డబ్బు చెల్లించి, పూర్తిగా ఉపయోగించుకోలేని వస్తువు అన్నమాట. PUE ఇప్పటికీ ముఖ్యమైనదే, ఎందుకంటే ఫ్యాన్లు మరియు పంపులపై ఖర్చు చేసిన ప్రతి వాట్, GPUకి వెళ్లని వాట్ అవుతుంది. ఈ కథలో నీటికి కూడా స్థానం ఉంది: కొన్ని మొక్కలు నీటిని నెమ్మదిగా తాగుతాయి, కొన్ని గుటకలు వేస్తాయి.

GPUల వలె నెట్‌వర్కింగ్ కూడా ఎందుకు అంత ముఖ్యమైనది?

శిక్షణ అనేది ఒక సంభాషణ: వేలాది యాక్సిలరేటర్లు ఒక మోడల్ యొక్క గ్రేడియంట్‌లు, పారామీటర్‌లు మరియు షార్డ్‌లను కచ్చితమైన సమకాలీకరణలో పరస్పరం మార్చుకోవడం. ఆ ఫ్యాబ్రిక్ తడబడితే, మొత్తం పని అత్యంత నెమ్మదైన హాప్ వద్ద ఆగిపోతుంది. అందుకే AI హాల్స్ అధిక బ్యాండ్‌విడ్త్ నెట్‌వర్కింగ్, తక్కువ లేటెన్సీ, ఇన్ఫినిబ్యాండ్ తరహా ఫ్యాబ్రిక్‌లు లేదా అదే పాత్రలో ఈథర్‌నెట్, మరియు ఒక లింక్ విఫలమైనప్పుడు సగానికి కుప్పకూలిపోని టోపోలాజీల పట్ల అమితమైన శ్రద్ధ చూపుతాయి. ఇన్ఫరెన్స్ టెయిల్ లేటెన్సీ, అనేక చిన్న అభ్యర్థనలు మరియు ఐసోలేషన్‌కు ప్రాధాన్యత ఇస్తుంది. ఈ భవనంలో ప్లంబింగ్ అనేది రెస్టారెంట్ లాంటిది.

AI డేటా సెంటర్‌ను దేనికి ఉపయోగిస్తారు: శిక్షణకా లేక అంచనాకా?

శిక్షణ అనేది ఒక ప్రచారం లాంటిది: ఒక క్లస్టర్‌ను ఏర్పాటు చేయడం, దానికి డేటాను అందించడం, ప్రతిసారి చెక్‌పాయింట్లను తనిఖీ చేయడం, మరియు గంటలు లేదా వారాల పాటు దానిని నడపడం. ఇన్ఫరెన్స్ అనేది ఒక ప్రదర్శనశాల లాంటిది: ఇప్పటికే శిక్షణ పొందిన మోడల్స్, ఇప్పుడు ముఖ్యమైన లాటెన్సీతో స్పందిస్తాయి. శిక్షణా క్యాంపస్‌లు శక్తి, భూమి మరియు సాంద్రత కోసం వెంపలాడతాయి. ఇన్ఫరెన్స్ సైట్‌లు లాటెన్సీ మరియు ఉనికి కోసం వెంపలాడతాయి. మూలధనం అనంతం కాదు కాబట్టే హైబ్రిడ్ హాళ్లు ఉనికిలో ఉన్నాయి, కొన్నిసార్లు ఒకే హాలులో రెండు కూలింగ్ లూప్‌లు ఉంటాయి. వినియోగదారుడికి దగ్గరగా ఉన్న కొంచెం పాత యాక్సిలరేటర్, ఒక ఖండం దూరంలో ఉన్న ఆకర్షణీయమైన దానిని అధిగమించగలదు.

AI డేటా సెంటర్‌లో నిల్వ ఎందుకు ముఖ్యం?

GPUలు అధిక శ్రమకు గురికాకుండా ఉండేందుకు, శిక్షణా డేటా తగినంత వేగంగా అందాలి. ఒక క్రాష్ వల్ల వారం మొత్తం వృధా కాకుండా ఉండేందుకు, చెక్‌పాయింట్లు సరిగ్గా అమరాలి. సర్వింగ్ రెప్లికా లైవ్‌లోకి రాకముందే మోడల్ వెయిట్స్ లోడ్ అవ్వాలి. కేవలం సామర్థ్యం మాత్రమే కాకుండా, స్టోరేజ్ థ్రూపుట్ కూడా ఒక నిశ్శబ్ద అవరోధంగా ఉంది. మీరు యాక్సిలరేటర్లపై భారీగా ఖర్చుపెట్టి, వర్చువల్ మెషీన్‌ల కోసం రూపొందించిన ఒక సాధారణ అర్రేతో వాటి సామర్థ్యాన్ని దెబ్బతీయవచ్చు.

ఒక నోడ్ మధ్యలో ఆగిపోతే ఏమి జరుగుతుంది?

గట్టిగా అనుసంధానించబడిన ట్రైనింగ్ జాబ్‌లో ఒక యాక్సిలరేటర్ పాడైపోతే, అది మొత్తం ప్రక్రియను నిలిపివేయగలదు. ట్రైనింగ్‌కు చెక్‌పాయింట్లు కావాలి, ఆశావాదం కాదు. ఇన్ఫరెన్స్ పాడైపోయిన నోడ్‌ను ఖాళీ చేస్తుంది, ఒక రెప్లికా స్పందించేలా చేస్తుంది, మరియు లైవ్‌లో ఉంటుంది. మీ క్యాలెండర్‌ను పట్టించుకోని ట్రైనింగ్ రన్‌లతో చేంజ్ విండోలు ఇప్పటికీ ఢీకొంటాయి. పవర్, కూలింగ్, పాత్‌లు మరియు స్టోరేజ్ కోసం రిడండెన్సీ ఇప్పటికీ ముఖ్యమైనదే, కానీ ఫెయిల్యూర్ మోడ్ పాత తొమ్మిది-అప్‌టైమ్ స్లైడ్ కంటే తక్కువ క్రమబద్ధంగా ఉంటుంది.

గ్రిడ్, నీరు మరియు పొరుగువారిపై AI డేటా సెంటర్ ప్రభావం ఏమిటి?

గ్రిడ్ కనెక్షన్ అనేది తరచుగా అసలైన స్థల ఎంపిక ప్రక్రియ. ఇతర వినియోగదారులు ఉన్న సబ్‌స్టేషన్ మరియు యుటిలిటీతో పోలిస్తే భూమి సులభం. మీరు శీతలీకరణ కోసం నీటిని ఉపయోగిస్తే, భారీ వర్షాలు కురిసిన వెంటనే అది పొరుగువారి సమస్యగా మారుతుంది. దానికి తోడు సరిహద్దు కంచె వద్ద శబ్దం, దృశ్యపరమైన బరువు మరియు వేడి కూడా సమస్యలుగా మారతాయి. చౌకైన విద్యుత్ మార్కెట్లలో మరియు చల్లని వాతావరణాలలో శిక్షణను దాచిపెట్టవచ్చు. ఇన్ఫరెన్స్ వినియోగదారులకు దగ్గరగా ఉండటానికి ఇష్టపడుతుంది. పరిపూర్ణమైన స్థలం అంటూ ఏదీ లేదు. పత్రికా ప్రకటనతో ఒక రాజీ ఉంటుంది.

నేను AI డేటా సెంటర్‌ను సొంతం చేసుకోవాలా, లేక అద్దెకు తీసుకోవాలా?

చాలా మందికి ఈ హాల్స్‌లో ఒకటి సొంతంగా ఉండాల్సిన అవసరం లేదు. హైపర్‌స్కేలర్లు వీటిని నిర్మిస్తారు, ఎందుకంటే వారి ఉత్పత్తియే ఫ్లీట్. క్యూ టైమ్ ఒక అడ్డంకిగా మారినప్పుడు లేదా డేటా బయటకు వెళ్లలేనప్పుడు ల్యాబ్‌లు వీటిని నిర్మిస్తాయి. ఒక బ్యాంకు, ఆసుపత్రి, ప్రభుత్వం, లేదా రహస్య డేటాసెట్ ఉన్న తయారీదారుకు ఆన్-ప్రెమ్ లేదా ప్రైవేట్ కోలో కేజ్‌ను ఏర్పాటు చేసుకోవడం సమంజసంగా అనిపించవచ్చు. మిగతా వారందరూ అద్దెకు తీసుకోవాలి: AI-రెడీ కోలోకేషన్, క్లౌడ్ రిజర్వేషన్, లేదా మేనేజ్డ్ క్లస్టర్. మీరు పవర్-ప్లాంట్ ఆపరేటర్‌గా మారకుండానే యాక్సిలరేటర్లను పొందుతారు.

ప్రస్తావనలు

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. ది గ్రీన్ గ్రిడ్ - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. అప్‌టైమ్ ఇన్‌స్టిట్యూట్ - journal.uptimeinstitute.com

7. ఎన్విడియా - developer.nvidia.com

8. ఎన్విడియా - docs.nvidia.com

9. ఎన్విడియా - docs.nvidia.com

10. ఎన్విడియా - docs.nvidia.com

11. గూగుల్ క్లౌడ్ - docs.cloud.google.com

అధికారిక AI అసిస్టెంట్ స్టోర్‌లో తాజా AI ని కనుగొనండి

మా గురించి