AI ڈیٹا سینٹر کیا ہے؟ [ویڈیو اور کوئز]

مختصر جواب: ایک AI ڈیٹا سینٹر ایک اعلی کثافت والی سائٹ ہے جہاں پاور، کولنگ، فیبرک، اور سٹوریج ٹریننگ اور سرونگ ماڈلز کے گرد جھکا ہوا ہے، نہ کہ اضافی GPUs کے ساتھ سرور روم۔ چپس کو شہرت ملتی ہے۔ عمارت فیصلہ کرتی ہے کہ آیا وہ کام کرتے ہیں ۔ اگر تصاویر نہیں نکل سکتیں تو ایک چھوٹے سے سیل کو دوبارہ تیار کریں۔ زیادہ تر ٹیموں کو کرایہ پر لینا چاہئے۔

اہم نکات:

چپس بمقابلہ عمارت: پاور، کولنگ، فیبرک، اور اسٹوریج فیصلہ کرتے ہیں کہ آیا ایکسلریٹر کام کرتے ہیں۔

جگہیں محلات نہیں: جب ڈیٹا نہیں جا سکتا تو دو ریکوں کو دوبارہ بنائیں۔ کیمپس نہ خریدیں۔

اوسط بمقابلہ میڈین: آٹھ رنز پر، میڈین چھپ دوبارہ شروع ہوتا ہے؛ 18 گھنٹے کا مطلب استعمال کریں۔

غلط استعمال کی مزاحمت: مخلوط ہال میں دو ریک کے لیے PUE کا حوالہ نہ دیں۔

مثالی نتائج: آٹھ رنز ایک چھوٹا نقشہ ہے، نہ کہ 50% پیداوار کی بچت۔

اس کے بعد آپ جو مضامین پڑھنا پسند کر سکتے ہیں:

🔗 کیا AI قابل اعتماد ہے؟ ویڈیو اور کوئز
ایک پرکشش ویڈیو اور انٹرایکٹو کوئز کے ذریعے AI کی وشوسنییتا کو دریافت کریں۔

🔗 روزمرہ کی زندگی میں AI کا استعمال کیسے کریں
عملی طریقے دریافت کریں کہ AI روزمرہ کے کاموں اور معمولات کو آسان بنا سکتا ہے۔

🔗 کام پر AI کا استعمال کیسے کریں
کام کی جگہ پر بہتر پیداواری صلاحیت کے لیے AI استعمال کرنے کے عملی طریقے سیکھیں۔

🔗 کیا AI اپنے لیے سوچ سکتا ہے؟
سمجھیں کہ مصنوعی ذہانت حقیقی طور پر آزادانہ طور پر سوچ سکتی ہے یا وجہ۔

یہ ایک "عام" ڈیٹا سینٹر سے کیسے مختلف ہے۔

روایتی ہالز مخلوط کام کے بوجھ اور بہت ساری چھوٹی خدمات میں اپ ٹائم کے لیے بہتر بناتے ہیں۔ آپ کو فالتو پن کا خیال ہے، یقینی طور پر، اور PUE کے بارے میں ایک تصور کے طور پر - اضافی توانائی جو کہ عمارت ایک واٹ کمپیوٹ فراہم کرنے کے لیے جلتی ہے۔ آپ، عام طور پر، ہر کوریڈور کو ریک کے ارد گرد ڈیزائن نہیں کرتے جو پورٹیبل ہیٹر فارم کی طرح برتاؤ کرتا ہے۔

AI سائٹیں تناسب کو پلٹاتی ہیں۔ کثافت بڑھ جاتی ہے۔ نیٹ ورک ایک تانے بانے بن جاتا ہے جس کے بغیر تربیتی کام لنگڑا نہیں رہ سکتا۔ سٹوریج کو چوکیوں کو حرکت میں رکھنا پڑتا ہے یا ایکسلریٹر بے کار رہتے ہیں، جیسے ٹریفک جام میں ریس کے گھوڑے۔.

ثقافتی فرق بھی ہے۔ انٹرپرائز اوپس ٹکٹوں میں سوچتے ہیں اور ونڈوز کو تبدیل کرتے ہیں۔ AI ops نوکری کی قطاروں میں سوچتا ہے اور بیمار احساس جب ایک نوڈ طویل عرصے میں دیر سے مر جاتا ہے۔ میرا اندازہ ہے کہ آپ اب بھی دونوں کو "ڈیٹا سینٹرز" کہہ سکتے ہیں کیونکہ وہ ہیں۔ لیبل صرف پلمبنگ کو چھپاتا ہے۔.

اخلاقی درجہ بندی نہیں۔ مختلف مشینیں، ایک ہی خاندانی نام۔.

GPUs، ایکسلریٹر، اور وہ ریک جو پاور کھاتا ہے۔

روایتی اونچے فرش پر چلیں اور ریک تقریباً شائستہ نظر آئیں۔ AI قطار میں چلیں اور وہ ایسا لگتا ہے جیسے وہ عمارت کو نگلنا چاہتے ہیں۔.

اسٹینڈ آؤٹ ہارڈ ویئر کوئی ہوشیار CPU نہیں ہے۔ یہ ایکسلریٹر ٹرے ہے: GPUs یا دیگر AI چپس، سرورز میں پیک، پھر ریک، پھر قطاریں جو ایک اعلی بینڈوتھ فیبرک کا اشتراک کرتی ہیں۔ GPU سلائی چپس کو کسی ایسی چیز میں جوڑتا ہے جو ایک بڑا ایکسلریٹر ہونے کا بہانہ کر سکتا ہے۔ کلسٹر فیبرک قطار کے پیمانے پر ایک ہی چال کرتا ہے۔ متوازی تربیت صرف اس صورت میں کام کرتی ہے جب وہ لنکس موٹے اور پیش قیاسی رہیں۔ اسے کھو دیں اور آپ کا "کلسٹر" ایک پوسٹ کوڈ کا اشتراک کرنے والے مہنگے ورک سٹیشنوں کا ڈھیر ہے۔

طاقت چپس کی پیروی کرتی ہے۔ ایک چنکی آفس PDU نہیں ہے۔ ایک بار ہال بھر جانے کے بعد میگاواٹ کا IT لوڈ - میں کوئی نمبر ایجاد نہیں کروں گا۔ کثافت فی ریک پلاٹ موڑ ہے۔ کم ریک۔ ہر ایک ایک چھوٹی بھٹی۔ محدود کرنے والا عنصر اکثر سب اسٹیشن ہوتا ہے، GPUs کی خواہش کی فہرست نہیں۔ آپ جانتے ہیں کہ یہ کیسا ہے: حصولی مزید تیز رفتاری چاہتی ہے۔ افادیت ایک طویل گفتگو اور ایک بہت بڑا چیک چاہتی ہے۔.

ایک معمولی سا استعارہ جسے میں ہلا نہیں سکتا: ریک ایک بھوکا جانور ہے۔ آپ ایک تیز رفتار نسل کر سکتے ہیں. آپ کو اب بھی اسے کھانا کھلانا ہے، اور آپ کو اب بھی گرمی کو ختم کرنا ہے۔ یا تو چھوڑ دیں اور یہ ایک بہت مہنگا پیپر ویٹ بن جاتا ہے۔.

بجلی، گرمی اور ٹھنڈک کا مسئلہ

اندر بجلی۔ گرمی باہر۔ یہی پورا دین ہے۔.

اعلی کثافت والے ریک گرمی کو اس طرح پھینک دیتے ہیں کہ ہوا کو واقعی ہینڈل کرنے کے لئے کبھی نہیں کہا گیا تھا۔ آپ ہوا کو زیادہ زور سے دھکیل سکتے ہیں - پچھلے دروازے کے ہیٹ ایکسچینجرز، گرم گلیارے، ہوشیار کنٹینمنٹ - اور یہ ایک نقطہ تک کام کرتا ہے۔ پھر مائع ظاہر ہوتا ہے:

• ڈائریکٹ ٹو چپ کولنگ

• کولنٹ لوپس جو پلانٹ کے کمرے کو کیمیائی کام کی طرح دکھاتے ہیں۔

• چند ڈیزائنوں میں ڈوبنا، جو اب بھی لوگوں کو چونکا دیتا ہے جو سوچتے ہیں کہ پانی اور سرورز کو ایک جملہ کا اشتراک نہیں کرنا چاہیے۔

اس میں سے کوئی بھی گلیمرس نہیں ہے۔ یہ سب پروڈکٹ ہے، کیونکہ ایک ایکسلریٹر جو تھروٹلز کرتا ہے وہ ہے جس کے لیے آپ پہلے ہی ادائیگی کر چکے ہیں اور مکمل طور پر استعمال نہیں کر سکتے۔.

PUE اب بھی اہمیت رکھتا ہے۔ یہ تناسب ہے، شخصیت نہیں۔ آپریٹرز اس کا پیچھا کرتے ہیں کیونکہ پنکھے اور پمپ پر خرچ ہونے والا ہر واٹ ایک واٹ ہے جو GPU میں نہیں جاتا تھا۔ میں ایک "عام" شخصیت کا حوالہ نہیں دوں گا۔ آب و ہوا اور آپ حد کو کس طرح کھینچتے ہیں اسے منتقل کرتے ہیں، اور جعلی درستگی کسی سے بھی بدتر ہے۔ کہانی میں بھی پانی بیٹھ جاتا ہے۔ کچھ پودے گھونٹ لیتے ہیں۔ کچھ گھونٹ۔ بخارات کی ٹھنڈک اس وقت تک کارآمد ہے جب تک کہ دریا یا خشک سالی اسے سیاسی نہ بنا دے۔

نیٹ ورکنگ: کیوں تانے بانے کی اتنی ہی اہمیت ہے جتنا کہ چپس

لوگ GPUs کی تصویر بناتے ہیں۔ انہیں سوئچ کی تصویر کھینچنی چاہیے۔.

تربیت ایک گفتگو ہے۔ ہزاروں ایکسلریٹر سخت مطابقت پذیری میں گریڈینٹ، پیرامیٹرز، ماڈل کے شارڈز کا تبادلہ کرتے ہیں۔ اگر تانے بانے گھل مل جائیں تو سارا کام سست ترین ہاپ پر انتظار کرتا ہے۔ یہی وجہ ہے کہ AI ہالز ہائی بینڈوڈتھ نیٹ ورکنگ، کم لیٹنسی، اور ٹوپولاجی کے جنون میں مبتلا ہیں جو لنک کے ناکام ہونے پر آدھے حصے میں نہیں آتے۔ InfiniBand-ish کپڑے، ایک ہی کردار میں Ethernet، GPU باکس کے اندر آپس میں جڑتا ہے، کیبلنگ جو کہ پہلی بار درست ہونی چاہیے۔

اندازہ ایک مختلف گفتگو ہے۔ پیش کرنے والا ماڈل دم کی تاخیر کا خیال رکھتا ہے - سست جواب، اوسط نہیں۔ بیچ بمقابلہ حقیقی وقت شخصیت کو تقسیم کرتا ہے۔ ایک تربیتی جھرمٹ چربی، اجتماعی، سب سے زیادہ تحریک۔ ایک خدمت کرنے والا بیڑا لوڈ بیلنسر پر ٹریفک جام کے بغیر بہت سی چھوٹی درخواستیں اور تنہائی چاہتا ہے۔

یاد آیا، جب میں یہاں ہوں: لوگ نیٹ ورک کو پلمبنگ اور چپس کو ریستوراں سمجھتے ہیں۔ اس عمارت میں پلمبنگ ریستوراں ہے۔ اس کی کمی محسوس کریں اور آپ ایک ایسا باورچی خانہ خریدیں جو ڈیلیوری نہیں لے سکتا۔.

تربیت بمقابلہ اندازہ: دو عمارتیں، بعض اوقات لفظی طور پر

تربیت ایک مہم ہے۔ آپ ایک کلسٹر کو جمع کرتے ہیں، اسے ڈیٹا کھلاتے ہیں، مذہبی طور پر چیک پوائنٹ کرتے ہیں، گھنٹوں یا ہفتوں تک دوڑتے ہیں، اور دعا کرتے ہیں کہ تانے بانے بے ترتیب رہے۔ بیچ بھاری، بینڈوتھ سے بھوکا، خاموشی سے مریض - جب تک کہ ناکام نوڈ رن سے باہر نہ نکل جائے۔ مضبوطی سے جوڑے ہوئے کام میں ایک مردہ ایکسلریٹر پورے کورس کو روک سکتا ہے۔.

اندازہ ایک شاپ فرنٹ ہے۔ ماڈلز پہلے سے تربیت یافتہ ہیں، اب سوالوں کے جواب دے رہے ہیں، تصاویر کی درجہ بندی کر رہے ہیں، متن تیار کر رہے ہیں۔ تاخیر کا معاملہ ہے۔ گاہک کے قریب تھوڑا پرانا ایکسلریٹر براعظم سے دور گلیمرس کو ہرا سکتا ہے۔.

تو آپ کو تقسیم مل جائے گی۔ تربیتی کیمپس طاقت، زمین اور کثافت کا پیچھا کرتے ہیں۔ انفرنس سائٹس تاخیر اور موجودگی کا پیچھا کرتی ہیں۔ ہائبرڈ ہال بھی موجود ہیں، کیونکہ سرمایہ لامحدود نہیں ہے۔ ٹھیک ہے - ہمیشہ دو عمارتیں نہیں۔ کبھی کبھی ایک ہال ایک مخمل کی رسی اور دو کولنگ لوپس کے ساتھ۔.

یہ وہ جگہ ہے جہاں کولیکشن، ہائپر اسکیل کیمپس، اور آن پریم فورک۔ ہائپر اسکیلرز ترازو پر بناتے ہیں جو ہم میں سے باقیوں کو ایسا دکھائی دیتے ہیں جیسے ہم فرنیچر کا بندوبست کر رہے ہیں۔ کولوس ریک کے ذریعہ کثافت فروخت کرتے ہیں۔ آن پریم تب بھی ہوتا ہے جب ڈیٹا نہیں چھوڑ سکتا۔.

اسٹوریج تھرو پٹ، چیک پوائنٹس، اور بھوک لگی چپس

کوئی بھی متوازی فائل سسٹم کو بروشر کے سرورق پر نہیں رکھتا ہے۔.

تربیتی ڈیٹا کو اتنی تیزی سے پہنچنا ہے کہ GPUs ان کے پاؤں نہیں تھپتھپا رہے ہیں۔ چوکیوں کو اترنا پڑتا ہے تاکہ حادثہ ایک ہفتہ دور نہ ہو۔ پیش کرنے والی نقل کے لائیو ہونے سے پہلے ماڈل کے وزن کو لوڈ کرنا پڑتا ہے۔ سٹوریج تھرو پٹ - صرف صلاحیت ہی نہیں - خاموش رکاوٹ ہے۔ آپ ایکسلریٹروں پر خوش قسمتی خرچ کر سکتے ہیں اور ورچوئل مشینوں کے لیے تیار کردہ شائستہ صف کے ساتھ انہیں بھوکا مار سکتے ہیں۔.

پیٹرن واقف ہے: ایک چمکدار جھرمٹ، نوکری کی قطار، اور I/O ایک بدتمیز رسید کی طرح پیچھے گھورتے ہوئے انتظار کریں۔ ڈیٹا پاتھ کو کلسٹر کیے بغیر کلسٹرنگ کمپیوٹ یہ ہے کہ آپ کو ایک بہت مہنگا بیکار کیسے ملتا ہے۔ چپس کو کھلایا رکھیں یا تسلیم کریں کہ آپ نے ایک مجسمہ خریدا ہے۔.

سافٹ ویئر، آرکیسٹریشن، اور غیر مسحور کن آپریشنز پرت

ہارڈ ویئر مشہور شخصیت ہے۔ شیڈولرز کام کرتے ہیں۔.

AI ڈیٹا سینٹر بیکار ہے اگر ملازمتیں GPUs تلاش نہیں کرسکتی ہیں، اگر دو ٹیمیں بغیر کسی لڑائی کے کلسٹر کا اشتراک نہیں کرسکتی ہیں، اگر ناکام رینک کو تبدیل نہیں کیا جاسکتا ہے، اگر فرم ویئر اس وقت تک چلا جاتا ہے جب تک کہ فیبرک سست رفتار میں ناکام نہ ہوجائے۔ آرکیسٹریشن، مشاہداتی صلاحیت، پاور کیپنگ - غیر مسحور کن آپریشنز کی تہہ، جس سے آپ جانتے ہیں کہ اس کی اہمیت ہے۔.

میرے پاس اس پرت کے لئے ایک نرم جگہ ہے۔ اس کے علاوہ جہاں ایک غلط کنفیگرڈ NIC پوری دوپہر کے لیے ٹھنڈک کا مسئلہ پیش کرتا ہے... آپ کو یہ مشکل راستہ معلوم ہوتا ہے۔.

جب ایک نوڈ درمیانی دوڑ میں مر جاتا ہے۔

ایک نوڈ مر جاتا ہے۔ چینج ونڈوز اب بھی ٹریننگ رنز سے ٹکراتی ہیں جو آپ کے کیلنڈر کی پرواہ نہیں کرتی ہیں۔ آپ بڑی نوکریوں کو گینگ شیڈول کرتے ہیں، انفرنس پولز کو بند کر دیتے ہیں، ناکامیوں کے لیے رن بکس لکھتے ہیں جو "نوکری سست ہے" کی طرح نظر آتی ہے جب تک کہ وہ "نوکری ختم ہو گئی" کی طرح نظر نہ آئیں۔ فالتو پن اب بھی اہمیت رکھتا ہے - پاور، کولنگ، راستے، اسٹوریج - لیکن ناکامی کا موڈ پرانی نائنز آف اپ ٹائم سلائیڈ سے کم صاف ہے۔ انفرنس: نقل، بیمار نوڈ کو نکالیں، جواب دیتے رہیں۔ تربیت چوکیاں چاہتی ہے، رجائیت نہیں۔.

مقام، پانی، گرڈ، اور پڑوسی

آپ ان میں سے کسی کو بھی دیکھنے کے لیے کسی کاٹیج کے ساتھ نہیں چھوڑتے۔.

گرڈ کنکشن اکثر سائٹ کے انتخاب کا حقیقی عمل ہوتا ہے۔ سب اسٹیشن اور دیگر گاہک رکھنے والی افادیت کے مقابلے میں زمین آسان ہے۔ ٹھنڈک کے لیے پانی، اگر آپ اسے استعمال کرتے ہیں، بارش کے ناگوار ہوتے ہی پڑوسی کا مسئلہ بن جاتا ہے۔ شور بصری بلک۔ باؤنڈری باڑ پر گرم کریں۔ منصوبہ بندی کمیٹیاں "بادل" کے بارے میں اس وقت رائے دریافت کرتی ہیں جب اسے میدان اور دریا کی ضرورت ہوتی ہے۔

تاخیر دوسری طرف کھینچتی ہے۔ اندازہ صارفین کے قریب رہنا اور آپس میں جڑنا پسند کرتا ہے۔ تربیت سستی بجلی کے بازاروں اور ٹھنڈے موسموں میں چھپ سکتی ہے۔ صنعت اس طرح بات کرتی ہے جیسے ایک کامل سائٹ ہو۔ وہاں نہیں ہے۔ ایک پریس ریلیز کے ساتھ ایک سمجھوتہ ہے.

بچا ہوا گرمی اور بن بلائے بھٹی

بروشرز اس سے محبت کرتے ہیں. گھروں، تالابوں، گرین ہاؤسز میں فضلہ کی گرمی کو پائپ کریں؛ یہ ایک خوبصورت جملہ ہے. بعض اوقات ڈسٹرکٹ لوپ حقیقی ہوتا ہے۔ بعض اوقات کیمپس غلط جگہ پر ہوتا ہے اور گرمی پھر بھی ہوا میں جاتی ہے۔ میں بروشر ورژن کے بارے میں شکی ہوں؛ میں طبیعیات کے بارے میں شکی نہیں ہوں۔.

کس کو ایک کی ضرورت ہے (اور اس کے بجائے کس کو کرایہ پر لینا چاہئے)

زیادہ تر لوگوں کو ان میں سے ایک ہال رکھنے کی ضرورت نہیں ہے۔.

دو ٹوک فہرست:

• Hyperscalers، کیونکہ مصنوعات کا بیڑا ہے

• لیبز، جب قطار کا وقت رکاوٹ ہے، یا ڈیٹا نہیں چھوڑ سکتا

• ایک بینک، ہسپتال گروپ، حکومت، یا خفیہ ڈیٹاسیٹ کے ساتھ صنعت کار - آن پریم یا پرائیویٹ کولو کیج عقلی ہو سکتا ہے، خواہ یہ ایک فاف ہی کیوں نہ ہو۔

باقی سب کو کرایہ پر لینا چاہیے۔ AI کے لیے تیار کثافت کے ساتھ کولوکیشن۔ کلاؤڈ ریزرویشن۔ ایک منظم کلسٹر۔ آپ پاور پلانٹ آپریٹر بنے بغیر بھی ایکسلریٹر حاصل کرتے ہیں۔ رومانس اس وقت ختم ہو جاتا ہے جب پہلی بار کوئی پوچھتا ہے کہ صبح 3 بجے کولنٹ لوپ کے لیے کون کال پر ہے۔.

ایک فخر کی بات ہے، میں تسلیم کروں گا۔ کلسٹر کا مالک ہونا پیشین گوئی کے ذرائع کے مالک ہونے کی طرح محسوس ہوتا ہے۔ پھر بجلی کی رسید آتی ہے، اور غرور بیٹھ جاتا ہے۔.

عمارت کس کے لیے ہے۔

تو، AI ڈیٹا سینٹر کیا ہے؟ ایک خصوصی، اعلی کثافت والا کیمپس جہاں ایکسلریٹر، پاور، کولنگ، فیبرک، اور اسٹوریج کو ٹریننگ اور سرونگ ماڈلز کے ارد گرد منظم کیا جاتا ہے - کونے میں GPU کے ساتھ عام مقصد کے IT کا نہیں۔ یہ گودام کی طرح لگتا ہے۔ یہ ایک پاور اسٹیشن کی طرح برتاؤ کرتا ہے جو ریاضی کرتا ہے۔.

اگر آپ کو اور کچھ یاد نہیں ہے: چپس کو شہرت ملتی ہے۔ سب اسٹیشن، کولنٹ، اور نیٹ ورک فیصلہ کرتے ہیں کہ آیا وہ چپس ایک اچھا خیال تھا۔ تربیت اور اندازہ ایک چھت کا اشتراک کر سکتے ہیں؛ وہ اب بھی مختلف آداب چاہتے ہیں. زیادہ تر تنظیموں کو کرایہ پر لینا چاہئے۔ چند کو تعمیر کرنا چاہئے۔ پڑوسی کسی بھی طرح سے نوٹس لیں گے۔.

بادل کی ہمیشہ ایک عمارت ہوتی تھی۔ ان دنوں عمارت کی آراء ہیں۔.

حقیقی دنیا کی مثال: دو ریک ٹریننگ سیل جب تصاویر نہیں چھوڑ سکتیں۔

منظر نامہ

Tomos Kestrel Precision میں بنیادی ڈھانچے کی قیادت ہے، جو ویسٹ مڈلینڈز میں 400 افراد پر مشتمل صنعت کار ہے۔ ان کے پاس پہلے سے ہی ایک چھوٹا آن پریم ہال ہے: ERP، فائل شیئرز، ورچوئل مشینیں، مخلوط پڑوس جس کے ساتھ یہ مضمون شروع ہوا ہے۔ ایئر کولنگ۔ عام ایتھرنیٹ۔ ایک SAN جو آفس ڈسک کے لیے بالکل شائستہ ہے۔.

مشین ویژن ٹیم کو فیکٹری اسٹیلز پر ایک معائنہ ماڈل کو تربیت دینے کی ضرورت ہے۔ تصویریں سائٹ کو نہیں چھوڑ سکتیں۔ وہ ایک ایسا عمل دکھاتے ہیں جو کمپنی کلاؤڈ ڈسک پر نہیں ڈالے گی، یہاں تک کہ ایک نجی۔ پروکیورمنٹ کا حل چار ڈوئل ایکسلریٹر سرورز اور "ہمارا AI ڈیٹا سینٹر" کے عنوان سے ایک سلائیڈ ہے۔ سرورز دو موجودہ ریک میں جاتے ہیں، کیونکہ وہاں جگہ ہے، اور جگہ رکاوٹ کی طرح محسوس ہوتی ہے۔.

یہ نہیں ہے. ایک پندرہ دن کے اندر GPUs مصروف اور پھر خاموشی سے گلا گھونٹنے لگتے ہیں۔ جب کوئی چوکی SAN سے ٹکراتی ہے تو نوکریاں رینگتی ہیں۔ ایک نوڈ گیارہ گھنٹے پر مر جاتا ہے اور رن بس... چلا گیا ہے۔ ٹوموس چپس خریدنے میں ناکام نہیں ہوا ہے۔ اس نے پوسٹ کوڈ شیئر کرنے والے مہنگے ورک سٹیشنوں کا ڈھیر خریدا ہے۔ عمارت اب بھی ایک انٹرپرائز ہال تھی۔.

انہیں کیمپس، نئے سب اسٹیشن یا ندی کی ضرورت نہیں ہے۔ انہیں ایک چھوٹے سے سیل کی ضرورت ہے جو چھوٹے میں ایک AI ڈیٹا سینٹر کی طرح برتاؤ کرتا ہے: ریک کو اصل میں طاقت دے سکتی ہے، ایسی گرمی جو چپس کو پکائے بغیر چھوڑ دیتی ہے، ایک ایسا کپڑا جس سے تربیتی کام بات کر سکتا ہے، اسٹوریج جو چیک پوائنٹ لے سکتا ہے، اور نوڈ کے مرنے پر رن ​​بک۔ کیونکہ تصاویر چھوڑ نہیں سکتیں، اس لیے چالیس منٹ کے فاصلے پر کولو کیج کرایہ پر لینا اس کا جواب نہیں ہے۔ Retrofitting دو ریک ہے.

سیل کو کیا ضرورت ہے۔

• اس قطار میں بجلی کا ایک ماپا بجٹ، PDUs سے، GPU کی خواہش کی فہرست سے نہیں۔ اگر فالتو صلاحیت ٹریننگ بوجھ پر چار سرورز کو نہیں کھا سکتی ہے، تو بات چیت وہیں رک جاتی ہے اور وہ ایک گھنے کولو کو دیکھتے ہیں، معجزہ نہیں۔

• ہوا کو ٹھنڈا کرنے کو کبھی بھی اس کثافت پر ہینڈل کرنے کے لیے نہیں کہا گیا تھا: اگر ہال ان کو لے سکتا ہے تو پچھلے دروازے کے ہیٹ ایکسچینجرز، یا اگر اس کی بجائے ایک چھوٹا مائع لوپ لے سکتا ہے۔ اگر نہیں تو، سرور اندر نہیں جاتے ہیں۔

• چار نوڈس کے درمیان ایک سرشار اعلی بینڈوتھ تانے بانے، نہ کہ آفس ایتھرنیٹ۔ اگر دکاندار کے پاس کیٹلاگ میں صرف 10 Gb سوئچ ہے، تو یہ کلسٹر نہیں ہے

• چیک پوائنٹس اور ٹریننگ شارڈز کے لیے مقامی تیز اسٹوریج، VM SAN نہیں۔

• ایک شیڈولر، ایک چوکی وقفہ، اور ایک تحریری دوبارہ شروع کرنے کا راستہ۔ ہارڈ ویئر مشہور شخصیت ہے۔ یہ پرت کام ہے

• فیکٹری لائن کے لیے ایک باڑ والا انفرنس باکس، جو ٹریننگ چیٹر سے الگ ہے، کیونکہ سرونگ دم میں تاخیر اور تنہائی چاہتی ہے، اجتماعی نہیں۔

• لاگ پاور، GPU گھڑیاں، تھروٹل ایونٹس، اور جاب وال کلاک کی اجازت۔ اگر وہ ان کا معائنہ نہیں کر سکتے ہیں، تو وہ GPUs کی تصویر لیں گے اور سوئچز سے محروم ہو جائیں گے۔

مثال کی ہدایت

Tomos اسے سہولیات کے مختصر میں، عام زبان میں رکھتا ہے:

اسے AI کیمپس نہ کہیں۔ موجودہ ہال میں چار ڈوئل ایکسلریٹر سرورز کے لیے دو ریک ٹریننگ سیل بنائیں۔ فیکٹری کی تصاویر سائٹ پر رہتی ہیں۔ کامیابی یہ ہے کہ: چار نوڈس بغیر تھرمل تھروٹل کے 12-ایپوک معائنہ کی تربیت کی ترکیب مکمل کرتے ہیں، دسیوں منٹوں میں نہیں منٹوں میں ایک چوکی لکھتے ہیں، اور جب ہم جان بوجھ کر کسی رینک کو ختم کرتے ہیں تو اس چوکی سے دوبارہ شروع ہوتے ہیں۔ کولنگ کے لیے GPUs کو اپنی تربیتی گھڑیوں پر رکھنا چاہیے۔ نیٹ ورکنگ ایک تانے بانے ہونا چاہئے جو چار خانوں کا اشتراک کرتے ہیں، نہ کہ آفس اسٹیک سے گزرنے کا راستہ۔ سٹوریج چپس کو کھانا کھلانا ضروری ہے. اگر پچھلے دروازے کے ہیٹ ایکسچینجرز فٹ نہیں ہوں گے، تو کہہ دیں اور رک جائیں۔ مخلوط ہال میں دو ریک کے لیے PUE کا حوالہ نہ دیں۔ وہ نمبر تھیٹر ہوگا۔.

پھر وہ اسے تربیتی کام میں ہی رکھتا ہے:

مقامی فاسٹ پول پر ہر 30 منٹ بعد چیک پوائنٹ۔ اگر کوئی رینک مر جاتا ہے، تو آخری مکمل چیک پوائنٹ سے دوبارہ شروع کریں۔ SAN پر انتظار نہ کریں۔ جب گھڑیاں گرمی سے گر گئی ہوں تو تربیت نہ رکھیں۔ اسے لاگ کریں اور رکیں تاکہ ہم اسٹال کو دیکھ سکیں۔.

ایک اچھا گھنٹہ اس طرح لگتا ہے: تمام آٹھ GPUs تربیتی گھڑیوں پر، چیک پوائنٹ فائل اتری، نوکری ابھی بھی لاک اسٹپ میں ہے۔ ایک برا گھنٹہ اس طرح لگتا ہے: شائقین پوری آواز میں، گھڑیاں نیچے، دس منٹ کے بعد چیک پوائنٹ 2% لکھا ہوا، اور دفتر میں کوئی کہہ رہا ہے کہ "کلسٹر ہے"۔ اوپر کی تربیت نہیں ہے۔.

اس کی جانچ کیسے کی جائے۔

وہ ریٹروفٹ سے پہلے ٹیسٹ لکھتے ہیں، جو ڈیمو پر بھروسہ نہ کرنے کا پورا نقطہ ہے۔.

• وہی 12-ایپوک نسخہ، وہی 120,000 معائنہ اسٹیلز، آٹھ رنز

• ٹائمنگ ایک تیار شدہ نسخہ کے لیے وال کلاک ہے، جس میں کوئی بھی ری اسٹارٹ شامل ہے، جاب جمع کرنے سے لے کر عہد 12 کے آخری چوکی تک ماپا جاتا ہے۔

• گرمی پر ایک پاس: GPU گھڑیاں رن کے تربیتی ہدف پر رہتی ہیں۔ تھروٹل ایونٹ ایک ناکامی ہے یہاں تک کہ اگر کام آخر کار ختم ہو جائے۔

• اسٹوریج پر ایک پاس: جاب لاگ سے چیک پوائنٹ لکھنے کا وقت، درمیانی اور بدترین

• تانے بانے پر ایک پاس: ملازمت اجتماعی انتظار میں نہیں بیٹھتی جب تک کہ ایک درجہ صحت مند ہو۔ اگر وہ اس انتظار کو نہیں دیکھ سکتے ہیں، تو آلہ سازی نہیں کی جاتی ہے۔

• آٹھ میں سے دو رنز ایک مقررہ قدم پر مارے گئے رینک حاصل کرتے ہیں، مقصد کے مطابق، دوبارہ شروع کرنے کے راستے کو جانچنے کے لیے

• انفرنس فیکٹری لائن سے باڑ والے سرونگ باکس تک 200 امیج کا الگ ٹیسٹ ہے۔ تربیت کی کامیابی کو خدمت کی کامیابی کے طور پر شمار نہیں کیا جاتا ہے۔

• وہ 15 منٹ کے نمونوں میں PDUs سے ریک پاور ریکارڈ کرتے ہیں تاکہ کسی کو میگا واٹ ایجاد نہ کرنا پڑے۔

سیل کو "AI-ready" کہنے کے لیے قبولیت: 8 میں سے 8 ترکیبیں ختم؛ 8 میں سے 0 تھرمل تھروٹل دکھاتا ہے۔ دونوں ہلاک رنز دوبارہ شروع; چوکیاں منٹوں میں رہتی ہیں۔ اگر وہ اس کی کمی محسوس کرتے ہیں، تو ان کے پاس فینسی گرافکس کارڈز والا سرور روم ہے۔.

نتیجہ

مثالی نتیجہ، آٹھ رنز کے بنائے گئے ٹیسٹ سے، شائع شدہ کیسٹریل شخصیت نہیں۔.

مفروضے: دو ریک میں چار ڈوئل ایکسلریٹر سرورز؛ ایک معائنہ ماڈل؛ 120,000 اسٹیلز؛ ایک مقررہ 12-ایپوچ ترکیب کے آٹھ رنز؛ وال کلاک میں ریسیپی ختم ہونے تک دوبارہ شروع ہونا شامل ہے۔ تھروٹل کا مطلب ہے ٹریننگ کلاک سے لاگ شدہ ڈراپ۔ چوکی کا وقت لکھنا ہے، خواہش نہیں۔ ریک پاور PDU نمونے ہیں، کیمپس PUE نہیں۔.

ریٹروفٹ سے پہلے، آفس ایتھرنیٹ اور VM SAN پر عام ایئر کولڈ ریک میں GPUs:

• 8 میں سے 5 رنز پہلی کوشش میں ہی مکمل ہوئے۔ ان پانچوں میں درمیانی دیوار گھڑی: 14 گھنٹے

• 8 میں سے 3 کو 11 بجے کے قریب ایک اسٹال کے بعد دوبارہ شروع کرنا پڑا (دو نوڈ کے ایک باسی چوکی کے ساتھ مرنے کے بعد، ایک چوکی SAN بھرنے کے بعد)۔ فوری طور پر دوبارہ کوشش کریں، گھڑی میں رات بھر انتظار نہ کریں: 11 گھنٹے ضائع ہونے کے علاوہ 14 گھنٹے کی دوسری کوشش، یا ان تینوں پر تیار شدہ نسخہ کے لیے 25 گھنٹے

• تمام آٹھوں میں وقت سے ایک ختم ہونے والی ترکیب، دوبارہ شروع ہونے میں شامل ہیں: 18 گھنٹے۔ (پانچ پر 14، تین پر 25۔ تمام آٹھوں کا میڈین ابھی بھی 14 ہے، جو دوبارہ شروع ہونے کو چھپا دے گا۔ اسی لیے یہاں اوسط بنیادی لائن ہے۔)

• تھرمل تھروٹل 8 میں سے 7 رنز پر لاگ ان ہوا۔ کم گھڑی میں درمیانی وقت: 14 گھنٹے کی کوشش میں 3 گھنٹے

• چیک پوائنٹ لکھیں: میڈین 22 منٹ

• درجہ بندی ایک ایسا امتحان نہیں تھا جو وہ پاس کر سکتے تھے۔ ان کے پاس رن بک نہیں تھی۔ دو حادثاتی اموات کی تلاش تھی۔

• ٹریننگ کے دوران دو ریکوں پر چوٹی آئی ٹی لوڈ: تقریباً 18 کلو واٹ۔ قطار میں واٹس تھے۔ اس میں ٹھنڈک یا کپڑا نہیں تھا۔

ان دو ریکوں پر عقبی دروازے کے ہیٹ ایکسچینجرز کے بعد، چار نوڈس کے درمیان ایک سرشار تانے بانے، چوکیوں کے لیے ایک چھوٹا NVMe پول، 30 منٹ کی چیک پوائنٹ، اور دوبارہ شروع کرنے والی رن بک:

• 8 میں سے 8 پہلی کوشش میں ختم ہو گئے۔ میڈین وال کلاک: 9 گھنٹے

• تھرمل تھروٹل: 0 میں سے 8

• چیک پوائنٹ لکھنا: میڈین 90 سیکنڈ۔ سیٹ میں بدترین: 3 منٹ

• آخری 30 منٹ کی چوکی سے دونوں جان بوجھ کر مارے گئے۔ ان دو رنز پر اضافی وال کلاک: تقریباً 40 منٹ ہر ایک، تشخیص بھی شامل ہے، تو وہ دونوں 9 گھنٹے 40 منٹ کے قریب بیٹھ گئے۔ مطلب آٹھ اسٹیل راؤنڈ سے 9 گھنٹے تک

• چوٹی آئی ٹی لوڈ اب بھی تقریباً 18 کلو واٹ ہے۔ وہی چپس۔ عمارت کا مختلف رویہ

اس نمونے میں، مطلب وقت سے ایک تیار شدہ نسخہ 18 گھنٹے سے گھٹ کر 9 گھنٹے، یا ہر ایک میں 9 گھنٹے، آٹھ رنز میں 72 گھنٹے رہ گیا۔ مکمل-پہلی بار 8 میں سے 5 سے 8 تک گیا۔ تھروٹل 8 میں سے 7 سے 8 تک 0 تک گیا۔ آخری نمبر وہ ہے جو کہتا ہے کہ آیا انہوں نے ایکسلریٹر خریدے یا پیپر ویٹ۔ وہ وقت کی تبدیلی کو پیداوار میں 50% بچت نہیں کہیں گے۔ آٹھ رنز ایک چھوٹا، آسان سیٹ ہے۔.

یہ اعداد و شمار بیان کردہ ٹیسٹ، ایک چھوٹا نمونہ، ایک ماڈل، اور ایک مخلوط ہال کی بنیاد پر ایک مثالی تخمینہ ہیں۔ وہ PUE نہیں ہیں، کیمپس میگا واٹ نہیں ہیں، اور اس بات کا ثبوت نہیں ہیں کہ Kestrel کو کسی فیلڈ میں ٹریننگ سائٹ بنانا چاہیے۔ لاگز کا جائزہ 9 گھنٹے کے اندر بیٹھا؛ انہوں نے اسے نہیں چھپایا. 18 کلو واٹ فگر گولڈ PDU ریڈنگ ہے، یوٹیلیٹی انوائس نہیں۔ انہوں نے 72 گھنٹے کو لاگت میں تبدیل نہیں کیا، کیونکہ فیکٹری کی ملاوٹ شدہ بجلی کی شرح سے جعلی کاروباری کیس بن جاتا۔.

سرونگ چیک الگ اور چھوٹا تھا: باڑ والے باکس میں 200 لائن امیجز، سبھی سائٹ پر۔ یہ اندازہ ہے، تربیت نہیں۔ ان دونوں کو ملانا چھوٹے شکل میں ہائبرڈ ہال کی غلطی ہوتی۔.

کیا غلط ہو سکتا ہے

• پروکیورمنٹ چار سرورز کو "AI ڈیٹا سینٹر" کہتے رہتے ہیں۔ لیبل پلمبنگ کو چھپاتا ہے، اور اگلی خریداری اسی بیمار گلیارے کے لئے مزید GPUs ہے

• پچھلے دروازے کے ایکسچینجر اندر جاتے ہیں اور کوئی بھی پانی کی طرف کمیشن نہیں کرتا ہے۔ شائقین اب بھی چیخ رہے ہیں۔ گھڑیاں اب بھی گر رہی ہیں۔

• فیبرک ایک واحد سوئچ ہے جس میں کوئی اضافی راستہ نہیں ہے۔ ایک ناکام لنک اور "کلسٹر" دوبارہ چار ورک سٹیشن ہیں۔

• چیک پوائنٹس SAN پر رہتے ہیں کیونکہ NVMe پول "فیز ٹو" تھا۔ دوسرا مرحلہ اگلے مردہ نوڈ سے پہلے نہیں آتا ہے۔

• وہ ایک مخلوط ہال میں دو ریک کے لیے PUE کا حوالہ دیتے ہیں۔ آب و ہوا، حد، اور باقی ERP قطار اس تناسب کو ایک لباس بناتے ہیں۔

• تربیت اور خدمت کرنا تانے بانے کا اشتراک کرتا ہے۔ ایک چیک پوائنٹ کا سیلاب فیکٹری لائن کا انتظار کر رہا ہے۔ ٹیل لیٹینسی وہاں پروڈکٹ ہے، کثافت نہیں۔

• ایک نوڈ مر جاتا ہے اور کوئی اسے چیک پوائنٹ دوبارہ شروع کرنے کے بجائے اپ ٹائم ٹکٹ کے طور پر دیکھتا ہے۔ انٹرپرائز آپریشنز اور اے آئی آپس پوری دوپہر تک ایک دوسرے سے بات کرتے ہیں۔

• وہ ایک پنجرا کرائے پر لے سکتے تھے، سوائے اس کے کہ تصاویر چھوڑ نہیں سکتیں۔ اس رکاوٹ کو بھول جانا انہیں ایک کلاؤڈ گفتگو میں بھیج دیتا ہے انہیں کھولنا پڑے گا۔

عملی راستہ

AI ڈیٹا سینٹر کیا ہے، اس شکل میں، کوئی گودام نہیں ہے اور یہ GPU انوائس نہیں ہے۔ یہ وہ سیل ہے جو ایکسلریٹر کو دوڑ مکمل کرنے دیتا ہے: وہ طاقت جو وہ پکڑ سکتے ہیں، گرمی جو پتے نکلتے ہیں، ایک تانے بانے، ایک چوکی، اور جب کوئی درجہ مر جاتا ہے تو ہک پر ہوتا ہے۔ کیسٹریل کو کیمپس کی ضرورت نہیں تھی۔ انہیں ڈرامہ بند کرنے کے لیے دو ریک کی ضرورت تھی۔ زیادہ تر ٹیموں کو اس طرز عمل کو کرایہ پر لینا چاہیے۔ کچھ، ایک خفیہ ڈیٹاسیٹ اور ایک ہال کے ساتھ جو گرمی لے سکتا ہے، ایک سیل بنانا چاہئے اور سلائیڈ سے انکار کرنا چاہئے۔.

اکثر پوچھے گئے سوالات

AI ڈیٹا سینٹر کیا ہے؟

ایک اعلی کثافت کمپیوٹ سائٹ جہاں پاور، کولنگ، نیٹ ورکنگ، اور اسٹوریج متوازی ٹریننگ اور ماڈل سرونگ کے ارد گرد جھکا ہوا ہے، نہ کہ عام مقصد کے سرورز کی صاف ستھرا قطاریں۔ اسے اس لیے ڈیزائن کیا گیا ہے کہ بڑی تعداد میں ایکسلریٹر پگھلنے، نیٹ ورک پر رکے، یا ڈسک پر انتظار کیے بغیر ماڈلز کو تربیت اور پیش کر سکتے ہیں۔ ایک عام انٹرپرائز ہال ایک مخلوط پڑوس ہے۔ ایک AI ہال ایک مونو کلچر ہے جس کی قدر کی اکائی ایکسلریٹر ہے، جیسے GPUs یا TPU طرز کی چپس۔ یہ گودام کی طرح لگتا ہے اور ایک پاور اسٹیشن کی طرح برتاؤ کرتا ہے جو ریاضی کرتا ہے۔.

AI ڈیٹا سینٹر عام ڈیٹا سینٹر سے کیسے مختلف ہے؟

روایتی ہال مخلوط کام کے بوجھ اور بہت ساری چھوٹی خدمات میں اپ ٹائم کے لیے بہتر بناتے ہیں۔ AI سائٹس تناسب کو تبدیل کرتی ہیں: کثافت بڑھ جاتی ہے، نیٹ ورک ایک تانے بانے بن جاتا ہے جس کے بغیر تربیتی کام لنگڑا نہیں ہوسکتا، اور اسٹوریج کو چیک پوائنٹس کو حرکت میں رکھنا پڑتا ہے یا ایکسلریٹر بیکار رہتے ہیں۔ انٹرپرائز اوپس ٹکٹوں میں سوچتے ہیں اور ونڈوز کو تبدیل کرتے ہیں۔ AI ops کام کی قطاروں میں سوچتا ہے اور بیمار احساس جب ایک نوڈ طویل عرصے میں دیر سے مر جاتا ہے۔ آپ اب بھی دونوں ڈیٹا سینٹرز کو کال کر سکتے ہیں۔ لیبل صرف پلمبنگ کو چھپاتا ہے۔.

AI ڈیٹا سینٹرز اتنی طاقت کیوں استعمال کرتے ہیں؟

اسٹینڈ آؤٹ ہارڈ ویئر کوئی ہوشیار CPU نہیں ہے۔ یہ ایکسلریٹر ٹرے ہے: GPUs یا دیگر AI چپس، سرورز میں پیک، پھر ریک، پھر قطاریں جو ایک اعلی بینڈوتھ فیبرک کا اشتراک کرتی ہیں۔ کثافت فی ریک پلاٹ موڑ ہے: کم ریک، ہر ایک ایک چھوٹی بھٹی۔ ایک بار جب ہال بھر جاتا ہے تو میگا واٹ کا IT لوڈ ظاہر ہوتا ہے، حالانکہ ایک عام شخصیت کو ایجاد کرنا اس کے قابل نہیں ہے۔ محدود کرنے والا عنصر اکثر سب اسٹیشن ہوتا ہے، GPUs کی خواہش کی فہرست نہیں۔.

AI ڈیٹا سینٹرز کو کیسے ٹھنڈا کیا جاتا ہے؟

اعلی کثافت والے ریک گرمی کو اس طرح سے پھینک دیتے ہیں کہ ہوا کو واقعی ہینڈل کرنے کے لئے کبھی نہیں کہا گیا تھا۔ آپ پچھلے دروازے کے ہیٹ ایکسچینجرز، زیادہ گرم گلیاروں اور ہوشیار کنٹینمنٹ کے ساتھ ہوا کو زیادہ زور سے دھکیل سکتے ہیں۔ پھر مائع ظاہر ہوتا ہے: ڈائریکٹ ٹو چپ کولنگ، کولنٹ لوپس، اور چند ڈیزائنوں میں ڈوبی۔ ایک ایکسلریٹر جو تھروٹلز کرتا ہے وہ ہے جس کے لیے آپ پہلے ہی ادائیگی کر چکے ہیں اور مکمل طور پر استعمال نہیں کر سکتے۔ PUE اب بھی اہمیت رکھتا ہے کیونکہ پنکھوں اور پمپوں پر خرچ ہونے والا ہر واٹ ایک واٹ ہے جو GPU میں نہیں گیا تھا۔ کہانی میں بھی پانی بیٹھتا ہے: کچھ پودے گھونٹ لیتے ہیں، کچھ گھونٹ لیتے ہیں۔.

نیٹ ورکنگ اتنا ہی کیوں اہم ہے جتنا GPUs؟

تربیت ایک بات چیت ہے: ہزاروں ایکسلریٹر سخت مطابقت پذیری میں ایک ماڈل کے گریڈینٹ، پیرامیٹرز اور شارڈز کا تبادلہ کرتے ہیں۔ اگر تانے بانے ہلنے لگتے ہیں، تو سارا کام سست ترین ہاپ پر انتظار کرتا ہے۔ یہی وجہ ہے کہ AI ہالز ہائی بینڈوڈتھ نیٹ ورکنگ، کم لیٹنسی، InfiniBand-ish fabrics یا Ethernet ایک ہی کردار میں، اور ایسی ٹوپولاجی کا جنون ہے جو لنک کے ناکام ہونے پر آدھے حصے میں نہیں آتے۔ انفرنس ٹیل لیٹینسی، بہت سی چھوٹی درخواستوں اور تنہائی کا خیال رکھتا ہے۔ اس عمارت میں پلمبنگ ریستوراں ہے۔.

AI ڈیٹا سینٹر کس کے لیے استعمال ہوتا ہے: تربیت یا اندازہ؟

تربیت ایک مہم ہے: ایک کلسٹر کو جمع کریں، اسے ڈیٹا فیڈ کریں، مذہبی طور پر چیک پوائنٹ کریں، اور گھنٹوں یا ہفتوں تک چلائیں۔ اندازہ ایک شاپ فرنٹ ہے: ماڈل پہلے سے تربیت یافتہ، اب جواب دے رہے ہیں، تاخیر کے ساتھ جو اہم ہے۔ تربیتی کیمپس طاقت، زمین، اور کثافت کا پیچھا کرتے ہیں۔ انفرنس سائٹس تاخیر اور موجودگی کا پیچھا کرتی ہیں۔ ہائبرڈ ہال موجود ہیں کیونکہ سرمایہ لامحدود نہیں ہے، بعض اوقات ایک ہال دو کولنگ لوپس کے ساتھ ہوتا ہے۔ گاہک کے قریب تھوڑا پرانا ایکسلریٹر براعظم سے دور گلیمرس کو ہرا سکتا ہے۔.

AI ڈیٹا سینٹر میں اسٹوریج کی اہمیت کیوں ہے؟

تربیتی ڈیٹا کو اتنی تیزی سے پہنچنا ہے کہ GPUs ان کے پاؤں نہیں تھپتھپا رہے ہیں۔ چوکیوں کو اترنا پڑتا ہے تاکہ حادثہ ایک ہفتہ دور نہ ہو۔ پیش کرنے والی نقل کے لائیو ہونے سے پہلے ماڈل کے وزن کو لوڈ کرنا پڑتا ہے۔ سٹوریج تھرو پٹ، نہ صرف صلاحیت، خاموش رکاوٹ ہے۔ آپ ایکسلریٹروں پر خوش قسمتی خرچ کر سکتے ہیں اور ورچوئل مشینوں کے لیے تیار کردہ شائستہ صف کے ساتھ انہیں بھوکا مار سکتے ہیں۔.

کیا ہوتا ہے جب کوئی نوڈ درمیانی دوڑ میں مر جاتا ہے؟

مضبوطی سے جوڑے ہوئے تربیتی کام میں ایک مردہ ایکسلریٹر پورے کورس کو روک سکتا ہے۔ تربیت چوکیاں چاہتی ہے، رجائیت نہیں۔ انفرنس بیمار نوڈ کو نکالتا ہے، جواب دینے والی نقل رکھتا ہے، اور زندہ رہتا ہے۔ چینج ونڈوز اب بھی ٹریننگ رنز سے ٹکراتی ہیں جو آپ کے کیلنڈر کی پرواہ نہیں کرتی ہیں۔ پاور، کولنگ، پاتھز اور اسٹوریج کے لیے فالتو پن اب بھی اہمیت رکھتا ہے، لیکن ناکامی کا موڈ پرانی نائن آف اپ ٹائم سلائیڈ سے کم صاف ہے۔.

AI ڈیٹا سینٹر کا گرڈ، پانی اور پڑوسیوں پر کیا اثر ہوتا ہے؟

گرڈ کنکشن اکثر سائٹ کے انتخاب کا حقیقی عمل ہوتا ہے۔ سب اسٹیشن اور دیگر گاہک رکھنے والی افادیت کے مقابلے میں زمین آسان ہے۔ ٹھنڈک کے لیے پانی، اگر آپ اسے استعمال کرتے ہیں، بارش کے بدتمیز ہوتے ہی پڑوسی کا مسئلہ بن جاتا ہے، اس کے ساتھ شور، بصری بلک، اور حد کی باڑ پر گرمی۔ تربیت سستی بجلی کے بازاروں اور ٹھنڈے موسموں میں چھپ سکتی ہے۔ اندازہ صارفین کے قریب رہنا پسند کرتا ہے۔ کوئی بھی کامل سائٹ نہیں ہے۔ ایک پریس ریلیز کے ساتھ ایک سمجھوتہ ہے.

کیا مجھے AI ڈیٹا سینٹر کا مالک ہونا چاہیے، یا مجھے کرایہ پر لینا چاہیے؟

زیادہ تر لوگوں کو ان میں سے ایک ہال رکھنے کی ضرورت نہیں ہے۔ Hyperscalers تعمیر کرتے ہیں کیونکہ مصنوعات کا بیڑا ہے۔ لیبز اس وقت بنتی ہیں جب قطار کا وقت رکاوٹ ہو یا ڈیٹا نہیں نکل سکتا۔ ایک بینک، ہسپتال، حکومت، یا خفیہ ڈیٹا سیٹ والا صنعت کار آن پریم یا پرائیویٹ کولو کیج کو عقلی بنا سکتا ہے۔ باقی سب کو کرایہ پر لینا چاہیے: AI کے لیے تیار مجموعہ، کلاؤڈ ریزرویشن، یا ایک منظم کلسٹر۔ آپ پاور پلانٹ آپریٹر بنے بغیر ایکسلریٹر حاصل کرتے ہیں۔.

حوالہ جات

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. گرین گرڈ - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. اپ ٹائم انسٹی ٹیوٹ - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. گوگل کلاؤڈ - docs.cloud.google.com

آفیشل AI اسسٹنٹ اسٹور پر تازہ ترین AI تلاش کریں۔

ہمارے بارے میں