تكشف Nvidia عن تفاصيل هندسة Grace Hopper في Hot Chips – يلا ماتش

سيركز مهندسو Nvidia على وحدات المعالجة المركزية Grace (CPUs) ووحدات معالجة رسومات Hopper (GPU) و Orin system-on-chips (SoCs) ومفاتيح شبكة NVLink في مؤتمر Hot Chips الافتراضي الأسبوع المقبل 4 سأقدم عرضًا تقنيًا.

يمثل كل هذا خطط الشركة لبناء بنية تحتية متطورة لمركز البيانات مع مجموعة كاملة من الرقائق والأجهزة والبرامج.

خلال العرض التقديمي ، شارك Dave Salvator ، مدير تسويق المنتجات لـ AI Inference و Benchmarking والسحابة في Nvidia ، تفاصيل جديدة حول منصة Nvidia للذكاء الاصطناعي (AI) والحوسبة المتطورة والحوسبة عالية الأداء. قال ذلك في مقابلة مع VentureBeat.

إذا كانت هناك اتجاهات واضحة خلال المحادثة ، فإنها توضح جميعًا كيف تم تبني الحوسبة المتسارعة على مدى السنوات القليلة الماضية في تصميم مراكز وأنظمة البيانات الحديثة على حافة الشبكة ، كما يقول سالفاتور. لم يعد من المتوقع أن تقوم وحدات المعالجة المركزية (CPU) بكل الأعمال الثقيلة بنفسها.

حدث الرقائق الساخنة

حول هوت شيبس ، قال سالفاتور: على مدار السنوات القليلة الماضية ، كان العرض يميل إلى أن يركز قليلاً على وحدة المعالجة المركزية مع مسرعات عرضية. لكنني أعتقد أن خط الاتجاه المثير للاهتمام هو أننا نشهد المزيد من المسرعات ، خاصة إذا نظرنا إلى البرامج المتقدمة المنشورة بالفعل على موقع شرائح الذكاء الاصطناعي. إنه منا بالتأكيد ، ولكنه أيضًا من الآخرين. وأعتقد أننا ندرك فقط أن هذه المسرعات هي عوامل تغيير مطلقة لقواعد اللعبة بالنسبة لمركز البيانات. “

أضاف: إنه مزيج من الأشياء ، أليس كذلك؟ لا يقتصر الأمر على أن وحدات معالجة الرسوميات تكون أفضل في شيء ما. لقد كان حقًا جهدًا تعاونيًا ضخمًا على مدار عقد من الزمان للوصول بنا إلى ما نحن عليه اليوم. “

تصف Nvidia ، التي كانت تتحدث في حدث Virtual Hot Chip (الذي يقام عادةً في حرم كلية Silicon Valley) ، التجمع السنوي لمهندسي المعالج والنظام. يكشفون عن أرقام الأداء والتفاصيل الفنية الأخرى لوحدات المعالجة المركزية لخادم Nvidia الأول ، ووحدات معالجة الرسومات Hopper ، وأحدث إصدارات رقائق التوصيل البيني NVSwitch ، ونظام Nvidia Jetson Orin على الوحدة (SoM).

توفر العروض التقديمية نظرة ثاقبة جديدة حول كيفية تحقيق منصة Nvidia لمستويات جديدة من الأداء والكفاءة والحجم والأمان.

على وجه التحديد ، توضح المحادثات فلسفة التصميم للابتكار عبر مجموعة كاملة من الرقائق والأنظمة والبرامج ، حيث تعمل وحدات معالجة الرسومات ووحدات المعالجة المركزية ووحدات المعالجة المركزية كمعالجات نظيرة ، كما قال سالفاتور. معًا ، ينشئون منصات تشغل بالفعل الذكاء الاصطناعي وتحليلات البيانات ووظائف الحوسبة عالية الأداء في موفري الخدمات السحابية ومراكز الحوسبة الفائقة ومراكز بيانات المؤسسة والأنظمة المستقلة.

داخل وحدة المعالجة المركزية لخادم Nvidia

تتطلب مراكز البيانات مجموعات مرنة من وحدات المعالجة المركزية ووحدات معالجة الرسومات والمسرعات الأخرى التي تشترك في مجموعات كبيرة من الذاكرة لتقديم الأداء الموفر للطاقة الذي تتطلبه أحمال العمل اليوم.

تعد وحدة المعالجة المركزية Nvidia Grace أول وحدة معالجة مركزية للبيانات تم تطويرها بواسطة Nvidia ، وتم بناؤها من الألف إلى الياء لإنشاء أول رقاقة فائقة في العالم.

يشرح جوناثون إيفانز ، المهندس الشهير وخبير Nvidia المخضرم البالغ من العمر 15 عامًا ، Nvidia NVLink-C2C. يربط وحدات المعالجة المركزية ووحدات معالجة الرسومات بسرعة 900 غيغابايت في الثانية ويوفر عمليات نقل بيانات تستهلك فقط 1.3 بيكو جول لكل بت ، مما يجعلها أكثر كفاءة في استخدام الطاقة بخمس مرات من معيار PCIe Gen 5 الحالي.

تقوم NVLink-C2C بتوصيل شريحتين من وحدة المعالجة المركزية لإنشاء وحدة المعالجة المركزية Nvidia Grace مع 144 نواة من Neoverse. هذا معالج مصمم لحل أكبر مشاكل الحوسبة في العالم. لم ترغب Nvidia في إنشاء تعليمات مخصصة يمكن أن تجعل البرمجة أكثر تعقيدًا ، لذلك يستخدمون نوى Arm القياسية.

لتحقيق أقصى قدر من الكفاءة ، تستخدم وحدات المعالجة المركزية Grace ذاكرة LPDDR5X. يسمح هذا بعرض نطاق ترددي للذاكرة يبلغ 1 تيرابايت في الثانية مع الحفاظ على إجمالي استهلاك الطاقة المعقد أقل من 500 واط.

صممت Nvidia Grace لتقديم الأداء وكفاءة الطاقة لتلبية متطلبات أحمال عمل مركز البيانات الحديثة التي تعمل على تشغيل التوائم الرقمية والألعاب السحابية والرسومات والذكاء الاصطناعي والحوسبة عالية الأداء (HPC). تتميز وحدات المعالجة المركزية Grace بوجود 72 Arm v9.0 من نواة وحدة المعالجة المركزية التي تنفذ مجموعة تعليمات Arm Scalable Vector Extensions الإصدار 2 (SVE2). يشتمل المركز أيضًا على امتدادات المحاكاة الافتراضية مع إمكانات المحاكاة الافتراضية المتداخلة ودعم S-EL2.

تتوافق معالجات Nvidia Grace أيضًا مع مواصفات Arm التالية: RAS v1.1 Generic Interrupt Controller (GIC) v4.1. تقسيم الذاكرة ومراقبتها (MPAM) ؛ ووحدة إدارة ذاكرة النظام (SMMU) v3.1.

يمكن إقران وحدة المعالجة المركزية Grace مع وحدة معالجة الرسومات Nvidia Hopper لإنشاء رقاقة Nvidia Grace CPU الفائقة لتدريب الذكاء الاصطناعي على نطاق واسع والاستدلال و HPC ، أو إقرانها بوحدة معالجة مركزية Grace أخرى لوحدة معالجة مركزية عالية الأداء تلبي احتياجات HPC الخاصة بك. يبني. أعباء عمل الحوسبة السحابية.

1 NVLink

يربط NVLink-C2C أيضًا رقاقات Grace CPU و Hopper GPU كأقران لمشاركة الذاكرة لشريحة Nvidia Grace Hopper Superchip ، التي تجمع بين شريحتين منفصلتين في وحدة واحدة. يسمح هذا بأقصى تسريع للوظائف كثيفة الأداء مثل تدريب الذكاء الاصطناعي.

يمكن لأي شخص استخدام NVLink-C2C لإنشاء شرائح مخصصة (أو مكونات فرعية للرقاقة) والاتصال المستمر بوحدات معالجة الرسومات Nvida ووحدات المعالجة المركزية ووحدات معالجة البيانات (وحدات معالجة البيانات) و SoCs لإنشاء هذه الفئة الجديدة من المنتجات المتكاملة. يدعم الاتصال الداخلي بروتوكولات AMBA CHI و CXL المستخدمة بواسطة معالجات Arm و x86 على التوالي.

للتوسع على مستوى النظام ، يقوم Nvidia NVSwitch الجديد بتوصيل عدة خوادم في كمبيوتر واحد عملاق يعمل بالذكاء الاصطناعي. يستخدم ربط NVLink الذي يعمل بسرعة 900 غيغابايت في الثانية ، أي أكثر من سبعة أضعاف عرض النطاق الترددي لـ PCIe Gen 5.

يسمح NVSwitch للمستخدمين بربط 32 نظامًا من أنظمة Nvidia DGX H100 (أجهزة كمبيوتر عملاقة في صندوق) بحاسوب عملاق يعمل بالذكاء الاصطناعي للحصول على أعلى أداء للذكاء الاصطناعي.

قال سالفاتور: “سيسمح ذلك لعقد خادم متعددة بالتواصل مع بعضها البعض عبر NVLink باستخدام ما يصل إلى 256 وحدة معالجة رسومات”.

ألكساندر إيشي وريان ويلز ، مهندسان مخضرمان في Nvidia ، سيمكنان المستخدمين من بناء أنظمة مع ما يصل إلى 256 وحدة معالجة رسومات (GPU) للعمل الشاق مثل تدريب نماذج الذكاء الاصطناعي مع أكثر من 1 تريليون معلمة. يصف كيفية معالجة التحميل. يحتوي رمز التبديل هذا على محرك يستخدم بروتوكول Nvidia Scalable Hierarchical Aggregation Protocol لتسريع عمليات نقل البيانات. SHARP هي قدرة حوسبة داخل الشبكة ظهرت لأول مرة على شبكة Nvidia Quantum InfiniBand. يمكن لتطبيقات الذكاء الاصطناعي كثيفة الاتصالات مضاعفة سرعة نقل البيانات.

يقول سالفاتور: “الهدف هنا هو تحسين الأداء عبر المقابس بشكل ملحوظ. وبعبارة أخرى ، إزالة عنق الزجاجة”.

قدم المهندس المتميز الأول جاك شوكيت ، الذي عمل مع الشركة لمدة 14 عامًا ، جولة متعمقة في وحدة معالجة الرسومات Nvidia H100 Tensor Core ، والمعروفة أيضًا باسم Hopper. لا يقتصر الأمر على الارتقاء إلى آفاق جديدة من خلال الوصلات البينية الجديدة فحسب ، بل إنه مليء بالميزات التي تعمل على تحسين الأداء والكفاءة والأمان في المسرع الخاص بك.

يوفر محرك Transformer الجديد من Hopper و Tensor Cores المطورة تسريعًا بمقدار 30 ضعفًا عن الجيل السابق لاستدلال الذكاء الاصطناعي مع أكبر نماذج الشبكات العصبية في العالم. كما أنها تتبنى أول نظام ذاكرة HBM3 في العالم ، مما يوفر عرض نطاق ترددي ضخم للذاكرة يبلغ 3 تيرابايت. هذه هي أكبر زيادة للأجيال من NVIDIA حتى الآن.

من بين الميزات الجديدة الأخرى ، يضيف هوبر دعمًا افتراضيًا للتكوينات متعددة المستأجرين ومتعددة المستخدمين. تعمل تعليمات DPX الجديدة على تسريع الحلقات التكرارية في خرائط التحديد ، والحمض النووي ، وتطبيقات تحليل البروتين. يتضمن Hopper أيضًا دعمًا لتحسين الأمان باستخدام الحوسبة السرية.

يشرح Choquette ، أحد مصممي الرقائق الرئيسيين لوحدة التحكم Nintendo 64 ، تقنية الحوسبة المتوازية الكامنة وراء تقدم هوبر.

يقدم مايكل ديتي ، مدير الهندسة المعمارية في الشركة لمدة 17 عامًا ، مواصفات أداء جديدة لـ Nvidia Jetson AGX Orin ، محرك الذكاء الاصطناعي المتقدم والروبوتات والآلات المستقلة المتقدمة.

إنه يدمج 12 نواة Arm Cortex-A78 ووحدات معالجة رسومات Nvidia Ampere لأداء ما يصل إلى 275 تريليون عملية في الثانية لوظائف الاستدلال بالذكاء الاصطناعي. تتميز بكفاءة أكبر في استخدام الطاقة بمقدار 2.3 مرة مقارنة بالجيل السابق وتوفر أداء يصل إلى 8 أضعاف.

تعد أحدث وحدة إنتاج جزءًا من عائلة متوافقة يمكن أن تتقلص إلى مجموعة مطور Jetson Nano بحجم 5 واط بحجم الجيب مع ذاكرة تصل إلى 32 جيجابايت.

كومة البرمجيات

تعمل جميع الرقائق الجديدة على تسريع أكثر من 700 تطبيق وتدعم حزمة برامج Nvidia التي يستخدمها 2.5 مليون مطور. استنادًا إلى نموذج برمجة CUDA ، يتم تضمين العشرات من مجموعات تطوير برامج Nvidia (SDKs) للأسواق الرأسية مثل السيارات (Drive) والرعاية الصحية (Clara) ، بالإضافة إلى أنظمة التوصية (Merlin) وتكنولوجيا الذكاء الاصطناعي للمحادثة (Riva).

تم تصميم NVIDIA Grace CPU Superchip لتوفير نظام أساسي قياسي لمطوري البرامج. يوفر Arm مجموعة من المواصفات كجزء من مبادرة System Ready ، والتي تهدف إلى تحقيق التوحيد القياسي لنظام Arm.

تستهدف وحدات المعالجة المركزية Grace معايير نظام Arm لتوفير التوافق مع أنظمة التشغيل الجاهزة وتطبيقات البرامج. تستخدم وحدات المعالجة المركزية Grace مكدس برامج Nvidia Arm من البداية.

منصة Nvidia AI Platform متاحة من جميع الشركات المصنعة للأنظمة والخدمات السحابية الكبرى. تعمل Nvidia مع عملاء HPC الرائدين ، والحوسبة الفائقة ، والحوسبة الفائقة ، والسحابة لتزويدك بشريحة Grace CPU الفائقة. من المتوقع أن يتوفر Grace CPU Superchip و Grace Hopper Superchip في النصف الأول من عام 2023.

قال سالفاتور: “نظرًا لبنية مركز البيانات ، تم تصميم هذه الأقمشة لتقليل الاختناقات وضمان عمل وحدات معالجة الرسومات ووحدات المعالجة المركزية معًا كمعالجات نظيرة”.