هوبر (بنية دقيقة)

تُحسّن المعالجات المتعددة المتدفقة في Hopper من أداء معماريتي Turing و Ampere ، مع بقاء الحد الأقصى لعدد الالتفافات المتزامنة لكل معالج متعدد متدفق (SM) ثابتًا بين معماريتي Ampere وHopper، وهو 64. ^{[ 3 ]} توفر معمارية Hopper مُسرِّع ذاكرة الموترات (TMA)، الذي يدعم نقل الذاكرة غير المتزامن ثنائي الاتجاه بين الذاكرة المشتركة والذاكرة العامة. ^{[ 4 ]} في ظل TMA، يمكن للتطبيقات نقل موترات تصل إلى 5 أبعاد. عند الكتابة من الذاكرة المشتركة إلى الذاكرة العامة، يمكن استخدام الاختزال العنصري ومعاملات البت، مما يُغني عن استخدام السجلات وتعليمات SM، ويُمكّن المستخدمين من كتابة أكواد مُخصصة للالتفافات. يتم الوصول إلى TMA من خلال ^{[ 5 ]}cuda::memcpy_async .

عند تشغيل التطبيقات بالتوازي، يمكن للمطورين استخدام مجموعات كتل الخيوط . قد تُجري كتل الخيوط عمليات ذرية في الذاكرة المشتركة لكتل ​​خيوط أخرى ضمن مجموعتها، والمعروفة أيضًا بالذاكرة المشتركة الموزعة . يمكن استخدام الذاكرة المشتركة الموزعة بواسطة معالج متعدد (SM) بالتزامن مع ذاكرة التخزين المؤقت من المستوى الثاني (L2) ؛ وعند استخدامها لنقل البيانات بين المعالجات المتعددة، يمكن الاستفادة من النطاق الترددي المُجمع للذاكرة المشتركة الموزعة وذاكرة التخزين المؤقت من المستوى الثاني. يبلغ الحد الأقصى لحجم المجموعة المحمولة 8، على الرغم من أن Nvidia Hopper H100 يدعم حجم مجموعة يصل إلى 16 باستخدام هذه cudaFuncAttributeNonPortableClusterSizeAllowedالوظيفة، مما قد يؤدي إلى تقليل عدد الكتل النشطة. ^{[ 6 ]} مع البث المتعدد من المستوى الثاني والذاكرة المشتركة الموزعة، ينخفض ​​النطاق الترددي المطلوب لقراءة وكتابة الذاكرة ذات الوصول العشوائي الديناميكي . ^{[ 7 ]}

يتميز معالج هوبر بتحسين إنتاجية تنسيق الفاصلة العائمة أحادي الدقة (FP32)، حيث يوفر ضعف عدد عمليات FP32 لكل دورة لكل وحدة معالجة متعددة مقارنةً بسابقه. بالإضافة إلى ذلك، يدعم معالج هوبر تعليمات جديدة، بما في ذلك خوارزمية سميث-واترمان . ^{[ 6 ]} وكما هو الحال في معالج أمبير، يدعم المعالج أيضًا حسابات TensorFloat-32 (TF-32). نمط التعيين في كلا المعالجين متطابق. ^{[ 8 ]}

يدعم معالج Nvidia Hopper H100 ذاكرة HBM3 و HBM2e بسعة تصل إلى 80 جيجابايت؛ ويدعم نظام ذاكرة HBM3 سرعة نقل بيانات تصل إلى 3 تيرابايت/ثانية، بزيادة قدرها 50% عن سرعة 2 تيرابايت/ثانية في معالج Nvidia Ampere A100. وعلى مستوى البنية، تم زيادة سعة ذاكرة التخزين المؤقت من المستوى الثاني (L2) وعرض النطاق الترددي. ^{[ 9 ]}

تتيح ميزة Hopper لنوى الحوسبة في CUDA استخدام الضغط التلقائي المضمن، بما في ذلك في تخصيص الذاكرة الفردية، مما يسمح بالوصول إلى الذاكرة بنطاق ترددي أعلى. لا تزيد هذه الميزة من مقدار الذاكرة المتاحة للتطبيق، لأن البيانات (وبالتالي قابليتها للضغط ) قد تتغير في أي وقت. سيختار برنامج الضغط تلقائيًا بين عدة خوارزميات ضغط. ^{[ 9 ]}

تزيد وحدة Nvidia Hopper H100 من سعة ذاكرة التخزين المؤقت L1 وذاكرة التخزين المؤقت للرسومات والذاكرة المشتركة مجتمعةً إلى 256 كيلوبايت. وكما هو الحال في الإصدارات السابقة، تجمع هذه الوحدة بين ذاكرة التخزين المؤقت L1 وذاكرة التخزين المؤقت للرسومات في ذاكرة تخزين مؤقت موحدة مصممة لتكون بمثابة مخزن مؤقت مُدمج. cudaFuncAttributePreferredSharedMemoryCarveoutويمكن استخدام هذه الخاصية لتحديد نطاق ذاكرة التخزين المؤقت L1. تُقدم Hopper تحسينات على تقنية NVLink من خلال جيل جديد يتميز بنطاق ترددي إجمالي للاتصال أسرع. ^{[ 10 ]}

تُتيح واجهة برمجة تطبيقات الرياضيات (API) الخاصة ببنية Hopper وظائف في SM مثل __viaddmin_s16x2_relu، التي تُنفذ عملية حسابية لكل نصف كلمة${\displaystyle {\textrm {max}}({\textrm {min}}(a+b,c),0)}$في خوارزمية سميث-واترمان، __vimax3_s16x2_reluيمكن استخدام طريقة الحد الأدنى أو الأقصى ثلاثية الاتجاهات متبوعةً بتثبيت القيمة عند الصفر. ^{[ 12 ]} وبالمثل، يُسرّع هوبر تنفيذ خوارزمية نيدلمان-وونش . ^{[ 13 ]}

كانت بنية Hopper أول بنية من Nvidia تُطبّق محرك Transformer. ^{[ 14 ]} يُسرّع محرك Transformer العمليات الحسابية عن طريق تقليلها ديناميكيًا من دقة عددية عالية (مثل FP16) إلى دقة أقل وأسرع أداءً (مثل FP8) عندما يكون فقدان الدقة مقبولًا. ^{[ 14 ]} كما أن محرك Transformer قادر على تخصيص البتات ديناميكيًا في الدقة المختارة إما للكسر أو الأس أثناء التشغيل لزيادة الدقة إلى أقصى حد. ^{[ 5 ]}

يتميز تصميم SXM5 H100 بقدرة حرارية تصميمية (TDP) تبلغ 700 واط . وبالنظر إلى عدم التزامن، قد يحقق تصميم Hopper درجات استخدام عالية، وبالتالي قد يتمتع بأداء أفضل لكل واط. ^{[ 15 ]}

• إلستر، آن؛ هوغدال، تور (مارس 2022). "أبرز مميزات وحدة معالجة الرسومات Nvidia Hopper ووحدة المعالجة المركزية Grace" . الحوسبة في العلوم والهندسة . 24 (2): 95-100 . Bibcode : 2022CSE....24b..95E . doi : 10.1109/MCSE.2022.3163817 . hdl : 11250/3051840 . S2CID 249474974. تاريخ الاسترجاع: 29 مايو 2023 . 
• فوجيتا، كوهي؛ ياماغوتشي، تاكوما؛ كيكوتشي، يوما؛ إيشيمورا، تسويوشي؛ هوري، مونيو؛ ماديجيدارا ، لاليث (أبريل 2023). "حساب دالة الارتباط المتبادل التي تم تسريعها بواسطة عمليات TensorFloat-32 Tensor Core على وحدات معالجة الرسوميات Ampere و Hopper من NVIDIA" . مجلة العلوم الحاسوبية . 68 . دوى : 10.1016/j.jocs.2023.101986 .
• دليل برمجة CUDA C++ (ملف PDF) . إنفيديا . 17 أبريل 2023.
• دليل ضبط Hopper (ملف PDF) . إنفيديا . 13 أبريل 2023.
• بنية معالج الرسوميات NVIDIA H100 Tensor Core (ملف PDF) . NVIDIA . 2022.