TensorFloat-32

TensorFloat-32 ( TF32 ) هو تنسيق عددي للفاصلة العائمة مصمم خصيصًا لـ Tensor Core الذي يعمل على بعض وحدات معالجة الرسومات من Nvidia . تم تطبيقه لأول مرة في معمارية Ampere ^{[ 1 ]} . يجمع TensorFloat-32 بين حجم الأس 8 بت للدقة المفردة IEEE وحجم الجزء الكسري 10 بت للدقة النصفية ، ليصبح المجموع 19 بت لكل عدد. وهو مشابه لتنسيق bfloat16 الذي يستخدم جزءًا كسريًا 7 بت.

الصيغة الثنائية هي:

• بت إشارة واحد
• 8 بتات للأس
• 10 بتات ذات دلالة (تسمى أيضًا بتات المانتيسا أو بتات الدقة)

يتناسب تنسيق 19 بتًا معنويًا مع كلمة مزدوجة (32 بتًا)، وعلى الرغم من أنه يفتقر إلى الدقة مقارنةً برقم الفاصلة العائمة العادي IEEE 754 ذي 32 بتًا ، إلا أنه يوفر حسابًا أسرع بكثير، يصل إلى 8 أضعاف على A100 (مقارنةً بـ V100 باستخدام FP32 ). ^{[ 2 ]}

يُخزَّن في نفس مساحة FP32، وهو ليس تنسيق تخزين منفصل، بل هو مواصفة لعمليات الضرب والتجميع FP32 ذات الدقة المنخفضة . تُقرَّب مدخلات FP32 إلى TF32، وتُضرب لإنتاج ناتج 21 بت (بما في ذلك البت الأكثر أهمية الضمني، وهذا ضرب 11×11 ← 22 بت)، ثم تُجمع في مُجمِّع FP32 قياسي. ^{[ 3 ]}

• IEEE 754