الانتباه (التعلم الآلي)

في الترجمة بين اللغات، تُعرف عملية المحاذاة بأنها مطابقة الكلمات من الجملة الأصلية مع كلمات الجملة المترجمة. تُظهر الشبكات التي تُجري ترجمة حرفية دون مراعاة ترتيب الكلمات أعلى الدرجات على طول القطر الرئيسي (المهيمن) للمصفوفة. أما هيمنة العناصر غير القطرية فتدل على أن آلية الانتباه أكثر دقة.

لنأخذ مثالاً على ترجمة عبارة "أحبك" إلى الفرنسية. في المرحلة الأولى من فك التشفير، يتركز 94% من الانتباه على الكلمة الإنجليزية الأولى " I" ، لذا يقترح النظام كلمة "je" . في المرحلة الثانية، يتركز 88% من الانتباه على الكلمة الإنجليزية الثالثة " you " ، لذا يقترح النظام كلمة "t'" . في المرحلة الأخيرة، يتركز 95% من الانتباه على الكلمة الإنجليزية الثانية " love" ، لذا يقترح النظام كلمة "aime" .

في مثال "أحبك" ، تتم محاذاة الكلمة الثانية "حب" مع الكلمة الثالثة "أحب" . يؤدي تجميع متجهات الصفوف المرنة معًا للكلمات " je" و "t'" و "aime" إلى مصفوفة محاذاة .

أحيانًا، قد يكون التوافق متعددًا. على سبيل المثال، العبارة الإنجليزية look it up تُقابل cherchez-le . لذا، فإن أوزان الانتباه "المرنة" أفضل من أوزان الانتباه "القاسية" (حيث يتم ضبط وزن انتباه واحد على 1، والباقي على 0)، لأننا نرغب في أن يُنشئ النموذج متجه سياق يتكون من مجموع مرجح للمتجهات المخفية، بدلًا من "أفضل متجه"، إذ قد لا يكون هناك متجه مخفي مثالي.

يتناسب حجم مصفوفة الانتباه طرديًا مع مربع عدد رموز الإدخال. لذا، عندما يكون الإدخال طويلًا، يتطلب حساب مصفوفة الانتباه ذاكرة كبيرة لوحدة معالجة الرسومات (GPU) . يُعدّ "الانتباه السريع" تطبيقًا يقلل من احتياجات الذاكرة ويزيد الكفاءة دون المساس بالدقة. ويتحقق ذلك من خلال تقسيم حساب الانتباه إلى كتل أصغر تتناسب مع ذاكرة وحدة معالجة الرسومات الأسرع، مما يقلل الحاجة إلى تخزين مصفوفات وسيطة كبيرة، وبالتالي يخفض استخدام الذاكرة مع زيادة الكفاءة الحسابية. ^{[ 49 ]}

FlexAttention ^{[ 50 ]} عبارة عن نواة انتباه طورتها شركة Meta تسمح للمستخدمين بتعديل درجات الانتباه قبل softmax وتختار ديناميكيًا خوارزمية الانتباه المثلى.

منذ الورقة البحثية الأصلية حول محولات الرؤية (ViT)، أصبح تصوير درجات الانتباه على شكل خريطة حرارية (تُسمى خرائط البروز أو خرائط الانتباه) طريقةً مهمةً وروتينيةً لفحص عملية اتخاذ القرار في نماذج ViT. ^{[ 51 ]} يمكن حساب خرائط الانتباه بالنسبة لأي رأس انتباه في أي طبقة، بينما تميل الطبقات الأعمق إلى إظهار تصور أكثر دلالةً من الناحية الدلالية. يُعدّ نشر الانتباه خوارزميةً تكراريةً لدمج درجات الانتباه عبر جميع الطبقات، وذلك بحساب حاصل الضرب النقطي لخرائط الانتباه المتتالية. ^{[ 52 ]}

نظرًا لأن محولات الرؤية تُدرَّب عادةً بطريقة ذاتية الإشراف ، فإن خرائط الانتباه لا تكون حساسة للفئات بشكل عام. عند ربط رأس تصنيف بالعمود الفقري لمحولات الرؤية، تجمع خرائط الانتباه التمييزية للفئات (CDAM) بين خرائط الانتباه والتدرجات بالنسبة [CLS]لرمز الفئة. ^{[ 53 ]} يمكن أيضًا تطبيق بعض أساليب التفسير الحساسة للفئات، التي طُوِّرت في الأصل للشبكات العصبية الالتفافية، على محولات الرؤية، مثل GradCAM، التي تنشر التدرجات عكسيًا إلى مخرجات طبقة الانتباه النهائية. ^{[ 54 ]}

إن استخدام الانتباه كأساس لتفسير التحولات في اللغة والرؤية ليس بالأمر الخالي من الجدل. فبينما حللت بعض الدراسات الرائدة درجات الانتباه وقدمتها كتفسيرات، ^{[ 55 ] [ 56 ]} إلا أن ارتفاع درجات الانتباه لا يرتبط دائمًا بتأثير أكبر على أداء النموذج. ^{[ 57 ]}

بالنسبة للمصفوفات:${\displaystyle Q\in \mathbb {R} ^{m\times d_{k}},K\in \mathbb {R} ^{n\times d_{k}}}$و${\displaystyle V\in \mathbb {R} ^{n\times d_{v}}}$، ويُعرَّف حاصل الضرب النقطي المُقاس، أو انتباه QKV، على النحو التالي: $${\displaystyle {\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{T}}{\sqrt {d_{k}}}}\right)V\in \mathbb {R} ^{m\times d_{v}}}$$ أين${\displaystyle {}^{T}}$يشير الرمز إلى عملية النقل ، ويتم تطبيق دالة softmax بشكل مستقل على كل صف من صفوف المصفوفة.${\displaystyle Q}$يتضمن${\displaystyle m}$الاستعلامات، بينما المصفوفات${\displaystyle K,V}$تحتوي مجتمعة على مجموعة غير مرتبة من${\displaystyle n}$أزواج المفتاح والقيمة. متجهات القيم في مصفوفة${\displaystyle V}$يتم ترجيحها باستخدام الأوزان الناتجة عن عملية softmax، بحيث تكون صفوف${\displaystyle m}$-بواسطة-${\displaystyle d_{v}}$تقتصر مصفوفة الإخراج على الغلاف المحدب للنقاط في${\displaystyle \mathbb {R} ^{d_{v}}}$مُعطاة بواسطة صفوف${\displaystyle V}$.

لفهم خصائص ثبات التبديل وتكافؤ التبديل لانتباه QKV، ^{[ 58 ]} لنفترض${\displaystyle A\in \mathbb {R} ^{m\times m}}$و${\displaystyle B\in \mathbb {R} ^{n\times n}}$لتكن مصفوفات التبديل ؛ و${\displaystyle D\in \mathbb {R} ^{m\times n}}$مصفوفة عشوائية. دالة softmax متغيرة بالتبديل بمعنى أن: $${\displaystyle {\text{softmax}}(ADB)=A\,{\text{softmax}}(D)B}$$ وبملاحظة أن منقولة مصفوفة التبديل هي أيضاً معكوسها، فإنه يترتب على ذلك ما يلي: $${\displaystyle {\text{Attention}}(AQ,BK,BV)=A\,{\text{Attention}}(Q,K,V)}$$ مما يدل على أن آلية الانتباه QKV متغيرة بالنسبة لإعادة ترتيب الاستعلامات (صفوف من${\displaystyle Q}$)؛ وثابتة عند إعادة ترتيب أزواج المفتاح والقيمة في${\displaystyle K,V}$تُورَث هذه الخصائص عند تطبيق التحويلات الخطية على مدخلات ومخرجات وحدات الانتباه QKV. على سبيل المثال، دالة انتباه ذاتي بسيطة مُعرَّفة على النحو التالي: $${\displaystyle X\mapsto {\text{Attention}}(XT_{q},XT_{k},XT_{v})}$$ هل يكون التبديل متكافئًا بالنسبة لإعادة ترتيب صفوف مصفوفة الإدخال؟${\displaystyle X}$بطريقة غير بديهية، لأن كل صف من المخرجات هو دالة لجميع صفوف المدخلات. تنطبق خصائص مماثلة على آلية الانتباه متعددة الرؤوس ، والتي سيتم تعريفها أدناه.

عند استخدام آلية الانتباه QKV كعنصر أساسي لفك التشفير التراجعي الذاتي، وعندما تكون جميع مصفوفات الإدخال والإخراج في وقت التدريب${\displaystyle n}$في الصفوف، يتم استخدام نوع من أنواع الانتباه المقنع: $${\displaystyle {\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{T}}{\sqrt {d_{k}}}}+M\right)V}$$ أين القناع،${\displaystyle M\in \mathbb {\{0,-\infty \}} ^{n\times n}}$هي مصفوفة مثلثية علوية تمامًا ، مع وجود أصفار على القطر الرئيسي وأسفله.${\displaystyle -\infty }$في كل عنصر أعلى القطر. ناتج دالة softmax، في${\displaystyle \mathbb {R} ^{n\times n}}$تكون المصفوفة حينها مثلثية سفلية ، مع وجود أصفار في جميع العناصر فوق القطر الرئيسي. ويضمن الحجب أن يكون ذلك صحيحًا لجميع العناصر.${\displaystyle 1\leq i<j\leq n}$، صف${\displaystyle i}$إن مخرجات الانتباه مستقلة عن الصف${\displaystyle j}$من أي من مصفوفات الإدخال الثلاث. لا تنطبق خصائص ثبات التبديل وتكافؤ التغاير لآلية الانتباه QKV القياسية على المتغير المقنّع.

انتباه متعدد الرؤوس $${\displaystyle {\text{MultiHead}}(Q,K,V)={\text{Concat}}({\text{head}}_{1},...,{\text{head}}_{h})W^{O}}$$ حيث يتم حساب كل رأس باستخدام آلية الانتباه QKV على النحو التالي: $${\displaystyle {\text{head}}_{i}={\text{Attention}}(QW_{i}^{Q},KW_{i}^{K},VW_{i}^{V})}$$ و${\displaystyle W_{i}^{Q},W_{i}^{K},W_{i}^{V}}$، و${\displaystyle W^{O}}$هي مصفوفات المعاملات.

تنطبق خصائص التبديل الخاصة بآلية الانتباه QKV (القياسية، غير المقنعة) هنا أيضًا. بالنسبة لمصفوفات التبديل،${\displaystyle A,B}$: $${\displaystyle {\text{MultiHead}}(AQ,BK,BV)=A\,{\text{MultiHead}}(Q,K,V)}$$ ومن ذلك نرى أيضاً أن الانتباه الذاتي متعدد الرؤوس: $${\displaystyle X\mapsto {\text{MultiHead}}(XT_{q},XT_{k},XT_{v})}$$ وهي متغيرة بالنسبة لإعادة ترتيب صفوف مصفوفة الإدخال${\displaystyle X}$.

$${\displaystyle {\text{Attention}}(Q,K,V)={\text{softmax}}(\tanh(W_{Q}Q+W_{K}K))V}$$ أين${\displaystyle W_{Q}}$و${\displaystyle W_{K}}$هي مصفوفات أوزان قابلة للتعلم. ^{[ 11 ]}

$${\displaystyle {\text{Attention}}(Q,K,V)={\text{softmax}}(QWK^{T})V}$$ أين${\displaystyle W}$هي مصفوفة أوزان قابلة للتعلم. ^{[ 39 ]}

يُعدّ الانتباه الذاتي مماثلاً للانتباه المتبادل، باستثناء أن متجهات الاستعلام والمفتاح والقيمة جميعها تأتي من النموذج نفسه. يمكن لكل من المُشفِّر والمُفكِّك استخدام الانتباه الذاتي، ولكن مع وجود اختلافات طفيفة.

بالنسبة لآلية الانتباه الذاتي في المشفر، يمكننا البدء بمشفر بسيط بدون آلية انتباه ذاتي، مثل "طبقة التضمين"، التي تقوم ببساطة بتحويل كل كلمة مُدخلة إلى متجه باستخدام جدول بحث ثابت . وهذا يُعطي سلسلة من المتجهات المخفية.${\displaystyle h_{0},h_{1},\dots }$ويمكن بعد ذلك تطبيق هذه النتائج على آلية الانتباه القائمة على الضرب النقطي، للحصول على$${\displaystyle {\begin{aligned}h_{0}'&=\mathrm {Attention} (h_{0}W^{Q},HW^{K},HW^{V})\\h_{1}'&=\mathrm {Attention} (h_{1}W^{Q},HW^{K},HW^{V})\\&\;\,\vdots \end{aligned}}}$$أو باختصار أكثر،${\displaystyle H'=\mathrm {Attention} (HW^{Q},HW^{K},HW^{V})}$يمكن تطبيق ذلك بشكل متكرر للحصول على مُشفِّر متعدد الطبقات. يُعرف هذا بـ "الانتباه الذاتي للمُشفِّر"، ويُسمى أحيانًا "الانتباه الشامل"، حيث يمكن للمتجه في كل موضع أن ينتبه إلى كل متجه آخر.

بالنسبة لآلية الانتباه الذاتي للمفكك، فإن الانتباه الشامل غير مناسب، لأنه خلال عملية فك التشفير التراجعي الذاتي، لا يستطيع المفكك الانتباه إلى المخرجات المستقبلية التي لم يتم فك تشفيرها بعد. ويمكن حل هذه المشكلة عن طريق فرض أوزان الانتباه.${\displaystyle w_{ij}=0}$للجميع${\displaystyle i<j}$وتسمى هذه الآلية "الإخفاء السببي". وتسمى آلية الانتباه هذه "الانتباه الذاتي المقنع سببيًا".