المحوّل (التعلم العميق)

لسنوات عديدة، تم استخدام الشبكات العصبية المتكررة البسيطة (RNNs) في نمذجة وتوليد التسلسلات. ومن الأمثلة المبكرة التي حظيت بشهرة واسعة شبكة إلمان (1990). نظريًا، يمكن للمعلومات من رمز واحد أن تنتشر إلى أي مسافة في التسلسل، ولكن عمليًا، تُبقي مشكلة تلاشي التدرج حالة النموذج في نهاية الجملة الطويلة دون معلومات دقيقة وقابلة للاستخراج حول الرموز السابقة.

كان اكتشاف LSTM (الذي وُصف لأول مرة في تقرير فني عام 1995 ونُشر رسميًا عام 1997) إنجازًا رئيسيًا ، ^{[ 2 ] [ ملاحظة 1 ]} وهو عبارة عن شبكة عصبية متكررة (RNN) أدخلت آليات بوابية للتخفيف من مشكلة تلاشي التدرج، مما يسمح بتعلم فعال لنمذجة التسلسلات الطويلة. ومن العناصر المعمارية الرئيسية استخدام وحدات البوابات المضاعفة ، حيث تُعدّل مخرجات بعض الخلايا العصبية مخرجات خلايا أخرى. وتختلف هذه الوحدات المضاعفة من حيث المفهوم عن آلية الانتباه الجمعي التي طُرحت لاحقًا لنماذج التسلسل إلى التسلسل. ^{[ 14 ]} وقد سُميت الشبكات العصبية التي تستخدم الوحدات المضاعفة لاحقًا بشبكات سيجما-باي ^{[ 15 ]} أو الشبكات ذات الرتبة الأعلى . ^{[ 16 ]} وأصبحت LSTM البنية القياسية لنمذجة التسلسلات الطويلة حتى نشر Transformers عام 2017. ومع ذلك، ظلت LSTM تستخدم المعالجة التسلسلية، مثل معظم الشبكات العصبية المتكررة الأخرى. ^{[ ملاحظة 2 ]} على وجه التحديد، تعمل الشبكات العصبية المتكررة على رمز واحد في كل مرة من الأول إلى الأخير؛ لا يمكنها العمل بالتوازي على جميع الرموز في التسلسل.

تتغلب المحولات الحديثة على هذه المشكلة، ولكن على عكس الشبكات العصبية المتكررة، فإنها تتطلب وقت حساب يتناسب طرديًا مع مربع حجم نافذة السياق. يتعلم متحكم الوزن السريع ذو التدرج الخطي (1992) حساب مصفوفة أوزان لمزيد من المعالجة بناءً على المدخلات. ^{[ 17 ]} تحتوي إحدى شبكتيه على "أوزان سريعة" أو "روابط ديناميكية" (1981). ^{[ 18 ] [ 19 ] [ 20 ]} تتعلم الشبكة العصبية البطيئة عن طريق انحدار التدرج لتوليد مفاتيح وقيم لحساب تغيرات أوزان الشبكة العصبية السريعة التي تحسب إجابات الاستعلامات. ^{[ 17 ]} وقد تبين لاحقًا أن هذا مكافئ للمحول الخطي غير المُعَيَّر. ^{[ 21 ] [ 22 ]}

تم تطوير فكرة تحويل تسلسل المشفر-المفكك في أوائل العقد الثاني من القرن الحادي والعشرين؛ ويُشار عادةً إلى ورقتين بحثيتين نُشرتا في نفس الوقت من عام 2014 باعتبارهما المبتكرين اللذين أنتجا seq2seq. ^{[ 23 ] [ 24 ]}

يستخدم نموذجٌ للترجمة الآلية ذو 380 مليون مُعامل ذاكرتين طويلتين قصيرتي المدى (LSTM). ^{[ 24 ]} يتكون هيكله من جزأين: المُشفِّر، وهو LSTM يستقبل سلسلة من الرموز ويحولها إلى متجه، والمُفكِّك، وهو LSTM آخر، يحول المتجه إلى سلسلة من الرموز. وبالمثل، استخدم نموذجٌ آخر ذو 130 مليون مُعامل وحدات التكرار البوابية (GRU) بدلاً من LSTM. ^{[ 23 ]} أظهرت أبحاثٌ لاحقة أن وحدات GRU ليست أفضل ولا أسوأ من LSTM في الترجمة من تسلسل إلى تسلسل. ^{[ 25 ] [ 26 ]}

لم تكن نماذج seq2seq المبكرة هذه مزودة بآلية انتباه، ولا يمكن الوصول إلى متجه الحالة إلا بعد معالجة الكلمة الأخيرة من النص الأصلي. ورغم أن هذا المتجه نظريًا يحتفظ بمعلومات الجملة الأصلية كاملة، إلا أن هذه المعلومات تُحفظ بشكل ضعيف عمليًا. ويعود ذلك إلى أن المدخلات تُعالج تسلسليًا بواسطة شبكة عصبية متكررة واحدة لتكوين متجه إخراج ثابت الحجم، ثم تُعالجه شبكة عصبية متكررة أخرى لتكوين مخرج. إذا كانت المدخلات طويلة، فلن يتمكن متجه الإخراج من احتواء جميع المعلومات ذات الصلة، مما يؤدي إلى تدهور جودة المخرج. وكدليل على ذلك، فإن عكس جملة الإدخال يُحسّن ترجمة seq2seq. ^{[ 27 ]}

أدخل نموذج البحث RNN آلية انتباه إلى خوارزمية seq2seq للترجمة الآلية لحل مشكلة عنق الزجاجة (المتمثلة في حجم متجه الإخراج الثابت )، مما يسمح للنموذج بمعالجة التبعيات بعيدة المدى بسهولة أكبر. وقد سُمّي بهذا الاسم لأنه "يحاكي البحث في الجملة المصدرية أثناء فك تشفير الترجمة". ^{[ 5 ]}

تمت مقارنة الأداء النسبي بين نماذج الانتباه العالمية ( بحث الشبكة العصبية المتكررة ) والمحلية (النافذة المنزلقة) في الترجمة الآلية، ووجد أن الانتباه المختلط يتمتع بجودة أعلى من الانتباه العالمي، بينما يقلل الانتباه المحلي من وقت الترجمة. ^{[ 28 ]}

في عام 2016، طُوّر نظام ترجمة جوجل ليصبح نظام الترجمة الآلية العصبية من جوجل ، ليحل محل النموذج السابق القائم على الترجمة الآلية الإحصائية . كان النموذج الجديد نموذجًا من نوع seq2seq، حيث يتكون كل من المُشفّر والمُفكّك من 8 طبقات من شبكة LSTM ثنائية الاتجاه. ^{[ 29 ]} استغرق تطويره تسعة أشهر، وتفوق على النهج الإحصائي الذي استغرق تطويره عشر سنوات. ^{[ 30 ]}

لا تزال نماذج Seq2seq المزودة بآلية الانتباه (بما في ذلك الانتباه الذاتي) تعاني من نفس مشكلة الشبكات المتكررة، وهي صعوبة موازاتها ، مما حال دون تسريعها على وحدات معالجة الرسومات (GPUs). في عام 2016، طبّق الانتباه القابل للتحليل آلية الانتباه الذاتي على الشبكات الأمامية ، التي يسهل موازاتها، وحقق نتائج رائدة في الاستلزام النصي بعدد معلمات أقل بعشر مرات من شبكات الذاكرة طويلة المدى (LSTM). ^{[ 31 ]} وقد اشتبه أحد مؤلفيها، جاكوب أوزكوريت، في أن الانتباه بدون تكرار سيكون كافيًا لترجمة اللغات، ومن هنا جاء عنوان البحث "الانتباه هو كل ما تحتاجه". ^{[ 32 ]} كانت هذه الفرضية مخالفة للرأي السائد آنذاك، حتى أن والده، هانز أوزكوريت ، عالم اللغويات الحاسوبية المعروف، كان متشككًا فيها. ^{[ 32 ]} في العام نفسه، تم اقتراح الانتباه الذاتي (المسمى الانتباه داخل الجملة أو الانتباه داخل الجملة ) لشبكات الذاكرة طويلة المدى (LSTM). ^{[ 33 ]}

في 12 يونيو 2017، نُشر نموذج المُشفِّر-المُفكِّك المُحوِّل الأصلي (بـ 100 مليون مُعامل) في ورقة بحثية بعنوان " الانتباه هو كل ما تحتاجه ". في ذلك الوقت، انصبّ تركيز البحث على تحسين نموذج seq2seq للترجمة الآلية ، وذلك بإزالة التكرار لمعالجة جميع الرموز بالتوازي، مع الحفاظ على آلية الانتباه النقطي لضمان كفاءة معالجة النصوص. ^{[ 1 ]} أدى ذلك إلى تقديم نموذج انتباه متعدد الرؤوس، سهل التوازي بفضل استخدام رؤوس مستقلة وانعدام التكرار. وكانت قابليته للتوازي عاملاً هاماً في انتشاره الواسع في الشبكات العصبية الكبيرة. ^{[ 34 ]}

في ربيع عام 2017، حتى قبل نشر النسخة الأولية من بحث "الانتباه هو كل ما تحتاجه"، قام أحد المؤلفين المشاركين بتطبيق نسخة "فك التشفير فقط" من بنية المحوّل لإنشاء مقالات وهمية على ويكيبيديا. ^{[ 35 ]} تُستخدم بنية المحوّل الآن جنبًا إلى جنب مع العديد من النماذج التوليدية التي تُساهم في طفرة الذكاء الاصطناعي المستمرة .

كُتبت النسخة المرجعية من نموذج Transformer الأصلي باستخدام مكتبة TensorFlow. ^{[ 36 ] [ 37 ]} في مجال نمذجة اللغة، كان ELMo (2018) نموذج LSTM ثنائي الاتجاه يُنتج تضمينات كلمات سياقية ، مُحسّنًا بذلك مسار البحث المُستمد من نموذج حقيبة الكلمات ونموذج word2vec . تبعه BERT (2018)، وهو نموذج Transformer يعتمد على المُشفّر فقط. ^{[ 38 ]} في أكتوبر 2019، بدأت جوجل باستخدام BERT لمعالجة استعلامات البحث. ^{[ 39 ]} في عام 2020، استبدلت خدمة ترجمة جوجل نموذج RNN-encoder–RNN-decoder السابق بنموذج transformer-encoder–RNN-decoder. ^{[ 40 ]}

ابتداءً من عام 2018، أصبحت سلسلة نماذج OpenAI GPT، التي تعتمد على مُفكِّك الشفرة فقط، أحدث ما توصلت إليه التكنولوجيا في مجال توليد اللغة الطبيعية . وفي نهاية عام 2022، حقق ChatGPT ، وهو روبوت محادثة مبني على نسخة محسّنة من GPT-3.5، شعبيةً غير متوقعة ^{[ 41 ] [ 42 ]} ، مما أدى إلى طفرة في مجال نماذج اللغة الضخمة . ^{[ 43 ] [ 44 ]}

تم تطبيق تقنية المحولات في مجالات تتجاوز النصوص. فبعد أربعة أيام من نشر بحث "الانتباه هو كل ما تحتاجه"، نشر معظم مؤلفي ذلك البحث بنية محولات متعددة الوسائط ، تُعرف باسم MultiModel. ^{[ 45 ]} ومن الأمثلة الأخرى محول الرؤية ، ^{[ 46 ]} والتعرف على الكلام، ^{[ 47 ]} والروبوتات، ^{[ 7 ]} والوسائط المتعددة. ^{[ 48 ]} وقد حفز محول الرؤية بدوره تطورات جديدة في الشبكات العصبية الالتفافية . ^{[ 49 ]} وتستخدم مولدات الصور والفيديو، مثل DALL-E (2021) و Stable Diffusion 3 (2024)، ^{[ 50 ]} و Sora (2024)، المحولات لتحليل بيانات الإدخال (مثل النصوص) عن طريق تقسيمها إلى "رموز" ثم حساب مدى الصلة بين كل رمز باستخدام آلية الانتباه الذاتي، مما يساعد النموذج على فهم السياق والعلاقات داخل البيانات.

The plain transformer architecture had difficulty in converging. In the original paper,^[1] the authors recommended using learning rate warmup. That is, the learning rate should linearly scale up from 0 to maximal value for the first part of the training (usually recommended to be 2% of the total number of training steps), before decaying again.

A 2020 paper found that using layer normalizationbefore (instead of after) multihead attention and feedforward layers stabilizes training, not requiring learning rate warmup.^[51] This is the "pre-LN Transformer" and is more commonly used, compared to the original "post-LN Transformer".

Transformers typically are first pretrained by self-supervised learning on a large generic dataset, followed by supervisedfine-tuning on a small task-specific dataset. The pretrain dataset is typically an unlabeled large corpus, such as The Pile. Tasks for pretraining and fine-tuning commonly include:

• language modeling^[13]
• next-sentence prediction^[13]
• question answering^[3]
• reading comprehension
• sentiment analysis^[1]
• paraphrasing^[1]

The T5 transformer report^[52] documents a large number of natural language pretraining tasks. Some examples are:

• restoring or repairing incomplete or corrupted text. For example, the input, "Thank you~~me to your party~~week", might generate the output, "Thank you for inviting me to your party last week".
• translation between natural languages (machine translation)
• judging the pragmatic acceptability of natural language. For example, the following sentence might be judged "not acceptable",^[53] because even though it is syntactically well-formed, it is improbable in ordinary human usage: The course is jumping well.

While each of these tasks is trivial or obvious for human native speakers of the language (or languages), they have typically proved challenging for previous generations of machine learning architecture.

بشكل عام، توجد ثلاث فئات من مهام نمذجة اللغة: "المقنّعة" ^{[ 54 ]} ، و"التراجعية الذاتية" ^{[ 55 ] ، و"نمذجة البادئات" [ 56 ]} . هذه الفئات مستقلة عن بنية نمذجة محددة مثل Transformer، ولكنها تُناقش غالبًا في سياق Transformer.

في مهمة الإخفاء، ^{[ 54 ]} يتم إخفاء واحد أو أكثر من الرموز، ويُنتج النموذج توزيعًا احتماليًا يتنبأ بالرموز المخفية بناءً على السياق. عادةً ما تكون دالة الخسارة لهذه المهمة هي مجموع لوغاريتمات التعقيد للرموز المخفية.$${\displaystyle {\text{Loss}}=-\sum _{t\in {\text{masked tokens}}}\ln({\text{probability of }}t{\text{ conditional on its context}})}$$ويتم تدريب النموذج لتقليل دالة الخسارة هذه. تُدرَّب سلسلة نماذج BERT للتنبؤ بالرموز المقنعة ومهمة أخرى. (المقصود بـ "المقنع" كما في "نمذجة اللغة المقنعة" ليس المقصود بـ " الانتباه المقنع ").

في مهمة الانحدار الذاتي ^{[ 55 ]} ، تُخفى السلسلة بأكملها في البداية، ويُنتج النموذج توزيعًا احتماليًا للرمز الأول. ثم يُكشف الرمز الأول، ويتنبأ النموذج بالرمز الثاني، وهكذا. وتبقى دالة الخسارة للمهمة عادةً كما هي. تُدرَّب سلسلة نماذج GPT باستخدام مهام الانحدار الذاتي.

في مهمة prefixLM، ^{[ 56 ]} يُقسّم التسلسل إلى جزأين. يُقدّم الجزء الأول كسياق، ويتنبأ النموذج بالرمز الأول من الجزء الثاني. ثم يُكشف هذا الرمز، ويتنبأ النموذج بالرمز الثاني، وهكذا. عادةً ما تكون دالة الخسارة للمهمة هي نفسها. تُدرّب سلسلة نماذج T5 باستخدام مهام prefixLM. ("PrefixLM" بمعنى "نمذجة لغة البادئات" ليس "prefixLM" بمعنى " نموذج لغة البادئات ").

بما أن بنية المحول تتكون أساسًا من عمليات على الأرقام (ضرب المصفوفات، والضرب النقطي، ودوال التنشيط) بدلاً من النصوص، فلا بد أولاً من وجود عملية ربط بين أي نص مُدخل وتمثيل رقمي. ويتم ذلك في ثلاث خطوات.

أولًا، يُعالج النص المُدخل بواسطة مُعالج مُسبق ، يُجري تحويلات نصية ويُقسّم النص إلى أجزاء كبيرة تُسمى "الرموز الأولية" . يُشار إلى هذه العملية الأخيرة باسم "التجزئة الأولية" . ثانيًا، يُقسّم كل رمز أولي إلى رموز بواسطة مُجزئ يتوقع رؤية الرموز الأولية فقط من مُعالجه المُسبق. كل رمز يُنتجه عبارة عن سلسلة من حرف واحد أو أكثر تنتمي إلى مجموعة محدودة من السلاسل تُسمى " المفردات".${\displaystyle V}$ثالثًا، نظرًا لأن المفردات محدودة ومعروفة مسبقًا، يمكن تخصيص مُعرِّف عددي لكل رمز، ويُطبَّق هذا الربط على سلسلة الرموز لتمثيل أي نص مُدخل كسلسلة عددية. ولأن هذا الربط تقابلي، يُمكن لجانب الإخراج إنتاج سلسلة من المُعرِّفات العددية التي يُمكن تحويلها لاحقًا إلى رموز. بعد التراجع عن بعض عمليات المعالجة المسبقة، تكون النتيجة نصًا مقروءًا مرة أخرى.

تدريب مُجزئ الكلمات (يُشار إليه أحيانًا باسم المفردات ) يعني إيجاد مفردات مناسبة${\displaystyle V}$ولكن أيضًا تعلم كيفية استخدامه، لأن أي سلسلة معينة${\displaystyle s}$من الطول${\displaystyle |s|}$لديه${\displaystyle 2^{|s|-1}}$تقسيمات افتراضية، بعضها يحتوي على مقاطع غير موجودة في المفردات. أهم مُعامل فائق أثناء عملية المفردات هو حجم المفردات${\displaystyle |V|}$عندما تكون المفردات صغيرة، فإنها تتكون عادةً من أحرف وسلاسل نصية أصغر، وتُقسّم الكلمات إلى وحدات صغيرة متعددة. أما عند الأحجام الأكبر، فيصبح من الممكن تخصيص وحدات للكلمات الكاملة، مع العلم أنه اعتمادًا على المعالج المسبق ومُجزئ الكلمات، ليس بالضرورة أن تستخدم المفردات الكبيرة دائمًا أكبر وحدة (أو وحدات) متاحة لتقسيم الكلمة.

لأن الرموز ليست دائمًا كلمات كاملة، يُشار إليها أحيانًا بالكلمات الجزئية ، وتُسمى خوارزميات التجزئة بالكلمات الجزئية . يهدف هذا أيضًا إلى تمييز هذه الأنظمة عن المصطلحات التقليدية المستخدمة في أنظمة استرجاع المعلومات ومعالجة اللغة الطبيعية القديمة، حيث كان مصطلح "التجزئة" يُستخدم للدلالة على ما يُسمى اليوم "التجزئة الأولية" (بمعنى مبسط: تقسيم النص إلى كلمات). في خوارزميات التجزئة التي تُنتج رموزًا ليست جزءًا من المفردات، يُستخدم رمز خاص ينتمي إلى المفردات كبديل عام، يُكتب "[UNK]" اختصارًا لكلمة "غير معروف". من حيث المبدأ، يمكن إخفاء أي سلسلة نصية بواسطة هذا الرمز [UNK]. في الواقع، في مجال استرجاع المعلومات، استُخدمت خوارزميات التجزئة الأولية نفسها كخوارزميات تجزئة (وتُسمى أيضًا "خوارزميات تجزئة") بمفردات على مستوى الكلمات تحتوي على الرمز [UNK].

من خوارزميات تجزئة الكلمات الفرعية الشائعة الاستخدام ترميز أزواج البايت (BPE) ونموذج لغة أحادي الكلمات (ULM)، حيث تتضمن كل منهما خوارزمية لتكوين المفردات وخوارزمية تجزئة مخصصة. كما توجد عدة خوارزميات تجزئة لا تتطلب تدريبًا مسبقًا، ويمكن تطبيقها باستخدام مفردات (مُنتجة بواسطة BPE أو ULM، على سبيل المثال)، مثل التعرف الجشع على الرموز في رمز أولي من خلال التحرك عبره من اليسار إلى اليمين. من أشهر تطبيقات برامج تجزئة الكلمات الفرعية حزمة Hugging Face المكتوبة بلغة Rust، وحزمة Python المكتوبة بلغة C++. سُميت الحزمة الأخيرة بهذا الاسم لأن أحد خيارات تكوينها يسمح بتعطيل مُجزئ الكلمات الأولية المدمج، مما يجعل الجمل بأكملها رمزًا أوليًا، وبالتالي يرى مُجزئ الكلمات جملًا كاملة بدلًا من الكلمات الفردية.tokenizerssentencepiece

يتم تحويل كل مُعرِّف رمز صحيح إلى متجه تضمين عبر جدول بحث . بعبارة أخرى، يتم ضرب تمثيل أحادي ساخن لمُعرِّف الرمز في مصفوفة تضمين.${\displaystyle M}$على سبيل المثال، إذا كان مُعرِّف رمز الإدخال هو${\displaystyle 3}$إذن، التمثيل الأحادي الساخن هو${\displaystyle [0,0,0,1,0,0,\dots ]}$، ومتجه تضمينه هو$${\displaystyle \mathrm {Embed} (3)=[0,0,0,1,0,0,\dots ]M}$$تتم إضافة متجهات تضمين الرموز إلى متجهات الترميز الموضعي الخاصة بها (انظر أدناه)، مما ينتج عنه تسلسل متجهات الإدخال.

يُطلق على بُعد متجه التضمين اسم الحجم المخفي أو حجم التضمين ، ويُكتب على النحو التالي:${\displaystyle d_{\text{emb}}}$[ ^{38 ]} يُكتب هذا الحجم على النحو التالي ^:${\displaystyle d_{\text{model}}}$في ورقة المحول الأصلية. ^{[ 1 ]}

تُعتبر طبقة فك التضمين عكس طبقة التضمين تقريبًا. فبينما تحوّل طبقة التضمين مُعرّف الرمز المميز إلى متجه، تحوّل طبقة فك التضمين المتجه إلى توزيع احتمالي على الرموز المميزة.

طبقة فك التضمين هي طبقة سوفتماكس خطية :$${\displaystyle \mathrm {UnEmbed} (x)=\mathrm {softmax} (xW+b)}$$للمصفوفة شكل${\displaystyle (d_{\text{emb}},|V|)}$تستخدم بعض البنى منقولة مصفوفة التضمين${\displaystyle M}$باعتبارها مصفوفة فك التضمين${\displaystyle W}$وذلك لتجنب الحاجة إلى ضعف عدد المعاملات المتعلقة بالتضمين، ولتجنب التباعد أثناء التدريب. تُسمى هذه الممارسة ربط الأوزان . ^{[ 57 ]}

الترميز الموضعي هو تمثيل متجهي ثابت الحجم للمواقع النسبية للرموز داخل تسلسل: فهو يزود نموذج المحول بمعلومات حول مكان الكلمات في تسلسل الإدخال. وهذا يُحدث تحيزًا نحو ترتيب تسلسل الإدخال، بحيث تتم معالجة تسلسل الإدخال " رجل يعض كلبًا " بشكل مختلف عن "كلب يعض رجلًا".

يتم تعريف الترميز الموضعي كدالة للنوع${\displaystyle f:\mathbb {R} \to \mathbb {R} ^{d}}$، أين${\displaystyle d}$هو عدد صحيح زوجي موجب . الترميز الموضعي الكامل المحدد في الورقة الأصلية ^{[ 1 ]} هو:$${\displaystyle (f(t)_{2k},f(t)_{2k+1})=(\sin(\theta ),\cos(\theta ))\quad \forall k\in \{0,1,\ldots ,d/2-1\}}$$أين${\displaystyle \theta ={\frac {t}{r^{k}}},r=N^{2/d}}$.

هنا،${\displaystyle N}$هو مُعامل حر يجب أن يكون أكبر بكثير من الأكبر${\displaystyle k}$سيتم إدخال ذلك في دالة الترميز الموضعي. تستخدم الورقة الأصلية${\displaystyle N=10000}$.

تكون الدالة في شكل أبسط عند كتابتها كدالة مركبة من النوع${\displaystyle f:\mathbb {R} \to \mathbb {C} ^{d/2}}$$${\displaystyle f(t)=\left(e^{it/r^{k}}\right)_{k=0,1,\ldots ,{\frac {d}{2}}-1}}$$أين${\displaystyle r=N^{2/d}}$.

السبب الرئيسي لاستخدام وظيفة التشفير الموضعي هذه هو أنه باستخدامها، تكون الإزاحات عبارة عن تحويلات خطية:$${\displaystyle f(t+\Delta t)=\mathrm {diag} (f(\Delta t))f(t)}$$أين${\displaystyle \Delta t\in \mathbb {R} }$هي المسافة التي يرغب المرء في إزاحتها. وهذا يسمح للمحول بأخذ أي موضع مشفر، وإيجاد تشفير الموضع الذي يسبقه أو يسبقه بـ n خطوة، عن طريق ضرب المصفوفات.

من خلال إجراء عملية جمع خطية، يمكن أيضًا تنفيذ أي عملية التفاف كتحويلات خطية:$${\displaystyle \sum _{j}c_{j}f(t+\Delta t_{j})=\left(\sum _{j}c_{j}\,\mathrm {diag} (f(\Delta t_{j}))\right)f(t)}$$لأي ثوابت${\displaystyle c_{j}}$يُمكّن هذا النموذج من أخذ أي موضع مُشفّر وإيجاد مجموع خطي لمواقع جيرانه المُشفّرة. هذا المجموع، عند إدخاله إلى آلية الانتباه، يُنشئ أوزان انتباه على جيرانه، تمامًا كما يحدث في نموذج لغة الشبكة العصبية الالتفافية . وكما يقول المؤلف: "افترضنا أن هذا سيُمكّن النموذج من تعلّم الانتباه بسهولة عن طريق الموقع النسبي".

في التطبيقات النموذجية، يتم إجراء جميع العمليات على الأعداد الحقيقية، وليس الأعداد المركبة، ولكن بما أن الضرب المركب يمكن تنفيذه كضرب مصفوفة حقيقية 2×2 ، فإن هذا مجرد اختلاف في الترميز.

على غرار نماذج seq2seq السابقة ، استخدم نموذج المحول الأصلي بنية مُشفِّر-مُفكِّك . يتكون المُشفِّر من طبقات تشفير تُعالج جميع رموز الإدخال معًا طبقة تلو الأخرى، بينما يتكون المُفكِّك من طبقات فك تشفير تُعالج بشكل تكراري مُخرجات المُشفِّر ورموز إخراج المُفكِّك حتى الآن.

تتمثل وظيفة كل طبقة من طبقات المُشفِّر في إنشاء تمثيلات سياقية للرموز، حيث يتوافق كل تمثيل مع رمز يمزج المعلومات من رموز الإدخال الأخرى عبر آلية الانتباه الذاتي. تحتوي كل طبقة من طبقات فك التشفير على طبقتين فرعيتين للانتباه: (1) الانتباه المتبادل لدمج مخرجات المُشفِّر (تمثيلات رموز الإدخال السياقية)، و(2) الانتباه الذاتي لمزج المعلومات بين رموز الإدخال إلى وحدة فك التشفير (أي الرموز التي تم إنشاؤها حتى الآن أثناء عملية الاستدلال). ^{[ 58 ] [ 59 ]}

تحتوي كل من طبقتي التشفير وفك التشفير على شبكة عصبية أمامية لمعالجة مخرجاتهما بشكل إضافي، وتتضمنان وصلات متبقية وخطوات لتطبيع الطبقات. ^{[ 59 ]} تحتوي هذه الطبقات الأمامية على معظم المعلمات في نموذج المحول.

وحدات الشبكة الأمامية (FFN) في المحول هي عبارة عن شبكات عصبية متعددة الطبقات ذات طبقتين :$${\displaystyle \mathrm {FFN} (x)=\phi (xW^{(1)}+b^{(1)})W^{(2)}+b^{(2)}}$$أين${\displaystyle W^{(1)}}$و${\displaystyle W^{(2)}}$هي مصفوفات الوزن و${\displaystyle b^{(1)}}$و ${\displaystyle b^{(2)}}$هي متجهات الانحياز، و${\displaystyle \phi }$هذه هي وظيفة التنشيط الخاصة بها. استخدم المحول الأصلي وظيفة تنشيط ReLU .

يُطلق على عدد الخلايا العصبية في الطبقة الوسطى اسم الحجم الوسيط (في نموذج GPT)، ^{[ 60 ]} أو حجم المرشح (في نموذج BERT)، ^{[ 38 ]} أو حجم التغذية الأمامية (في نموذج BERT). ^{[ 38 ]} وهو عادةً أكبر من حجم التضمين. على سبيل المثال، في كلٍ من سلسلة GPT-2 وسلسلة BERT، يكون الحجم الوسيط للنموذج أربعة أضعاف حجم تضمينه.${\displaystyle d_{\text{ffn}}=4d_{\text{emb}}}$.

يتكون جهاز التشفير من طبقة تضمين، تليها طبقات تشفير متعددة.

تتكون كل طبقة من طبقات التشفير من عنصرين رئيسيين: آلية الانتباه الذاتي وطبقة التغذية الأمامية. تستقبل الطبقة المدخلات على شكل سلسلة من متجهات الإدخال، وتطبق آلية الانتباه الذاتي لإنتاج سلسلة وسيطة من المتجهات، ثم تطبق طبقة التغذية الأمامية على كل متجه على حدة. ويمكن توضيح ذلك تخطيطيًا كما يلي:${\displaystyle {\begin{aligned}{\text{given input vectors }}&h_{0},h_{1},\dots \\{\text{combine them into a matrix }}H&={\begin{bmatrix}h_{0}\\h_{1}\\\vdots \end{bmatrix}}\\{\text{EncoderLayer}}(H)&={\begin{bmatrix}{\text{FFN}}({\text{MultiheadAttention}}(H,H,H)_{0})\\{\text{FFN}}({\text{MultiheadAttention}}(H,H,H)_{1})\\\vdots \end{bmatrix}}\\\end{aligned}}}$

أين${\displaystyle {\text{FFN}}}$يرمز إلى "شبكة التغذية الأمامية". ويمكننا كتابتها بشكل أكثر إيجازًا على النحو التالي:$${\displaystyle {\text{EncoderLayer}}(H)={\text{FFN}}({\text{MultiheadAttention}}(H,H,H))}$$مع الاتفاق الضمني على أن${\displaystyle {\text{FFN}}}$يتم تطبيقها على كل صف من صفوف المصفوفة بشكل فردي.

تتراص طبقات التشفير. تستقبل طبقة التشفير الأولى سلسلة متجهات الإدخال من طبقة التضمين، مُنتجةً سلسلة من المتجهات. تُعالج هذه السلسلة من المتجهات بواسطة طبقة التشفير الثانية، وهكذا. ثم يستخدم المُفكِّك مُخرجات طبقة التشفير الأخيرة.

بما أن المشفر يعالج المدخلات بأكملها دفعة واحدة، يمكن لكل رمز أن يهتم بكل رمز آخر (انتباه الكل إلى الكل)، لذلك لا حاجة إلى إخفاء السببية.

يتكون جهاز فك التشفير من طبقة تضمين، تليها طبقات فك تشفير متعددة، تليها طبقة فك تضمين.

يتكون كل مُفكِّك شفرة من ثلاثة مكونات رئيسية: آلية انتباه ذاتي مُقنَّحة سببيًا، وآلية انتباه متبادل، وشبكة عصبية أمامية التغذية. يعمل مُفكِّك الشفرة بطريقة مشابهة للمُشفِّر، ولكن مع إضافة آلية انتباه أخرى تستخلص المعلومات ذات الصلة من التشفيرات التي يُنتجها المُشفِّر. تُعرف هذه الآلية أيضًا باسم انتباه المُشفِّر-مُفكِّك الشفرة . ^{[ 1 ] [ 59 ]}

على غرار المُشفِّر الأول، يستقبل المُفكِّك الأول معلومات الموقع وتضمينات تسلسل الإخراج كمدخلات، بدلاً من التشفيرات. يجب ألا يستخدم المُحوِّل الإخراج الحالي أو المستقبلي للتنبؤ بالإخراج، لذا يجب إخفاء تسلسل الإخراج جزئيًا لمنع هذا التدفق العكسي للمعلومات. ^{[ 1 ]} يسمح هذا بتوليد نص تراجعي ذاتي . بالنسبة لفك التشفير، فإن الانتباه الشامل غير مناسب، لأن الرمز لا يمكنه الانتباه إلى الرموز التي لم يتم توليدها بعد. وبالتالي، يتم إخفاء وحدة الانتباه الذاتي في المُفكِّك بشكل سببي.

في المقابل، تركز آلية الانتباه المتبادل على متجهات الإخراج الخاصة بالمشفّر، والتي تُحسب قبل أن يبدأ المفكك عملية فك التشفير. وبالتالي، لا حاجة إلى الإخفاء في آلية الانتباه المتبادل.

بشكل تخطيطي، لدينا:$${\displaystyle {\begin{aligned}H'&={\text{MaskedMultiheadAttention}}(H,H,H)\\{\text{DecoderLayer}}(H)&={\text{FFN}}({\text{MultiheadAttention}}(H',H^{E},H^{E}))\end{aligned}}}$$أين${\displaystyle H^{E}}$هي المصفوفة التي تمثل صفوفها متجهات الإخراج من جهاز التشفير.

يتبع وحدة فك التشفير الأخيرة طبقة نهائية لإزالة التضمين لإنتاج احتمالات الإخراج على مستوى المفردات. بعد ذلك، يتم اختيار أحد الرموز وفقًا للاحتمال، ويمكن تشغيل وحدة فك التشفير مرة أخرى لإنتاج الرمز التالي، وهكذا، مما يؤدي إلى توليد نص الإخراج بشكل تلقائي.

تحتوي كل طبقة من طبقات التشفير على طبقتين فرعيتين: طبقة الانتباه الذاتي وطبقة الشبكة الأمامية. بينما تحتوي كل طبقة من طبقات فك التشفير على ثلاث طبقات فرعية: طبقة الانتباه الذاتي المقنع سببيًا، وطبقة الانتباه المتبادل، وطبقة الشبكة الأمامية.

أما النقاط النهائية للتفاصيل فهي الاتصالات المتبقية وتطبيع الطبقة (يشار إليها باسم "LayerNorm" أو "LN" فيما يلي)، والتي على الرغم من أنها غير ضرورية من الناحية المفاهيمية، إلا أنها ضرورية للاستقرار العددي والتقارب.

تُستخدم الوصلات المتبقية لتجنب مشاكل تلاشي التدرج وتحقيق استقرار عملية التدريب. ويمكن التعبير عنها بواسطة${\displaystyle x\mapsto F(x)+x}$، أين${\displaystyle F}$هو عنصر أساسي في المحول. إضافة المدخل${\displaystyle x}$يمكن الحفاظ على معلومات الإدخال وتجنب المشكلات عند تدرج${\displaystyle F(x)}$يقترب من الصفر.

على غرار كيفية تطبيق وحدات الشبكة الأمامية بشكل فردي على كل متجه، يتم أيضًا تطبيق LayerNorm بشكل فردي على كل متجه.

هناك اصطلاحان شائعان الاستخدام: اصطلاح ما بعد LN واصطلاح ما قبل LN . في اصطلاح ما بعد LN، يكون ناتج كل طبقة فرعية هو$${\displaystyle \mathrm {LayerNorm} (x+\mathrm {Sublayer} (x))}$$أين${\displaystyle \mathrm {Sublayer} (x)}$هي الوظيفة التي تنفذها الطبقة الفرعية نفسها.

في الاتفاقية السابقة لتقنية LN، يكون ناتج كل طبقة فرعية هو$${\displaystyle x+\mathrm {Sublayer} (\mathrm {LayerNorm} (x))}$$استخدم نموذج Transformer الأصلي لعام 2017 اتفاقية ما بعد LN. كان تدريبه صعبًا ويتطلب ضبطًا دقيقًا للمعلمات الفائقة و"تهيئة" لمعدل التعلم، حيث يبدأ صغيرًا ثم يزداد تدريجيًا. أما اتفاقية ما قبل LN، التي طُرحت عدة مرات في عام 2018، ^{[ 63 ]} فقد وُجد أنها أسهل في التدريب، ولا تتطلب تهيئة، مما يؤدي إلى تقارب أسرع. ^{[ 51 ]}

فيما يلي الشفرة الزائفة لمحول التشفير-فك التشفير القياسي قبل LN، مقتبس من الخوارزميات الرسمية للمحولات ^{[ 64 ].}

المدخلات: مدخلات المشفر t_e مدخل وحدة فك التشفير t_d الناتج: مصفوفة من التوزيعات الاحتمالية، ذات شكل (حجم مفردات وحدة فك التشفير × طول (تسلسل مخرجات وحدة فك التشفير)) /* المُشفِّر */ z_e ← encoder.tokenizer(t_e) لكل t في 1:طول(z_e ) نفّذ z_e[t] ← encoder.embedding(z_e[t]) + encoder.positional_embedding(t) لكل عنصر l في 1:طول(طبقات المُشفِّر) نفِّذ layer ← encoder.layers[l] /* الطبقة الفرعية الأولى */ z_e_copy ← copy(z_e) لكل t في 1:طول(z_e) نفّذ z_e[t] ← layer.layer_norm(z_e[t]) z_e ← Layer.multihead_attention(z_e, z_e, z_e) لكل t في 1:طول(z_e) نفّذ z_e[t] ← z_e[t] + z_e_copy[t] /* الطبقة الفرعية الثانية */ z_e_copy ← copy(z_e) لكل t في 1:طول(z_e) نفّذ z_e[t] ← layer.layer_norm(z_e[t]) z_e ← layer.feedforward(z_e) لكل t في 1:طول(z_e) نفّذ z_e[t] ← z_e[t] + z_e_copy[t] لكل t في 1:طول(z_e) نفّذ z_e[t] ← encoder.final_layer_norm(z_e[t]) /* وحدة فك التشفير */ z_d ← decoder.tokenizer(t_d) لكل t في 1:طول(z_d ) نفّذ z_d[t] ← decoder.embedding(z_d[t]) + decoder.positional_embedding(t) لكل عنصر l في 1:طول(decoder.layers) نفّذ layer ← decoder.layers[l] /* الطبقة الفرعية الأولى */ z_d_copy ← copy(z_d) لكل t في 1:طول(z_d) نفّذ z_d[t] ← layer.layer_norm(z_d[t]) z_d ← layer.masked_multihead_attention(z_d, z_d, z_d) لكل t في 1:طول(z_d) نفّذ z_d[t] ← z_d[t] + z_d_copy[t] /* الطبقة الفرعية الثانية */ z_d_copy ← copy(z_d) لكل t في 1:طول(z_d) نفّذ z_d[t] ← layer.layer_norm(z_d[t]) z_d ← Layer.multihead_attention(z_d, z_e, z_e) لكل t في 1:طول(z_d) نفّذ z_d[t] ← z_d[t] + z_d_copy[t] /* الطبقة الفرعية الثالثة */ z_d_copy ← copy(z_d) لكل t في 1:طول(z_d) نفّذ z_d[t] ← layer.layer_norm(z_d[t]) z_d ← layer.feedforward(z_d) لكل t في 1:طول(z_d) نفّذ z_d[t] ← z_d[t] + z_d_copy[t] z_d ← decoder.final_layer_norm(z_d) output_distributions ← [] لكل t في 1:طول(z_d) نفّذ output_distributions.append(decoder.unembed(z_d[t])) إرجاع توزيعات المخرجات

تسمح بنية المحول، كونها معيارية، بإجراء تعديلات. يتم وصف العديد من التعديلات الشائعة هنا. ^{[ 52 ]}

يُطبّق مُحوّل "المُشفّر فقط" المُشفّر لرسم خريطة نص الإدخال إلى سلسلة من المتجهات التي تُمثّل هذا النص. يُستخدم هذا النوع عادةً لتضمين النصوص وتعلم تمثيلها في التطبيقات اللاحقة. يُعدّ BERT مُشفّرًا فقط، ولكنه أقل استخدامًا حاليًا، إذ تبيّن أنه ليس أفضل بكثير من تدريب مُحوّل مُشفّر-مُفكّك، ثم استخدام المُشفّر فقط. ^{[ 56 ]} ويُشار إليه أيضًا باسم "الشامل" أو "شبيه بـ BERT".

لا يُعدّ المحوّل "المُفكِّك فقط" مُفكِّكًا فقط بالمعنى الحرفي للكلمة، إذ بدون مُشفِّر، لا تجد آلية الانتباه المتبادل ما تُركِّز عليه. لذا، تتكوّن طبقات المُفكِّك في هذا النوع من المحوّل من طبقتين فرعيتين فقط: الانتباه الذاتي المُقنّع سببيًا، وشبكة التغذية الأمامية. يُستخدم هذا النوع عادةً لتوليد النصوص واتباع التعليمات . تُعتبر نماذج سلسلتي GPT و Chinchilla نماذج مُفكِّكة فقط، ويُشار إليها أيضًا باسم "التراجع الذاتي" أو "السببي".

يُعدّ المحوّل "المشفّر-المفكك" عمومًا مماثلاً للمحوّل الأصلي، حيث يحتوي على طبقتين فرعيتين لكل طبقة مشفّرة وثلاث طبقات فرعية لكل طبقة مفككة، وما إلى ذلك. وقد يتضمن تحسينات معمارية طفيفة، مثل دوال التنشيط البديلة ، وتغيير موقع التطبيع ، وما شابه. ويُستخدم هذا النوع عادةً لتوليد النصوص واتباع التعليمات. وتُصنّف نماذج سلسلة T5 ضمن فئة المشفّر-المفكك. ^{[ 52 ]}

نموذج لغة البادئة (prefixLM) هو بنية تعتمد على وحدة فك التشفير فقط، ولكنها تستخدم تقنية إخفاء البادئة، والتي تختلف عن إخفاء السببية. وتحديدًا، يحتوي على قناع بالشكل ^{[ 52 ] : الشكل 3}$${\displaystyle M_{\text{prefixLM}}={\begin{bmatrix}\mathbf {0} &-\infty \\\mathbf {0} &M_{\text{causal}}\end{bmatrix}}}$$حيث تمثل الأعمدة الأولى "البادئة"، بينما تمثل الأعمدة اللاحقة النص المُولّد تلقائيًا بناءً على البادئة. وهي تُشبه نماذج المُشفّر-المُفكّك، ولكنها أقل "تباعدًا". نادرًا ما تُستخدم هذه النماذج، على الرغم من أنها تُذكر كاحتمالات نظرية ومقارنات مرجعية. ^{[ 56 ]}

توجد أيضًا نماذج تسلسلية مختلطة. على سبيل المثال، في عام 2020، استبدلت خدمة ترجمة جوجل نموذج RNN-encoder–RNN-decoder السابق بنموذج transformer-encoder–RNN-decoder، حيث لم تُظهر وحدات فك التشفير القائمة على المحولات تحسنًا ملحوظًا في الجودة على عكس وحدة التشفير، بينما كانت وحدة فك التشفير القائمة على RNN أسرع بكثير. ^{[ 40 ]}

يستخدم المحول الأصلي دالة التنشيط ReLU . وقد طُوّرت دوال تنشيط أخرى. استخدمت سلسلة Llama و PaLM دالة SwiGLU؛ ^{[ 65 ]} بينما استخدم كل من GPT-1 وBERT ^{[ 38 ]} دالة GELU. ^{[ 66 ]}

تُستخدم وظائف التنشيط البديلة غالبًا مع وحدات البوابات الخطية في وحدة التغذية الأمامية. ^{[ 65 ]}

قد تختلف عملية التطبيع المستخدمة في المحول عن تطبيع الطبقات. ومن الأمثلة على ذلك تطبيع الجذر التربيعي المتوسط ^{​​[ 67 ]} المستخدم في سلسلة لاما . ومن الأمثلة الأخرى تطبيع المقياس ^{[ 68 ]} وتطبيع التثبيت ^{[ 68 ] .}

قد تستخدم المحولات طرق ترميز موضعي أخرى غير الطريقة الجيبية. ^{[ 69 ]}

أشارت الورقة البحثية الأصلية حول المحولات إلى استخدام ترميز موضعي مُتعلم، ^{[ 70 ]} ولكن تبين أنه ليس أفضل من الترميز الجيبي. ^{[ 1 ]} وفي وقت لاحق، ^{[ 71 ]} وُجد أن الإخفاء السببي بحد ذاته يوفر إشارة كافية لفك تشفير المحولات بحيث يمكنه تعلم أداء الترميز الموضعي المطلق ضمنيًا دون الحاجة إلى وحدة الترميز الموضعي.

تم تطبيق نموذج المحول في أطر التعلم العميق القياسية مثل TensorFlow و PyTorch . Transformers هي مكتبة من إنتاج Hugging Face توفر بنى قائمة على المحولات ونماذج مدربة مسبقًا. ^{[ 12 ]}

الانتباه متعدد الاستعلامات

يُغيّر نظام الانتباه متعدد الاستعلامات آلية الانتباه متعدد الرؤوس. ^{[ 88 ]} بينما في الوضع الطبيعي،

$${\displaystyle {\text{MultiheadAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V})\right)W^{O}}$$مع خاصية الانتباه متعدد الاستعلامات، يوجد واحد فقط${\displaystyle W^{K},W^{V}}$، هكذا:

$${\displaystyle {\text{MultiQueryAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW^{K},XW^{V})\right)W^{O}}$$

هذا له تأثير محايد على جودة النموذج وسرعة التدريب، ولكنه يزيد من سرعة الاستدلال.

بشكل عام، يقوم نظام الانتباه المجمع للاستعلامات (GQA) بتقسيم رؤوس الانتباه إلى مجموعات، تشترك كل منها في زوج المفتاح والقيمة. نظام MQA هو نظام GQA مع مجموعة واحدة، بينما نظام الانتباه متعدد الرؤوس القياسي هو نظام GQA مع أكبر عدد من المجموعات. ^{[ 89 ]}

يُعدّ الانتباه الكامن متعدد الرؤوس (MLA) تقريبًا منخفض الرتبة للانتباه الكامن متعدد الرؤوس القياسي (MHA). تحديدًا، يُسقط كل متجه مخفي، قبل دخوله آلية الانتباه، أولًا على فضاءين منخفضي الأبعاد ("الفضاء الكامن")، أحدهما للاستعلام والآخر لمتجه المفتاح والقيمة (KV). يُقلل هذا التصميم من حجم ذاكرة التخزين المؤقت لمتجه المفتاح والقيمة، إذ لا يلزم تخزين سوى متجه المفتاح والقيمة منخفض الأبعاد. ^{[ 90 ]}

فك التشفير التخميني

فك التشفير التخميني ^{[ 91 ] [ 92 ]} هو أسلوب لتسريع فك تشفير الرموز. على غرار التنفيذ التخميني في وحدات المعالجة المركزية، تُحسب الرموز المستقبلية بسرعة، ثم يتم التحقق منها. إذا كانت الرموز المحسوبة بسرعة غير صحيحة، يتم تجاهلها وحسابها ببطء.

العامل الرئيسي في فك التشفير التخميني هو أن جهاز فك التشفير المحول يمكنه التحقق بشكل أسرع من فك التشفير، وذلك بالمعنى التالي.

لنفترض أن لدينا نموذجين من نماذج المحولات مثل GPT-3 و GPT-3-small، وكلاهما بحجم نافذة سياق يبلغ 512. لتوليد نافذة سياق كاملة بشكل تلقائي مع فك تشفير جشع باستخدام GPT-3، يجب تشغيله 512 مرة، وفي كل مرة يتم توليد رمز مميز.${\displaystyle x_{1},x_{2},...,x_{512}}$، مع أخذ الوقت${\displaystyle 512T_{\text{GPT-3}}}$ومع ذلك، إذا كان لدينا تخمين مدروس لقيم هذه الرموز، فيمكننا التحقق منها جميعًا بالتوازي، في تشغيل واحد للنموذج، عن طريق التحقق من أن كل${\displaystyle x_{t}}$إنها بالفعل الرمز المميز ذو أكبر احتمال لوغاريتمي في${\displaystyle t}$الناتج رقم -th.

في فك التشفير التخميني، يُستخدم نموذج أصغر أو طريقة استدلالية بسيطة أخرى لتوليد عدد قليل من الرموز التخمينية التي يتم التحقق منها لاحقًا بواسطة النموذج الأكبر. على سبيل المثال، لنفترض أننا نستخدم GPT-3-small لتوليد أربعة رموز تخمينية:${\displaystyle {\tilde {x}}_{1},{\tilde {x}}_{2},{\tilde {x}}_{3},{\tilde {x}}_{4}}$هذا لا يتطلب سوى${\displaystyle 4T_{\text{GPT-3-small}}}$ثم تُمرر هذه الرموز عبر نموذج GPT-3 الأكبر دفعة واحدة. لنفترض أن${\displaystyle {\tilde {x}}_{1}}$و${\displaystyle {\tilde {x}}_{2}}$يتم التحقق من صحة النتائج بواسطة GPT-3 باعتبارها ما كان سيختاره، ثم يتم الاحتفاظ بها، ولكن${\displaystyle {\tilde {x}}_{3}}$ليس كذلك، لذلك${\displaystyle {\tilde {x}}_{3},{\tilde {x}}_{4}}$يتم تجاهلها، ويتم تشغيل GPT-3 عليها. سيستغرق هذا${\displaystyle 4T_{\text{GPT-3-small}}+3T_{\text{GPT-3}}}$، والتي قد تكون أقصر من${\displaystyle 4T_{\text{GPT-3}}}$.

بالنسبة لفك التشفير غير الجشع، تُطبَّق أفكار مماثلة، باستثناء أن الرموز التخمينية تُقبل أو تُرفض عشوائيًا، بطريقة تضمن أن يكون توزيع الناتج النهائي هو نفسه كما لو لم يُستخدم فك التشفير التخميني. ^{[ 91 ] [ 93 ]}

في التنبؤ متعدد الرموز، تُنشئ عملية تمرير واحدة متجه تضمين نهائي، يُفك تضمينه لاحقًا ليُصبح احتمال الرمز. مع ذلك، يُمكن معالجة هذا المتجه بواسطة وحدة تحويل أخرى للتنبؤ بالرمز التالي ، وهكذا لعدد غير محدود من الخطوات المستقبلية. يُضحي هذا بالدقة مقابل السرعة، إذ أن كل رمز جديد يتطلب وحدة تحويل إضافية واحدة فقط، بدلًا من استخدام المكدس بأكمله. ^{[ 94 ] [ 95 ]}

Training transformer-based architectures can be expensive, especially for long inputs.^[96] Many methods have been developed to attempt to address the issue. In the image domain, Swin transformer is an efficient architecture that performs attention inside shifting windows.^[97] In the audio domain, SepTr decouples the attention in time and frequency domains.^[98]Long Range Arena (2020)^[99] is a standard benchmark for comparing the behavior of transformer architectures over long inputs.

Transformers can also be used/adapted for modalities (input or output) beyond just text, usually by finding a way to "tokenize" the modality.

يمكن تدريب النماذج متعددة الوسائط إما من الصفر أو عن طريق الضبط الدقيق. وجدت دراسة أجريت عام 2022 أن نماذج المحولات المدربة مسبقًا على اللغة الطبيعية فقط يمكن ضبطها بدقة على 0.03% فقط من المعلمات لتصبح منافسة لنماذج الذاكرة طويلة المدى (LSTM) في مجموعة متنوعة من المهام المنطقية والبصرية، مما يدل على التعلم بالنقل . ^{[ 107 ]} كان نموذج LLaVA نموذجًا بصريًا لغويًا يتكون من نموذج لغوي (Vicuna-13B) ^{[ 108 ]} ونموذج بصري ( ViT -L/14)، متصلين بطبقة خطية. يتم ضبط الطبقة الخطية فقط بدقة. ^{[ 109 ]}

محولات الرؤية ^{[ 46 ]} تقوم بتكييف المحول مع رؤية الكمبيوتر عن طريق تقسيم الصور المدخلة كسلسلة من الرقع، وتحويلها إلى متجهات، ومعاملتها مثل متجه تضمين الرموز في محول قياسي.

يتبع كل من Conformer ^{[ 47 ]} و Whisper ^{[ 110 ]} نفس النمط للتعرف على الكلام ، حيث يقوم أولاً بتحويل إشارة الكلام إلى مخطط طيفي ، والذي يتم التعامل معه بعد ذلك كصورة، أي تقسيمه إلى سلسلة من الرقع، وتحويله إلى متجهات، والتعامل معه كمتجه تضمين للرموز في محول قياسي.

أجهزة الاستقبال ^{[ 111 ] [ 112 ]} هي نوع من المحولات المصممة للوسائط المتعددة.

في مجال توليد الصور، تُعدّ DALL-E 1 (2021)، وParti (2022)، ^{[ 113 ]} و Phenaki (2023)، ^{[ 114 ]} وMuse (2023) من أبرز البنى المعمارية. ^{[ 115 ]} على عكس النماذج اللاحقة، لا يُعدّ DALL-E نموذج انتشار . بل يستخدم مُحوِّلًا يعتمد على وحدة فك التشفير فقط، حيث يُولِّد نصًا تلقائيًا، يليه تمثيل رمزي للصورة، والذي يُحوَّل بعد ذلك بواسطة مُشفِّر تلقائي تبايني إلى صورة. ^{[ 116 ]} أما Parti فهو مُحوِّل مُشفِّر-فك تشفير، حيث يُعالج المُشفِّر مُدخلًا نصيًا، بينما يُولِّد مُفكِّك التشفير تمثيلًا رمزيًا للصورة. ^{[ 117 ]} بينما Muse فهو مُحوِّل يعتمد على وحدة التشفير فقط، ويتم تدريبه على التنبؤ برموز الصور المُقنَّحة من رموز الصور غير المُقنَّحة. أثناء عملية التوليد، تُخفى جميع رموز الإدخال، وتُضمّن التنبؤات ذات أعلى درجة من الثقة في التكرار التالي، حتى يتم التنبؤ بجميع الرموز. ^{[ 115 ]} فيناكي هو نموذج لتحويل النص إلى فيديو. وهو مُحوِّل مُخفى ثنائي الاتجاه يعتمد على رموز نصية مُحسوبة مسبقًا. ثم تُفكّ شفرة الرموز المُولَّدة إلى فيديو. ^{[ 114 ]}