محوّل الرؤية

الموسوعة الحرة
بنية محول الرؤية. يتم تقسيم الصورة المدخلة إلى رقع، ويتم تعيين كل منها خطيًا من خلال طبقة تضمين الرقع، قبل إدخالها إلى مشفر المحول القياسي.

مُحوِّل الرؤية ( ViT ) هو مُحوِّل مُصمَّم خصيصًا لتطبيقات رؤية الحاسوب . [ 1 ] يقوم مُحوِّل الرؤية بتقسيم الصورة المُدخلة إلى سلسلة من الرقع (بدلاً من تقسيم النص إلى رموز )، ثم يُحوِّل كل رقعة إلى متجه، ويُسقطه على بُعد أصغر باستخدام عملية ضرب مصفوفة واحدة. بعد ذلك، تتم معالجة هذه المتجهات المُضمَّنة بواسطة مُشفِّر المُحوِّل كما لو كانت مُضمَّنات رموز.

صُممت نماذج ViT كبدائل للشبكات العصبية الالتفافية (CNNs) في تطبيقات رؤية الحاسوب. تتميز هذه النماذج باختلافات في الانحيازات الاستقرائية، واستقرار التدريب، وكفاءة البيانات. [ 2 ] بالمقارنة مع الشبكات العصبية الالتفافية، تُعد نماذج ViT أقل كفاءة في استخدام البيانات، ولكنها تتمتع بسعة أكبر. بعض أكبر نماذج رؤية الحاسوب الحديثة هي نماذج ViT، مثل نموذج يحتوي على 22 مليار مُعامل. [ 3 ] [ 4 ]

بعد نشرها، تم اقتراح العديد من المتغيرات، ذات بنى هجينة تجمع بين خصائص الشبكات العصبية الافتراضية والشبكات العصبية التلافيفية. [ 5 ] وقد وجدت الشبكات العصبية الافتراضية تطبيقات في التعرف على الصور ، وتجزئة الصور ، والتنبؤ بالطقس ، والقيادة الذاتية . [ 6 ] [ 7 ]

تاريخ

طُرحت تقنية المحولات في كتاب "الانتباه هو كل ما تحتاجه" (2017) [ 8 ] ، وانتشر استخدامها على نطاق واسع في معالجة اللغات الطبيعية . وفي ورقة بحثية نُشرت عام 2019 [ 9 ]، طُبقت أفكار من المحولات على رؤية الحاسوب. تحديدًا، بدأ الباحثون بشبكة ResNet ، وهي شبكة عصبية التفافية قياسية تُستخدم في رؤية الحاسوب، واستبدلوا جميع النوى الالتفافية بآلية الانتباه الذاتي الموجودة في المحولات. وقد أسفر ذلك عن أداء فائق. مع ذلك، لا يُعد هذا تطبيقًا لمحولات الرؤية.

في عام 2020، تمّ تكييف نموذج المحوّل الذي يعتمد على المُشفّر فقط ليتناسب مع رؤية الحاسوب، مما أدى إلى ظهور نموذج ViT الذي حقق ريادةً في تصنيف الصور، متجاوزًا هيمنة الشبكات العصبية الالتفافية السابقة. [ 1 ] وفي عام 2022، طوّر نموذج ViT ليعمل مع التدريب غير المُشرف عليه من خلال المُشفّر التلقائي المُقنّع. وقد حفّز كلٌّ من نموذج المحوّل البصري والمُشفّر التلقائي المُقنّع بدورهما تطورات جديدة في الشبكات العصبية الالتفافية. [ 10 ] [ 11 ]

بعد ذلك، حدث تلاقح بين نهج الشبكة العصبية التلافيفية السابق ونهج ViT.

في عام 2021، طُرحت بعض التعديلات المهمة على مُحوّلات الرؤية. تهدف هذه التعديلات بشكل أساسي إلى تحسين الكفاءة والدقة، أو جعلها أكثر ملاءمة لمجال مُحدد. وقد حسّنت دراستان [ 12 ] و[ 13 ] كفاءة ومتانة مُحوّلات الرؤية بإضافة شبكة عصبية تلافيفية (CNN) كمعالج مُسبق. وحقق مُحوّل سوين [ 14 ] نتائج مُتميزة على بعض مجموعات بيانات الكشف عن الأجسام، مثل COCO ، باستخدام نوافذ منزلقة شبيهة بالالتفاف لآلية الانتباه، وعملية الهرم في الرؤية الحاسوبية التقليدية.

ملخص

بنية محول الرؤية، توضح كتل المحول التي تحتوي على المشفر فقط في الداخل

تتمثل البنية الأساسية المستخدمة في الورقة البحثية الأصلية لعام 2020، [ 1 ] فيما يلي. باختصار، إنها عبارة عن مُشفِّر مُشابه لنموذج BERT ، يعتمد فقط على المُشفِّر.

الصورة المدخلة من النوعRح×دبليو×ج{\displaystyle \mathbb {R} ^{H\times W\times C}}، أينح،دبليو،ج{\displaystyle H,W,C}وهي الارتفاع والعرض والقناة ( RGB ). ثم يتم تقسيمها إلى رقع مربعة الشكل من النوعRP×P×ج{\displaystyle \mathbb {R} ^{P\times P\times C}}.

لكل رقعة، تُمرر الرقعة عبر مُعامل خطي للحصول على متجه ("تضمين الرقعة"). كما يُحوّل موضع الرقعة إلى متجه عبر "ترميز الموضع" (جربت الورقة البحثية عدم التضمين، والتضمين أحادي البعد، والتضمين ثنائي البعد، والتضمين النسبي: تم اعتماد التضمين أحادي البعد). [ أ ] [ 1 ] : §د.4 يُجمع المتجهان، ثم يُمرران عبر عدة مُشفّرات Transformer.

تقوم آلية الانتباه في نموذج التحويل المرئي (ViT) بتحويل متجهات تمثيل أجزاء الصورة بشكل متكرر، مُدمجةً المزيد من العلاقات الدلالية بين أجزاء الصورة. وهذا يُشابه ما يحدث في معالجة اللغة الطبيعية، حيث تُدمج متجهات التمثيل، أثناء مرورها عبر مُحوِّل، المزيد من العلاقات الدلالية بين الكلمات، بدءًا من التركيب النحوي وصولًا إلى الدلالة.

تقوم البنية المذكورة أعلاه بتحويل الصورة إلى سلسلة من التمثيلات المتجهة. ولاستخدام هذه التمثيلات في التطبيقات اللاحقة، يلزم تدريب رأس إضافي لتفسيرها.

على سبيل المثال، لاستخدامه في التصنيف، يمكن إضافة شبكة عصبية متعددة الطبقات سطحية (MLP) فوقه تُخرج توزيعًا احتماليًا على الفئات. تستخدم الورقة البحثية الأصلية شبكة خطية GeLU خطية softmax. [ 1 ]

المتغيرات

فيتامين الأصلي

رسوم متحركة لـ ViT. الرمز المميز رقم 0 هو الرمز الخاص <CLS>. أما الرقع التسع الأخرى، فيتم إسقاطها بواسطة طبقة خطية قبل إدخالها إلى مُشفِّر Transformer كرموز إدخال من 1 إلى 9.

كان نموذج ViT الأصلي عبارة عن نموذج Transformer مُدرَّب تحت الإشراف، يعتمد على المُشفِّر فقط، للتنبؤ بتصنيف الصورة من أجزاء الصورة. وكما هو الحال في نموذج BERT ، يستخدم ViT رمزًا خاصًا <CLS>في جانب الإدخال، ويُستخدم متجه الإخراج المقابل كمدخل وحيد لرأس الشبكة العصبية متعددة الطبقات (MLP) النهائي. يُعدّ هذا الرمز الخاص حيلة معمارية تسمح للنموذج بضغط جميع المعلومات ذات الصلة بالتنبؤ بتصنيف الصورة في متجه واحد. [ 1 ]

وجدت نماذج المحولات تطبيقاتها الأولية في مهام معالجة اللغة الطبيعية ، كما يتضح من نماذج اللغة مثل BERT و GPT-3 . في المقابل ، يستخدم نظام معالجة الصور النموذجي شبكة عصبية التفافية (CNN). ومن المشاريع المعروفة Xception و ResNet و EfficientNet [ 15 ] و DenseNet [ 16 ] و Inception [ 17 ] .

تقيس المحولات العلاقات بين أزواج من الرموز المدخلة (الكلمات في حالة النصوص)، ويُطلق على هذه العلاقات اسم "الانتباه" . وتتناسب التكلفة طرديًا مع مربع عدد الرموز. بالنسبة للصور، تُعد البكسل الوحدة الأساسية للتحليل . ومع ذلك، فإن حساب العلاقات لكل زوج من البكسلات في صورة نموذجية أمرٌ مُكلف للغاية من حيث الذاكرة والحساب. بدلاً من ذلك، تحسب ViT العلاقات بين البكسلات في أقسام صغيرة مختلفة من الصورة (مثل 16×16 بكسل)، بتكلفة مُخفضة بشكل كبير. تُوضع الأقسام (مع تضمينات الموضع) في تسلسل. التضمينات عبارة عن متجهات قابلة للتعلم. يُرتب كل قسم في تسلسل خطي ويُضرب في مصفوفة التضمين. تُغذى النتيجة، مع تضمين الموضع، إلى المحول. [ 17 ]

التحسينات المعمارية

تجميع

بعد معالجة ViT للصورة، تُنتج متجهات تضمين. يجب تحويل هذه المتجهات إلى تنبؤ احتمالي لفئة واحدة بواسطة شبكة عصبية. في ViT الأصلي وMasked Autoencoder، استُخدم [CLS]رمز وهمي، لمحاكاة نموذج لغة BERT . يُمثل الناتج [CLS]رمز التصنيف، الذي يُعالج بعد ذلك بواسطة وحدة LayerNorm -feedforward-softmax إلى توزيع احتمالي.

لا تستخدم خوارزمية التجميع المتوسط ​​العالمي (GAP) الرمز الوهمي، بل تعتمد ببساطة على متوسط ​​جميع رموز الإخراج كرمز تصنيف. وقد ذُكرت في ViT الأصلية على أنها جيدة بنفس القدر. [ 1 ]

تُطبّق تقنية تجميع الانتباه متعدد الرؤوس (MAP) وحدة انتباه متعددة الرؤوس على عملية التجميع. وتحديدًا، تأخذ هذه التقنية قائمة من المتجهات كمدخل.x1،x2،...،xن{\displaystyle x_{1},x_{2},\dots ,x_{n}}والتي يمكن اعتبارها متجهات الإخراج لطبقة من ViT. مخرجات MAP هيمuلتأناحهـأدهـدأتتهـنتأناoن(سؤال،V،V){\displaystyle \mathrm {MultiheadedAttention} (Q,V,V)}، أينq{\displaystyle q}هو متجه استعلام قابل للتدريب، وV{\displaystyle V}هي المصفوفة التي تكون صفوفهاx1،x2،...،xن{\displaystyle x_{1},x_{2},\dots ,x_{n}}[ 18 ] وقد تم اقتراح هذا لأول مرة في بنية محول المجموعة . [ 19 ]

أظهرت دراسات لاحقة أن كلاً من GAP وMAP يتفوقان على التجميع الشبيه بـ BERT. [ 18 ] [ 20 ] وقد اقتُرح شكلٌ مُعدَّل من MAP يُعرف باسم انتباه الفئة ، والذي يُطبِّق MAP، ثم التغذية الأمامية، ثم MAP مرة أخرى. [ 21 ]

تم اقتراح إعادة الانتباه للسماح بتدريب نموذج الانتباه العميق. وهو يغير وحدة الانتباه متعددة الرؤوس. [ 22 ]

المشفر التلقائي المقنع

بنية التشفير التلقائي المقنعة

استلهم مُشفِّر القناع التلقائي [ 23 ] فكرته من مُشفِّرات إزالة التشويش التلقائية ومُشفِّرات السياق [ 24 ] . يتكون من وحدتي تحويل متجهات متصلة من طرف إلى طرف. تستقبل الأولى ("المُشفِّر") أجزاءً من الصورة مع ترميز موضعي، وتُخرج متجهات تُمثل كل جزء. أما الثانية (المُسماة "المُفكِّك"، على الرغم من أنها لا تزال مُحوِّل مُشفِّر فقط) فتستقبل متجهات مع ترميز موضعي وتُخرج أجزاءً من الصورة مرة أخرى.

تمرين

أثناء التدريب، تُقسّم الصور المدخلة (224 بكسل × 224 بكسل في التطبيق الأصلي) على طول عدد محدد من الخطوط على كل محور، مما ينتج عنه رقع صور. [ 25 ] تُختار نسبة معينة من الرقع لتُحجب باستخدام رموز القناع، بينما تُحتفظ بالباقي في الصورة. وتُكلّف الشبكة بإعادة بناء الصورة من الرقع المتبقية غير المحجوبة. رموز القناع في التطبيق الأصلي هي كميات متجهة قابلة للتعلم . [ 25 ] ثم يُطبّق إسقاط خطي مع تضمينات موضعية على متجه الرقع غير المحجوبة. أظهرت التجارب التي أجريت على شبكات مُدرّبة على مجموعة بيانات ImageNet-1K، والتي غيّرت نسبة القناع ، أن نسب القناع 75% [ 25 ] حققت أداءً عاليًا في كل من الضبط الدقيق والاستكشاف الخطي للفضاء الكامن للمُشفّر . تعالج MAE الرقع غير المحجوبة فقط أثناء التدريب، مما يزيد من كفاءة معالجة البيانات في المُشفّر ويقلل من استخدام الذاكرة في المُحوّل . [ 25 ]

يُستخدم في التنفيذ الأصلي لخوارزمية MAE خوارزمية ViT أقل استهلاكًا للموارد الحاسوبية لفك التشفير. تُضاف الرقع المقنعة إلى مخرج وحدة التشفير كرموز قناع، ويتم إدخال كليهما إلى وحدة فك التشفير. يُحسب فقدان إعادة البناء للرقع المقنعة لتقييم أداء الشبكة.

تنبؤ

في عملية التنبؤ، يتم الاستغناء تمامًا عن بنية وحدة فك التشفير. تُقسّم الصورة المدخلة إلى أجزاء باستخدام نفس الخوارزمية المستخدمة في التدريب، ولكن لا يتم إخفاء أي جزء منها. يُطبّق إسقاط خطي مع تضمين موضعي على كل جزء، وتُغذّى تمثيلات متجه التضمين الناتجة لكل جزء إلى وحدة التشفير.

الاستخدامات والمشتقات

تم استكشاف العديد من مشتقات نموذج MAE الأصلي. وقد طُبِّق نموذج MAE للتدريب المسبق ذاتي الإشراف في السياقات الطبية، بما في ذلك تفسير صور الأشعة السينية للصدر. [ 26 ] كما طُبِّقت مشتقات نموذج MAE في هذا السياق لتحسين أدائه كتدريب مسبق في السياقات الطبية.

MAE تحت الإشراف الطبي [ 27 ]
يسعى نظام MAE الخاضع للإشراف الطبي إلى معالجة مشكلة نسب القناع العالية لنظام MAE عند تطبيقه على مجموعات بيانات الآفات الطبية، ويستخدم مجموعة تدريب خاضعة للإشراف لإنشاء خرائط انتباه محلية للصور الطبية بهدف تحديد الأجزاء التي يتم إخفاؤها. وقد حقق نظام MAE الخاضع للإشراف الطبي أداءً متميزًا حتى يناير 2025 في تصنيف الآفات الطبية على مجموعات بيانات Messidor-2 وBTMD وHAM10000 وDeepLesion وChestXRay2017 [ 28 ].
مصفوفة التواجد المشترك لمستويات الرمادي MAE (GLCM-MAE)
[ 29 ] يستخدم نموذج GCLM-MAE تقنية GCLM لاستخلاص معلومات النسيج من الصور بهدف الحفاظ عليها. ويعالج هذا النموذج مشكلةً تتمثل في قيام نموذج MAE التقليدي بتنعيم الصور بشكل مفرط، مما يؤدي إلى فقدان التفاصيل الدقيقة التي قد تكون مهمة في السياقات الطبية. وقد حقق نموذج GLCM-MAE أداءً متميزًا في تحديد سرطان المرارة، وسرطان الثدي المصوّر بالموجات فوق الصوتية، والالتهاب الرئوي المصوّر بالأشعة السينية، ومرض كوفيد-19 المصوّر بالتصوير المقطعي المحوسب، وذلك حتى يوليو 2025.
MAE المدرك للمنطقة، [ 30 ] R-MAE
يستبدل R-MAE خطوة توليد الرقع في MAE الأصلي بخوارزمية لتخصيص وحدات البكسل الفردية لمناطق الاهتمام في الصورة، والتي يتم إخفاؤها معًا. بنية ترميز المنطقة مستقلة، ولكن يمكن دمجها مع MAE لإعادة بناء المنطقة.
Siamese MAEs (SiamMAE) [ 31 ]
SiamMAE هي شبكة مصممة لتطبيق خوارزمية MAE على بيانات الفيديو. تقوم الشبكة بأخذ عينة من إطارين من الفيديو (مقارنةً بإطار واحد في خوارزمية MAE الأصلية)، وتصنفهما على أنهما "ماضي" و"مستقبلي". تقوم الشبكة بإخفاء غالبية الأجزاء (حوالي 95%) في الإطار المستقبلي، وتترك الإطار الماضي دون تغيير، ثم تمرر كلا الإطارين عبر وحدة ترميز MAE. يتم استبدال بنية وحدة فك الترميز بوحدات انتباه تقوم بربط الأجزاء من الإطار الماضي بالإطار المستقبلي لإعادة بناء الصورة. تحقق SiamMAE أداءً تنافسيًا مقارنةً بالنماذج الأكبر حجمًا في تجزئة الفيديو ونشر البيانات.

وقد تم نشر بنية مشابهة لـ BERT ViT (BEiT) في نفس الوقت. [ 32 ]

دينو

على غرار المشفر التلقائي المقنع، تُعدّ طريقة DINO (التقطير الذاتي بدون تصنيفات ) وسيلةً لتدريب نموذج ViT من خلال الإشراف الذاتي . [ 33 ] تُصنّف DINO ضمن أساليب التقطير الذاتي بين المعلم والمتعلم . في DINO، يُمثّل النموذج نفسه المتعلم، بينما يُمثّل المعلم المتوسط ​​الأسي لحالات المتعلم السابقة. تُشبه هذه الطريقة أعمالًا سابقة مثل تباين الزخم [ 34 ] وتقنية التمهيد الذاتي للدالة الكامنة (BYOL). [ 35 ]

دالة الخسارة المستخدمة في DINO هي خسارة الإنتروبيا المتقاطعة بين مخرجات شبكة المعلم (وθت′{\displaystyle f_{\theta '_{t}}}) ومخرجات شبكة الطلاب (وθت{\displaystyle f_{\theta _{t}}}). تمثل شبكة المعلم متوسطًا متناقصًا أُسّيًا لمعلمات شبكة الطالب السابقة:θت′=αθت+α(1-α)θت-1+⋯{\displaystyle \theta '_{t}=\alpha \theta _{t}+\alpha (1-\alpha )\theta _{t-1}+\cdots }تتكون مدخلات الشبكات من جزأين مختلفين من نفس الصورة، ويتم تمثيلهما على النحو التالي:تي(x){\displaystyle T(x)}وتي′(x){\displaystyle T'(x)}، أينx{\displaystyle x}هي الصورة الأصلية. تُكتب دالة الخسارة على النحو التالي:ل(وθت′(تي(x))،وθت(تي′(x))){\displaystyle L(f_{\theta '_{t}}(T(x)),f_{\theta _{t}}(T'(x)))}إحدى المشكلات هي أن الشبكة قد "تنهار" من خلال إخراج نفس القيمة دائمًا (y{\displaystyle y}بغض النظر عن المدخلات. ولمنع هذا الانهيار، يستخدم DINO استراتيجيتين:

  • تحسين الدقة : يتم تحسين دقة مخرجات الشبكة التعليمية باستخدام دالة softmax بدرجة حرارة منخفضة. هذا يجعل الشبكة التعليمية أكثر ثقة في تنبؤاتها، مما يجبر الطالب على تعلم تمثيلات أكثر دلالة لتتوافق مع مخرجات الشبكة التعليمية المحسّنة.
  • التوسيط : يتم توسيط مخرجات شبكة المعلم عن طريق حساب متوسطها مع مخرجاتها السابقة. يمنع هذا المعلم من التحيز نحو أي قيمة مخرجات معينة، مما يشجع الطالب على تعلم مجموعة أكثر تنوعًا من الخصائص.

في يناير 2024، أصدرت شركة Meta AI Research نسخة محدثة تُسمى DINOv2 [ 36 ] ، تتضمن تحسينات في البنية، ودالة الخسارة، وتقنية التحسين. وقد تم تدريبها على مجموعة بيانات أكبر وأكثر تنوعًا. وكانت الميزات التي تعلمتها DINOv2 أكثر قابلية للتطبيق في مهام أخرى ، مما يعني أنها حققت أداءً أفضل في المهام اللاحقة.

في أغسطس 2025، أصدرت شركة Meta AI Research الإصدار DINOv3، وهو تحديث للإصدار DINOv2. وقد قدم هذا الإصدار ميزة محاذاة النصوص مع الصور، على غرار CLIP . كما وسّع نطاق النموذج ليصل إلى 7 مليارات مُعامل، ومجموعة بيانات التدريب إلى 1.7 مليار صورة (تم الحصول عليها من خلال أخذ عينات متنوعة من مجموعة بيانات أولية تضم 17 مليار صورة). وعلى الصعيد المعماري، أدخل الإصدار تحسينين رئيسيين: تثبيت غرام (Gram anchoring) و RoPE المحوري ( Rotary Positional Embeddings ) مع التذبذب. يطبق تثبيت غرام تقنية التقطير الذاتي بين المعلم والطالب لمصفوفة غرام بين متجهات الميزات لأجزاء الصورة. ويتجنب هذا الأسلوب مشكلة تدهور خرائط الميزات الكثيفة التي لوحظت سابقًا: فبينما يستمر الأداء في المهام العامة (مثل التصنيف) في التحسن، يصل الأداء في المهام الكثيفة (مثل التجزئة) إلى ذروته مبكرًا ثم يتراجع، مع ازدياد تشويش خرائط الميزات. أما RoPE المحوري، فيجعل النموذج أكثر قوة في مواجهة اختلاف دقة الصور وأحجامها ونسب أبعادها. [ 37 ] [ 38 ]

محول سوين

استلهم محول سوين (" نوافذ متحولة ") [ 14 ] من الشبكات العصبية التلافيفية القياسية:

  • بدلاً من تطبيق آلية الانتباه الذاتي على كامل سلسلة الرموز، رمز واحد لكل رقعة، تستخدم هذه التقنية آلية الانتباه الذاتي "المُعتمدة على النافذة المُزاحة"، أي أنها تُركز الانتباه فقط على كتل مربعة الشكل من الرقع. وتُشابه كتلة الرقع الواحدة مجال الاستقبال لعملية التفاف واحدة.
  • بعد كل بضع وحدات انتباه، توجد "طبقة دمج" تقوم بدمج الرموز المتجاورة بحجم 2×2 في رمز واحد. وهذا يُشابه عملية التجميع (باستخدام نواة التفافية بحجم 2×2، بخطوة 2). ويعني الدمج عملية ربط متبوعة بالضرب في مصفوفة.

تم تحسينه بواسطة Swin Transformer V2، [ 39 ] والذي يعدل ViT من خلال آلية انتباه مختلفة [ 14 ] : الشكل 1 :

  • LayerNorm مباشرة بعد كل طبقة انتباه وتغذية أمامية ("res-post-norm");
  • تم استبدال الانتباه الأصلي للضرب النقطي بالانتباه المُقاس لجيب التمام؛
  • التحيز النسبي المستمر ذو التباعد اللوغاريتمي ، والذي يسمح بنقل التعلم عبر دقة النوافذ المختلفة.

تايم فورمر

صُممت خوارزمية TimeSformer [ 40 ] لمهام فهم الفيديو، وهي تُطبق آلية انتباه ذاتي مُجزأة، على غرار نواة الالتفاف المُجزأة الموجودة في بنية Inception CNN. [ 41 ] بشكل تخطيطي، تُقسم هذه الخوارزمية الفيديو إلى إطارات، وكل إطار إلى شبكة مربعة من الرقع (كما هو الحال في ViT). لنرمز إلى إحداثيات كل رقعة بـx،y،ت{\displaystyle x,y,t}، للدلالة على الأفقي والرأسي والزمن.

  • طبقة الانتباه المكاني هي طبقة انتباه ذاتي حيث يتم تطبيق كل رقعة استعلامqx،y،ت{\displaystyle q_{x,y,t}}يهتم فقط بالرقع الرئيسية ورقع القيمة.كx′،y′،ت′،vx′،y′،ت′{\displaystyle k_{x',y',t'},v_{x',y',t'}}بحيثت=ت′{\displaystyle t=t'}.
  • تُعدّ طبقة الانتباه الزمني هي المكان الذي توجد فيه المتطلباتx′=x،y′=y{\displaystyle x'=x,y'=y}بدلاً من.

كما أخذ جهاز TimeSformer في الاعتبار تصميمات أخرى لطبقة الانتباه، مثل "طبقة الانتباه للارتفاع" حيث يكون الشرط هوx′=x،ت′=ت{\displaystyle x'=x,t'=t}ومع ذلك، فقد وجدوا تجريبياً أن أفضل تصميم يدمج طبقة انتباه مكانية واحدة وطبقة انتباه زمنية واحدة.

ViT-VQGAN

في نموذج ViT-VQGAN [ 42 ] ، يوجد مُشفِّران ViT ومُميِّز. يقوم أحدهما بتشفير رقع 8x8 من الصورة إلى قائمة من المتجهات، متجه لكل رقعة. لا يمكن أن تأتي المتجهات إلا من مجموعة منفصلة من "دفتر الشفرات"، كما هو الحال في التكميم المتجهي . يقوم الآخر بتشفير المتجهات المُكمَّمة مرة أخرى إلى رقع الصورة. يهدف التدريب إلى جعل الصورة المُعاد بناؤها (الصورة الناتجة) مطابقة للصورة المُدخلة. يحاول المُميِّز (عادةً ما يكون شبكة التفافية، ولكن يُسمح باستخدام شبكات أخرى) تحديد ما إذا كانت الصورة صورة أصلية حقيقية، أو صورة مُعاد بناؤها بواسطة ViT.

الفكرة هي نفسها أساسًا مثل المشفر التلقائي التبايني الكمي المتجهي (VQVAE) بالإضافة إلى الشبكة التوليدية التنافسية (GAN).

بعد تدريب نموذج ViT-VQGAN، يُمكن استخدامه لترميز أي صورة إلى قائمة من الرموز، وترميز أي قائمة من الرموز إلى صورة. تُستخدم قائمة الرموز هذه لتدريب نموذج تحويل ذاتي الانحدار قياسي (مثل GPT)، لتوليد صورة تلقائيًا. علاوة على ذلك، يُمكن أخذ قائمة من أزواج الصور والتعليقات، وتحويل الصور إلى سلاسل من الرموز، وتدريب نموذج تحويل قياسي على غرار GPT. عند الاختبار، يُمكن ببساطة إدخال تعليق على الصورة، وسيقوم النموذج بتوليدها تلقائيًا. هذا هو هيكل Google Parti. [ 43 ]

آحرون

وتشمل الأمثلة الأخرى المحول المرئي، [ 44 ] CoAtNet، [ 45 ] CvT، [ 46 ] ViT الفعال من حيث البيانات (DeiT)، [ 47 ] إلخ.

في بنية Transformer داخل Transformer، تقوم كل طبقة بتطبيق طبقة Vision Transformer على كل تضمين لرقعة الصورة، ثم تضيف الرموز الناتجة إلى التضمين، ثم تطبق طبقة Vision Transformer أخرى. [ 48 ]

مقارنة مع الشبكات العصبية التلافيفية

يستخدم ViT عادةً أحجام رقع أكبر من نواة الشبكات العصبية التلافيفية القياسية (من 3×3 إلى 7×7). ويُعدّ ViT أكثر حساسية لاختيار المُحسِّن، والمعلمات الفائقة ، وعمق الشبكة. وتُسهم المعالجة المسبقة باستخدام طبقة من مرشحات الالتفاف المتداخلة ذات الحجم الأصغر (خطوة < الحجم) في تحسين الأداء والاستقرار. [ 13 ]

يبدو أن هذا السلوك المختلف ينبع من التحيزات الاستقرائية المختلفة التي يمتلكونها:

  • تستخدم الشبكات العصبية التلافيفية نفس مجموعة المرشحات لمعالجة الصورة بأكملها. وهذا يسمح لها بأن تكون أكثر كفاءة في استخدام البيانات وأقل حساسية للاضطرابات المحلية. [ 2 ]
  • تُطبّق تقنية ViT آلية الانتباه الذاتي، مما يُتيح لها رصد العلاقات بعيدة المدى بين أجزاء الصورة بسهولة. [ 49 ] كما أنها تتطلب بيانات أكثر للتدريب، ولكنها قادرة على استيعاب بيانات تدريب أكبر مقارنةً بشبكات CNN، التي قد لا تُحسّن أداءها بعد التدريب على مجموعة بيانات تدريب كبيرة بما فيه الكفاية. ويبدو أن تقنية ViT أكثر مقاومة لتشوهات الصور المدخلة، مثل أجزاء الصورة المُعدّلة أو التبديلات. [ 50 ]

التطبيقات

استُخدمت تقنيات الرؤية الحاسوبية في العديد من مهام الرؤية الحاسوبية بنتائج ممتازة، وفي بعض الحالات حتى في أحدث التقنيات، مثل تصنيف الصور ، واكتشاف الأجسام ، واكتشاف التزييف العميق للفيديو ، [ 51 ] وتجزئة الصور ، [ 52 ] واكتشاف الشذوذ ، وتوليف الصور ، وتحليل التجميع ، والقيادة الذاتية . [ 6 ] [ 7 ]

استُخدمت تقنية ViT لتوليد الصور كبنية أساسية لشبكات GAN [ 53 ] ولنماذج الانتشار (محول الانتشار، أو DiT). [ 54 ]

لقد ثبت أن برنامج DINO [ 33 ] قادر على تعلم تمثيلات مفيدة لتجميع الصور واستكشاف السمات المورفولوجية على مجموعات البيانات البيولوجية، مثل الصور التي تم إنشاؤها باستخدام اختبار Cell Painting . [ 55 ]

في عام 2024، تم تصميم نموذج ViT مكون من 113 مليار معلمة (أكبر نموذج ViT حتى الآن) للتنبؤ بالطقس والمناخ ، وتم تدريبه على جهاز الكمبيوتر العملاق Frontier بمعدل إنتاجية يبلغ 1.6 إكسا فلوبس . [ 56 ]

انظر أيضاً

ملحوظات

  1. ↑ جميع التضمينات الموضعية في دراسة دوسوفيتسكي وآخرون (2021) أظهرت أداءً أفضل من عدم استخدام أي تضمين. لم تكن الفروق بينها كبيرة، مع تفوق طفيف للتضمين أحادي البعد في النتيجة.

مراجع

  1. 1 2 3 4 5 6 7 دوسوفيتسكي، أليكسي؛ باير، لوكاس. كوليسنيكوف، الكسندر؛ ويسينبورن، ديرك. تشاي، شياو هوا؛ أونترثينر، توماس؛ دهقاني، مصطفى؛ مينديرر، ماتياس؛ هيجولد، جورج. جيلي، سيلفان. أوزكوريت ، جاكوب (2021-06-03). “الصورة تستحق 16 × 16 كلمة: محولات للتعرف على الصور على نطاق واسع”. أرخايف : 2010.11929 [ cs.CV ].
  2. 1 2 راغو، مايثرا؛ أونترثينر، توماس؛ كورنبلث، سيمون؛ تشانغ، تشيوان؛ دوسوفيتسكي، أليكسي (19-08-2021). "هل ترى محولات الرؤية مثل الشبكات العصبية الالتفافية؟". arXiv : 2108.08810 [ cs.CV ].
  3. ↑ دهقاني، مصطفى؛ دجولونجا، جوزيب؛ مصطفى، باسل؛ بادلوفسكي، بيوتر؛ هيك، جوناثان. جيلمر، جوستين؛ شتاينر، أندرياس. كارون، ماتيلد. جيرهوس، روبرت (10/02/2023)، توسيع نطاق محولات الرؤية إلى 22 مليار معلمة ، أرخايف : 2302.05442
  4. ↑ "توسيع نطاق محولات الرؤية إلى 22 مليار مُعامل" . research.google . تم الاطلاع عليه بتاريخ 7 أغسطس 2024 .
  5. ^ كوريش، إيلا؛ جروس رونيت د. مئير، يوفال؛ تزاك، ياردن؛ هاليفي، تل؛ كانتر، ايدو (2025). “تكشف شبكات CNN الموحدة والمحولات الأساسية لآلية التعلم عن طريقة مؤقتة للانتباه متعدد الرؤوس” . الفيزياء أ: الميكانيكا الإحصائية وتطبيقاتها . 666 130529. أرخايف : 2501.12900 . بيب كود : 2025PhyA..66630529K . دوى : 10.1016/j.physa.2025.130529 . ردمك 0378-4371 . 
  6. 1 2 هان، كاي؛ وانغ، يونهي؛ تشن، هانتينج. تشن، شينغهاو؛ قوه، جيانيوان؛ ليو، تشنهوا؛ تانغ، ييهوي؛ شياو، آن؛ شو، تشونجينج؛ شو، ييشينغ؛ يانغ، تشاوهوي. تشانغ، ييمان. تاو ، داتشنغ (2023/01/01). “مسح حول محولات الرؤية”. معاملات IEEE حول تحليل الأنماط والذكاء الآلي . 45 (1): 87-110 . أرخايف : 2012.12556 . بيب كود : 2023ITPAM..45...87H . دوى : 10.1109/TPAMI.2022.3152247 . ردمك 0162-8828 . بميد 35180075 .  
  7. 1 2 خان، سلمان؛ نصير، مزمل؛ حياة، منور؛ زامير، سيد وقاص؛ خان، فهد شهباز؛ شاه مبارك (2022-09-13). “المحولات في الرؤية: مسح”. ايه سي ام للحوسبة. Surv . 54 (10ث): 200:1–200:41. أرخايف : 2101.01169 . دوى : 10.1145/3505244 . ISSN 0360-0300 . 
  8. ^ فاسواني، اشيش ؛ شازير، نعوم؛ بارمار، نيكي؛ أوسزكوريت، جاكوب؛ جونز، ليون؛ الأماكن القريبة : كايزر، لوكاس؛ بولوسوخين، إيليا (2017). "الانتباه هو كل ما تحتاجه" (PDF) . التقدم في أنظمة معالجة المعلومات العصبية . 30 . شركة كوران أسوشيتس
  9. ↑ راماشاندران، براجيت؛ بارمار، نيكي؛ فاسواني، أشيش؛ بيلو، إروان؛ ليفسكايا، أنسيلم؛ شلينز، جون (2019). "الانتباه الذاتي المستقل في نماذج الرؤية" . التطورات في أنظمة معالجة المعلومات العصبية . 32. كوران أسوشيتس، إنك. arXiv : 1906.05909 .
  10. ↑ ليو، تشوانغ؛ ماو، هانزي؛ وو، تشاو يوان؛ فايشتنهوفر، كريستوف؛ داريل، تريفور؛ شي، ساينينغ (2022). "شبكة عصبية التفافية لعقد 2020" : 11976-11986 . arXiv : 2201.03545 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  11. ↑ وو، سانغ هيون؛ ديبناث، شوبيك؛ هو، رونغ هانغ؛ تشين، شين لي؛ ليو، تشوانغ؛ كوون، إن سو؛ شي، ساينينغ (2023). "ConvNeXt V2: تصميم وتوسيع نطاق الشبكات العصبية الالتفافية باستخدام المشفرات التلقائية المقنعة" : 16133-16142 . arXiv : 2301.00808 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  12. ^ وو، بيتشن؛ شو، تشينفنغ؛ داي، شياو ليانغ؛ وان، ألفين؛ تشانغ، بيزهاو؛ يان، تشيتشنغ؛ ماسايوشي، توميزوكا؛ جونزاليس، جوزيف. كيتزر، كورت. فاجدا، بيتر (2020). “المحولات المرئية: تمثيل الصور القائمة على الرمز المميز ومعالجتها لرؤية الكمبيوتر”. أرخايف : 2006.03677 [ cs.CV ].
  13. 1 2 شياو، تيتي؛ سينغ، مانات؛ مينتون، إريك؛ داريل، تريفور؛ دولار، بيوتر؛ غيرشيك، روس (2021-06-28). "الالتفافات المبكرة تساعد المحولات على الرؤية بشكل أفضل". arXiv : 2106.14881 [ cs.CV ].
  14. 1 2 3 ليو، زي؛ لين، يوتونغ؛ تساو، يو؛ هو، هان؛ وي، ييشوان. تشانغ، تشنغ. لين ستيفن. قوه ، باينينغ (2021/03/25). “محول Swin: محول الرؤية الهرمي باستخدام Windows Shifted”. أرخايف : 2103.14030 [ cs.CV ].
  15. ↑ تان، مينغشينغ؛ لي، كوك (23 يونيو 2021). "EfficientNetV2: نماذج أصغر وتدريب أسرع" (ملف PDF) . وقائع المؤتمر الدولي الثامن والثلاثين للتعلم الآلي (PMLR) . 139 : 10096-10106 . arXiv : 2104.00298 . تاريخ الاسترجاع: 31 أكتوبر 2023 .
  16. ↑ هوانغ، غاو؛ ليو، تشوانغ؛ فان دير ماتن، لورينز؛ كيو. واينبرغر، كيليان (28 يناير 2018). "شبكات الالتفاف المتصلة بكثافة". arXiv : 1608.06993 [ cs.CV ].
  17. 1 2 ساركار، أرجون (2021-05-20). "هل تُعدّ نماذج المحوّلات أفضل من الشبكات العصبية التلافيفية في التعرّف على الصور؟" . ميديوم . مؤرشف من الأصل في 2022-05-11 . تم الاسترجاع في 2021-07-11 .
  18. 1 2 تشاي، شياوهوا؛ كوليسنيكوف، ألكسندر؛ هولزبي، نيل؛ باير، لوكاس (يونيو 2022). "توسيع نطاق محولات الرؤية" . مؤتمر IEEE/CVF لعام 2022 حول رؤية الحاسوب والتعرف على الأنماط (CVPR) . IEEE. الصفحات 1204-1213 . arXiv : 2106.04560 . doi : 10.1109/cvpr52688.2022.01179 . ISBN  978-1-6654-6946-3.
  19. ↑ لي، جوهو؛ لي، يون هو؛ كيم، جونغ تايك؛ كوسوريك، آدم؛ تشوي، سيونغ جين؛ تيه، يي واي (24 مايو 2019). "محول المجموعة: إطار عمل للشبكات العصبية الثابتة التبديل القائمة على الانتباه" . وقائع المؤتمر الدولي السادس والثلاثين للتعلم الآلي . PMLR: 3744–3753 . arXiv : 1810.00825 .
  20. ↑ كارامشيتي، سيدهارث؛ ناير، سوراج؛ تشين، آني س.؛ كولار، توماس؛ فين، تشيلسي؛ صديق، دورسا؛ ليانغ، بيرسي (24-02-2023)، تعلم التمثيل المدفوع باللغة للروبوتات ، arXiv : 2302.12766
  21. ^ توفرون، هوغو؛ كورد ماتيو. سابلايرولس، الكسندر؛ سينايف، غابرييل؛ جيغو ، هيرفي (2021). "التعمق أكثر باستخدام محولات الصور" : 32– 42. أرخايف : 2103.17239 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  22. ^ تشو، داكان؛ كانغ، بينجي؛ جين، شياو جيه؛ يانغ، لينجي؛ ليان، شياو تشن؛ جيانغ، زيهانغ؛ هو، تشيبين؛ فنغ، جياشي (19/04/2021)، DeepViT: نحو محول رؤية أعمق ، أرخايف : 2103.11886
  23. ↑ هي، كايمينغ؛ تشين، شينلي؛ شي، ساينينغ؛ لي، يانغهاو؛ دولار، بيوتر؛ غيرشيك، روس (2021). "المشفرات التلقائية المقنعة هي متعلمات رؤية قابلة للتوسع". arXiv : 2111.06377 [ cs.CV ].
  24. ↑ باثاك، ديباك؛ كراهنبول، فيليب؛ دوناهو، جيف؛ داريل، تريفور؛ إفروس، أليكسي أ. (يونيو 2016). "مُشفِّرات السياق: تعلُّم الميزات عن طريق التعبئة". مؤتمر IEEE لعام 2016 حول رؤية الحاسوب والتعرف على الأنماط (CVPR) . IEEE. الصفحات 2536-2544 . arXiv : 1604.07379 . doi : 10.1109/CVPR.2016.278 . ISBN  978-1-4673-8851-1.
  25. 1 2 3 4 ليو، زي؛ لين، يوتونغ؛ تساو، يو؛ هو، هان؛ وي، ييشوان؛ تشانغ، تشنغ. لين ستيفن. قوه ، باينينج (2021). “محول Swin: محول الرؤية الهرمي باستخدام Windows Shifted”. أرخايف : 2111.06377 [ cs.CV ].
  26. ↑ تشو، لي؛ ليو، هويدونغ؛ باي، جوزيف؛ هي، جونجون؛ ساماراس، ديميتريس؛ براسانا، براتيك (2022). "التدريب الذاتي المسبق باستخدام المشفرات التلقائية المقنعة لتصنيف الصور الطبية وتجزئتها". arXiv : 2203.05573 [ eess.IV ].
  27. ↑ تشين، روي؛ يانغ، شياوتونغ؛ لي، يو؛ بنغ، غوتشنغ؛ تشو، تشيويوي؛ تشانغ، تشن يو؛ جيانغ، هونغ (2024). "نموذج قائم على التعلم العميق للكشف التلقائي عن خلل غدد ميبوميوس وتصنيفه من صور الأشعة تحت الحمراء". الحوسبة اللينة التطبيقية . 164 112905. doi : 10.1016/j.asoc.2024.112905 (غير نشط في 17 أكتوبر 2025).{{cite journal}}: صيانة CS1: رقم التعريف الرقمي غير نشط اعتبارًا من أكتوبر 2025 ( رابط )
  28. ^ تشين ، روي. يانغ، شياو تونغ؛ لي، يو؛ بنغ، جوتشنغ؛ تشو، كيويوي؛ تشانغ، زينيو؛ جيانغ، هونغ (2024). “نموذج قائم على التعلم العميق للكشف التلقائي وتصنيف خلل غدة الميبوميان من صور الأشعة تحت الحمراء”. الحوسبة الناعمة التطبيقية . 164 112905. أرخايف : 2507.10869 .
  29. ^ مادان، شيتان؛ ساتيا، آرجاف؛ باسو، سومين؛ غوبتا، بانكاج؛ دوتا، أوشا؛ أرورا ، تشيتان (2025). “التركيز على الملمس: إعادة التفكير في التدريب المسبق في أجهزة التشفير التلقائي المقنعة لتصنيف الصور الطبية”. أرخايف : 2507.10869 [ eess.IV ].
  30. ↑ نغوين، دوي كين؛ لي، يانغهاو؛ أغاروال، فايبهاف؛ أوزوالد، مارتن ر.؛ كيريلوف، ألكسندر؛ سنوك، سيس جي إم؛ تشين، شينلي (2024). "R-MAE: المناطق تلتقي بالمشفرات التلقائية المقنعة" (ملف PDF) . OpenReview.net . المؤتمر الدولي حول تمثيلات التعلم.
  31. ↑ غوبتا، أغريم؛ وو، جياجون؛ دينغ، جيا؛ فاي-فاي، لي (2023). "المشفرات التلقائية المقنعة السيامية". arXiv : 2305.14344 [ cs.CV ].
  32. ↑ باو، هانغبو؛ دونغ، لي؛ بياو، سونغهاو؛ وي، فورو (2021-10-06). "BEiT: التدريب المسبق لنموذج BERT على محولات الصور" . المؤتمر الدولي حول تمثيلات التعلم . arXiv : 2106.08254 .
  33. 1 2 كارون، ماتيلد؛ توفرون، هوغو؛ ميسرا، إيشان؛ جيجو، هيرفيه؛ ميرال، جوليان. بوجانوفسكي، بيوتر؛ جولين ، أرماند (أكتوبر 2021). "الخصائص الناشئة في محولات الرؤية ذاتية الإشراف" . المؤتمر الدولي IEEE/CVF لعام 2021 حول رؤية الكمبيوتر (ICCV) . IEEE. الصفحات من 9630 إلى 9640. أرخايف : 2104.14294 . دوى : 10.1109/iccv48922.2021.00951 . رقم ISBN  978-1-6654-2812-5.
  34. ↑ هي، كايمينغ؛ فان، هاوكي؛ وو، يوكسين؛ شي، ساينينغ؛ غيرشيك، روس (2020). "تباين الزخم لتعلم التمثيل البصري غير الخاضع للإشراف" : 9729-9738 . arXiv : 1911.05722 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  35. ↑ جريل، جان باستيان؛ ستروب، فلوريان؛ ألتشي، فلورنت؛ تاليك، كورنتين؛ ريشموند، بيير؛ بوتشاتسكايا، إيلينا؛ دورش، كارل؛ أفيلا بيريس، برناردو؛ غو، تشاوهان؛ غيشلاغي آزار، محمد؛ بيوت، بلال؛ كافوكوغلو، كوراي؛ مونوس، ريمي؛ فالكو، ميخال (2020). "بناء ذاكرتك الكامنة - منهج جديد للتعلم الذاتي" . التطورات في أنظمة معالجة المعلومات العصبية . 33. كوران أسوشيتس، إنك: 21271-21284 .
  36. ^ عقاب ، ماكسيم. دارسيت، تيموثي؛ متكاني، ثيو؛ فو، هوي. سزافرانيك، مارك؛ خالدوف، فاسيل؛ فرنانديز، بيير. عزيزة، دانيال؛ ماسا ، فرانسيسكو (2023/04/14). “DINOv2: تعلم الميزات المرئية القوية دون إشراف”. أرخايف : 2304.07193 [ cs.CV ].
  37. ↑ "DINOv3: التعلم الذاتي للرؤية على نطاق غير مسبوق" . ai.meta.com . مؤرشف من الأصل بتاريخ 14 أغسطس 2025. تم الاطلاع عليه بتاريخ 16 أغسطس 2025 .
  38. ^ سيميوني، أوريان. فو، هوي V.؛ سيتزر، ماكسيميليان. بالداسار، فيديريكو؛ أكواب، ماكسيم. خوسيه، سيجو؛ خالدوف، فاسيل؛ سزافرانيك، مارك؛ يي، سيونجون؛ رامامونجيسوا، مايكل؛ ماسا، فرانسيسكو؛ عزيزة، دانيال؛ فيرستيدت، لوكا؛ وانغ، جيانيوان؛ دارسيت، تيموثي؛ متكاني، ثيو؛ سينتانا، ليونيل؛ روبرتس، كلير. فيدالدي، أندريا؛ تولان، جيمي. براندت، جون. كوبري، كميل؛ ميرال، جوليان. جيغو، هيرفي؛ لاباتوت، باتريك؛ بوجانوفسكي ، بيوتر (2025). "دينو 3". أرخايف : 2508.10104 [ cs.CV ].
  39. ^ ليو، زي؛ هو، هان؛ لين، يوتونغ؛ ياو، تشوليانغ؛ شيه، زيندا؛ وي، ييشوان. نينغ، جيا؛ تساو، يو؛ تشانغ، تشنغ. دونغ، لي؛ وي، فورو؛ قوه ، باينينغ (2022). "Swin Transformer V2: توسيع نطاق السعة والحل" . وقائع مؤتمر IEEE/CVF حول رؤية الكمبيوتر والتعرف على الأنماط. ص 12009 – 12019. 
  40. ↑ بيرتاسيوس، جيداس؛ وانغ، هينغ؛ توريساني، لورينزو (2021-02-09). "هل الانتباه المكاني الزمني هو كل ما تحتاجه لفهم الفيديو؟". arXiv : 2102.05095 [ cs.CV ].
  41. ↑ سيجيدي، كريستيان؛ فان هوك، فينسنت؛ يوف، سيرجي؛ شلينز، جون؛ ووجنا، زبيغنيو (2016). "إعادة التفكير في بنية Inception لرؤية الحاسوب" : 2818-2826 . arXiv : 1512.00567 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  42. ^ يو ، جياهوي. لي، شين؛ كوه، جينغ يو؛ تشانغ، هان؛ بانغ، رومينج؛ تشين، جيمس. كو، الكسندر. شو، يوانزونغ؛ بالدريدج، جايسون؛ وو ، يونغوي (2021). “نمذجة الصور الكمية المتجهة باستخدام VQGAN المحسنة”. أرخايف : 2110.04627 [ cs.CV ].
  43. ↑ "Parti: Pathways Autoregressive Text-to-Image Model" . sites.research.google . تم الاطلاع عليه بتاريخ 2023-11-03 .
  44. ^ وو، بيتشن؛ شو، تشينفنغ؛ داي، شياو ليانغ؛ وان، ألفين؛ تشانغ، بيزهاو؛ يان، تشيتشنغ؛ توميزوكا، ماسايوشي؛ جونزاليس، جوزيف. Keutzer، Kurt (2020-11-19)، المحولات المرئية: تمثيل الصور المستندة إلى الرمز ومعالجتها لرؤية الكمبيوتر ، أرخايف : 2006.03677
  45. ↑ داي، زيهانغ؛ ليو، هانشياو؛ لي، كوك في؛ تان، مينغشينغ (2021-06-09). "CoAtNet: دمج الالتفاف والانتباه لجميع أحجام البيانات". arXiv : 2106.04803 [ cs.CV ].
  46. ^ وو، هايبينغ؛ شياو بن. كوديلا، نويل؛ ليو، منغشن؛ داي، شيانغ؛ يوان، لو؛ تشانغ ، لي (2021/03/29). “CvT: تقديم التلافيف لمحولات الرؤية”. أرخايف : 2103.15808 [ cs.CV ].
  47. ^ توفرون، هوغو؛ كورد ماتيو. جيغو، هيرفي (2022). “DeiT III: الانتقام من ViT”. في أفيدان، شاي؛ بروستو، غابرييل. سيسي، مصطفى؛ فارينيلا، جيوفاني ماريا؛ هاسنر، تل (محرران). الرؤية الحاسوبية – ECCV 2022 . ملاحظات محاضرة في علوم الكمبيوتر. المجلد. 13684. شام: سبرينغر نيتشر سويسرا. ص 516 – 533. أرخايف : 2204.07118 . دوى : 10.1007/978-3-031-20053-3_30 . رقم ISBN   978-3-031-20053-3.
  48. ^ هان، كاي؛ شياو، آن؛ وو، انهوا؛ قوه، جيانيوان؛ شو، تشونجينج؛ وانغ ، يونهي (2021). "محول في محول" . التقدم في أنظمة معالجة المعلومات العصبية . 34 . شركة كوران أسوشيتس: 15908-15919 .
  49. ^ جروس ، رونيت د. هاليفي، تل؛ كوريش، إيلا؛ تزاك، ياردن؛ كانتر، ايدو (2025). "محولات الرؤية ذات الكمون المنخفض عبر الاهتمام متعدد الرؤوس على نطاق واسع" . الفيزياء أ: الميكانيكا الإحصائية وتطبيقاتها . 675 130835. أرخايف : 2506.23832 . بيب كود : 2025PhyA..67530835G . دوى : 10.1016/j.physa.2025.130835 . ردمك 0378-4371 . 
  50. ↑ نصير، مزمل؛ راناسينغ، كانشانا؛ خان، سلمان؛ حياة، منور؛ خان، فهد شهباز؛ يانغ ، مينغ هسوان (2021-05-21). “خصائص مثيرة للاهتمام لمحولات الرؤية”. أرخايف : 2105.10497 [ cs.CV ].
  51. ↑ كوكوميني، دافيد؛ ميسينا، نيكولا؛ جينارو، كلاوديو؛ فالشي، فابريزيو (2022). "دمج الشبكات الفعالة ومحولات الرؤية للكشف عن التزييف العميق في الفيديو". تحليل ومعالجة الصور - ICIAP 2022. سلسلة محاضرات في علوم الحاسوب. المجلد 13233. الصفحات 219-229 . arXiv : 2107.02612 . doi : 10.1007/978-3-031-06433-3_19 . ISBN   978-3-031-06432-6. S2CID 235742764 . 
  52. ^ كيريلوف، الكسندر. مينتون، اريك. رافي، نيكيلا؛ ماو، هانزي؛ رولاند، كلوي؛ جوستافسون، لورا؛ شياو، تيتي؛ وايتهيد، سبنسر. بيرج، الكسندر C.؛ لو وان-ين؛ دولار، بيوتر؛ جيرشيك ، روس (2023). "قطعة أي شيء" : 4015-4026 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  53. ↑ جيانغ، ييفان؛ تشانغ، شييو؛ وانغ، تشانغيانغ (2021). "TransGAN: يمكن لمحولين نقيين تكوين شبكة GAN قوية واحدة، قابلة للتوسع" . التقدم في أنظمة معالجة المعلومات العصبية . 34. كوران أسوشيتس، إنك: 14745-14758 . arXiv : 2102.07074 .
  54. ↑ بيبلز، ويليام؛ شي، ساينينغ (مارس 2023). "نماذج الانتشار القابلة للتطوير باستخدام المحولات". arXiv : 2212.09748v2 [ cs.CV ].
  55. ↑ دورون، مايكل؛ موتاكاني، ثيو؛ تشين، زيتونغ س.؛ موشكوف، نيكيتا؛ كارون، ماتيلد؛ توفرون، هوغو؛ بوجانوفسكي، بيوتر؛ بيرنيس، وولفغانغ م.؛ كايسيدو، خوان س. (2023-06-18). "مورفولوجيا الخلية المفردة غير المتحيزة باستخدام محولات الرؤية ذاتية الإشراف". bioRxiv 10.1101/2023.06.16.545359 . 
  56. ↑ وانغ، شياو؛ ليو، سيان؛ تساريس، أريستيديس؛ تشوي، جونغ يول؛ أجي، أشوين؛ فان، مينغ؛ تشانغ، وي؛ ين، جونكي؛ أشفق، معتصم؛ لو، دان؛ بالابراكاش، براسانا (2024). "ORBIT: نموذج أساس قاعدة أوك ريدج لتوقع نظام الأرض". arXiv : 2404.14712 [ physics.ao-ph ].

للمزيد من القراءة

  • تشانغ، أستون؛ ليبتون، زاكاري؛ لي، مو؛ سمولا، ألكسندر ج. (2024). "11.8. محولات الرؤية" . الغوص في التعلم العميق . كامبريدج، نيويورك، بورت ملبورن، نيودلهي، سنغافورة: مطبعة جامعة كامبريدج. ISBN 978-1-009-38943-3.
  • ستاينر، أندرياس؛ كوليسنيكوف، ألكسندر؛ تشاي، شياوهوا؛ وايتمان، روس؛ أوزكوريت، جاكوب؛ باير، لوكاس (18 يونيو 2021). "كيفية تدريب محول الرؤية الخاص بك؟ البيانات، والتوسيع، والتنظيم في محولات الرؤية". arXiv : 2106.10270 [ cs.CV ].