تعلم الميزات

📅 آخر تحديث: ٢٠ يوليو ٢٠٢٦
✍️ نُشر في: ٢٠ يوليو ٢٠٢٦
📷 يحتوي على 2 صور
الموسوعة الحرة
مخطط نموذج تعلم الميزات في التعلم الآلي لتطبيقه على المهام اللاحقة، والذي يمكن تطبيقه إما على البيانات الخام مثل الصور أو النصوص، أو على مجموعة أولية من ميزات البيانات. يهدف تعلم الميزات إلى تحقيق تدريب أسرع أو أداء أفضل في بيئات خاصة بالمهام مقارنةً بإدخال البيانات مباشرةً (قارن بالتعلم بالنقل ). [ 1 ]

في مجال التعلم الآلي ، يُعدّ تعلم الميزات أو تعلم التمثيل [ 2 ] مجموعة من التقنيات التي تُمكّن النظام من اكتشاف التمثيلات اللازمة للكشف عن الميزات أو تصنيفها تلقائيًا من البيانات الأولية. وهذا يغني عن هندسة الميزات اليدوية ، ويُمكّن الآلة من تعلم الميزات واستخدامها لأداء مهمة محددة.

يستند تعلم الميزات إلى حقيقة أن مهام التعلم الآلي، كالتصنيف، تتطلب غالبًا مدخلات يسهل معالجتها رياضيًا وحسابيًا. مع ذلك، لم تستجب بيانات العالم الحقيقي، كالصور والفيديوهات وبيانات المستشعرات، لمحاولات تحديد ميزات محددة خوارزميًا. يتمثل البديل في اكتشاف هذه الميزات أو تمثيلاتها من خلال الفحص، دون الاعتماد على خوارزميات صريحة.

يمكن أن يكون تعلم الميزات إما خاضعاً للإشراف، أو غير خاضع للإشراف، أو ذاتي الإشراف:

تحت الإشراف

التعلم الخاضع للإشراف هو تعلم الميزات من البيانات المصنفة. يسمح تصنيف البيانات للنظام بحساب حد الخطأ، وهو مدى فشل النظام في إنتاج التصنيف، والذي يمكن استخدامه بعد ذلك كمعلومات مرجعية لتصحيح عملية التعلم (تقليل/تقليل الخطأ إلى أدنى حد). تشمل الأساليب ما يلي:

التعلم الخاضع للإشراف للقواميس

تعتمد عملية تعلم القاموس على إنشاء مجموعة (قاموس) من العناصر التمثيلية من بيانات الإدخال، بحيث يمكن تمثيل كل نقطة بيانات كمجموع مرجح لهذه العناصر. ويمكن إيجاد عناصر القاموس والأوزان من خلال تقليل متوسط ​​خطأ التمثيل (على بيانات الإدخال)، بالإضافة إلى تطبيق تنظيم L1 على الأوزان لتحقيق التباعد (أي أن تمثيل كل نقطة بيانات لا يحتوي إلا على عدد قليل من الأوزان غير الصفرية).

يستغل التعلم الخاضع للإشراف للقواميس كلاً من بنية البيانات المدخلة والتصنيفات لتحسين عناصر القاموس. على سبيل المثال، تطبق تقنية التعلم الخاضع للإشراف للقواميس [ 12 ] التعلم على مسائل التصنيف من خلال التحسين المشترك لعناصر القاموس، وأوزان تمثيل نقاط البيانات، ومعاملات المصنف بناءً على البيانات المدخلة. وبالتحديد، تُصاغ مسألة تصغير، حيث تتكون دالة الهدف من خطأ التصنيف، وخطأ التمثيل، وتنظيم L1 على أوزان تمثيل كل نقطة بيانات (لتمكين التمثيل المتفرق للبيانات)، وتنظيم L2 على معاملات المصنف.

الشبكات العصبية

الشبكات العصبية هي مجموعة من خوارزميات التعلم التي تستخدم "شبكة" تتكون من طبقات متعددة من العقد المترابطة. وهي مستوحاة من الجهاز العصبي للحيوانات، حيث تُعتبر العقد بمثابة خلايا عصبية، والحواف بمثابة نقاط الاشتباك العصبي. لكل حافة وزنٌ خاص بها، وتحدد الشبكة قواعد حسابية لنقل بيانات الإدخال من طبقة الإدخال إلى طبقة الإخراج. تُحدد دالة الشبكة المرتبطة بالشبكة العصبية العلاقة بين طبقتي الإدخال والإخراج، والتي تُحددها الأوزان. وباستخدام دوال شبكة مُعرَّفة بشكل مناسب، يُمكن تنفيذ مهام تعلم متنوعة عن طريق تقليل دالة التكلفة على دالة الشبكة (الأوزان).

يمكن استخدام الشبكات العصبية متعددة الطبقات لتعلم الميزات، حيث تتعلم تمثيلاً لمدخلاتها في الطبقة (الطبقات) المخفية، والذي يُستخدم لاحقًا للتصنيف أو الانحدار في طبقة الإخراج. وتُعد الشبكات السيامية أشهر بنية شبكية من هذا النوع .

بدون إشراف

التعلم غير الخاضع للإشراف للميزات هو تعلم الميزات من بيانات غير مصنفة. غالبًا ما يكون الهدف من هذا التعلم هو اكتشاف ميزات منخفضة الأبعاد تُجسد بعض البنية الكامنة وراء بيانات الإدخال عالية الأبعاد. عند تنفيذ تعلم الميزات بطريقة غير خاضعة للإشراف، فإنه يُتيح شكلاً من أشكال التعلم شبه الخاضع للإشراف، حيث تُستخدم الميزات المُستخلصة من مجموعة بيانات غير مصنفة لتحسين الأداء في بيئة خاضعة للإشراف باستخدام بيانات مصنفة. [ 13 ] [ 14 ] فيما يلي عرض لعدة مناهج.

التجميع باستخدام خوارزمية K -means

تُعدّ خوارزمية التجميع K -means من أساليب التجميع الشائعة. فعند إعطاء مجموعة من n متجهًا، تقوم هذه الخوارزمية بتجميعها في k مجموعة (أي مجموعات فرعية) بحيث ينتمي كل متجه إلى المجموعة ذات المتوسط ​​الأقرب. وتُصنّف هذه المسألة حسابيًا ضمن فئة NP-hard ، على الرغم من تطوير خوارزميات جشعة شبه مثالية

يمكن استخدام خوارزمية التجميع K-means لتجميع مجموعة من المدخلات غير المصنفة في k مجموعة، ثم استخدام مراكز هذه المجموعات لإنتاج السمات. يمكن إنتاج هذه السمات بعدة طرق. أبسطها إضافة k سمة ثنائية إلى كل عينة، حيث تكون قيمة كل سمة j واحدًا إذا وفقط إذا كان المركز j الذي تعلمته خوارزمية k -means هو الأقرب إلى العينة قيد الدراسة. [ 6 ] من الممكن أيضًا استخدام المسافات إلى المجموعات كسمات، ربما بعد تحويلها باستخدام دالة الأساس الشعاعي (وهي تقنية استُخدمت لتدريب شبكات RBF [ 15 ] ). يشير كوتس ونج إلى أن بعض متغيرات خوارزمية k -means تتصرف بشكل مشابه لخوارزميات الترميز المتفرق . [ 16 ]

في تقييم مقارن لأساليب تعلم الميزات غير الخاضعة للإشراف، وجد كوتس ولي ونج أن خوارزمية التجميع k- means مع تحويل مناسب تتفوق على المشفرات التلقائية وخوارزميات RBM الأحدث في مهمة تصنيف الصور. [ 6 ] كما تُحسّن خوارزمية k- means الأداء في مجال معالجة اللغة الطبيعية ، وتحديدًا في التعرف على الكيانات المسماة ؛ [ 17 ] حيث تُنافس خوارزمية براون للتجميع ، بالإضافة إلى تمثيلات الكلمات الموزعة (المعروفة أيضًا باسم تضمينات الكلمات العصبية). [ 14 ]

تحليل المكونات الرئيسية

يُستخدم تحليل المكونات الرئيسية (PCA) غالبًا لتقليل الأبعاد. عند إدخال مجموعة غير مصنفة من n متجه بيانات، يُولّد PCA عدد p من المتجهات المفردة اليمنى (وهو عدد أصغر بكثير من بُعد بيانات الإدخال) ، والتي تُقابل أكبر p قيمة مفردة في مصفوفة البيانات. يُمثل الصف k من مصفوفة البيانات متجه بيانات الإدخال k مُزاحًا بمقدار متوسط ​​العينة (أي طرح متوسط ​​العينة من متجه البيانات). وبالمثل، تُمثل هذه المتجهات المفردة المتجهات الذاتية التي تُقابل أكبر p قيمة ذاتية لمصفوفة التباين المشترك لمتجهات الإدخال. تُمثل هذه المتجهات المفردة p متجهات الميزات المُستخلصة من بيانات الإدخال، وهي تُمثل الاتجاهات التي تُظهر فيها البيانات أكبر تباين.

تُعدّ تقنية تحليل المكونات الرئيسية (PCA) أسلوبًا خطيًا لتعلم الميزات، حيث أن المتجهات المفردة p هي دوال خطية لمصفوفة البيانات. ويمكن توليد هذه المتجهات المفردة باستخدام خوارزمية بسيطة تتكون من p تكرارًا. في التكرار i ، يُطرح إسقاط مصفوفة البيانات على المتجه الذاتي (i-1) ، ويُحدد المتجه المفرد i باعتباره المتجه المفرد الأيمن المقابل لأكبر قيمة مفردة في مصفوفة البيانات المتبقية.

يُعاني تحليل المكونات الرئيسية (PCA) من عدة قيود. أولًا، يفترض أن الاتجاهات ذات التباين الكبير هي الأكثر أهمية، وهو ما قد لا يكون صحيحًا. يعتمد تحليل المكونات الرئيسية فقط على التحويلات المتعامدة للبيانات الأصلية، ويستغل فقط العزوم من الرتبة الأولى والثانية للبيانات ، وهو ما قد لا يُمثل توزيع البيانات بدقة. علاوة على ذلك، يُمكن لتحليل المكونات الرئيسية تقليل الأبعاد بفعالية فقط عندما تكون متجهات بيانات الإدخال مترابطة (مما ينتج عنه عدد قليل من القيم الذاتية المهيمنة).

التضمين الخطي المحلي

التضمين الخطي المحلي (LLE) هو أسلوب تعلم غير خطي يُستخدم لإنشاء تمثيلات منخفضة الأبعاد تحافظ على الجوار من مدخلات عالية الأبعاد (غير مصنفة). وقد اقترح هذا الأسلوب كل من رويس وساول (2000). [ 18 ] [ 19 ] وتتلخص الفكرة العامة للتضمين الخطي المحلي في إعادة بناء البيانات الأصلية عالية الأبعاد باستخدام نقاط منخفضة الأبعاد مع الحفاظ على بعض الخصائص الهندسية للجوار في مجموعة البيانات الأصلية.

تتألف خوارزمية LLE من خطوتين رئيسيتين. الخطوة الأولى هي "الحفاظ على الجوار"، حيث يُعاد بناء كل نقطة بيانات مُدخلة Xi كمجموع مُرجّح لأقرب K نقطة بيانات مجاورة ، ويتم إيجاد الأوزان المُثلى بتقليل متوسط ​​مربع خطأ إعادة البناء (أي الفرق بين نقطة مُدخلة وإعادة بنائها) مع مراعاة أن مجموع الأوزان المرتبطة بكل نقطة يساوي واحدًا. أما الخطوة الثانية فهي "تقليل الأبعاد"، وذلك بالبحث عن متجهات في فضاء ذي أبعاد أقل تُقلل خطأ التمثيل باستخدام الأوزان المُحسّنة في الخطوة الأولى. تجدر الإشارة إلى أنه في الخطوة الأولى، يتم تحسين الأوزان باستخدام بيانات ثابتة، وهو ما يُمكن حله كمسألة مربعات صغرى . في الخطوة الثانية، يتم تحسين النقاط ذات الأبعاد الأقل باستخدام أوزان ثابتة، وهو ما يُمكن حله عبر تحليل القيم الذاتية المتفرقة.

تُجسّد أوزان إعادة البناء المُستخلصة في الخطوة الأولى "الخصائص الهندسية الجوهرية" لمنطقة مجاورة في بيانات الإدخال. [ 19 ] يُفترض أن البيانات الأصلية تقع على سطح مستوٍ أملس ذي أبعاد منخفضة ، ومن المتوقع أن تكون "الخصائص الهندسية الجوهرية" التي تُجسّدها أوزان البيانات الأصلية موجودة أيضًا على هذا السطح. لهذا السبب، تُستخدم الأوزان نفسها في الخطوة الثانية من خوارزمية LLE. بالمقارنة مع تحليل المكونات الرئيسية (PCA)، تُعدّ خوارزمية LLE أكثر فعالية في استغلال بنية البيانات الأساسية.

تحليل المكونات المستقلة

تحليل المكونات المستقلة (ICA) هو أسلوب لتكوين تمثيل للبيانات باستخدام مجموع مرجح لمكونات مستقلة غير غاوسية. [ 20 ] يُفرض افتراض عدم غاوسية البيانات لأن الأوزان لا يمكن تحديدها بشكل فريد عندما تتبع جميع المكونات التوزيع الغاوسي .

التعلم غير الخاضع للإشراف للقواميس

لا يعتمد تعلم القواميس غير الخاضع للإشراف على تصنيفات البيانات، بل يستغل البنية الكامنة وراء البيانات لتحسين عناصر القاموس. ومن أمثلة هذا النوع من التعلم الترميز المتفرق ، الذي يهدف إلى تعلم دوال أساسية (عناصر القاموس) لتمثيل البيانات من بيانات إدخال غير مصنفة. ويمكن تطبيق الترميز المتفرق لتعلم القواميس المكتملة، حيث يكون عدد عناصر القاموس أكبر من بُعد بيانات الإدخال. [ 21 ] وقد اقترح أهارون وآخرون خوارزمية K-SVD لتعلم قاموس من العناصر يُمكّن من التمثيل المتفرق. [ 22 ]

بنى متعددة الطبقات/عميقة

يُستوحى تصميم بنى التعلم العميق من البنية الهرمية للنظام العصبي البيولوجي، وذلك لاستخلاص الميزات من خلال تكديس طبقات متعددة من عقد التعلم. [ 23 ] غالبًا ما تُصمم هذه البنى بناءً على افتراض التمثيل الموزع : حيث تُولّد البيانات المرصودة من خلال تفاعلات العديد من العوامل المختلفة على مستويات متعددة. في بنية التعلم العميق، يُمكن اعتبار مخرجات كل طبقة وسيطة بمثابة تمثيل لبيانات الإدخال الأصلية. يستخدم كل مستوى التمثيل الناتج عن المستوى الأدنى منه كمدخل، ويُنتج تمثيلات جديدة كمخرجات، تُغذّى بدورها إلى المستويات الأعلى. المدخلات في الطبقة السفلية هي البيانات الخام، ومخرجات الطبقة الأخيرة والأعلى هي الميزة أو التمثيل النهائي منخفض الأبعاد.

آلة بولتزمان المقيدة

تُستخدم آلات بولتزمان المقيدة (RBMs) غالبًا كعنصر أساسي في بنى التعلم متعددة الطبقات. [ 6 ] [ 24 ] يمكن تمثيل آلة بولتزمان المقيدة برسم بياني ثنائي غير موجه ، يتكون من مجموعة من المتغيرات المخفية الثنائية ، ومجموعة من المتغيرات الظاهرة، وحواف تربط بين العقد المخفية والظاهرة. وهي حالة خاصة من آلات بولتزمان الأكثر عمومية ، مع قيد عدم وجود روابط داخلية بين العقد. يرتبط كل ضلع في آلة بولتزمان المقيدة بوزن. تُحدد الأوزان مع الروابط دالة طاقة ، يُمكن على أساسها تصميم توزيع مشترك للعقد الظاهرة والمخفية. بناءً على بنية آلة بولتزمان المقيدة، تكون المتغيرات المخفية (الظاهرة) مستقلة، بشرط استقلالها عن المتغيرات الظاهرة (المخفية). يُسهل هذا الاستقلال الشرطي العمليات الحسابية.

يمكن اعتبار شبكة بولتزمان المقيدة (RBM) بنية أحادية الطبقة لتعلم الميزات غير الخاضع للإشراف. على وجه الخصوص، تتوافق المتغيرات المرئية مع بيانات الإدخال، بينما تتوافق المتغيرات المخفية مع كاشفات الميزات. ويمكن تدريب الأوزان عن طريق تعظيم احتمالية المتغيرات المرئية باستخدام خوارزمية التباعد التبايني لهينتون ( CD ). [ 24 ]

بشكل عام، يؤدي تدريب نماذج بولتزمان المقيدة (RBMs) عن طريق حل مسألة التعظيم إلى تمثيلات غير متفرقة. وقد طُرح نموذج بولتزمان المقيدة المتفرقة [ 25 ] لتمكين التمثيلات المتفرقة. وتتلخص الفكرة في إضافة حد تنظيمي إلى دالة الهدف لاحتمالية البيانات، والذي يُعاقب انحراف المتغيرات الخفية المتوقعة عن قيمة ثابتة صغيرة.ص{\displaystyle p}كما تم استخدام نماذج RBM للحصول على تمثيلات منفصلة للبيانات، حيث يتم ربط الميزات المهمة بوحدات مخفية منفصلة. [ 26 ]

التشفير التلقائي

يُعدّ المُشفّر التلقائي، المُكوّن من مُشفّر ومُفكّك، نموذجًا أساسيًا في بنى التعلّم العميق. وقدّم هينتون وسالاخوتدينوف [ 24 ] مثالًا على ذلك، حيث يستخدم المُشفّر البيانات الخام (مثل الصور) كمدخلات ويُنتج ميزات أو تمثيلات كمخرجات، بينما يستخدم المُفكّك الميزات المُستخرجة من المُشفّر كمدخلات ويُعيد بناء البيانات الخام الأصلية كمخرجات. يتم بناء المُشفّر والمُفكّك من خلال تكديس طبقات متعددة من نماذج بولتزمان المقيدة (RBMs). دُرّبت المعلمات المُستخدمة في هذه البنية في الأصل بطريقة جشعة طبقة تلو الأخرى: فبعد تعلّم طبقة واحدة من كاشفات الميزات، تُستخدم كمتغيرات مرئية لتدريب نموذج بولتزمان المقيدة المُقابل. تُطبّق الأساليب الحالية عادةً التدريب الشامل باستخدام طرق التدرج العشوائي . ويمكن تكرار التدريب حتى يتم استيفاء معايير التوقف المُحدّدة.

الإشراف الذاتي

التعلم التمثيلي ذاتي الإشراف هو تعلم الميزات من خلال التدريب على بنية البيانات غير المصنفة بدلاً من الاعتماد على التصنيفات الصريحة لإشارة المعلومات . وقد مكّن هذا النهج من الاستخدام المشترك لبنى الشبكات العصبية العميقة ومجموعات البيانات غير المصنفة الأكبر حجمًا لإنتاج تمثيلات عميقة للميزات. [ 9 ] تندرج مهام التدريب عادةً ضمن فئات التباين أو التوليد أو كليهما. [ 27 ] في التعلم التمثيلي التبايني، يتم تدريب تمثيلات لأزواج البيانات المرتبطة، والتي تُسمى العينات الموجبة، ليتم محاذاتها، بينما يتم مقارنة الأزواج غير المرتبطة، والتي تُسمى العينات السالبة. عادةً ما تكون نسبة أكبر من العينات السالبة ضرورية لمنع الانهيار الكارثي، وهو عندما يتم تعيين جميع المدخلات إلى نفس التمثيل. [ 9 ] أما في التعلم التمثيلي التوليدي، فيُكلف النموذج بإنتاج البيانات الصحيحة إما لمطابقة مدخلات محدودة أو لإعادة بناء المدخلات الكاملة من تمثيل ذي أبعاد أقل. [ 27 ]

تتمثل إحدى الطرق الشائعة لتعلم تمثيل البيانات ذاتيًا (مثل النصوص والصور والصوت والفيديو) في تدريب النموذج مسبقًا باستخدام مجموعات بيانات كبيرة ذات سياق عام وبيانات غير مصنفة. [ 11 ] وبحسب السياق، ينتج عن ذلك إما مجموعة من التمثيلات لقطاعات البيانات الشائعة (مثل الكلمات) التي يمكن تقسيم البيانات الجديدة إليها، أو شبكة عصبية قادرة على تحويل كل نقطة بيانات جديدة (مثل الصورة) إلى مجموعة من الميزات ذات الأبعاد المنخفضة. [ 9 ] في كلتا الحالتين، يمكن استخدام التمثيلات الناتجة كتهيئة أولية في العديد من إعدادات المشكلات المختلفة حيث قد تكون البيانات المصنفة محدودة. ويتم عادةً تخصيص النموذج لمهام محددة باستخدام التعلم الخاضع للإشراف، إما عن طريق ضبط النموذج/التمثيلات بدقة باستخدام التصنيفات كإشارة، أو عن طريق تثبيت التمثيلات وتدريب نموذج إضافي يأخذها كمدخل. [ 11 ]

تم تطوير العديد من مخططات التدريب الذاتي لاستخدامها في تعلم تمثيل الوسائط المختلفة ، وغالبًا ما تُظهر أولاً تطبيقًا ناجحًا في النصوص أو الصور قبل نقلها إلى أنواع البيانات الأخرى. [ 9 ]

نص

Word2vec هي تقنية لتضمين الكلمات تتعلم تمثيل الكلمات من خلال التعلم الذاتي لكل كلمة والكلمات المجاورة لها ضمن نافذة منزلقة عبر مجموعة كبيرة من النصوص. [ 28 ] يمتلك النموذج مخططين تدريبيين محتملين لإنتاج تمثيلات متجهة للكلمات، أحدهما توليدي والآخر تبايني. [ 27 ] الأول هو التنبؤ بالكلمة بناءً على كل كلمة مجاورة كمدخل. [ 28 ] أما الثاني فهو التدريب على تشابه التمثيل للكلمات المجاورة واختلاف التمثيل لأزواج عشوائية من الكلمات. [ 10 ] من قيود Word2vec أنها تستخدم فقط بنية التواجد المشترك الثنائي للبيانات، وليس ترتيب أو مجموعة كلمات السياق كاملة. تحاول مناهج تعلم التمثيل القائمة على المحولات الأحدث حل هذه المشكلة من خلال مهام التنبؤ بالكلمات. [ 9 ] تتدرب نماذج GPT مسبقًا على التنبؤ بالكلمة التالية باستخدام كلمات الإدخال السابقة كسياق، [ 29 ] بينما يقوم نموذج BERT بإخفاء رموز عشوائية لتوفير سياق ثنائي الاتجاه. [ 30 ]

تُوسّع تقنيات التعلّم الذاتي الأخرى نطاق تضمين الكلمات من خلال إيجاد تمثيلات لبنى نصية أكبر، مثل الجمل أو الفقرات، في بيانات الإدخال. [ 9 ] يُوسّع Doc2vec نهج التدريب التوليدي في word2vec بإضافة مُدخل إضافي لمهمة التنبؤ بالكلمات بناءً على الفقرة التي تقع ضمنها، وبالتالي فهو يهدف إلى تمثيل سياق مستوى الفقرة. [ 31 ]

صورة

لقد استخدم مجال تعلم تمثيل الصور العديد من تقنيات التدريب الذاتي المختلفة، بما في ذلك التحويل، [ 32 ] والتعبئة، [ 33 ] وتمييز الرقع ، [ 34 ] والتجميع. [ 35 ]

ومن أمثلة الأساليب التوليدية مشفرات السياق، التي تدرب بنية شبكة عصبية تلافيفية AlexNet لتوليد منطقة صورة محذوفة بالنظر إلى الصورة المقنعة كمدخل، [ 33 ] و iGPT، التي تطبق بنية نموذج اللغة GPT-2 على الصور من خلال التدريب على التنبؤ بالبكسل بعد تقليل دقة الصورة . [ 36 ]

تستخدم العديد من طرق التعلم الذاتي الأخرى الشبكات السيامية ، التي تُولّد رؤى مختلفة للصورة من خلال عمليات تكبير متنوعة، ثم تُحاذى هذه الرؤى للحصول على تمثيلات متشابهة. ويكمن التحدي في تجنب الحلول المُدمجة حيث يُشفّر النموذج جميع الصور إلى نفس التمثيل. [ 37 ] يُعدّ SimCLR نهجًا تباينيًا يستخدم أمثلة سلبية لتوليد تمثيلات للصور باستخدام شبكة ResNet CNN . [ 34 ] أما Bootstrap Your Own Latent (BYOL) فيُزيل الحاجة إلى العينات السلبية من خلال تشفير إحدى الرؤى باستخدام متوسط ​​متحرك بطيء لمعلمات النموذج أثناء تعديلها خلال التدريب. [ 38 ]

الرسم البياني

تهدف العديد من تقنيات تعلم تمثيل الرسوم البيانية إلى إنتاج تمثيل مُضمّن لكل عقدة بناءً على بنية الشبكة الكلية . [ 39 ] تُوسّع تقنية node2vec تقنية تدريب word2vec لتشمل العقد في الرسم البياني باستخدام التواجد المشترك في مسارات عشوائية عبر الرسم البياني كمقياس للارتباط. [ 40 ] يتمثل نهج آخر في تعظيم المعلومات المتبادلة ، وهي مقياس للتشابه، بين تمثيلات البنى المرتبطة داخل الرسم البياني. [ 9 ] ومن الأمثلة على ذلك Deep Graph Infomax، الذي يستخدم الإشراف الذاتي التبايني القائم على المعلومات المتبادلة بين تمثيل "رقعة" حول كل عقدة، وتمثيل مُلخّص للرسم البياني بأكمله. يتم الحصول على العينات السلبية عن طريق إقران تمثيل الرسم البياني إما بتمثيلات من رسم بياني آخر في بيئة تدريب متعددة الرسوم البيانية، أو بتمثيلات رقع مُشوّهة في بيئة تدريب أحادية الرسم البياني. [ 41 ]

فيديو

مع نتائج مماثلة في التنبؤ المقنّع [ 42 ] والتجميع [ 43 ] ، غالبًا ما تكون أساليب تعلم تمثيل الفيديو مشابهة لتقنيات الصور، ولكنها تتطلب استخدام التسلسل الزمني لإطارات الفيديو كبنية إضافية مُتعلمة. ومن الأمثلة على ذلك VCP، الذي يُقنّع مقاطع الفيديو ويُدرّب لاختيار المقطع الصحيح من بين مجموعة من خيارات المقاطع، وXu et al.، الذين يُدرّبون شبكة عصبية تلافيفية ثلاثية الأبعاد لتحديد الترتيب الأصلي لمجموعة من مقاطع الفيديو المُختلطة [ 44 ] .

صوتي

طُبقت تقنيات التمثيل ذاتي الإشراف على العديد من تنسيقات البيانات الصوتية، لا سيما في معالجة الكلام . [ 9 ] يقوم Wav2vec 2.0 بتقسيم الموجة الصوتية إلى خطوات زمنية عبر الالتفافات الزمنية ، ثم يُدرّب مُحوِّلًا على التنبؤ المُقنّع لخطوات زمنية عشوائية باستخدام دالة خسارة تباينية. [ 45 ] يُشبه هذا نموذج لغة BERT ، باستثناء أنه كما هو الحال في العديد من مناهج SSL للفيديو، يختار النموذج من بين مجموعة من الخيارات بدلًا من اختياره من بين جميع مفردات الكلمات. [ 30 ] [ 45 ]

متعدد الوسائط

استُخدم التعلّم الذاتي أيضًا لتطوير تمثيلات مشتركة لأنواع بيانات متعددة. [ 9 ] تعتمد هذه الأساليب عادةً على ارتباط طبيعي أو مُستمد من الإنسان بين الوسائط كعلامة ضمنية، على سبيل المثال مقاطع فيديو لحيوانات أو أشياء ذات أصوات مميزة، [ 46 ] أو تعليقات مكتوبة لوصف الصور. [ 47 ] يُنتج CLIP فضاء تمثيل مشترك للصور والنصوص من خلال التدريب على مواءمة ترميزات الصور والنصوص من مجموعة بيانات كبيرة من أزواج الصور والتعليقات باستخدام خسارة تباينية. [ 47 ] يُدرّب MERLOT Reserve مُشفّرًا قائمًا على المُحوّل لتمثيل الصوت والترجمة وإطارات الفيديو بشكل مشترك من مجموعة بيانات كبيرة من مقاطع الفيديو من خلال 3 مهام تدريب مُسبق مشتركة: التنبؤ المُقنّع التبايني إما لمقاطع الصوت أو النص بالنظر إلى إطارات الفيديو وسياق الصوت والنص المُحيط، إلى جانب المواءمة التباينية لإطارات الفيديو مع تعليقاتها المُقابلة. [ 46 ]

لا تستطيع نماذج التمثيل متعددة الوسائط عادةً افتراض تطابق مباشر بين التمثيلات في الوسائط المختلفة، نظرًا لأن المحاذاة الدقيقة غالبًا ما تكون مشوشة أو غامضة. على سبيل المثال، يمكن إقران النص "كلب" بالعديد من صور الكلاب المختلفة، وبالتالي يمكن إضافة تعليقات توضيحية متفاوتة الدقة على صورة الكلب. هذا القيد يعني أن المهام اللاحقة قد تتطلب شبكة ربط توليدية إضافية بين الوسائط لتحقيق الأداء الأمثل، كما هو الحال في DALLE-2 لتوليد الصور من النصوص. [ 48 ]

التعلم الديناميكي للتمثيل

تُنتج أساليب تعلم التمثيل الديناميكي [ 49 ] [ 50 ] تمثيلات كامنة للأنظمة الديناميكية، مثل الشبكات الديناميكية. ونظرًا لأن دوال المسافة المحددة ثابتة تحت تحويلات خطية معينة، فإن مجموعات مختلفة من متجهات التمثيل قد تُمثل في الواقع نفس المعلومات أو معلومات متشابهة. لذلك، بالنسبة لنظام ديناميكي، يُمكن تفسير الاختلاف الزمني في تمثيلاته بعدم توافق التمثيلات نتيجةً لتحويلات عشوائية و/أو تغييرات فعلية في النظام. [ 51 ] لذا، وبشكل عام، ينبغي فحص التمثيلات الزمنية المُتعلمة عبر أساليب تعلم التمثيل الديناميكي بحثًا عن أي تغييرات زائفة، ومواءمتها قبل إجراء التحليلات الديناميكية اللاحقة.

انظر أيضاً

مراجع

  1. ↑ غودفيلو، إيان (2016). التعلم العميق . يوشوا بنجيو، آرون كوفيل. كامبريدج، ماساتشوستس. الصفحات 524-534. ISBN 0-262-03561-8. OCLC 955778308 . 
  2. ↑ ي. بينجيو؛ أ. كورفيل؛ ب. فنسنت (2013). "تعلم التمثيل: مراجعة ووجهات نظر جديدة". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 35 (8): 1798-1828 . arXiv : 1206.5538 . Bibcode : 2013ITPAM..35.1798B . doi : 10.1109/tpami.2013.50 . PMID: 23787338. S2CID : 393948 .  
  3. ↑ ستيوارت ج. راسل، بيتر نورفيج (2010) الذكاء الاصطناعي: منهج حديث ، الطبعة الثالثة ، برنتيس هول، رقم ISBN 978-0-13-604259-4.
  4. ↑ هينتون، جيفري؛ سيجنوفسكي، تيرينس (1999). التعلم غير الخاضع للإشراف: أسس الحوسبة العصبية . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-58168-4.
  5. ^ ناثان سريبرو. جايسون دي إم ريني؛ تومي س. جاكولا (2004). تحليل مصفوفة الحد الأقصى للهامش . خطط التنفيذ الوطنية .
  6. 1 2 3 4 كوتس، آدم؛ لي، هونغلاك؛ نغ، أندرو واي. (2011). تحليل الشبكات أحادية الطبقة في تعلم الميزات غير الخاضع للإشراف (ملف PDF) . المؤتمر الدولي للذكاء الاصطناعي والإحصاء (AISTATS). مؤرشف من الأصل (ملف PDF) بتاريخ 13 أغسطس 2017. تم الاطلاع عليه بتاريخ 24 نوفمبر 2014 .
  7. ↑ تشوركا، غابرييلا؛ دانس، كريستوفر سي؛ فان، ليكسين؛ ويلاموفسكي، جوتا؛ براي، سيدريك (2004). التصنيف المرئي باستخدام مجموعات النقاط الرئيسية (ملف PDF) . ورشة عمل ECCV حول التعلم الإحصائي في رؤية الحاسوب.
  8. ↑ دانيال جورافسكي ؛ جيمس هـ. مارتن (2009). معالجة الكلام واللغة . بيرسون إديوكيشن إنترناشونال. ص 145-146 . 
  9. 1 2 3 4 5 6 7 8 9 10 11 إريكسون، لينوس؛ جوك، هنري؛ لوي، تشين تشانغ؛ هوسبيداليس، تيموثي م. (مايو 2022). "التعلم الذاتي للتمثيل: مقدمة، وتطورات، وتحديات". مجلة معالجة الإشارات IEEE . 39 (3): 42-62 . arXiv : 2110.09327 . Bibcode : 2022ISPM...39c..42E . doi : 10.1109/MSP.2021.3134634 . ISSN 1558-0792 . S2CID 239017006 .  
  10. 1 2 ميكولوف، توماس؛ سوتسكيفر، إيليا؛ تشين، كاي؛ كورادو، جريج إس؛ دين، جيف (2013). "التمثيلات الموزعة للكلمات والعبارات وتكوينها" . التقدم في أنظمة معالجة المعلومات العصبية . 26. كوران أسوشيتس، إنك. arXiv : 1310.4546 .
  11. 1 2 3 غودفيلو، إيان (2016). التعلم العميق . يوشوا بنجيو، آرون كوفيل. كامبريدج، ماساتشوستس. الصفحات 499-516. ISBN 0-262-03561-8. OCLC 955778308 . 
  12. ↑ مايرال، جوليان؛ باخ، فرانسيس؛ بونس، جان؛ سابيرو، غييرمو؛ زيسرمان، أندرو (2009). "التعلم الخاضع للإشراف للقواميس". التطورات في أنظمة معالجة المعلومات العصبية .
  13. ↑ بيرسي ليانغ (2005). التعلم شبه الموجه للغة الطبيعية (ملف PDF) (ماجستير في الهندسة). معهد ماساتشوستس للتكنولوجيا . الصفحات 44-52 . 
  14. 1 2 جوزيف توريان؛ ليف راتينوف؛ يوشوا بنجيو (2010). تمثيلات الكلمات: طريقة بسيطة وعامة للتعلم شبه الموجه (ملف PDF) . وقائع الاجتماع السنوي الثامن والأربعين لجمعية اللغويات الحاسوبية. مؤرشف من الأصل (ملف PDF) بتاريخ 26 فبراير 2014. تم الاطلاع عليه بتاريخ 22 فبراير 2014 .
  15. ↑ شوينكر، فريدهيلم؛ كيستلر، هانز أ.؛ بالم، غونتر (2001). "ثلاث مراحل تعلم لشبكات الدوال الأساسية الشعاعية" . الشبكات العصبية . 14 ( 4-5 ): 439-458 . CiteSeerX 10.1.1.109.312 . doi : 10.1016/s0893-6080(01)00027-2 . PMID 11411631 .  
  16. ↑ كوتس، آدم؛ نغ، أندرو ي. (2012). "تعلم تمثيلات الميزات باستخدام خوارزمية k-means". في: جي. مونتافون، جي بي أور، وكيه-آر مولر (محررون). الشبكات العصبية: حيل المهنة . سبرينغر.
  17. ↑ ديكانغ لين؛ شياويون وو (2009). تجميع العبارات للتعلم التمييزي (ملف PDF) . وقائع مؤتمر ACL والمؤتمر الدولي الرابع لمعالجة اللغة الطبيعية التابع لـ AFNLP. الصفحات 1030-1038 . مؤرشف من الأصل (ملف PDF) بتاريخ 3 مارس 2016. تم الاطلاع عليه بتاريخ 14 يوليو 2013 . 
  18. ↑ رويس، سام ت؛ سول، لورانس ك (2000). "تقليل الأبعاد غير الخطي عن طريق التضمين الخطي المحلي". مجلة ساينس . سلسلة جديدة. 290 (5500): 2323-2326 . رمز Bibcode : 2000Sci...290.2323R . doi : 10.1126/science.290.5500.2323 . JSTOR 3081722. PMID 11125150. S2CID 5987139 .   
  19. 1 2 سول، لورانس ك؛ رويس، سام ت (2000). "مقدمة في التضمين الخطي المحلي" (PDF) .
  20. ^ هيفارينين، آبو؛ أوجا، إركي (2000). "تحليل المكونات المستقلة: الخوارزميات والتطبيقات" . الشبكات العصبية . 13 (4): 411-430 . دوى : 10.1016/s0893-6080(00)00026-5 . بميد 10946390 . S2CID 11959218 .  
  21. ↑ لي، هونغلاك؛ باتل، أليكسيس؛ راينا، راجات؛ نغ، أندرو واي (2007). "خوارزميات الترميز المتفرق الفعالة". التقدم في أنظمة معالجة المعلومات العصبية .
  22. ↑ أهارون، ميخال ؛ إيلاد، مايكل؛ بروكشتاين، ألفريد (2006). "K-SVD: خوارزمية لتصميم قواميس مكتملة للتمثيل المتفرق" (ملف PDF) . مجلة IEEE لمعالجة الإشارات . 54 (11): 4311-4322 . رمز Bibcode : 2006ITSP...54.4311A . doi : 10.1109/TSP.2006.881199 . S2CID 7477309. مؤرشف من النسخة الأصلية (PDF) بتاريخ 25-06-2016 . تم الاطلاع عليه بتاريخ 12-01-2016 . 
  23. ↑ بينجيو، يوشوا (2009). "تعلم البنى العميقة للذكاء الاصطناعي". أسس واتجاهات في تعلم الآلة . 2 (1): 1-127 . doi : 10.1561/2200000006 . S2CID 207178999 . 
  24. 1 2 3 هينتون، جي إي؛ سالاخوتدينوف، آر آر (2006). "تقليل أبعاد البيانات باستخدام الشبكات العصبية" (ملف PDF) . مجلة ساينس . 313 (5786): 504-507 . رمز Bibcode : 2006Sci...313..504H . doi : 10.1126/science.1127647 . PMID 16873662. S2CID 1658773. مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 23 ديسمبر 2015. تاريخ الاسترجاع: 29 أغسطس 2015 .  
  25. ↑ لي، هونغلاك؛ إيكانادهام، تشايتانيا؛ أندرو، نغ (2008). "نموذج شبكة الاعتقاد العميق المتفرق للمنطقة البصرية V2". التقدم في أنظمة معالجة المعلومات العصبية .
  26. ↑ فرنانديز دي كوسيو دياز، خورخي؛ كوكو، سيمونا؛ موناسون، ريمي (2023-04-05). "فك تشابك التمثيلات في آلات بولتزمان المقيدة بدون خصوم" . مجلة Physical Review X. 13 ( 2) 021003. arXiv : 2206.11600 . Bibcode : 2023PhRvX..13b1003F . doi : 10.1103/PhysRevX.13.021003 .
  27. 1 2 3 ليو، شياو؛ تشانغ، فانجين؛ هو، زينيو؛ ميان، لي؛ وانغ، تشاويو؛ تشانغ، جينغ. تانغ، جي (2021). “التعلم الخاضع للإشراف الذاتي: توليدي أو مقارن”. معاملات IEEE على المعرفة وهندسة البيانات . 35 (1): 857– 876. أرخايف : 2006.08218 . دوى : 10.1109/TKDE.2021.3090866 . ردمك 1558-2191 . S2CID 219687051 .  
  28. 1 2 ميكولوف، توماس؛ تشين، كاي؛ كورادو، جريج؛ دين، جيفري (2013-09-06). "التقدير الفعال لتمثيلات الكلمات في الفضاء المتجهي". arXiv : 1301.3781 [ cs.CL ].
  29. ↑ "تحسين فهم اللغة من خلال التدريب المسبق التوليدي" (ملف PDF). تم الاطلاع عليه بتاريخ 10 أكتوبر 2022.
  30. 1 2 ديفلين، جاكوب؛ تشانغ، مينغ-وي؛ لي، كينتون؛ توتانوفا، كريستينا (يونيو 2019). "وقائع مؤتمر الشمال لعام 2019" . وقائع مؤتمر فرع أمريكا الشمالية لعام 2019 لجمعية اللغويات الحاسوبية: تقنيات اللغة البشرية، المجلد 1 (أوراق بحثية طويلة وقصيرة) . مينيابوليس، مينيسوتا: جمعية اللغويات الحاسوبية: 4171-4186 . doi : 10.18653/v1/N19-1423 . S2CID 52967399 . 
  31. ↑ لي، كوك؛ ميكولوف، توماس (18-06-2014). "التمثيلات الموزعة للجمل والوثائق" . المؤتمر الدولي للتعلم الآلي . PMLR: 1188–1196 . arXiv : 1405.4053 .
  32. ↑ سبيروس جيداريس، برافير سينغ، ونيكوس كوموداكيس. تعلم التمثيل غير الخاضع للإشراف من خلال التنبؤ بدوران الصور. في المؤتمر الدولي لتعلم التمثيل (ICLR)، 2018.
  33. باثاك ، ديباك؛ كراهنبول، فيليب؛ دوناهو، جيف؛ داريل، تريفور؛ إفروس، أليكسي أ. (2016). "مشفرات السياق: تعلم الميزات عن طريق الترميم" . وقائع مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط (CVPR)، 2016. الصفحات 2536-2544 . arXiv : 1604.07379 . 
  34. 1 2 تشين، تينغ؛ كورنبلث، سيمون؛ نوروزي، محمد؛ هينتون، جيفري (21-11-2020). "إطار عمل بسيط للتعلم التبايني للتمثيلات البصرية" . المؤتمر الدولي للتعلم الآلي . PMLR: 1597-1607 .
  35. ↑ ماتيلد، كارون؛ إيشان، ميسرا؛ جوليان، مايرال؛ بريا، غويال؛ بيوتر، بوجانوفسكي؛ أرماند، جولين (2020). " التعلم غير الخاضع للإشراف للميزات البصرية من خلال تباين تعيينات المجموعات" . التقدم في أنظمة معالجة المعلومات العصبية . 33. arXiv : 2006.09882 .
  36. ↑ تشين، مارك؛ رادفورد، أليك؛ تشايلد، ريوون؛ وو، جيفري؛ جون، هيوو؛ لوان، ديفيد؛ سوتسكيفر، إيليا (21-11-2020). "التدريب المسبق التوليدي من البكسلات" . المؤتمر الدولي للتعلم الآلي . PMLR: 1691-1703 .
  37. ↑ تشين، شينلي؛ هي، كايمينغ (2021). "استكشاف تعلم تمثيل سيامي بسيط" . وقائع مؤتمر IEEE/CVF حول رؤية الحاسوب والتعرف على الأنماط (CVPR)، 2021. الصفحات 15750-15758 . arXiv : 2011.10566 . 
  38. ↑ جان باستيان، جريل؛ فلوريان، ستروب؛ فلورنت، ألتشي؛ كورنتين، تاليك؛ بيير، ريشموند؛ إيلينا، بوتشاتسكايا؛ كارل، دورش؛ برناردو، أفيلا بيريس؛ تشاوهان، غو؛ محمد، غيشلاغي آزار؛ بلال، بيوت؛ كوراي، كافوكوغلو؛ ريمي، مونوس؛ ميخال، فالكو (2020). "بناء ذاكرتك الكامنة - نهج جديد للتعلم الذاتي" . التطورات في أنظمة معالجة المعلومات العصبية . 33 .
  39. ↑ كاي، هونغ يون؛ تشنغ، فينسنت و.؛ تشانغ، كيفن تشن-تشوان (سبتمبر 2018). "دراسة شاملة لتضمين الرسوم البيانية: المشكلات والتقنيات والتطبيقات". معاملات IEEE في هندسة المعرفة والبيانات . 30 (9): 1616-1637 . arXiv : 1709.07604 . Bibcode : 2018ITKDE..30.1616C . doi : 10.1109/TKDE.2018.2807452 . ISSN 1558-2191 . S2CID 13999578 .  
  40. ↑ جروفر، أديتيا؛ ليسكوفيك، يوري (13 أغسطس 2016). "Node2vec" . وقائع المؤتمر الدولي الثاني والعشرين لجمعية ACM SIGKDD حول اكتشاف المعرفة واستخراج البيانات . KDD '16. المجلد 2016. نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 855-864 . doi : 10.1145/2939672.2939754 . ISBN   978-1-4503-4232-2. PMC 5108654 . PMID 27853626 .  
  41. ↑ فيليكوفي، ب.، فيدوس، و.، هاميلتون، و.ل.، لي، ب.، بينجيو، ي.، وهيلم، ر.د. معلومات الرسم البياني العميق. في المؤتمر الدولي حول تمثيلات التعلم (ICLR'2019)، 2019.
  42. ↑ لو، ديتشاو؛ ليو، تشانغ؛ تشو، يو؛ يانغ، دونغباو؛ ما، كان؛ يي، تشيشيانغ؛ وانغ، ويبينغ (2020-04-03). "إجراء ملء الفراغات بالفيديو للتعلم المكاني الزمني ذاتي الإشراف" . وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 34 (7): 11701-11708 . arXiv : 2001.00294 . doi : 10.1609/aaai.v34i07.6840 . ISSN 2374-3468 . S2CID 209531629 .  
  43. ↑ همام، الواصل؛ دروف، ماهاجان؛ برونو، كوربار؛ لورينزو، توريساني؛ برنارد، غانم؛ دو، تران (2020). " التعلم الذاتي الموجه من خلال تجميع الصوت والفيديو متعدد الوسائط" . التقدم في أنظمة معالجة المعلومات العصبية . 33. arXiv : 1911.12667 .
  44. ↑ شو، ديجينغ؛ شياو، جون؛ تشاو، تشو؛ شاو، جيان؛ شي، دي؛ تشوانغ، يويتينغ (يونيو 2019). "التعلم المكاني الزمني ذاتي الإشراف عبر التنبؤ بترتيب مقاطع الفيديو". مؤتمر IEEE/CVF لعام 2019 حول رؤية الحاسوب والتعرف على الأنماط (CVPR) . الصفحات 10326-10335 . doi : 10.1109/CVPR.2019.01058 . ISBN  978-1-7281-3293-8. S2CID 195504152 . 
  45. 1 2 أليكسي، بايفسكي؛ يوهاو ، تشو؛ عبد الرحمن، محمد؛ مايكل، أولي (2020). "wav2vec 2.0: إطار عمل للتعلم الذاتي لتمثيلات الكلام" . التقدم في أنظمة معالجة المعلومات العصبية . 33. arXiv : 2006.11477 .
  46. زيلرز ، روان؛ لو، جياسن؛ لو، شيمينغ؛ يو، يونغجاي؛ تشاو، يانبنغ؛ صالحي، محمد رضا؛ كوسوباتي، أديتيا؛ هيسل، جاك؛ فرهادي، علي؛ تشوي، ييجين (2022). " MERLOT Reserve: معرفة الكتابة العصبية من خلال الرؤية واللغة والصوت" . وقائع مؤتمر IEEE/CVF حول رؤية الحاسوب والتعرف على الأنماط (CVPR)، 2022. الصفحات 16375-16387 . arXiv : 2201.02639 . 
  47. 1 2 رادفورد، أليك؛ كيم، جونغ ووك؛ هالاسي، كريس؛ راميش، أديتيا؛ جوه، غابرييل؛ أغاروال، سانديني؛ ساستري، جيريش؛ أسكيل، أماندا؛ ميشكين، باميلا؛ كلارك، جاك؛ كروجر، غريتشن؛ سوتسكيفر، إيليا (2021-07-01). "تعلم نماذج بصرية قابلة للنقل من خلال الإشراف على اللغة الطبيعية" . المؤتمر الدولي للتعلم الآلي . PMLR: 8748–8763 . arXiv : 2103.00020 .
  48. ↑ راميش، أديتيا؛ داريوال، برافولا؛ نيكول، أليكس؛ تشو، كيسي؛ تشين، مارك (2022-04-12). "توليد الصور الهرمي المشروط بالنص باستخدام CLIP Latents". arXiv : 2204.06125 [ cs.CV ].
  49. ^ تشانغ، داوكون؛ يين، جي؛ تشو، شينغكوان؛ تشانغ ، تشينغكي (مارس 2020). “تعلم تمثيل الشبكة: مسح”. معاملات IEEE على البيانات الضخمة . 6 (1): 3– 28. أرخايف : 1801.05852 . دوى : 10.1109/TBDATA.2018.2850013 . ردمك 2332-7790 . S2CID 1479507 .  
  50. ↑ أتزبيرجر، بول؛ لوبيز، رايان (2021). "المشفرات التلقائية المتغيرة لتعلم الديناميكيات غير الخطية للأنظمة الفيزيائية". arXiv : 2012.03448 [ cs.LG ].
  51. ↑ غورسوي، فوركان؛ حداد، منير؛ بوثوريل، سيسيل (2023-10-07). "محاذاة واستقرار التضمينات: تحسين القياس والاستدلال" . الحوسبة العصبية . 553 126517. arXiv : 2101.07251 . doi : 10.1016/j.neucom.2023.126517 . ISSN 0925-2312 . S2CID 231632462 .