تحسين المعلمات الفائقة

📅 آخر تحديث: ٢٠ يوليو ٢٠٢٦
✍️ نُشر في: ٢٠ يوليو ٢٠٢٦
📷 يحتوي على 6 صور
الموسوعة الحرة

في مجال التعلم الآلي ، تُعرف عملية تحسين المعلمات الفائقة [ 1 ] أو ضبطها بأنها اختيار مجموعة من المعلمات الفائقة المثلى لخوارزمية التعلم. المعلمة الفائقة هي مُعامل تُستخدم قيمته للتحكم في عملية التعلم، ويجب ضبطها قبل بدء العملية. [ 2 ] [ 3 ]

تُحدد عملية تحسين المعلمات الفائقة مجموعة المعلمات الفائقة التي تُنتج نموذجًا مثاليًا يُقلل دالة الخسارة المُحددة مسبقًا على مجموعة بيانات مُعينة . [ 4 ] تأخذ دالة الهدف مجموعة من المعلمات الفائقة وتُعيد الخسارة المرتبطة بها. [ 4 ] غالبًا ما يُستخدم التحقق المتبادل لتقدير أداء التعميم هذا، وبالتالي اختيار مجموعة قيم المعلمات الفائقة التي تُعظمه. [ 5 ]

الأساليب

بحث شبكي عبر قيم مختلفة لمعاملين فائقين. لكل معامل فائق، تُؤخذ 10 قيم مختلفة في الاعتبار، ما يعني تقييم ومقارنة 100 تركيبة مختلفة. تشير الخطوط الزرقاء إلى المناطق ذات النتائج القوية، بينما تشير الخطوط الحمراء إلى المناطق ذات النتائج الضعيفة.

الطريقة التقليدية لتحسين المعلمات الفائقة هي البحث الشبكي ، أو مسح المعلمات ، وهو ببساطة بحث شامل في مجموعة فرعية محددة يدويًا من فضاء المعلمات الفائقة لخوارزمية التعلم. يجب أن تسترشد خوارزمية البحث الشبكي بمقياس أداء، يُقاس عادةً بالتحقق المتبادل على مجموعة التدريب [ 6 ] أو التقييم على مجموعة تحقق منفصلة.

بما أن فضاء معلمات متعلم الآلة قد يشمل فضاءات قيم حقيقية أو غير محدودة لبعض المعلمات، فقد يكون من الضروري تحديد الحدود يدويًا وإجراء التقطيع قبل تطبيق البحث الشبكي. على سبيل المثال، يحتوي مصنف SVM ذو الهامش المرن النموذجي، والمجهز بنواة RBF، على معلمتين فائقتين على الأقل تحتاجان إلى ضبط لتحقيق أداء جيد على البيانات غير المرئية: ثابت التنظيم C ومعلمة النواة الفائقة γ. كلا المعلمتين متصلتان، لذا لإجراء البحث الشبكي، يتم اختيار مجموعة محدودة من القيم "المعقولة" لكل منهما، على سبيل المثال

ج∈{10،100،1000}{\displaystyle C\in \{10,100,1000\}}
γ∈{0.1،0.2،0.5،1.0}{\displaystyle \gamma \in \{0.1,0.2,0.5,1.0\}}

ثم يقوم البحث الشبكي بتدريب آلة المتجهات الداعمة (SVM) باستخدام كل زوج ( C ، γ) في حاصل الضرب الديكارتي لهاتين المجموعتين، ويقيّم أداءها على مجموعة تحقق منفصلة (أو عن طريق التحقق المتبادل الداخلي على مجموعة التدريب، وفي هذه الحالة يتم تدريب عدة آلات متجهات داعمة لكل زوج). وأخيرًا، تُخرج خوارزمية البحث الشبكي الإعدادات التي حققت أعلى درجة في عملية التحقق.

يعاني البحث الشبكي من مشكلة الأبعاد ، ولكنه غالباً ما يكون متوازٍ بشكل محرج لأن إعدادات المعلمات الفائقة التي يقيمها عادة ما تكون مستقلة عن بعضها البعض. [ 5 ]

بحث عشوائي عبر توليفات مختلفة من القيم لمعلمتين فائقتين. في هذا المثال، تم تقييم 100 خيار عشوائي مختلف. تشير الأشرطة الخضراء إلى أنه تم النظر في عدد أكبر من القيم الفردية لكل معلمة فائقة مقارنةً بالبحث الشبكي.

يستبدل البحث العشوائي عملية الحصر الشامل لجميع التوليفات باختيارها عشوائيًا. يمكن تطبيق هذا بسهولة على الحالة المنفصلة المذكورة أعلاه، ولكنه قابل للتعميم أيضًا على الفضاءات المتصلة والمختلطة. من مزايا البحث العشوائي على البحث الشبكي قدرته على استكشاف قيم أكثر بكثير من البحث الشبكي بالنسبة للمعاملات الفائقة المتصلة. وقد يتفوق عليه، خاصةً عندما يؤثر عدد قليل من المعاملات الفائقة على الأداء النهائي لخوارزمية التعلم الآلي. [ 5 ] في هذه الحالة، يُقال إن مسألة التحسين ذات بُعد جوهري منخفض. [ 7 ] يتميز البحث العشوائي أيضًا بقدرته الفائقة على المعالجة المتوازية ، كما يسمح بتضمين المعرفة المسبقة من خلال تحديد التوزيع الذي يتم أخذ العينات منه. على الرغم من بساطته، يظل البحث العشوائي أحد أهم المعايير الأساسية التي تُقارن بها أداء طرق تحسين المعاملات الفائقة الجديدة.

تستكشف طرق مثل التحسين البايزي بذكاء مساحة الخيارات المحتملة للمعلمات الفائقة من خلال تحديد التركيبة التي سيتم استكشافها لاحقًا بناءً على الملاحظات السابقة.

التحسين البايزي

التحسين البايزي هو أسلوب تحسين شامل للدوال ذات الصندوق الأسود التي تتسم بالضوضاء. عند تطبيقه على تحسين المعلمات الفائقة، يبني التحسين البايزي نموذجًا احتماليًا للدالة يربط قيم المعلمات الفائقة بالهدف، وذلك بتقييمه على مجموعة بيانات التحقق. من خلال التقييم التكراري لتكوين معلمات فائقة واعدة بناءً على النموذج الحالي، ثم تحديثه، يهدف التحسين البايزي إلى جمع ملاحظات تكشف أكبر قدر ممكن من المعلومات حول هذه الدالة، وخاصةً موقع القيمة المثلى. يسعى التحسين البايزي إلى تحقيق التوازن بين الاستكشاف (المعلمات الفائقة التي تكون نتائجها غير مؤكدة) والاستغلال (المعلمات الفائقة المتوقع أن تكون قريبة من القيمة المثلى). عمليًا، أظهرت الدراسات [ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] أن التحسين البايزي يحقق نتائج أفضل بعدد أقل من التقييمات مقارنةً بالبحث الشبكي والبحث العشوائي، وذلك بفضل قدرته على تقييم جودة التجارب قبل إجرائها.

التحسين القائم على التدرج

بالنسبة لخوارزميات التعلم المحددة، يُمكن حساب التدرج بالنسبة للمعاملات الفائقة، ثم تحسين هذه المعاملات باستخدام خوارزمية التدرج الهبوطي . ركز الاستخدام الأول لهذه التقنيات على الشبكات العصبية. [ 13 ] ومنذ ذلك الحين، تم توسيع نطاق هذه الأساليب لتشمل نماذج أخرى مثل آلات المتجهات الداعمة [ 14 ] أو الانحدار اللوجستي. [ 15 ]

يتمثل أحد الأساليب المختلفة للحصول على التدرج بالنسبة للمعاملات الفائقة في تفاضل خطوات خوارزمية التحسين التكرارية باستخدام التفاضل التلقائي . [ 16 ] [ 17 ] [ 18 ] [ 19 ] ويستخدم عملٌ أحدث في هذا الاتجاه نظرية الدالة الضمنية لحساب التدرجات الفائقة، ويقترح تقريبًا مستقرًا لمصفوفة هيسيان العكسية. ويمكن توسيع نطاق هذه الطريقة لتشمل ملايين المعاملات الفائقة، وتتطلب ذاكرة ثابتة. [ 20 ]

في نهج مختلف، [ 21 ] يتم تدريب شبكة فائقة لتقريب دالة الاستجابة المثلى. إحدى مزايا هذه الطريقة هي قدرتها على التعامل مع المعلمات الفائقة المنفصلة. توفر الشبكات ذاتية الضبط [ 22 ] نسخةً فعالة من حيث الذاكرة لهذا النهج من خلال اختيار تمثيل مضغوط للشبكة الفائقة. ومؤخرًا، حسّنت شبكة Δ-STN [ 23 ] هذه الطريقة بشكل أكبر من خلال إعادة ضبط طفيفة لمعلمات الشبكة الفائقة، مما يُسرّع عملية التدريب. كما تُحقق Δ-STN تقريبًا أفضل لمصفوفة جاكوبي للاستجابة المثلى عن طريق خطية الشبكة في الأوزان، وبالتالي إزالة التأثيرات غير الخطية غير الضرورية للتغيرات الكبيرة في الأوزان.

إلى جانب أساليب الشبكات الفائقة، يمكن استخدام الطرق القائمة على التدرج لتحسين المعلمات الفائقة المنفصلة أيضًا من خلال اعتماد استرخاء مستمر للمعلمات. [ 24 ] وقد استُخدمت هذه الطرق على نطاق واسع لتحسين المعلمات الفائقة للبنية في البحث عن بنية الشبكات العصبية .

التحسين التطوري

التحسين التطوري هو منهجية لتحسين الأداء الشامل للدوال المعقدة ذات الصندوق الأسود. في تحسين المعلمات الفائقة، يستخدم التحسين التطوري خوارزميات تطورية للبحث في فضاء المعلمات الفائقة لخوارزمية معينة. [ 9 ] يتبع تحسين المعلمات الفائقة التطوري عملية مستوحاة من المفهوم البيولوجي للتطور .

  1. قم بإنشاء مجموعة أولية من الحلول العشوائية (أي قم بتوليد مجموعات من المعلمات الفائقة بشكل عشوائي، عادةً ما تكون 100+).
  2. قم بتقييم مجموعات المعلمات الفائقة واحصل على دالة اللياقة الخاصة بها (على سبيل المثال، دقة التحقق المتقاطع 10 أضعاف لخوارزمية التعلم الآلي مع تلك المعلمات الفائقة).
  3. رتب مجموعات المعلمات الفائقة حسب لياقتها النسبية
  4. استبدل مجموعات المعلمات الفائقة ذات الأداء الأسوأ بمجموعات جديدة تم إنشاؤها عبر التزاوج والطفرة
  5. كرر الخطوات من 2 إلى 4 حتى يتم الوصول إلى أداء خوارزمي مرضٍ أو حتى يتوقف التحسن.

استُخدم التحسين التطوري في تحسين المعلمات الفائقة لخوارزميات التعلم الآلي الإحصائي، [ 9 ] والتعلم الآلي الآلي ، والشبكات العصبية التقليدية [ 25 ] والبحث عن بنية الشبكات العصبية العميقة ، [ 26 ] [ 27 ] بالإضافة إلى تدريب الأوزان في الشبكات العصبية العميقة. [ 28 ]

قائم على السكان

يتعلم التدريب القائم على السكان (PBT) قيم المعلمات الفائقة وأوزان الشبكة. تعمل عمليات تعلم متعددة بشكل مستقل، باستخدام معلمات فائقة مختلفة. وكما هو الحال في الأساليب التطورية، تُستبدل النماذج ذات الأداء الضعيف بشكل متكرر بنماذج أخرى تعتمد قيمًا وأوزانًا مُعدلة للمعلمات الفائقة بناءً على النماذج ذات الأداء الأفضل. يُعد هذا البدء المُهيأ للنموذج البديل هو العامل الرئيسي الذي يُميز PBT عن الأساليب التطورية الأخرى. وبالتالي، يسمح PBT للمعلمات الفائقة بالتطور ويُغني عن الحاجة إلى الضبط اليدوي. لا تفترض هذه العملية أي شيء بخصوص بنية النموذج أو دوال الخسارة أو إجراءات التدريب.

تُعدّ خوارزمية PBT ومشتقاتها من الأساليب التكيفية، إذ تُحدّث المعلمات الفائقة أثناء تدريب النماذج. في المقابل، تعتمد الأساليب غير التكيفية استراتيجية غير مثالية تتمثل في تعيين مجموعة ثابتة من المعلمات الفائقة طوال فترة التدريب. [ 29 ]

يعتمد على التوقف المبكر

تطبيق التقسيم المتتالي للنصف لثمانية تكوينات عشوائية للمعلمات الفائقة. يبدأ هذا النهج بثمانية نماذج ذات تكوينات مختلفة، ثم يطبق التقسيم المتتالي للنصف حتى يتبقى نموذج واحد فقط.

صُممت فئة من خوارزميات تحسين المعلمات الفائقة القائمة على التوقف المبكر خصيصًا لمساحات البحث الكبيرة للمعلمات الفائقة المتصلة والمتقطعة، لا سيما عندما تكون التكلفة الحسابية لتقييم أداء مجموعة من المعلمات الفائقة مرتفعة. تُنفذ Irace خوارزمية السباق التكراري، التي تُركز البحث حول التكوينات الواعدة، باستخدام اختبارات إحصائية لاستبعاد التكوينات ذات الأداء الضعيف. [ 30 ] [ 31 ] خوارزمية أخرى لتحسين المعلمات الفائقة تعتمد على التوقف المبكر هي التنصيف المتتالي (SHA)، [ 32 ] والتي تبدأ كبحث عشوائي ولكنها تُقلص دوريًا النماذج ذات الأداء الضعيف، وبالتالي تُركز الموارد الحسابية على النماذج الواعدة. يُحسّن التنصيف المتتالي غير المتزامن (ASHA) [ 33 ] من ملف تعريف استخدام الموارد لخوارزمية SHA عن طريق إزالة الحاجة إلى التقييم المتزامن للنماذج ذات الأداء الضعيف واستبعادها. Hyperband [ 34 ] عبارة عن خوارزمية إيقاف مبكر عالية المستوى تستدعي SHA أو ASHA عدة مرات بمستويات متفاوتة من عدوانية التقليم، وذلك لتكون قابلة للتطبيق على نطاق أوسع وبمدخلات أقل مطلوبة.

آحرون

كما تم تطوير أساليب RBF [ 35 ] والأساليب الطيفية [ 36 ] .

مشاكل في تحسين المعلمات الفائقة

عند إجراء تحسين المعلمات الفائقة، غالبًا ما تُطبَّق مجموعة المعلمات الفائقة على مجموعة تدريب، ويتم اختيارها بناءً على أداء التعميم، أو النتيجة، لمجموعة التحقق. مع ذلك، فإن هذه الطريقة مُعرَّضة لخطر المبالغة في ملاءمة المعلمات الفائقة لمجموعة التحقق. لذا، لا يُمكن استخدام نتيجة أداء التعميم لمجموعة التحقق (والتي قد تكون عدة مجموعات في حالة إجراء التحقق المتقاطع) لتقدير أداء التعميم للنموذج النهائي في آنٍ واحد. وللقيام بذلك، يجب تقييم أداء التعميم على مجموعة مستقلة (لا تتقاطع مع) المجموعة (أو المجموعات) المستخدمة لتحسين المعلمات الفائقة، وإلا فقد يُعطي الأداء قيمة مُفرطة في التفاؤل (كبيرة جدًا). ​​يُمكن القيام بذلك على مجموعة اختبار ثانية، أو من خلال إجراء تحقق متقاطع خارجي يُسمى التحقق المتقاطع المتداخل، والذي يسمح بتقدير غير متحيز لأداء التعميم للنموذج، مع مراعاة التحيز الناتج عن تحسين المعلمات الفائقة.

انظر أيضاً

مراجع

  1. ↑ ماتياس فوير وفرانك هوتر. تحسين المعلمات الفائقة . في: AutoML: الأساليب والأنظمة والتحديات ، الصفحات 3-38.
  2. ↑ يانغ، لي (2020). "حول تحسين المعلمات الفائقة لخوارزميات التعلم الآلي: النظرية والتطبيق". الحوسبة العصبية . 415 : 295-316 . arXiv : 2007.15745 . doi : 10.1016/j.neucom.2020.07.061 .
  3. ^ Franceschi L، Donini M، Perrone V، Klein A، Archambeau C، Seeger M، Pontil M، Frasconi P (2024). “تحسين المعلمات الفائقة في التعلم الآلي”. أرخايف : 2410.22854 [ stat.ML ].
  4. 1 2 كلايسن، مارك؛ بارت دي مور (2015). “بحث المعلمات الفائقة في التعلم الآلي”. أرخايف : 1502.02127 [ cs.LG ].
  5. 1 2 3 بيرغسترا، جيمس؛ بينجيو، يوشوا (2012). "البحث العشوائي لتحسين المعلمات الفائقة" (ملف PDF) . مجلة أبحاث تعلم الآلة . 13 : 281-305 .
  6. ↑ تشين-وي هسو، تشيه-تشونغ تشانغ، وتشيه-جين لين (2010). دليل عملي لتصنيف متجه الدعم . تقرير فني، جامعة تايوان الوطنية .
  7. ↑ زيو، وانغ؛ فرانك، هوتر؛ مسرور، زوغي؛ ديفيد، ماثيسون؛ ناندو، دي فيتاس (2016). "التحسين البايزي في مليار بُعد عبر التضمينات العشوائية" . مجلة أبحاث الذكاء الاصطناعي . 55 : 361-387 . arXiv : 1301.1942 . doi : 10.1613/jair.4806 . S2CID 279236 . 
  8. ↑ هوتر، فرانك؛ هوس، هولجر؛ ليتون-براون، كيفن (2011)، "التحسين التسلسلي القائم على النموذج لتكوين الخوارزمية العامة"، التعلم والتحسين الذكي (ملف PDF) ، سلسلة محاضرات في علوم الحاسوب، المجلد 6683، الصفحات 507-523 ، CiteSeerX 10.1.1.307.8813 ، doi : 10.1007/978-3-642-25566-3_40 ، ISBN    978-3-642-25565-6، S2CID 6944647 
  9. 1 2 3 بيرغسترا، جيمس؛ باردينيت، ريمي؛ بينجيو، يوشوا؛ كيجل، بالاز (2011)، "خوارزميات لتحسين المعلمات الفائقة" (ملف PDF) ، التطورات في أنظمة معالجة المعلومات العصبية
  10. ↑ سنوك، جاسبر؛ لاروشيل، هوغو؛ آدامز، رايان (2012). "التحسين العملي لخوارزميات التعلم الآلي باستخدام بايزي" (ملف PDF) . التقدم في أنظمة معالجة المعلومات العصبية . arXiv : 1206.2944 . Bibcode : 2012arXiv1206.2944S .
  11. ↑ ثورنتون، كريس؛ هوتر، فرانك؛ هوس، هولجر؛ ليتون-براون، كيفن (2013). "Auto-WEKA: الجمع بين اختيار خوارزميات التصنيف وتحسين معلماتها الفائقة" (ملف PDF) . اكتشاف المعرفة واستخراج البيانات . arXiv : 1208.3719 . Bibcode : 2012arXiv1208.3719T .
  12. ↑ كيرنك (2024)، سامبو: التحسين التسلسلي والقائم على النموذج: التحسين العالمي الفعال في بايثون ، doi : 10.5281/zenodo.14461363 ، تم الاطلاع عليه بتاريخ 30 يناير 2025
  13. ↑ لارسن، يان؛ هانسن، لارس كاي؛ سفارر، كلاوس؛ أولسون، م (1996). "تصميم وتنظيم الشبكات العصبية: الاستخدام الأمثل لمجموعة التحقق" (ملف PDF) . الشبكات العصبية لمعالجة الإشارات VI. وقائع ورشة عمل جمعية معالجة الإشارات التابعة لمعهد مهندسي الكهرباء والإلكترونيات لعام 1996. الصفحات 62-71 . CiteSeerX 10.1.1.415.3266 . doi : 10.1109/NNSP.1996.548336 . ISBN   0-7803-3550-3. S2CID 238874 . 
  14. ↑ أوليفييه شابيل؛ فلاديمير فابنيك؛ أوليفييه بوسكيه؛ سايان موخيرجي (2002). "اختيار معلمات متعددة لآلات المتجهات الداعمة" (ملف PDF) . تعلم الآلة . 46 ( 1-3 ): 131-159 . doi : 10.1023/a:1012450327387 .
  15. ↑ تشونغ ب؛ تشوان-شنغ فو؛ أندرو واي نغ (2008). "التعلم الفعال للمعاملات الفائقة المتعددة للنماذج اللوغاريتمية الخطية" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . 20 .
  16. ↑ دومكي، جاستن (2012). "أساليب عامة للنمذجة القائمة على التحسين" (ملف PDF) . مجلة Aistats . 22. مؤرشف من الأصل (ملف PDF) بتاريخ 24 يناير 2014. تم الاطلاع عليه بتاريخ 9 ديسمبر 2017 .
  17. ↑ ماكلورين، دوغال؛ دوفينو، ديفيد؛ آدامز، رايان ب. (2015). "تحسين المعلمات الفائقة القائم على التدرج من خلال التعلم العكسي". arXiv : 1502.03492 [ stat.ML ].
  18. ↑ فرانشيسكي، لوكا؛ دونيني، ميشيل؛ فراسكوني، باولو؛ بونتيل، ماسيميليانو (2017). "تحسين المعلمات الفائقة باستخدام التدرج الأمامي والعكسي" (ملف PDF) . وقائع المؤتمر الدولي الرابع والثلاثين للتعلم الآلي . arXiv : 1703.01785 . Bibcode : 2017arXiv170301785F .
  19. ↑ شعبان، أمير رضا؛ تشنغ، تشينغ آن؛ هاتش، ناثان؛ بوتس، بايرون (2018). "الانتشار العكسي المقتطع لتحسين المستوى الثنائي". arXiv : 1810.10667 [ cs.LG ].
  20. ↑ لورين، جوناثان؛ فيكول، بول؛ دوفينو، ديفيد (2019). "تحسين ملايين المعلمات الفائقة عن طريق التفاضل الضمني". arXiv : 1911.02590 [ cs.LG ].
  21. ↑ لورين، جوناثان؛ دوفينو، ديفيد (2018). "تحسين المعلمات الفائقة العشوائي من خلال الشبكات الفائقة". arXiv : 1802.09419 [ cs.LG ].
  22. ↑ ماكاي، ماثيو؛ فيكول، بول؛ لورين، جون؛ دوفينو، ديفيد؛ غروس، روجر (2019). "الشبكات ذاتية الضبط: التحسين ثنائي المستوى للمعلمات الفائقة باستخدام دوال الاستجابة المثلى المهيكلة". arXiv : 1903.03088 [ cs.LG ].
  23. ↑ باي، جوهان؛ جروس، روجر (2020). "دلتا-إس تي إن: تحسين ثنائي المستوى فعال للشبكات العصبية باستخدام جاكوبيان الاستجابة المهيكلة". arXiv : 2010.13514 [ cs.LG ].
  24. ^ ليو، هانشياو؛ سيمونيان، كارين؛ يانغ ، ييمينغ (2018). “DARTS: بحث معماري مختلف”. أرخايف : 1806.09055 [ cs.LG ].
  25. ↑ كوسيورس، جي.، كوتشينوتا، تي.، فارفاريجو، تي. (2011). "تأثيرات الجدولة ونوع عبء العمل وسيناريوهات الدمج على أداء الآلة الافتراضية وتوقعها من خلال الشبكات العصبية الاصطناعية المُحسَّنة" . مجلة الأنظمة والبرمجيات . 84 (8): 1270-1291 . doi : 10.1016/j.jss.2011.04.013 . hdl : 11382/361472 .
  26. ^ Miikkulainen R، Liang J، Meyerson E، Rawal A، Fink D، Francon O، Raju B، Shahrzad H، Navruzyan A، Duffy N، Hodjat B (2017). “تطور الشبكات العصبية العميقة”. أرخايف : 1703.00548 [ cs.NE ].
  27. ↑ جادربيرغ م، داليبارد ف، أوسينديرو س، تشارنيكي و.م، دوناهو ج، رازافي أ، فينيالز أ، غرين ت، دانينغ إ، سيمونيان ك، فرناندو س، كافوكوغلو ك (2017). "التدريب القائم على السكان للشبكات العصبية". arXiv : 1711.09846 [ cs.LG ].
  28. ↑ سوتش إف بي، مادهافان في، كونتي إي، ليمان جيه، ستانلي كي أو، كلون جيه (2017). "التطور العصبي العميق: الخوارزميات الجينية بديل تنافسي لتدريب الشبكات العصبية العميقة للتعلم المعزز". arXiv : 1712.06567 [ cs.NE ].
  29. ^ لي أنج. سبيرا، علا؛ بيريل، ساجي. داليبارد، فالنتين؛ جاديربيرج، ماكس؛ قو، تشينجي؛ بودن، ديفيد؛ هارلي تيم. غوبتا ، برامود (2019-02-05). “إطار عام للتدريب على أساس السكان”. أرخايف : 1902.01894 [ cs.AI ].
  30. ^ لوبيز إيبانيز، مانويل؛ دوبوا لاكوست، جيريمي؛ بيريز كاسيريس، ليزلي؛ ستوتزل، توماس؛ بيراتاري، ماورو (2016). "حزمة irace: السباق المتكرر لتكوين الخوارزمية التلقائية" . منظور بحوث العمليات . 3 (3): 43-58 . دوى : 10.1016/j.orp.2016.09.002 . اتش دي ال : 10419/178265 .
  31. ^ بيراتاري، ماورو. ستوتزل، توماس؛ باكيت، لويس؛ فارنتراب، كلاوس (2002). “خوارزمية السباق لتكوين Metaheuristics”. جيكو 2002 : 11-18 .
  32. ↑ جاميسون، كيفن؛ تالوالكار، أميت (27-02-2015). "تحديد أفضل ذراع غير عشوائي وتحسين المعلمات الفائقة". arXiv : 1502.07943 [ cs.LG ].
  33. ^ لي ، ليام. جاميسون، كيفن؛ رستمي زاده، أفشين؛ جونينا، إيكاترينا؛ هاردت، موريتز. ريشت، بنيامين. تالوالكر، أميت (2020-03-16). “نظام لضبط المعلمات الفائقة المتوازية بشكل كبير”. أرخايف : 1810.05934v5 [ cs.LG ].
  34. ↑ لي، ليشا؛ جاميسون، كيفن؛ دي سالفو، جوليا؛ روستاميزاده، أفشين؛ تالوالكار، أميت (16 مارس 2020). "هايبرباند: نهج جديد قائم على خوارزمية قطاع الطرق لتحسين المعلمات الفائقة". مجلة أبحاث تعلم الآلة . 18 : 1-52 . arXiv : 1603.06560 .
  35. ↑ دياز، غونزالو؛ فوكوي، أكيلي؛ نانيتشيني، جياكومو؛ سامولويتز، هورست (2017). "خوارزمية فعالة لتحسين المعلمات الفائقة للشبكات العصبية". arXiv : 1705.08520 [ cs.AI ].
  36. ↑ هازان، إيلاد؛ كليفانز، آدم؛ يوان، يانغ (2017). "تحسين المعلمات الفائقة: نهج طيفي". arXiv : 1706.00764 [ cs.LG ].