معدل التعلم

في مجالَي التعلّم الآلي والإحصاء ، يُعدّ معدل التعلّم مُعامل ضبط في خوارزمية التحسين ، يُحدّد حجم الخطوة في كل تكرار أثناء التحرّك نحو الحد الأدنى لدالة الخسارة . ^{[ 1 ]} ولأنه يؤثر على مدى تأثير المعلومات المُكتسبة حديثًا على المعلومات القديمة، فإنه يُمثّل مجازيًا سرعة "تعلّم" نموذج التعلّم الآلي. في أدبيات التحكم التكيفي ، يُشار إلى معدل التعلّم عادةً باسم الكسب . ^{[ 2 ]}

عند تحديد معدل التعلم، ثمة مفاضلة بين سرعة التقارب وتجاوز القيمة المطلوبة . فبينما يُحدد اتجاه الانحدار عادةً من تدرج دالة الخسارة، يُحدد معدل التعلم حجم الخطوة التي تُتخذ في ذلك الاتجاه. سيؤدي معدل التعلم المرتفع جدًا إلى تجاوز التعلم للحد الأدنى، بينما سيؤدي معدل التعلم المنخفض جدًا إما إلى استغراق وقت طويل جدًا للتقارب أو إلى التعثر في حد أدنى محلي غير مرغوب فيه. ^{[ 3 ]}

لتحقيق تقارب أسرع، وتجنب التذبذبات والوقوع في الحد الأدنى المحلي غير المرغوب فيه، غالبًا ما يتم تغيير معدل التعلم أثناء التدريب إما وفقًا لجدول زمني لمعدل التعلم أو باستخدام معدل تعلم تكيفي. ^{[ 4 ]} قد يختلف معدل التعلم وتعديلاته أيضًا باختلاف المعلمة، وفي هذه الحالة يكون مصفوفة قطرية يمكن تفسيرها على أنها تقريب لمعكوس مصفوفة هيسيان في طريقة نيوتن . [ ^{5 ] يرتبط} معدل التعلم بطول الخطوة المحدد بواسطة البحث الخطي غير الدقيق في طرق شبه نيوتن وخوارزميات التحسين ذات الصلة. ^{[ 6 ] [ 7 ]}

يمكن ترك معدل التعلم الأولي على الإعداد الافتراضي للنظام أو تحديده باستخدام مجموعة من التقنيات. ^{[ 8 ]} يُغيّر جدول معدل التعلم معدل التعلم أثناء عملية التعلم، وغالبًا ما يُغيّر بين الدورات/التكرارات. ويتم ذلك بشكل أساسي باستخدام مُعاملين: التضاؤل ​​والزخم . توجد العديد من جداول معدل التعلم المختلفة ، ولكن أكثرها شيوعًا هي الجداول الزمنية، والجداول التدريجية، والجداول الأسية . ^{[ 4 ]}

يعمل التضاؤل ​​على تثبيت التعلم في مكان جيد وتجنب التذبذبات، وهو وضع قد ينشأ عندما يؤدي معدل التعلم الثابت المرتفع جدًا إلى قفز التعلم ذهابًا وإيابًا فوق الحد الأدنى، ويتم التحكم فيه بواسطة معلمة فائقة.

الزخم يُشبه كرة تتدحرج أسفل تل؛ نريد أن تستقر الكرة عند أدنى نقطة في التل (أي عند أدنى خطأ). يُسرّع الزخم عملية التعلم (يزيد من معدل التعلم) عندما يتجه تدرج تكلفة الخطأ في نفس الاتجاه لفترة طويلة، كما أنه يتجنب الوقوع في القيم الدنيا المحلية عن طريق "التدحرج" فوق النتوءات الصغيرة. يُتحكم في الزخم بواسطة مُعامل فائق يُشبه كتلة الكرة، ويجب اختياره يدويًا؛ فإذا كان مرتفعًا جدًا، ستتدحرج الكرة فوق القيم الدنيا التي نرغب في إيجادها، وإذا كان منخفضًا جدًا، فلن يُحقق الغرض منه. صيغة حساب الزخم أكثر تعقيدًا من صيغة حساب التضاؤل، ولكنها غالبًا ما تكون مُدمجة في مكتبات التعلم العميق مثل Keras .

تُغيّر جداول التعلّم القائمة على الوقت معدل التعلّم بناءً على معدل التعلّم في الدورة الزمنية السابقة. وبأخذ عامل التضاؤل ​​في الاعتبار، تكون الصيغة الرياضية لمعدل التعلّم كما يلي:

${\displaystyle \eta _{n+1}={\frac {\eta _{0}}{1+dn}}}$

أين${\displaystyle \eta }$معدل التعلم،${\displaystyle \eta _{0}}$هو معدل التعلم الأصلي،${\displaystyle d}$هو معامل اضمحلال و${\displaystyle n}$هي خطوة التكرار.

تُغيّر جداول التعلّم القائمة على الخطوات معدل التعلّم وفقًا لبعض الخطوات المحددة مسبقًا. وتُعرّف صيغة تطبيق التضاؤل ​​هنا على النحو التالي:

${\displaystyle \eta _{n}=\eta _{0}d^{\left\lfloor {\frac {1+n}{r}}\right\rfloor }}$

أين${\displaystyle \eta _{n}}$معدل التعلم عند التكرار${\displaystyle n}$،${\displaystyle \eta _{0}}$هو معدل التعلم الأولي،${\displaystyle d}$يمثل هذا مقدار التغير في معدل التعلم عند كل انخفاض (0.5 يعادل انخفاضًا إلى النصف) و${\displaystyle r}$يتوافق مع معدل الانخفاض ، أو عدد مرات انخفاض المعدل (10 يتوافق مع انخفاض كل 10 تكرارات). دالة الجزء الصحيح (${\displaystyle \lfloor \dots \rfloor }$) هنا يتم إسقاط قيمة المدخلات إلى 0 لجميع القيم الأصغر من 1.

تتشابه جداول التعلم الأسي مع الجداول القائمة على الخطوات، ولكن بدلاً من الخطوات، تُستخدم دالة أسية متناقصة. الصيغة الرياضية لحساب عامل التضاؤل ​​هي:

${\displaystyle \eta _{n}=\eta _{0}e^{-dn}}$

أين${\displaystyle d}$هو معامل اضمحلال.

تكمن مشكلة جداول معدل التعلم في اعتمادها جميعًا على معلمات فائقة يجب اختيارها يدويًا لكل جلسة تعلم، وقد تختلف هذه المعلمات اختلافًا كبيرًا تبعًا للمشكلة المطروحة أو النموذج المستخدم. وللتغلب على هذه المشكلة، توجد أنواع عديدة من خوارزميات التدرج التكيفي ، مثل Adagrad وAdadelta و RMSprop و Adam ^{[ 9 ]} ، والتي تُدمج عادةً في مكتبات التعلم العميق مثل Keras ^{[ 10 ]} .

• جيرون، أوريليان (2017). "الانحدار التدرجي" . التعلم الآلي العملي باستخدام Scikit-Learn وTensorFlow . أورايلي. الصفحات 113-124 . ISBN  978-1-4919-6229-9.
• بلاجياناكوس، ف.ب.؛ ماجولاس، ج.د.؛ فراهاتيس، م.ن. (2001). "تكييف معدل التعلم في خوارزمية التدرج العشوائي" . التقدم في التحليل المحدب والتحسين العالمي . كلوير. ص 433-444 . ISBN  0-7923-6942-4.

• دي فريتاس، ناندو (12 فبراير 2015). "التحسين" . محاضرة التعلم العميق 6. جامعة أكسفورد - عبر يوتيوب .