مشكلة تلاشي التدرج

تحتوي الشبكة المتكررة العامة على حالات مخفية${\displaystyle h_{1},h_{2},\dots }$المدخلات​${\displaystyle u_{1},u_{2},\dots }$، والمخرجات${\displaystyle x_{1},x_{2},\dots }$لنفترض أنها مُعَلمة بواسطة${\displaystyle \theta }$بحيث يتطور النظام مع $${\displaystyle (h_{t},x_{t})=F(h_{t-1},u_{t},\theta )}$$ غالباً ما يكون الناتج${\displaystyle x_{t}}$هي وظيفة من${\displaystyle h_{t}}$كما هو الحال مع البعض${\displaystyle x_{t}=G(h_{t})}$تظهر مشكلة تلاشي التدرج بوضوح عندما${\displaystyle x_{t}=h_{t}}$لذلك نبسط ترميزنا إلى الحالة الخاصة مع: $${\displaystyle x_{t}=F(x_{t-1},u_{t},\theta )}$$ والآن، خذ تفاضلها : $$\begin{aligned}dx_{t}=\nabla_{\theta}F(x_{t-1},u_{t},\theta)d\theta +\nabla_{x}F(x_{t-1},u_{t},\theta)dx_{t-1}\\&=\nabla_{\theta}F(x_{t-1},u_{t},\theta)d\theta +\nabla_{x}F(x_{t-1},u_{t},\theta)\left[\nabla_{\theta}F(x_{t-2},u_{t-1},\theta)d\theta +\nabla_{x}F(x_{t-2},u_{t-1},\theta] )dx_{t-2}\right]\\&\;\;\vdots \\&=\left[\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right]d\theta \end{aligned}}}$$ يتطلب تدريب الشبكة تحديد دالة خسارة يجب تقليلها. لنفترض أنها${\displaystyle L(x_{T},u_{1},\dots ,u_{T})}$^{[ ملاحظة 1 ]} ، ثم تقليلها باستخدام خوارزمية التدرج الهبوطي يعطي

$${\displaystyle dL=\nabla _{x}L(x_{T},u_{1},\dots ,u_{T})\left[\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right]d\theta }$$

الفقد التفاضلي

$${\displaystyle \Delta \theta =-\eta \cdot \left[\nabla _{x}L(x_{T})\left(\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right)\right]^{T}}$$أين${\displaystyle \eta }$هو معدل التعلم.

تظهر مشكلة تلاشي/انفجار التدرج بسبب وجود عمليات ضرب متكررة، من الشكل التالي:$${\displaystyle \nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{x}F(x_{t-2},u_{t-1},\theta )\nabla _{x}F(x_{t-3},u_{t-2},\theta )\cdots }$$

استنادًا إلى (Doya، 1993)، ^{[ 7 ]} ضع في اعتبارك هذه الشبكة العصبية المتكررة ذات العصبون الواحد مع التنشيط السيني: $${\displaystyle x_{t+1}=(1-\varepsilon )x_{t}+\varepsilon \sigma (wx_{t}+b)+\varepsilon w'u_{t}}$$ في الصغير${\displaystyle \varepsilon }$عند الحد، تصبح ديناميكيات الشبكة $${\displaystyle {\frac {dx}{dt}}=-x(t)+\sigma (wx(t)+b)+w'u(t)}$$ لننظر أولاً في حالة القيادة الذاتية ، مع${\displaystyle u=0}$. تعيين${\displaystyle w=5.0}$وتختلف​${\displaystyle b}$في${\displaystyle [-3,-2]}$. مثل${\displaystyle b}$عندما تنخفض قيمة ، يصبح للنظام نقطة استقرار واحدة، ثم نقطتا استقرار ونقطة عدم استقرار واحدة، وأخيراً نقطة استقرار واحدة مرة أخرى. وبعبارة أخرى، فإن نقاط الاستقرار هي${\displaystyle (x,b)=\left(x,\ln \left({\frac {x}{1-x}}\right)-5x\right)}$.

والآن فكر في الأمر${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}}$و${\displaystyle {\frac {\Delta x(T)}{\Delta b}}}$، أين${\displaystyle T}$كبيرة بما يكفي بحيث استقر النظام في إحدى النقاط المستقرة.

لو${\displaystyle (x(0),b)}$يضع النظام على مقربة شديدة من نقطة عدم الاستقرار، ثم يحدث تغير طفيف في${\displaystyle x(0)}$أو${\displaystyle b}$سيجعل${\displaystyle x(T)}$الانتقال من نقطة استقرار إلى أخرى. وهذا يجعل${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}}$و${\displaystyle {\frac {\Delta x(T)}{\Delta b}}}$كلاهما كبيران للغاية، وهي حالة من حالات التدرج المتفجر.

لو${\displaystyle (x(0),b)}$يُبعد النظام عن نقطة عدم الاستقرار، ثم يحدث تغير طفيف في${\displaystyle x(0)}$لن يكون له أي تأثير على${\displaystyle x(T)}$، تحضير${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}=0}$، وهي حالة من حالات تلاشي التدرج.

لاحظ أنه في هذه الحالة،${\displaystyle {\frac {\Delta x(T)}{\Delta b}}\approx {\frac {\partial x(T)}{\partial b}}=\left({\frac {1}{x(T)(1-x(T))}}-5\right)^{-1}}$لا يتلاشى إلى الصفر ولا يتضخم إلى اللانهاية. في الواقع، إنه التدرج الوحيد ذو السلوك الجيد، وهو ما يفسر سبب تركيز الأبحاث المبكرة على تعلم أو تصميم أنظمة الشبكات المتكررة التي يمكنها إجراء حسابات طويلة المدى (مثل إخراج أول مدخل تراه في نهاية الحلقة) عن طريق تشكيل جاذباتها المستقرة. ^{[ 8 ]}

بالنسبة للحالة العامة، لا يزال الحدس قائماً ( ^{[ 6 ]} الأشكال 3 و4 و5).

استمر في استخدام شبكة العصبون الواحد المذكورة أعلاه، مع إجراء الإصلاحات اللازمة.${\displaystyle w=5,x(0)=0.5,u(t)=0}$ولنعتبر دالة خسارة معرفة بـ${\displaystyle L(x(T))=(0.855-x(T))^{2}}$ينتج عن ذلك مشهد خسارة مرضي إلى حد ما: كما${\displaystyle b}$يقترب${\displaystyle -2.5}$من الأعلى، تقترب الخسارة من الصفر، ولكن بمجرد${\displaystyle b}$الصلبان${\displaystyle -2.5}$يتغير حوض الجذب، وتقفز الخسارة إلى 0.50. ^{[ ملاحظة 4 ]}

وبالتالي، محاولة التدريب${\displaystyle b}$سيؤدي استخدام خوارزمية التدرج الهبوطي إلى "الوصول إلى حد أقصى في منحنى الخسارة"، مما يتسبب في تضخم التدرج. يوضح الشكل 6 ^{[ 6 ] حالة أكثر تعقيدًا.}

بالنسبة للشبكات العصبية المتكررة ، تم تصميم شبكة الذاكرة طويلة المدى (LSTM) لحل المشكلة ( Hochreiter & Schmidhuber ، 1997). ^{[ 9 ]}

بالنسبة لمشكلة التدرج المتفجر، أوصى (باسكانو وآخرون، 2012) ^{[ 6 ]} بتقليم التدرج، أي تقسيم متجه التدرج${\displaystyle g}$بواسطة${\displaystyle \left\|g\right\|/g_{\text{max}}}$لو${\displaystyle \left\|g\right\|>g_{\text{max}}}$هذا يقيد متجهات التدرج داخل كرة نصف قطرها${\displaystyle g_{\text{max}}}$.

يُعدّ التطبيع الدفعي طريقة قياسية لحل كل من مشكلتي التدرج المتفجر والتدرج المتلاشي. ^{[ 10 ] [ 11 ]}

في التسلسل الهرمي متعدد المستويات للشبكات ( شميدهوبر ، 1992)، يتم تدريب مستوى واحد في كل مرة مسبقًا من خلال التعلم غير الخاضع للإشراف ، ويتم ضبطه بدقة من خلال الانتشار العكسي . ^{[ 12 ]} هنا يتعلم كل مستوى تمثيلًا مضغوطًا للملاحظات يتم تغذيته إلى المستوى التالي.

استُخدمت أفكار مشابهة في الشبكات العصبية ذات التغذية الأمامية للتدريب المسبق غير الخاضع للإشراف، وذلك لهيكلة الشبكة العصبية، مما يجعلها تتعلم أولًا كاشفات الميزات المفيدة عمومًا . ثم تُدرَّب الشبكة بشكل إضافي من خلال الانتشار العكسي الخاضع للإشراف لتصنيف البيانات المصنفة. يتضمن نموذج شبكة الاعتقاد العميق لهينتون وآخرون (2006) تعلم توزيع تمثيل عالي المستوى باستخدام طبقات متتالية من المتغيرات الكامنة الثنائية أو الحقيقية . ويستخدم آلة بولتزمان المقيدة لنمذجة كل طبقة جديدة من الميزات عالية المستوى. تضمن كل طبقة جديدة زيادة في الحد الأدنى للوغاريتم احتمالية البيانات، مما يُحسِّن النموذج، إذا تم تدريبه بشكل صحيح. بمجرد تعلم عدد كافٍ من الطبقات، يمكن استخدام البنية العميقة كنموذج توليدي من خلال إعادة إنتاج البيانات عند أخذ عينات من النموذج (عملية "التمرير السلفي") من تنشيطات الميزات عالية المستوى. ^{[ 13 ]} يُشير هينتون إلى أن نماذجه فعالة في استخراج الميزات من البيانات عالية الأبعاد والمنظمة. ^{[ 14 ]}

بفضل التطورات في مجال الأجهزة، ازدادت قدرة الحوسبة (وخاصةً تلك التي توفرها وحدات معالجة الرسومات ) بنحو مليون ضعف بين عامي 1991 و2015، مما جعل خوارزمية الانتشار العكسي القياسية ممكنة للشبكات ذات طبقات أعمق بكثير مما كانت عليه عند اكتشاف مشكلة تلاشي التدرج. ويشير شميدهوبر إلى أن هذا "هو أساسًا ما يحقق الفوز في العديد من مسابقات التعرف على الصور حاليًا"، ولكنه "لا يحل المشكلة جذريًا" ^{[ 15 ]،} لأن النماذج الأصلية التي عالجت مشكلة تلاشي التدرج، والتي وضعها هينتون وآخرون، تم تدريبها على معالج Xeon ، وليس على وحدات معالجة الرسومات. ^{[ 13 ]}

تشير الوصلات المتبقية ، أو وصلات التخطي، إلى النمط المعماري لـ${\displaystyle x\mapsto f(x)+x}$، أين${\displaystyle f}$هي وحدة شبكة عصبية عشوائية. وهذا يعطي تدرج${\displaystyle \nabla f+I}$حيث لا تعاني مصفوفة الوحدة من تلاشي أو انفجار التدرج. أثناء الانتشار العكسي، يتدفق جزء من التدرج عبر الاتصالات المتبقية. ^{[ 16 ]}

بشكل ملموس، لنفترض أن الشبكة العصبية (بدون وصلات متبقية) هي${\displaystyle f_{n}\circ f_{n-1}\circ \cdots \circ f_{1}}$ثم مع الاتصالات المتبقية، يكون تدرج الإخراج بالنسبة للتنشيطات في الطبقة${\displaystyle l}$يكون${\displaystyle I+\nabla f_{l+1}+\nabla f_{l+2}\nabla f_{l+1}+\cdots }$وبالتالي فإن التدرج لا يختفي في الشبكات العميقة بشكل تعسفي.

يمكن اعتبار الشبكات ذات التغذية الأمامية ذات الوصلات المتبقية بمثابة مجموعة من الشبكات الضحلة نسبيًا. من هذا المنظور، فإنها تحل مشكلة تلاشي التدرج من خلال كونها مكافئة لمجموعات من العديد من الشبكات الضحلة، والتي لا توجد فيها مشكلة تلاشي التدرج. ^{[ 17 ]}

تعاني دوال التقويم مثل ReLU بشكل أقل من مشكلة تلاشي التدرج، لأنها تتشبع في اتجاه واحد فقط. ^{[ 18 ]}

تُعد عملية تهيئة الأوزان نهجًا آخر تم اقتراحه للحد من مشكلة تلاشي التدرج في الشبكات العميقة.

اقترح كومار أن توزيع الأوزان الأولية يجب أن يختلف وفقًا لدالة التنشيط المستخدمة، واقترح تهيئة الأوزان في الشبكات باستخدام دالة التنشيط اللوجستية باستخدام توزيع غاوسي بمتوسط ​​صفر وانحراف معياري قدره${\displaystyle 3.6/{\sqrt {N}}}$، أين${\displaystyle N}$يمثل عدد الخلايا العصبية في الطبقة. ^{[ 19 ]}

في عام 2022، أجرى يلماز وبولي ^{[ 20 ]} تحليلاً نظرياً حول كيفية تأثر التدرجات بمتوسط ​​الأوزان الأولية في الشبكات العصبية العميقة باستخدام دالة التنشيط اللوجستية، ووجدا أن التدرجات لا تتلاشى إذا تم تحديد متوسط ​​الأوزان الأولية وفقًا للصيغة التالية:${\displaystyle \max(-1,-8/N)}$تسمح هذه الاستراتيجية البسيطة بتدريب الشبكات التي تحتوي على 10 أو 15 طبقة مخفية بكفاءة وفعالية عاليتين باستخدام خوارزمية الانتشار العكسي القياسية .

اعتمد بينك فقط على إشارة التدرج ( Rprop ) عند تدريب هرم التجريد العصبي الخاص به ^{[ 21 ]} لحل مشاكل مثل إعادة بناء الصور وتحديد موقع الوجه.

يمكن أيضًا تحسين الشبكات العصبية باستخدام خوارزمية بحث شاملة في فضاء أوزان الشبكة العصبية، مثل التخمين العشوائي أو الخوارزمية الجينية بشكل أكثر منهجية . لا يعتمد هذا النهج على التدرج ويتجنب مشكلة تلاشي التدرج. ^{[ 22 ]}