الشبكة العصبية المتكررة

كان علم الأعصاب أحد أصول الشبكات العصبية المتكررة. تُستخدم كلمة "متكرر" لوصف البنى الحلقية في علم التشريح . في عام 1901، لاحظ كاخال "أنصاف دوائر متكررة" في قشرة المخيخ تتكون من ألياف متوازية وخلايا بوركنجي وخلايا حبيبية . ^{[ 7 ] [ 8 ]} في عام 1933، اكتشف لورينتي دي نو "وصلات متكررة متبادلة" باستخدام طريقة غولجي ، واقترح أن الحلقات الاستثارية تفسر جوانب معينة من منعكس الدهليزي العيني . ^{[ 9 ] [ 10 ]} خلال أربعينيات القرن العشرين، اقترح العديد من الباحثين وجود تغذية راجعة في الدماغ، وهو ما يتناقض مع الفهم السابق للجهاز العصبي باعتباره بنية تغذية أمامية بحتة. اعتبر هيب "الدائرة المترددة" تفسيرًا للذاكرة قصيرة المدى. ^{[ 11 ]} تناولت ورقة ماكولوتش وبيتس (1943)، التي اقترحت نموذج ماكولوتش-بيتس للخلايا العصبية ، الشبكات التي تحتوي على دورات. ويمكن أن يتأثر النشاط الحالي لهذه الشبكات بنشاط سابق بعيد. ^{[ 12 ]} وقد اهتم كلاهما بالحلقات المغلقة كتفسيرات محتملة لحالات مثل الصرع والألم العصبي . ^{[ 13 ] [ 14 ]} طُرح التثبيط المتكرر في عام 1946 كآلية تغذية راجعة سلبية في التحكم الحركي. وكانت حلقات التغذية الراجعة العصبية موضوعًا شائعًا للنقاش في مؤتمرات مايسي . ^{[ 15 ]} انظر ^{[ 16 ]} للاطلاع على مراجعة شاملة لنماذج الشبكات العصبية المتكررة في علم الأعصاب.

نشر فرانك روزنبلات في عام 1960 بحثًا بعنوان "البيرسيبترونات المترابطة ذات الحلقة المغلقة"، وهي شبكات بيرسيبترون ثلاثية الطبقات ، تحتوي طبقتها الوسطى على روابط متكررة تتغير وفقًا لقاعدة التعلم الهيبية . ^{[ 18 ] : 73-75.} لاحقًا، في كتابه "مبادئ الديناميكا العصبية " (1961)، وصف شبكات البيرسيبترون "المترابطة ذات الحلقة المغلقة" و"المترابطة عكسيًا"، وأجرى دراسات نظرية وتجريبية حول التعلم الهيبي في هذه الشبكات، ^{[ 17 ] : الفصل 19، 21} ، وأشار إلى أن شبكة البيرسيبترون المترابطة بالكامل تُعادل شبكة تغذية أمامية عميقة بلا حدود. ^{[ 17 ] : القسم 19.11}

تم نشر شبكات مماثلة بواسطة كاورو ناكانو في عام 1971، ^{[ 19 ] [ 20 ]} وشون إيتشي أماري في عام 1972، ^{[ 21 ]} وويليام أ. ليتل في عام 1974، ^{[ 22 ]} والذي أقر به هوبفيلد في ورقته البحثية لعام 1982.

يعود أصل آخر للشبكات العصبية المتكررة إلى الميكانيكا الإحصائية . طُوِّر نموذج إيزينغ على يد ويلهلم لينز ^{[ 23 ]} وإرنست إيزينغ ^{[ 24 ]} في عشرينيات القرن العشرين ^{[ 25 ]} كنموذج ميكانيكي إحصائي بسيط للمغناطيس في حالة التوازن. وفي عام 1963، درس غلاوبر نموذج إيزينغ متطورًا مع الزمن، كعملية نحو التوازن ( ديناميكيات غلاوبر )، مضيفًا عنصر الزمن. ^{[ 26 ]}

يُعدّ نموذج شيرينغتون -كيركباتريك للزجاج المغزلي، الذي نُشر عام 1975، ^{[ 27 ]} شبكة هوبفيلد ذات التهيئة العشوائية. وقد وجد شيرينغتون وكيركباتريك أن دالة الطاقة في نموذج شيرينغتون-كيركباتريك من المرجح جدًا أن تحتوي على العديد من القيم الدنيا المحلية. في ورقة بحثية نُشرت عام 1982، طبّق هوبفيلد هذه النظرية المُطوّرة حديثًا لدراسة شبكة هوبفيلد ذات دوال التنشيط الثنائية. ^{[ 28 ]} وفي ورقة بحثية أخرى نُشرت عام 1984، وسّع نطاق هذا النموذج ليشمل دوال التنشيط المستمرة. ^{[ 29 ]} وأصبح نموذجًا قياسيًا لدراسة الشبكات العصبية من خلال الميكانيكا الإحصائية. ^{[ 30 ] [ 31 ]}

تعتمد شبكات RNN الحديثة بشكل أساسي على بنيتين: LSTM و BRNN. ^{[ 32 ]}

مع عودة الاهتمام بالشبكات العصبية في ثمانينيات القرن العشرين، أُعيد دراسة الشبكات المتكررة، والتي كانت تُعرف أحيانًا باسم "الشبكات المتكررة". ^{[ 33 ]} ومن أوائل الأعمال المؤثرة في هذا المجال شبكة جوردان (1986) وشبكة إلمان (1990)، اللتان طبقتا الشبكات المتكررة لدراسة علم النفس المعرفي . وفي عام 1993، تمكن نظام ضغط التاريخ العصبي من حل مهمة "التعلم العميق جدًا" التي تطلبت أكثر من 1000 طبقة متتالية في شبكة متكررة موزعة زمنيًا. ^{[ 34 ]}

ابتكر هوكريتر وشميدهوبر شبكات الذاكرة طويلة المدى (LSTM) في عام 1995 ، وحققت هذه الشبكات أرقامًا قياسية في الدقة في العديد من مجالات التطبيقات. ^{[ 35 ] [ 36 ]} وأصبحت الخيار الافتراضي لبنية الشبكات العصبية المتكررة (RNN).

تستخدم الشبكات العصبية المتكررة ثنائية الاتجاه (BRNN) شبكتين عصبيتين متكررتين تعالجان نفس المدخلات في اتجاهين متعاكسين. ^{[ 37 ]} غالبًا ما يتم دمج هاتين الشبكتين، مما ينتج عنه بنية LSTM ثنائية الاتجاه.

في حوالي عام 2006، بدأت شبكات LSTM ثنائية الاتجاه في إحداث ثورة في مجال التعرف على الكلام ، متفوقةً على النماذج التقليدية في بعض تطبيقات الكلام. ^{[ 38 ] [ 39 ]} كما حسّنت هذه الشبكات التعرف على الكلام ذي المفردات الكبيرة [3] [4] وتوليف ^{الكلام من النص [ 40 ]} ، واستُخدمت ^{في البحث الصوتي} من جوجل ، والإملاء على أجهزة أندرويد . ^{[ 41 ]} وحطمت الأرقام القياسية في تحسين الترجمة الآلية ، ^{[ 42 ]} ونمذجة اللغة، ^{[ 43 ]} ومعالجة اللغات المتعددة. ^{[ 44 ]} بالإضافة إلى ذلك، حسّن دمج شبكات LSTM مع الشبكات العصبية الالتفافية (CNNs) من التعليق التلقائي على الصور . ^{[ 45 ]}

طُوِّرت فكرة تحويل التسلسل باستخدام المُشفِّر والمُفكِّك في أوائل العقد الثاني من القرن الحادي والعشرين. ومن أكثر الأبحاث التي يُستشهد بها كمرجع أساسي في هذا المجال بحثان نُشرا عام ٢٠١٤. ^{[ ٤٦ ] [ ٤٧ ]} تعتمد بنية seq2seq على شبكتين عصبيتين متكررتين، عادةً ما تكونان من نوع LSTM، تُعرفان باسم "المُشفِّر" و"المُفكِّك"، لتحويل التسلسل، كما هو الحال في الترجمة الآلية. وقد أصبحت هذه البنية من أحدث التقنيات في مجال الترجمة الآلية، وكان لها دورٌ محوري في تطوير آليات الانتباه والمُحوِّلات .

تأتي الشبكات العصبية المتكررة (RNNs) بأشكال عديدة. وبشكل مجرد، فإن الشبكة العصبية المتكررة هي دالة${\displaystyle f_{\theta }}$من النوع${\displaystyle (x_{t},h_{t})\mapsto (y_{t},h_{t+1})}$، أين

• ${\displaystyle x_{t}}$: متجه الإدخال؛
• ${\displaystyle h_{t}}$: متجه مخفي؛
• ${\displaystyle y_{t}}$: متجه الإخراج؛
• ${\displaystyle \theta }$: معلمات الشبكة العصبية.

بعبارة أخرى، هي شبكة عصبية تقوم برسم خريطة للمدخلات${\displaystyle x_{t}}$أدخل مخرجًا${\displaystyle y_{t}}$، مع المتجه المخفي${\displaystyle h_{t}}$يؤدي دور "الذاكرة"، وهو سجل جزئي لجميع أزواج المدخلات والمخرجات السابقة. في كل خطوة، يحول المدخلات إلى مخرجات، ويعدل "ذاكرته" لمساعدته على أداء المعالجة المستقبلية بشكل أفضل.

قد يكون الرسم التوضيحي على اليمين مُضللاً للكثيرين، لأن بنى الشبكات العصبية العملية تُنظَّم عادةً في "طبقات"، ويُعطي الرسم هذا المظهر. مع ذلك، فإن ما يبدو كطبقات هو في الواقع خطوات زمنية مختلفة، "تُطوى" لتُعطي مظهر الطبقات .

تتكون الشبكة العصبية المتكررة المكدسة، أو الشبكة العصبية المتكررة العميقة، من عدة شبكات عصبية متكررة مكدسة فوق بعضها البعض. ويمكن تعريفها بشكل مجرد كما يلي :

1. الطبقة 1 تحتوي على متجه مخفي${\displaystyle h_{1,t}}$، حدود${\displaystyle \theta _{1}}$والخرائط${\displaystyle f_{\theta _{1}}:(x_{0,t},h_{1,t})\mapsto (x_{1,t},h_{1,t+1})}$.
2. الطبقة 2 تحتوي على متجه مخفي${\displaystyle h_{2,t}}$، حدود${\displaystyle \theta _{2}}$والخرائط${\displaystyle f_{\theta _{2}}:(x_{1,t},h_{2,t})\mapsto (x_{2,t},h_{2,t+1})}$.
3. ...
4. طبقة${\displaystyle n}$يحتوي على متجه مخفي${\displaystyle h_{n,t}}$، حدود${\displaystyle \theta _{n}}$والخرائط${\displaystyle f_{\theta _{n}}:(x_{n-1,t},h_{n,t})\mapsto (x_{n,t},h_{n,t+1})}$.

تعمل كل طبقة كشبكة عصبية متكررة مستقلة، ويُستخدم تسلسل مخرجات كل طبقة كتسلسل مدخلات للطبقة التي تعلوها. لا يوجد حدٌّ نظريٌّ لعمق الشبكات العصبية المتكررة المتراصة.

تتكون الشبكة العصبية المتكررة ثنائية الاتجاه (biRNN) من شبكتين عصبيتين متكررتين، إحداهما تعالج تسلسل الإدخال في اتجاه، والأخرى في الاتجاه المعاكس. ويمكن تلخيص هيكلها كما يلي:

• تعمل شبكة RNN الأمامية في اتجاه واحد:$${\displaystyle f_{\theta }(x_{0},h_{0})=(y_{0},h_{1}),f_{\theta }(x_{1},h_{1})=(y_{1},h_{2}),\dots }$$
• تعمل عمليات الشبكة العصبية المتكررة العكسية في الاتجاه المعاكس:$${\displaystyle f'_{\theta '}(x_{N},h_{N}')=(y'_{N},h_{N-1}'),f'_{\theta '}(x_{N-1},h_{N-1}')=(y'_{N-1},h_{N-2}'),\dots }$$

ثم يتم دمج سلسلتي المخرجات للحصول على المخرجات الكلية:${\displaystyle ((y_{0},y_{0}'),(y_{1},y_{1}'),\dots ,(y_{N},y_{N}'))}$.

تُمكّن الشبكة العصبية المتكررة ثنائية الاتجاه النموذج من معالجة الرمز في سياق ما سبقه وما تلاه. ومن خلال دمج عدة شبكات عصبية متكررة ثنائية الاتجاه، يستطيع النموذج معالجة الرمز بشكل سياقي متزايد. يُعد نموذج ELMo (2018) ^{[ 48 ]} نموذجًا مُكدسًا من نوع LSTM ثنائي الاتجاه ، يأخذ مدخلات على مستوى الأحرف ويُنتج تمثيلات على مستوى الكلمات.

يمكن تشغيل شبكتين عصبيتين متكررتين (RNN) من البداية إلى النهاية في تكوين مُشفِّر-مُفكِّك . تعالج شبكة التشفير RNN تسلسل الإدخال إلى تسلسل من المتجهات المخفية، بينما تعالج شبكة فك التشفير RNN تسلسل المتجهات المخفية إلى تسلسل الإخراج، مع آلية انتباه اختيارية . وقد استُخدم هذا لبناء أحدث مترجمات الآلة العصبية خلال الفترة 2014-2017. وكانت هذه خطوة أساسية نحو تطوير المحولات . ^{[ 49 ]}

قد تعالج الشبكة العصبية المتكررة (RNN) بيانات متعددة الأبعاد. تعالج شبكة PixelRNN بيانات ثنائية الأبعاد، مع العديد من الاتجاهات الممكنة. ^{[ 50 ]} على سبيل المثال، تعالج الشبكة اتجاه صف تلو الآخر...${\displaystyle n\times n}$شبكة من المتجهات${\displaystyle x_{i,j}}$بالترتيب التالي:$${\displaystyle x_{1,1},x_{1,2},\dots ,x_{1,n},x_{2,1},x_{2,2},\dots ,x_{2,n},\dots ,x_{n,n}}$$تستخدم شبكة BiLSTM القطرية شبكتي LSTM لمعالجة نفس الشبكة. تعالج إحداهما الشبكة من الزاوية العلوية اليسرى إلى الزاوية السفلية اليمنى، بحيث تعالج${\displaystyle x_{i,j}}$اعتمادًا على حالتها المخفية وحالة الخلية في الأعلى والجانب الأيسر:${\displaystyle h_{i-1,j},c_{i-1,j}}$و${\displaystyle h_{i,j-1},c_{i,j-1}}$أما الأخرى فتقوم بمعالجتها من الزاوية العلوية اليمنى إلى الزاوية السفلية اليسرى.

تربط الشبكات العصبية المتكررة بالكامل (FRNN) مخرجات جميع الخلايا العصبية بمدخلاتها. بعبارة أخرى، هي شبكة متصلة بالكامل . هذا هو الشكل الأكثر عمومية للشبكات العصبية، لأن جميع الأشكال الأخرى يمكن تمثيلها بتعيين بعض أوزان الاتصال إلى الصفر لمحاكاة انعدام الاتصالات بين تلك الخلايا العصبية.

شبكة هوبفيلد هي شبكة عصبية متكررة (RNN) تتميز بتساوي حجم جميع الاتصالات بين الطبقات. تتطلب هذه الشبكة مدخلات ثابتة ، ولذلك فهي ليست شبكة عصبية متكررة عامة، إذ لا تعالج تسلسلات الأنماط. مع ذلك، فهي تضمن التقارب. إذا تم تدريب الاتصالات باستخدام التعلم الهيبي ، فإن شبكة هوبفيلد تعمل كذاكرة محتوى قابلة للعنونة قوية ، مقاومة لتغيير الاتصالات.

شبكة إلمان هي شبكة ثلاثية الطبقات (مرتبة أفقيًا كـ x و y و z في الرسم التوضيحي ) مع إضافة مجموعة من وحدات السياق ( u في الرسم التوضيحي). الطبقة الوسطى (المخفية) متصلة بوحدات السياق هذه بوزن ثابت يساوي واحدًا. ^{[ 51 ]} في كل خطوة زمنية، يتم تمرير المدخلات للأمام وتطبيق قاعدة تعلم . تحفظ الاتصالات الخلفية الثابتة نسخة من القيم السابقة للوحدات المخفية في وحدات السياق (لأنها تنتشر عبر الاتصالات قبل تطبيق قاعدة التعلم). وبالتالي، يمكن للشبكة الحفاظ على نوع من الحالة، مما يسمح لها بأداء مهام مثل التنبؤ بالتسلسل، والتي تتجاوز قدرة الشبكة العصبية متعددة الطبقات القياسية .

تتشابه شبكات جوردان مع شبكات إلمان. تُغذّى وحدات السياق من طبقة الإخراج بدلاً من الطبقة المخفية. تُسمى وحدات السياق في شبكة جوردان أيضاً بطبقة الحالة، وترتبط فيما بينها برابط متكرر. ^{[ 51 ]}

تُعرف شبكات إلمان وجوردان أيضًا باسم "الشبكات المتكررة البسيطة" (SRN).

شبكة إلمان ^{[ 52 ]}

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}}$

شبكة الأردن ^{[ 53 ]}

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}s_{t}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\\s_{t}&=\sigma _{s}(W_{s,s}s_{t-1}+W_{s,y}y_{t-1}+b_{s})\end{aligned}}}$

المتغيرات والدوال

• ${\displaystyle x_{t}}$متجه الإدخال
• ${\displaystyle h_{t}}$متجه الطبقة المخفية
• ${\displaystyle s_{t}}$متجه "الحالة"،
• ${\displaystyle y_{t}}$متجه الإخراج
• ${\displaystyle W}$،${\displaystyle U}$و${\displaystyle b}$: مصفوفات ومتجهات المعاملات
• ${\displaystyle \sigma }$وظائف التنشيط

تُعدّ الذاكرة طويلة المدى (LSTM) أكثر بنى الشبكات العصبية المتكررة (RNN) استخدامًا. صُممت لحل مشكلة تلاشي التدرج . عادةً ما تُعزز LSTM ببوابات متكررة تُسمى "بوابات النسيان". ^{[ 54 ]} تمنع LSTM الأخطاء المنتشرة عكسيًا من التلاشي أو التفاقم. ^{[ 55 ]} بدلًا من ذلك، يمكن للأخطاء أن تتدفق عكسيًا عبر عدد غير محدود من الطبقات الافتراضية المنتشرة في الفضاء. أي أن LSTM قادرة على تعلم المهام التي تتطلب ذاكرة لأحداث وقعت قبل آلاف أو حتى ملايين الخطوات الزمنية المنفصلة. يمكن تطوير بنيات شبيهة بـ LSTM خاصة بمشكلة معينة. ^{[ 56 ]} تعمل LSTM حتى مع وجود فترات تأخير طويلة بين الأحداث المهمة، ويمكنها التعامل مع الإشارات التي تمزج بين مكونات التردد المنخفض والعالي.

تستخدم العديد من التطبيقات مجموعات من شبكات الذاكرة طويلة المدى (LSTM)، ^{[ 57 ]} ولذلك تُسمى "شبكة الذاكرة طويلة المدى العميقة". تستطيع شبكات الذاكرة طويلة المدى (LSTM) تعلم التعرف على اللغات الحساسة للسياق، على عكس النماذج السابقة القائمة على نماذج ماركوف المخفية (HMM) والمفاهيم المشابهة. ^{[ 58 ]}

صُممت وحدة التكرار البوابية (GRU)، التي طُرحت عام 2014، كتبسيط لشبكة الذاكرة طويلة المدى (LSTM). تُستخدم هذه الوحدة بشكلها الكامل، بالإضافة إلى العديد من المتغيرات المبسطة الأخرى. ^{[ 59 ] [ 60 ]} تحتوي على عدد أقل من المعاملات مقارنةً بشبكة LSTM، نظرًا لافتقارها إلى بوابة إخراج. ^{[ 61 ]}

وُجد أن أداءها في نمذجة الموسيقى متعددة الأصوات ونمذجة إشارات الكلام مشابه لأداء الذاكرة طويلة المدى قصيرة المدى. ^{[ 62 ]} لا يبدو أن هناك فرقًا ملحوظًا في الأداء بين LSTM وGRU. ^{[ 62 ] [ 63 ]}

تتميز شبكات حالة الصدى (ESN) بطبقة مخفية عشوائية ذات اتصال متفرق. وتُعد أوزان خلايا الإخراج العصبية الجزء الوحيد من الشبكة القابل للتغيير (التدريب). وتُجيد شبكات حالة الصدى إعادة إنتاج سلاسل زمنية معينة . ^{[ 67 ]} ويُعرفأحد أنواعها، وهو شبكة الخلايا العصبية النبضية، باسم آلة الحالة السائلة . ^{[ 68 ]}

تُنشأ الشبكة العصبية التكرارية [69] بتطبيق نفس مجموعة الأوزان بشكل تكراري ^{على بنية بيانية} قابلة للتفاضل، وذلك باجتياز البنية بترتيب طوبولوجي . وعادةً ما تُدرَّب هذه الشبكات أيضًا بالنمط العكسي للتفاضل التلقائي ^{[ 70 ] [ 71 ]} . ويمكنها معالجة التمثيلات الموزعة للبنية، مثل المصطلحات المنطقية . ومن الحالات الخاصة للشبكات العصبية التكرارية شبكة RNN التي تتوافق بنيتها مع سلسلة خطية. وقد طُبِّقت الشبكات العصبية التكرارية في معالجة اللغة الطبيعية ^{[ 72 ]} . وتستخدم شبكة الموترات العصبية التكرارية دالة تركيب قائمة على الموترات لجميع العقد في الشجرة ^{[ 73 ] .}

تُعدّ آلات تورينغ العصبية (NTMs) طريقةً لتوسيع الشبكات العصبية المتكررة من خلال ربطها بموارد ذاكرة خارجية تتفاعل معها. يُشابه النظام المُدمج آلة تورينغ أو بنية فون نيومان، ولكنه قابل للتفاضل من البداية إلى النهاية، مما يسمح بتدريبه بكفاءة باستخدام خوارزمية التدرج الهبوطي . ^{[ 74 ]}

تُعد الحواسيب العصبية التفاضلية (DNCs) امتدادًا لآلات تورينج العصبية، مما يسمح باستخدام كميات ضبابية من كل عنوان ذاكرة وسجل للتسلسل الزمني. ^{[ 75 ]}

تُشبه آلات الدفع لأسفل للشبكات العصبية (NNPDA) آلات NTM، ولكن يتم استبدال الأشرطة بمكدسات تناظرية قابلة للتفاضل والتدريب. وبهذا، فهي تُشابه في تعقيدها مُعرّفات قواعد اللغة الخالية من السياق (CFGs). ^{[ 76 ]}

تُعد الشبكات العصبية المتكررة كاملة تورينج ويمكنها تشغيل برامج عشوائية لمعالجة تسلسلات عشوائية من المدخلات. ^{[ 77 ]}

يمكن تدريب الشبكة العصبية المتكررة (RNN) لتصبح نموذجًا توليديًا مشروطًا للتسلسلات، والمعروف أيضًا باسم الانحدار الذاتي .

لننظر بشكل ملموس في مشكلة الترجمة الآلية، أي، بالنظر إلى سلسلة من${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$بالنسبة للكلمات الإنجليزية، يتمثل النموذج في إنتاج تسلسل${\displaystyle (y_{1},\dots ,y_{m})}$من الكلمات الفرنسية. سيتم حلها باستخدام نموذج التسلسل إلى التسلسل .

الآن، أثناء التدريب، سيقوم نصف النموذج المُشفِّر أولاً باستيعاب${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$ثم يبدأ نصف جهاز فك التشفير في توليد تسلسل${\displaystyle ({\hat {y}}_{1},{\hat {y}}_{2},\dots ,{\hat {y}}_{l})}$المشكلة هي أنه إذا ارتكب النموذج خطأً في وقت مبكر، لنقل في${\displaystyle {\hat {y}}_{2}}$إذا كان النموذج يستخدم الرموز اللاحقة، فمن المرجح أن تكون هذه الرموز أخطاءً أيضًا. وهذا يجعل من غير الفعال للنموذج الحصول على إشارة تعلم، لأن النموذج سيتعلم في الغالب تغيير النص.${\displaystyle {\hat {y}}_{2}}$تجاه${\displaystyle y_{2}}$لكن ليس الآخرون.

تُمكّن خاصية "إجبار المعلم" وحدة فك التشفير من استخدام تسلسل الإخراج الصحيح لتوليد المدخل التالي في التسلسل. فعلى سبيل المثال، سترى${\displaystyle (y_{1},\dots ,y_{k})}$من أجل توليد${\displaystyle {\hat {y}}_{k+1}}$.

يُعدّ التدرج الهبوطي خوارزمية تحسين تكرارية من الدرجة الأولى لإيجاد القيمة الدنيا لدالة ما. في الشبكات العصبية، يُمكن استخدامه لتقليل حد الخطأ عن طريق تغيير كل وزن بما يتناسب مع مشتق الخطأ بالنسبة لذلك الوزن، شريطة أن تكون دوال التنشيط غير الخطية قابلة للتفاضل .

الطريقة القياسية لتدريب الشبكات العصبية المتكررة باستخدام خوارزمية التدرج الهبوطي هي خوارزمية " الانتشار العكسي عبر الزمن " (BPTT)، وهي حالة خاصة من خوارزمية الانتشار العكسي العامة . وهناك نسخة أخرى أكثر تكلفة حسابيًا تُعرف باسم "التعلم المتكرر في الوقت الحقيقي" أو RTRL، ^{[ 78 ] [ 79 ]} وهي مثال على التفاضل التلقائي في وضع التراكم الأمامي باستخدام متجهات مماسية مكدسة. وعلى عكس BPTT، فإن هذه الخوارزمية محلية زمنيًا ولكنها غير محلية مكانيًا.

في هذا السياق، تعني المحلية المكانية إمكانية تحديث متجه أوزان الوحدة باستخدام المعلومات المخزنة في الوحدات المتصلة والوحدة نفسها فقط، بحيث يكون تعقيد تحديث الوحدة الواحدة خطيًا بالنسبة لأبعاد متجه الأوزان. أما المحلية الزمنية فتعني أن التحديثات تتم باستمرار (مباشرةً) وتعتمد فقط على أحدث خطوة زمنية، بدلًا من اعتمادها على خطوات زمنية متعددة ضمن أفق زمني محدد كما في خوارزمية BPTT. ويبدو أن الشبكات العصبية البيولوجية محلية من حيث الزمان والمكان. ^{[ 80 ] [ 81 ]}

لحساب المشتقات الجزئية بشكل متكرر، يتطلب خوارزمية RTRL تعقيدًا زمنيًا قدره O(عدد الطبقات المخفية × عدد الأوزان) لكل خطوة زمنية لحساب مصفوفات جاكوبي ، بينما تتطلب خوارزمية BPTT تعقيدًا زمنيًا قدره O(عدد الأوزان) لكل خطوة زمنية، على حساب تخزين جميع التنشيطات الأمامية ضمن الأفق الزمني المحدد. ^{[ 82 ]} يوجد نموذج هجين يعمل عبر الإنترنت يجمع بين خوارزميتي BPTT وRTRL بتعقيد متوسط، ^{[ 83 ] [ 84 ]} بالإضافة إلى متغيرات للزمن المستمر. ^{[ 85 ]}

تتمثل إحدى المشكلات الرئيسية في خوارزمية التدرج الهبوطي لبنى الشبكات العصبية المتكررة القياسية في تلاشي تدرجات الخطأ بسرعة أسية مع زيادة الفاصل الزمني بين الأحداث المهمة. ^{[ 55 ] [ 86 ]} وتسعى شبكة الذاكرة طويلة المدى (LSTM) المدمجة مع طريقة التعلم الهجينة BPTT/RTRL إلى التغلب على هذه المشكلات. ^{[ 36 ]} كما تم حل هذه المشكلة في الشبكة العصبية المتكررة المستقلة (IndRNN) ^{[ 87 ]} عن طريق اختزال سياق العصبون إلى حالته السابقة، ومن ثم يمكن استكشاف معلومات العصبونات المتقاطعة في الطبقات اللاحقة. وبذلك، يمكن تعلم ذكريات ذات نطاقات مختلفة، بما في ذلك الذاكرة طويلة المدى، دون حدوث مشكلات تلاشي التدرج أو انفجاره.

تُطبّق خوارزمية الانتشار العكسي التكراري السببي (CRBP) عبر الإنترنت نموذجي BPTT وRTRL، وتجمع بينهما، وذلك للشبكات المتكررة محليًا. ^{[ 88 ]} وهي تعمل مع معظم الشبكات المتكررة محليًا. تتميز خوارزمية CRBP بقدرتها على تقليل حد الخطأ الكلي، مما يُحسّن استقرار الخوارزمية، ويُوفّر رؤية موحدة لتقنيات حساب التدرج للشبكات المتكررة ذات التغذية الراجعة المحلية.

تعتمد إحدى طرق حساب معلومات التدرج في الشبكات العصبية المتكررة ذات البنى المعمارية المختلفة على الاشتقاق التخطيطي لمخططات تدفق الإشارة. ^{[ 89 ]} وتستخدم هذه الطريقة خوارزمية الدفعات BPTT، المستندة إلى نظرية لي لحساب حساسية الشبكة. ^{[ 90 ]} وقد اقترحها وان وبوفاي، بينما اقترح كامبولوتشي وأونشيني وبيازا نسختها السريعة عبر الإنترنت. ^{[ 90 ]}

يُعدّ التصنيف الزمني الترابطي (CTC) ^{[ 91 ]} دالة خسارة متخصصة لتدريب الشبكات العصبية المتكررة (RNNs) لمشاكل نمذجة التسلسل حيث يكون التوقيت متغيراً. ^{[ 92 ]}

يمكن نمذجة تدريب الأوزان في الشبكة العصبية كمسألة تحسين عالمي غير خطية . يمكن صياغة دالة هدف لتقييم مدى ملاءمة أو خطأ متجه وزن معين كما يلي: أولًا، تُحدد الأوزان في الشبكة وفقًا لمتجه الوزن. ثانيًا، تُقيّم الشبكة مقابل تسلسل التدريب. عادةً، يُستخدم مجموع مربعات الفروق بين التنبؤات والقيم المستهدفة المحددة في تسلسل التدريب لتمثيل خطأ متجه الوزن الحالي. بعد ذلك، يمكن استخدام تقنيات التحسين العالمي المختلفة لتقليل دالة الهدف هذه.

تُعدّ الخوارزميات الجينية أكثر طرق التحسين العالمي شيوعًا لتدريب الشبكات العصبية المتكررة ، لا سيما في الشبكات غير المهيكلة. ^{[ 93 ] [ 94 ] [ 95 ]}

في البداية، تُشفّر الخوارزمية الجينية بأوزان الشبكة العصبية بطريقة محددة مسبقًا، حيث يُمثل كل جين في الكروموسوم رابط وزن واحد. وتُمثل الشبكة بأكملها بكروموسوم واحد. ويتم تقييم دالة اللياقة كما يلي:

• يتم تعيين كل وزن مشفر في الكروموسوم إلى رابط الوزن المقابل في الشبكة.
• يتم تقديم مجموعة التدريب إلى الشبكة التي تقوم بنشر إشارات الإدخال إلى الأمام.
• يتم إرجاع متوسط ​​مربع الخطأ إلى دالة اللياقة.
• هذه الوظيفة هي التي تقود عملية الانتقاء الجيني.

يتكون المجتمع من عدد كبير من الكروموسومات؛ لذلك، تتطور العديد من الشبكات العصبية المختلفة حتى يتم استيفاء معيار التوقف. يمكن أن يكون مخطط التوقف الشائع كما يلي:

• عندما تتعلم الشبكة العصبية نسبة معينة من بيانات التدريب.
• عندما يتم استيفاء الحد الأدنى لقيمة متوسط ​​مربع الخطأ.
• عند الوصول إلى الحد الأقصى لعدد أجيال التدريب.

تقوم دالة اللياقة بتقييم معيار التوقف عند استلامها مقلوب متوسط ​​مربع الخطأ من كل شبكة أثناء التدريب. لذا، فإن هدف الخوارزمية الجينية هو تعظيم دالة اللياقة، وتقليل متوسط ​​مربع الخطأ.

يمكن استخدام تقنيات التحسين العالمية (و/أو التطورية) الأخرى للبحث عن مجموعة جيدة من الأوزان، مثل التلدين المحاكي أو تحسين سرب الجسيمات .

تُعالج الشبكة العصبية المتكررة المستقلة (IndRNN) ^{[ 87 ]} مشكلتي تلاشي التدرج وانفجاره في الشبكة العصبية المتكررة التقليدية كاملة الاتصال. إذ لا تتلقى كل خلية عصبية في طبقة واحدة سوى حالتها السابقة كمعلومات سياقية (بدلاً من الاتصال الكامل بجميع الخلايا العصبية الأخرى في هذه الطبقة)، وبالتالي تكون الخلايا العصبية مستقلة عن تاريخ بعضها البعض. ويمكن تنظيم الانتشار العكسي للتدرج لتجنب تلاشيه وانفجاره، وذلك للحفاظ على الذاكرة طويلة المدى أو قصيرة المدى. ويتم استكشاف معلومات الخلايا العصبية المتقاطعة في الطبقات التالية. ويمكن تدريب IndRNN بكفاءة عالية باستخدام دوال غير خطية غير مشبعة مثل دالة ReLU . كما يمكن تدريب الشبكات العميقة باستخدام وصلات التخطي .

ضاغط التاريخ العصبي عبارة عن مجموعة من الشبكات العصبية المتكررة (RNNs) غير الخاضعة للإشراف. ^{[ 96 ]} على مستوى الإدخال، يتعلم هذا الضاغط التنبؤ بالمدخل التالي بناءً على المدخلات السابقة. تصبح المدخلات غير المتوقعة لبعض الشبكات العصبية المتكررة في التسلسل الهرمي مدخلات للشبكة العصبية المتكررة الأعلى مستوى، والتي بدورها تعيد حساب حالتها الداخلية نادرًا. وبالتالي، تدرس كل شبكة عصبية متكررة أعلى مستوى تمثيلًا مضغوطًا للمعلومات في الشبكة العصبية المتكررة الأدنى منها. يتم ذلك بحيث يمكن إعادة بناء تسلسل الإدخال بدقة من التمثيل الموجود في أعلى مستوى.

يُقلل النظام بشكل فعال من طول الوصف أو اللوغاريتم السالب لاحتمالية البيانات. ^{[ 97 ]} ونظرًا لوجود قدر كبير من إمكانية التنبؤ في تسلسل البيانات الواردة، يمكن لشبكة RNN ذات المستوى الأعلى استخدام التعلم الخاضع للإشراف لتصنيف حتى التسلسلات العميقة ذات الفترات الزمنية الطويلة بين الأحداث المهمة بسهولة.

يمكن تبسيط تسلسل هرمية الشبكة العصبية المتكررة (RNN) إلى شبكتين: شبكة التجميع "الواعية" (المستوى الأعلى) وشبكة الأتمتة "اللاواعية" (المستوى الأدنى). ^{[ 96 ]} بمجرد أن تتعلم شبكة التجميع التنبؤ بالمدخلات التي يصعب على شبكة الأتمتة التنبؤ بها وضغطها، يمكن إجبار شبكة الأتمتة في مرحلة التعلم التالية على التنبؤ بالوحدات المخفية لشبكة التجميع، أو محاكاتها عبر وحدات إضافية. هذا يُسهّل على شبكة الأتمتة تعلم ذكريات مناسبة ونادرة التغير على مدى فترات طويلة. بدوره، يساعد هذا شبكة الأتمتة على جعل العديد من مدخلاتها التي كانت غير قابلة للتنبؤ قابلة للتنبؤ، بحيث تستطيع شبكة التجميع التركيز على الأحداث المتبقية غير القابلة للتنبؤ. ^{[ 96 ]}

تغلب نموذج توليدي جزئياً على مشكلة تلاشي التدرج ^{[ 55 ]} في التفاضل التلقائي أو الانتشار العكسي في الشبكات العصبية عام 1992. وفي عام 1993، حل نظام مماثل مهمة "التعلم العميق جداً" التي تطلبت أكثر من 1000 طبقة متتالية في شبكة عصبية متكررة تم فكها بمرور الوقت. ^{[ 34 ]}

تستخدم الشبكات العصبية المتكررة من الدرجة الثانية أوزانًا من الرتب الأعلى${\displaystyle w{}_{ijk}}$بدلاً من المعيار${\displaystyle w{}_{ij}}$يمكن أن تكون الأوزان والحالات ناتجًا. وهذا يسمح بربط مباشر بآلة ذات حالات محدودة في كل من التدريب والتمثيل. ^{[ 98 ] [ 99 ]} الذاكرة طويلة المدى مثال على ذلك، لكنها لا تملك مثل هذه الروابط الرسمية أو برهانًا على الاستقرار.

تربط الشبكات العصبية المتكررة الهرمية (HRNN) خلاياها العصبية بطرق متنوعة لتحليل السلوك الهرمي إلى برامج فرعية مفيدة. ^{[ 96 ] [ 100 ]} وتوجد هذه البنى الهرمية للإدراك في نظريات الذاكرة التي قدمها الفيلسوف هنري برغسون ، والتي ألهمت آراؤه الفلسفية النماذج الهرمية. ^{[ 101 ]}

تُعدّ الشبكات العصبية المتكررة الهرمية مفيدة في التنبؤ ، إذ تُساعد على توقع مكونات التضخم المُفصّلة لمؤشر أسعار المستهلك (CPI). يستفيد نموذج HRNN من المعلومات المُستقاة من المستويات العليا في هرمية مؤشر أسعار المستهلك لتحسين التنبؤات على المستويات الأدنى. يُظهر تقييم مجموعة بيانات كبيرة من مؤشر أسعار المستهلك الأمريكي (CPI-U) الأداء المُتفوق لنموذج HRNN مُقارنةً بالعديد من طرق التنبؤ بالتضخم المُعتمدة. ^{[ 102 ]}

بشكل عام، تتكون شبكة البيرسيبترون متعددة الطبقات المتكررة (RMLPN) من شبكات فرعية متتالية، تحتوي كل منها على طبقات متعددة من العقد. كل شبكة فرعية ذات تغذية أمامية باستثناء الطبقة الأخيرة، التي يمكن أن تحتوي على وصلات تغذية راجعة. وترتبط كل شبكة فرعية من هذه الشبكات بوصلات تغذية أمامية فقط. ^{[ 103 ]}

الشبكة العصبية المتكررة متعددة النطاقات الزمنية (MTRNN) هي نموذج حسابي قائم على الخلايا العصبية، قادر على محاكاة التسلسل الهرمي الوظيفي للدماغ من خلال التنظيم الذاتي، وذلك اعتمادًا على الاتصال المكاني بين الخلايا العصبية وأنواع أنشطة الخلايا العصبية المختلفة، ولكل منها خصائص زمنية مميزة. ^{[ 104 ] [ 105 ]} بفضل هذه الأنشطة العصبية المتنوعة، تُقسّم التسلسلات المتصلة لأي مجموعة من السلوكيات إلى وحدات أولية قابلة لإعادة الاستخدام، والتي بدورها تُدمج بمرونة في سلوكيات متسلسلة متنوعة. وقد ناقش هوكينز في كتابه "عن الذكاء" الموافقة البيولوجية لهذا النوع من التسلسل الهرمي في نظرية التنبؤ بالذاكرة لوظائف الدماغ . ويتوافق هذا التسلسل الهرمي أيضًا مع نظريات الذاكرة التي طرحها الفيلسوف هنري برغسون ، والتي تم دمجها في نموذج MTRNN. ^{[ 101 ] [ 106 ]}

يصف جريج سنايدر من مختبرات إتش بي نظامًا للحوسبة القشرية باستخدام أجهزة نانوية مقاومة للذاكرة. ^{[ 107 ]} تُصنع المقاومات الذاكرية (مقاومات الذاكرة) من مواد أغشية رقيقة، حيث تُضبط المقاومة كهربائيًا عبر نقل الأيونات أو فراغات الأكسجين داخل الغشاء. وقد موّل مشروع SyNAPSE التابع لوكالة مشاريع الأبحاث الدفاعية المتقدمة (DARPA) مختبرات IBM للأبحاث ومختبرات إتش بي، بالتعاون مع قسم الأنظمة الإدراكية والعصبية (CNS) بجامعة بوسطن، لتطوير بنى عصبية الشكل قد تعتمد على أنظمة مقاومة للذاكرة. تُعد الشبكات المقاومة للذاكرة نوعًا خاصًا من الشبكات العصبية الفيزيائية، ولها خصائص مشابهة جدًا لشبكات (ليتل-) هوبفيلد، إذ تتميز بديناميكية مستمرة، وسعة ذاكرة محدودة، واسترخاء طبيعي عبر تقليل دالة تقترب من نموذج إيزينغ . وبهذا المعنى، تتميز ديناميكيات الدائرة المقاومة للذاكرة، مقارنةً بشبكة المقاومة والمكثف، بسلوك غير خطي أكثر إثارة للاهتمام. من هذا المنظور، تُمثل هندسة الشبكات المقاومة المتغيرة التناظرية نوعًا فريدًا من الهندسة العصبية الشكلية ، حيث يعتمد سلوك الجهاز على توصيلات الدائرة أو بنيتها. ويمكن دراسة تطور هذه الشبكات تحليليًا باستخدام صيغ مختلفة من معادلة كارافيلي-ترافرسا-دي فينترا . ^{[ 108 ]}

تستخدم الشبكة العصبية المتكررة ذات الزمن المستمر (CTRNN) نظامًا من المعادلات التفاضلية العادية لنمذجة تأثيرات المدخلات الواردة على العصبون. وعادةً ما يتم تحليلها باستخدام نظرية الأنظمة الديناميكية . العديد من نماذج الشبكات العصبية المتكررة في علم الأعصاب هي نماذج ذات زمن مستمر. ^{[ 16 ]}

بالنسبة للعصبون${\displaystyle i}$في الشبكة مع التنشيط${\displaystyle y_{i}}$، معدل تغير التنشيط يُعطى بالمعادلة التالية:

${\displaystyle \tau _{i}{\dot {y}}_{i}=-y_{i}+\sum _{j=1}^{n}w_{ji}\sigma (y_{j}-\Theta _{j})+I_{i}(t)}$

أين:

• ${\displaystyle \tau _{i}}$ ثابت الزمن للعقدة بعد المشبكية
• ${\displaystyle y_{i}}$ : تنشيط العقدة بعد المشبكية
• ${\displaystyle {\dot {y}}_{i}}$ معدل تغير تنشيط العقدة بعد المشبكية
• ${\displaystyle w{}_{ji}}$ وزن الاتصال من العقدة قبل المشبكية إلى العقدة بعد المشبكية
• ${\displaystyle \sigma (x)}$ مثال : دالة سيجمويد لـ x${\displaystyle \sigma (x)=1/(1+e^{-x})}$.
• ${\displaystyle y_{j}}$ : تنشيط العقدة قبل المشبكية
• ${\displaystyle \Theta _{j}}$ انحياز العقدة قبل المشبكية
• ${\displaystyle I_{i}(t)}$ : المدخلات (إن وجدت) إلى العقدة

تم تطبيق شبكات CTRNNs في مجال الروبوتات التطورية حيث تم استخدامها لمعالجة الرؤية، ^{[ 109 ]} والتعاون، ^{[ 110 ]} والسلوك المعرفي الأدنى. ^{[ 111 ]}

تجدر الإشارة إلى أنه، وفقًا لنظرية شانون لأخذ العينات ، يمكن اعتبار الشبكات العصبية المتكررة ذات الزمن المتقطع بمثابة شبكات عصبية متكررة ذات زمن مستمر، حيث تتحول المعادلات التفاضلية إلى معادلات فرقية مكافئة . ^{[ 112 ]} ويمكن اعتبار هذا التحول أنه يحدث بعد دوال تنشيط العقدة بعد المشبكية.${\displaystyle y_{i}(t)}$تم ترشيحها باستخدام مرشح تمرير منخفض ولكن قبل أخذ العينات.

هي في الواقع شبكات عصبية تكرارية ذات بنية محددة: بنية سلسلة خطية. فبينما تعمل الشبكات العصبية التكرارية على أي بنية هرمية، حيث تجمع تمثيلات الأبناء في تمثيلات الآباء، تعمل الشبكات العصبية المتكررة على التدرج الخطي للزمن، حيث تجمع الخطوة الزمنية السابقة وتمثيلاً مخفياً في تمثيل الخطوة الزمنية الحالية.

من منظور السلاسل الزمنية، يمكن أن تظهر الشبكات العصبية المتكررة (RNNs) كنسخ غير خطية من مرشحات الاستجابة النبضية المحدودة والاستجابة النبضية غير المحدودة ، وأيضًا كنموذج انحدار ذاتي خارجي غير خطي (NARX). ^{[ 113 ]} تتميز الشبكة العصبية المتكررة باستجابة نبضية غير محدودة، بينما تتميز الشبكة العصبية الالتفافية باستجابة نبضية محدودة . ويُظهر كلا النوعين من الشبكات سلوكًا ديناميكيًا زمنيًا . ^{[ 114 ]} الشبكة المتكررة ذات الاستجابة النبضية المحدودة هي رسم بياني موجه غير دوري يمكن فكه واستبداله بشبكة عصبية أمامية التغذية، بينما الشبكة المتكررة ذات الاستجابة النبضية غير المحدودة هي رسم بياني موجه دوري لا يمكن فكه.

يمكن أيضًا تطبيق تأثير التعلم القائم على الذاكرة للتعرف على التسلسلات من خلال نموذج بيولوجي أكثر يستخدم آلية التثبيط التي تظهر في الخلايا العصبية ذات النشاط الشوكي عالي التردد نسبيًا . ^{[ 115 ]}

يمكن إضافة حالات تخزين إضافية ووحدات تخزين تحت سيطرة الشبكة المباشرة إلى كلٍ من الشبكات ذات النبضات اللانهائية والشبكات ذات النبضات المحدودة . كما يمكن استبدال وحدات التخزين بشبكة أو رسم بياني آخر إذا كان يتضمن تأخيرات زمنية أو حلقات تغذية راجعة. تُعرف هذه الحالات المُتحكَّم بها بالحالات المُبَوَّبة أو الذاكرة المُبَوَّبة، وهي جزء من شبكات الذاكرة طويلة المدى (LSTM) ووحدات التكرار المُبَوَّبة . ويُطلق على هذا النوع أيضًا اسم الشبكة العصبية ذات التغذية الراجعة (FNN).