الذاكرة الطويلة والقصيرة المدى

قد تكون هذه المقالة تقنية للغاية بحيث يصعب على معظم القراء فهمها . يرجى المساعدة في تحسينها لجعلها مفهومة لغير المتخصصين ، دون إزالة التفاصيل التقنية. ( مارس 2022 ) ( تعرف على كيفية ومتى يمكنك إزالة هذه الرسالة )

جزء من سلسلة عن
التعلم الآلي واستخراج البيانات
النماذج التعلم تحت الإشراف التعلم غير الخاضع للإشراف التعلم شبه الخاضع للإشراف التعلم الذاتي التعلم التعزيزي التعلم الفوقي التعلم عبر الإنترنت التعلم الدفعي التعلم المنهجي التعلم المبني على القواعد الذكاء الاصطناعي الرمزي العصبي الهندسة العصبية التعلم الآلي الكمومي
المشاكل تصنيف النمذجة التوليدية الانحدار التجميع تخفيض الأبعاد تقدير الكثافة كشف الشذوذ تنظيف البيانات التعلم الآلي التلقائي قواعد الجمعية التحليل الدلالي التنبؤ المنظم هندسة المميزات ميزة التعلم تعلم الترتيب الاستدلال النحوي التعلم الأنطولوجيا التعلم المتعدد الوسائط
التعلم الخاضع للإشراف ( التصنيف  • الانحدار ) التعلم عن طريق التدريب أشجار القرار الفرق الموسيقية التعبئة في أكياس تعزيز غابة عشوائية ك -ن ن الانحدار الخطي بايز الساذج الشبكات العصبية الاصطناعية الانحدار اللوجستي بيرسيبترون آلة متجهات الصلة (RVM) آلة الدعم المتجهي (SVM)
التجميع البتولا دواء هرمي ك- يعني غامض التوقع - التعظيم (EM) دي بي إس أي إن بصريات متوسط ​​التحول
تخفيض الأبعاد تحليل العوامل سي سي ايه ايكا لدا ن م ف تحليل البيانات الشخصية التشخيص قبل الزرع تي-SNE إس دي إل
التنبؤ المنظم النماذج الرسومية شبكة بايز حقل عشوائي مشروط ماركوف المخفي
كشف الشذوذ رانساك ك -ن ن عامل الشذوذ المحلي غابة العزلة
الشبكة العصبية الاصطناعية مُشفِّر ذاتي التعلم العميق الشبكة العصبية التغذية الأمامية الشبكة العصبية المتكررة LSTM المخابرات العسكرية الروسية رقم ESN الحوسبة الخزانية آلة بولتزمان مقيد شبكة GAN نموذج الانتشار سوم الشبكة العصبية التلافيفية يو نت لينت أليكس نت ديب دريم مجال الإشعاع العصبي محول رؤية مامبا الشبكة العصبية المتصاعدة ميمترانزستور ذاكرة الوصول العشوائي الكهروكيميائية (ECRAM)
التعلم التعزيزي التعلم عن طريق Q سارسا الفرق الزمني (TD) متعدد الوكلاء اللعب الذاتي
التعلم مع البشر التعلم النشط التمويل الجماعي الإنسان في الحلقة مؤسسة ريل إتش إف
تشخيصات النموذج معامل التحديد مصفوفة الارتباك منحنى التعلم منحنى ROC
الأسس الرياضية آلات النواة المقايضة بين التحيز والتباين نظرية التعلم الحاسوبي التقليل من المخاطر التجريبية التعلم أوكام التعلم PAC التعلم الإحصائي نظرية رأس المال الاستثماري
المجلات والمؤتمرات ECML PKDD نيوريبس شهادة ICML اي سي ال ار اي جيه سي ايه اي مل جيه إم إل آر
مقالات ذات صلة معجم الذكاء الاصطناعي قائمة مجموعات البيانات لأبحاث التعلم الآلي قائمة مجموعات البيانات في مجال الرؤية الحاسوبية ومعالجة الصور مخطط التعلم الآلي
ف ت هـ

الذاكرة الطويلة قصيرة المدى ( LSTM ) ^[1] هي نوع من الشبكات العصبية المتكررة (RNN) تهدف إلى التخفيف من مشكلة التدرج المتلاشي ^[2] التي تواجهها الشبكات العصبية المتكررة التقليدية عادةً. إن عدم حساسيتها النسبية لطول الفجوة هي ميزتها على الشبكات العصبية المتكررة الأخرى ونماذج ماركوف المخفية وطرق التعلم التسلسلي الأخرى. وتهدف إلى توفير ذاكرة قصيرة المدى للشبكة العصبية المتكررة التي يمكن أن تستمر لآلاف الخطوات الزمنية (وبالتالي " الذاكرة الطويلة قصيرة المدى"). ^[1] تم صنع الاسم على غرار الذاكرة طويلة المدى والذاكرة قصيرة المدى وعلاقتهما، والتي درسها علماء النفس الإدراكي منذ أوائل القرن العشرين.

تتكون وحدة LSTM عادةً من خلية وثلاث بوابات : بوابة إدخال وبوابة إخراج ^[3] وبوابة نسيان [ ^4] . تتذكر الخلية القيم على فترات زمنية عشوائية، وتنظم البوابات تدفق المعلومات إلى داخل الخلية وخارجها. تقرر بوابات النسيان المعلومات التي يجب التخلص منها من الحالة السابقة، عن طريق تعيين الحالة السابقة والإدخال الحالي إلى قيمة بين 0 و1. تشير القيمة (المقربة) 1 إلى الاحتفاظ بالمعلومات، وتمثل القيمة 0 التخلص منها. تقرر بوابات الإدخال أي أجزاء من المعلومات الجديدة يجب تخزينها في حالة الخلية الحالية، باستخدام نفس النظام مثل بوابات النسيان. تتحكم بوابات الإخراج في أجزاء المعلومات في حالة الخلية الحالية التي يجب إخراجها، عن طريق تعيين قيمة من 0 إلى 1 للمعلومات، مع مراعاة الحالات السابقة والحالية. يسمح إخراج المعلومات ذات الصلة بشكل انتقائي من الحالة الحالية لشبكة LSTM بالحفاظ على تبعيات مفيدة وطويلة الأمد للتنبؤات، سواء في خطوات الوقت الحالية أو المستقبلية.

تستخدم تقنية LSTM في تطبيقات واسعة في التصنيف ، ^{[5] [6]} معالجة البيانات ، مهام تحليل السلاسل الزمنية ، ^[7] التعرف على الكلام ، ^{[8] [9]} الترجمة الآلية ، ^{[10] [11]} اكتشاف نشاط الكلام، ^[12] التحكم في الروبوت ، ^{[13] [14]} ألعاب الفيديو ، ^{[15] [16]} والرعاية الصحية . ^[17]

من الناحية النظرية، يمكن لشبكات RNN الكلاسيكية تتبع التبعيات طويلة المدى التعسفية في تسلسلات الإدخال. المشكلة مع شبكات RNN الكلاسيكية هي حسابية (أو عملية) بطبيعتها: عند تدريب شبكة RNN كلاسيكية باستخدام الانتشار الخلفي ، يمكن أن "تتلاشى" التدرجات طويلة المدى التي يتم انتشارها للخلف ، مما يعني أنها يمكن أن تميل إلى الصفر بسبب الأعداد الصغيرة جدًا التي تتسلل إلى الحسابات، مما يتسبب في توقف النموذج عن التعلم بشكل فعال. تحل شبكات RNN التي تستخدم وحدات LSTM جزئيًا مشكلة التدرج المتلاشي ، لأن وحدات LSTM تسمح للتدرجات بالتدفق أيضًا مع القليل من التوهين أو بدونه. ومع ذلك، لا تزال شبكات LSTM تعاني من مشكلة التدرج المتفجر. ^[18]

الحدس وراء بنية LSTM هو إنشاء وحدة إضافية في الشبكة العصبية تتعلم متى تتذكر ومتى تنسى المعلومات ذات الصلة. ^[4] بعبارة أخرى، تتعلم الشبكة بشكل فعال المعلومات التي قد تكون هناك حاجة إليها لاحقًا في تسلسل ومتى لم تعد هناك حاجة إلى هذه المعلومات. على سبيل المثال، في سياق معالجة اللغة الطبيعية ، يمكن للشبكة تعلم التبعيات النحوية. ^[19] قد تعالج LSTM الجملة " Dave ، نتيجة لادعاءاته المثيرة للجدل، أصبح الآن منبوذًا" من خلال تذكر الجنس النحوي (المرجح إحصائيًا) وعدد الفاعل Dave ، لاحظ أن هذه المعلومات ذات صلة بالضمير his ولاحظ أن هذه المعلومات لم تعد مهمة بعد الفعل is .

في المعادلات أدناه، تمثل المتغيرات ذات الأحرف الصغيرة متجهات. تحتوي المصفوفات و على التوالي على أوزان اتصالات الإدخال والتكرار، حيث يمكن أن يكون الرمز السفلي إما بوابة الإدخال أو بوابة الإخراج أو بوابة النسيان أو خلية الذاكرة ، اعتمادًا على التنشيط الذي يتم حسابه. في هذا القسم، نستخدم "ترميز المتجه". على سبيل المثال، ليست وحدة واحدة فقط من خلية LSTM واحدة، ولكنها تحتوي على وحدات خلية LSTM. ${\displaystyle W_{q}}$${\displaystyle U_{q}}$${\displaystyle _{q}}$${\displaystyle i}$${\displaystyle o}$${\displaystyle f}$${\displaystyle c}$${\displaystyle c_{t}\in \mathbb {R} ^{h}}$${\displaystyle h}$

انظر ^[20] لدراسة تجريبية لـ 8 متغيرات معمارية من LSTM.

الأشكال المدمجة لمعادلات المرور الأمامي لخلية LSTM ذات بوابة النسيان هي: ^{[1] [4]}

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\{\tilde {c}}_{t}&=\sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot {\tilde {c}}_{t}\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

حيث تكون القيم الأولية هي و و يشير المشغل إلى حاصل ضرب هادامارد (حاصل ضرب على مستوى العناصر). يشير الرمز السفلي إلى خطوة الوقت. ${\displaystyle c_{0}=0}$${\displaystyle h_{0}=0}$${\displaystyle \odot }$${\displaystyle t}$

نسمح للعلامات العلوية والإشارة إلى عدد ميزات الإدخال وعدد الوحدات المخفية على التوالي: ${\displaystyle d}$${\displaystyle h}$

• ${\displaystyle x_{t}\in \mathbb {R} ^{d}}$: متجه الإدخال إلى وحدة LSTM
• ${\displaystyle f_{t}\in {(0,1)}^{h}}$:انسَ متجه تنشيط البوابة
• ${\displaystyle i_{t}\in {(0,1)}^{h}}$:متجه تنشيط بوابة الإدخال/التحديث
• ${\displaystyle o_{t}\in {(0,1)}^{h}}$: متجه تنشيط بوابة الإخراج
• ${\displaystyle h_{t}\in {(-1,1)}^{h}}$: ناقل الحالة المخفية المعروف أيضًا باسم ناقل الإخراج لوحدة LSTM
• ${\displaystyle {\tilde {c}}_{t}\in {(-1,1)}^{h}}$:ناقل تنشيط مدخلات الخلية
• ${\displaystyle c_{t}\in \mathbb {R} ^{h}}$:متجه حالة الخلية
• ${\displaystyle W\in \mathbb {R} ^{h\times d}}$، و : مصفوفات الوزن ومعلمات متجه التحيز التي يجب تعلمها أثناء التدريب${\displaystyle U\in \mathbb {R} ^{h\times h}}$${\displaystyle b\in \mathbb {R} ^{h}}$

• ${\displaystyle \sigma _{g}}$: دالة سيجما .
• ${\displaystyle \sigma _{c}}$: دالة ​​الظل الزائدية .
• ${\displaystyle \sigma _{h}}$: دالة الظل الزائدية أو كما تشير ورقة LSTM ذات الفتحة الصغيرة ^{[21] [22]} ، .${\displaystyle \sigma _{h}(x)=x}$

الشكل الموجود على اليمين هو تمثيل بياني لوحدة LSTM ذات اتصالات ثقب الباب (أي LSTM ذات ثقب الباب). ^{[21] [22]} تسمح اتصالات ثقب الباب للبوابات بالوصول إلى دائرة الخطأ الثابت (CEC)، والتي يكون تنشيطها هو حالة الخلية. ^[21] لا يتم استخدام هذه الخاصية، بل يتم استخدامها بدلاً من ذلك في معظم الأماكن. ${\displaystyle h_{t-1}}$${\displaystyle c_{t-1}}$

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

يمكن اعتبار كل بوابة بمثابة خلية عصبية "قياسية" في شبكة عصبية ذات تغذية أمامية (أو متعددة الطبقات): أي أنها تحسب تنشيطًا (باستخدام دالة تنشيط) لمجموع مرجح. وتمثل تنشيطات بوابات الإدخال والإخراج والنسيان على التوالي، في خطوة زمنية . ${\displaystyle i_{t},o_{t}}$${\displaystyle f_{t}}$${\displaystyle t}$

تمثل الأسهم الثلاثة التي تخرج من خلية الذاكرة إلى البوابات الثلاث وصلات ثقب الباب . تشير وصلات ثقب الباب هذه في الواقع إلى مساهمات تنشيط خلية الذاكرة في خطوة زمنية ، أي مساهمة (وليس ، كما قد تشير الصورة). بعبارة أخرى، تحسب البوابات و عمليات تنشيطها في خطوة زمنية (أي، على التوالي، و ) مع الأخذ في الاعتبار أيضًا تنشيط خلية الذاكرة في خطوة زمنية ، أي . ${\displaystyle c}$${\displaystyle i,o}$${\displaystyle f}$${\displaystyle c}$${\displaystyle t-1}$${\displaystyle c_{t-1}}$${\displaystyle c_{t}}$${\displaystyle i,o}$${\displaystyle f}$${\displaystyle t}$${\displaystyle i_{t},o_{t}}$${\displaystyle f_{t}}$${\displaystyle c}$${\displaystyle t-1}$${\displaystyle c_{t-1}}$

السهم الوحيد من اليسار إلى اليمين الذي يخرج من خلية الذاكرة ليس اتصالاً بثقب الباب ويشير إلى . ${\displaystyle c_{t}}$

تمثل الدوائر الصغيرة التي تحتوي على رمز عملية ضرب عنصرية بين مدخلاته. تمثل الدوائر الكبيرة التي تحتوي على منحنى يشبه حرف S تطبيق دالة قابلة للاشتقاق (مثل دالة سيجمايد) على مجموع مرجح. ${\displaystyle \times }$

LSTM التفافية لثقب الباب . ^[23] يشير إلى عامل الالتفاف . ${\displaystyle *}$

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\odot c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\odot c_{t-1}+b_{i})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\odot c_{t}+b_{o})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

يمكن تدريب RNN باستخدام وحدات LSTM بطريقة إشرافية على مجموعة من تسلسلات التدريب، باستخدام خوارزمية تحسين مثل الانحدار التدرجي مع الانتشار الخلفي عبر الزمن لحساب التدرجات اللازمة أثناء عملية التحسين، من أجل تغيير كل وزن لشبكة LSTM بما يتناسب مع مشتق الخطأ (في طبقة الإخراج لشبكة LSTM) فيما يتعلق بالوزن المقابل.

تتمثل إحدى المشكلات المتعلقة باستخدام الانحدار التدريجي للشبكات العصبية المتكررة القياسية في أن تدرجات الخطأ تتلاشى بسرعة كبيرة مع حجم الفارق الزمني بين الأحداث المهمة. ويرجع هذا إلى أن نصف القطر الطيفي أصغر من 1. ^{[2] [24]}${\displaystyle \lim _{n\to \infty }W^{n}=0}$${\displaystyle W}$

ومع ذلك، في وحدات LSTM، عندما يتم نشر قيم الخطأ من طبقة الإخراج، يظل الخطأ في خلية وحدة LSTM. تقوم "دائرة الأخطاء" هذه باستمرار بتغذية الخطأ إلى كل بوابة من بوابات وحدة LSTM، حتى تتعلم قطع القيمة.

تستخدم العديد من التطبيقات مجموعات من شبكات RNN LSTM ^[25] وتدربها من خلال التصنيف الزمني الترابطي (CTC) ^[5] للعثور على مصفوفة وزن RNN تعمل على تعظيم احتمالية تسلسلات العلامات في مجموعة التدريب، مع الأخذ في الاعتبار تسلسلات الإدخال المقابلة. يحقق التصنيف الزمني الترابطي كلاً من المحاذاة والتعرف.

في بعض الأحيان، قد يكون من المفيد تدريب (أجزاء من) LSTM من خلال التطور العصبي ^[7] أو من خلال أساليب تدرج السياسة، خاصةً عندما لا يكون هناك "معلم" (أي تسميات التدريب).

تتضمن تطبيقات LSTM ما يلي:

2015: بدأت Google في استخدام LSTM المدربة بواسطة CTC للتعرف على الكلام على Google Voice. ^{[50] [51]} وفقًا لمنشور المدونة الرسمي، قلل النموذج الجديد من أخطاء النسخ بنسبة 49%. ^[52]

2016: بدأت جوجل في استخدام LSTM لاقتراح الرسائل في تطبيق المحادثة Allo. ^[53] في نفس العام، أصدرت جوجل نظام Google Neural Machine Translation لـ Google Translate والذي استخدم LSTMs لتقليل أخطاء الترجمة بنسبة 60%. ^{[10] [54] [55]}

أعلنت شركة Apple في مؤتمر المطورين العالميين الخاص بها أنها ستبدأ في استخدام LSTM للكتابة السريعة ^{[56] [57] [58]} في iPhone ولـ Siri. ^{[59] [60]}

أطلقت أمازون برنامج Polly ، الذي يقوم بتوليد الأصوات خلف Alexa، باستخدام LSTM ثنائي الاتجاه لتقنية تحويل النص إلى كلام. ^[61]

2017: أجرى فيسبوك حوالي 4.5 مليار ترجمة آلية يوميًا باستخدام شبكات الذاكرة قصيرة المدى الطويلة. ^[11]

أفادت شركة مايكروسوفت بأنها وصلت إلى دقة التعرف بنسبة 94.9% على مجموعة المفاتيح Switchboard، والتي تضم مفردات من 165000 كلمة. وقد استخدم النهج "ذاكرة طويلة المدى تعتمد على جلسة حوار". ^[62]

2018: استخدمت OpenAI LSTM المدربة من خلال تدرجات السياسة للتغلب على البشر في لعبة الفيديو المعقدة Dota 2، ^[15] وللتحكم في يد روبوتية تشبه يد الإنسان تتلاعب بالأشياء المادية ببراعة غير مسبوقة. ^{[14] [63]}

2019: استخدمت DeepMind LSTM المدربة من خلال تدرجات السياسة للتفوق في لعبة الفيديو المعقدة Starcraft II . ^{[16] [63]}

تم توقع جوانب LSTM من خلال "الانتشار الخلفي المركّز" (Mozer، 1989)، ^[64] كما ورد في ورقة LSTM. ^[1]

قام سيب هوخرايتر في أطروحته للدبلومة الألمانية عام 1991 بتحليل مشكلة التدرج المتلاشي وتطوير مبادئ الطريقة. ^[2] اعتبر مشرفه، يورجن شميدهوبر ، الأطروحة ذات أهمية كبيرة. ^[65]

نُشرت نسخة مبكرة من LSTM في عام 1995 في تقرير فني كتبه Sepp Hochreiter و Jürgen Schmidhuber ، ^[66] ثم نُشر في مؤتمر NIPS 1996. ^[3]

تم نشر نقطة المرجع الأكثر استخدامًا لـ LSTM في عام 1997 في مجلة Neural Computation . ^[1] من خلال تقديم وحدات Constant Error Carousel (CEC)، تتعامل LSTM مع مشكلة التدرج المتلاشي . تضمنت النسخة الأولية من كتلة LSTM خلايا وبوابات إدخال وإخراج. ^[20]

( فيليكس جيرس ، ويورجن شميدهوبر، وفريد ​​كومينز، 1999) ^[67] قدم بوابة النسيان (وتسمى أيضًا "بوابة الاحتفاظ") في بنية LSTM في عام 1999، مما مكن LSTM من إعادة تعيين حالتها الخاصة. ^[20] هذه هي النسخة الأكثر استخدامًا من LSTM في الوقت الحاضر.

(Gers, Schmidhuber, and Cummins, 2000) أضافوا وصلات ثقب الباب. ^{[21] [22]} بالإضافة إلى ذلك، تم حذف وظيفة تنشيط الإخراج. ^[20]

(Graves, Fernandez, Gomez, and Schmidhuber, 2006) ^[5] قدموا دالة خطأ جديدة لـ LSTM: التصنيف الزمني الاتصالي (CTC) للمحاذاة والتعرف على التسلسلات في وقت واحد.

(Graves, Schmidhuber, 2005) ^[26] نشر LSTM مع الانتشار الخلفي الكامل عبر الزمن وLSTM ثنائي الاتجاه.

(Kyunghyun Cho et al., 2014) ^[68] نشر نسخة مبسطة من بوابة النسيان LSTM ^[67] تسمى الوحدة المتكررة المبوابة (GRU).

(روبيش كومار سريفاستافا، كلاوس جريف، وشميدهوبر، 2015) استخدموا مبادئ LSTM ^[67] لإنشاء شبكة الطريق السريع ، وهي شبكة عصبية تغذية أمامية تحتوي على مئات الطبقات، وهي أعمق بكثير من الشبكات السابقة. ^{[69] [70] [71]} وفي الوقت نفسه، تم تطوير بنية ResNet . وهي تعادل شبكة الطرق السريعة المفتوحة أو غير المفتوحة. ^[72]

تم نشر ترقية حديثة لـ LSTM تسمى xLSTM بواسطة فريق بقيادة Sepp Hochreiter (Maximilian et al، 2024). ^{[73] [74]} يمكن تنفيذ إحدى الكتلتين (mLSTM) للهندسة المعمارية بالتوازي مثل هندسة Transformer ، بينما تسمح الكتل الأخرى (sLSTM) بتتبع الحالة.

2004: أول تطبيق ناجح لتقنية LSTM على الكلام أليكس جريفز وآخرون. ^{[75] [63]}

2001: قام جيرز وشميدهوبر بتدريب LSTM على تعلم اللغات التي لا يمكن تعلمها باستخدام النماذج التقليدية مثل نماذج ماركوف المخفية. ^{[21] [63]}

استخدم Hochreiter وآخرون LSTM للتعلم الفوقي (أي تعلم خوارزمية التعلم). ^[76]

2005: قام دان ويرسترا، وفاوستينو جوميز، وشميدهوبر بتدريب LSTM من خلال التطور العصبي دون معلم. ^[7]

قام ماير وآخرون بتدريب LSTM للتحكم في الروبوتات . ^[13]

2007: قام Wierstra وFoerster وPeters وSchmidhuber بتدريب LSTM من خلال تدرجات السياسة للتعلم التعزيزي دون معلم. ^[77]

قام هوخرايتر، وهيوزيل، وأوبرماير بتطبيق تقنية LSTM للكشف عن تشابه البروتينات في مجال علم الأحياء . ^[37]

2009: قدم جاستن باير وآخرون البحث عن البنية العصبية لـ LSTM. ^{[78] [63]}

2009: فازت إحدى ماكينات LSTM التي دربتها CTC بمسابقة التعرف على خط اليد المتصلة ICDAR . وقد قدم فريق بقيادة أليكس جريفز ثلاثة نماذج من هذا القبيل . ^[79] كان أحدها هو النموذج الأكثر دقة في المسابقة وكان الآخر هو الأسرع. ^[80] كانت هذه هي المرة الأولى التي تفوز فيها شبكة عصبية متكررة بمسابقات دولية. ^[63]

2013: استخدم أليكس جريفز وعبد الرحمن محمد وجيفري هينتون شبكات LSTM كمكون رئيسي لشبكة حققت معدل خطأ صوتي قياسي بلغ 17.7% على مجموعة بيانات الكلام الطبيعي TIMIT الكلاسيكية . ^[28]

نشر باحثون من جامعة ولاية ميشيغان ، وIBM Research ، وجامعة كورنيل دراسة في مؤتمر اكتشاف المعرفة واستخراج البيانات (KDD). ^{[81] [82] [83]} يعمل LSTM الذي يدرك الوقت (T-LSTM) بشكل أفضل على مجموعات بيانات معينة من LSTM القياسي.

• مونر، ديريك د.؛ ريجيا، جيمس أ. (2010). "خوارزمية تدريب عامة شبيهة بـ LSTM للشبكات العصبية المتكررة من الدرجة الثانية" (PDF) . الشبكات العصبية . 25 (1): 70–83. doi :10.1016/j.neunet.2011.07.003. PMC 3217173.  PMID 21803542.  امتداد عالي الأداء لـ LSTM تم تبسيطه إلى نوع عقدة واحدة ويمكنه تدريب بنيات عشوائية
• جيرس، فيليكس أ.؛ شراودولف، نيكول ن.؛ شميدهوبر، يورجن (أغسطس 2002). "تعلم التوقيت الدقيق باستخدام شبكات LSTM المتكررة" (ملف PDF) . مجلة أبحاث التعلم الآلي . 3 : 115-143.
• جيرس، فيليكس (2001). "الذاكرة الطويلة والقصيرة المدى في الشبكات العصبية المتكررة" (PDF) . أطروحة دكتوراه .
• أبيدوجون، أولوسولا أدينيي (2005). استخراج البيانات وكشف الاحتيال والاتصالات المتنقلة: تحليل أنماط المكالمات باستخدام الشبكات العصبية غير الخاضعة للإشراف. أطروحة الماجستير (رسالة). جامعة كيب الغربية. hdl :11394/249. مؤرشف من الأصل (PDF) في 22 مايو 2012.
  • الأصل مع فصلين مخصصين لشرح الشبكات العصبية المتكررة، وخاصة LSTM.

• الشبكات العصبية المتكررة مع أكثر من 30 ورقة بحثية من تأليف مجموعة يورجن شميدهوبر في IDSIA
• Zhang, Aston; Lipton, Zachary; Li, Mu; Smola, Alexander J. (2024). "10.1. الذاكرة الطويلة والقصيرة المدى (LSTM)". الغوص في التعلم العميق . Cambridge New York Port Melbourne New Delhi Singapore: Cambridge University Press. ISBN 978-1-009-38943-3.