التداخل الكارثي

الموسوعة الحرة

التداخل الكارثي ، المعروف أيضاً بالنسيان الكارثي ، هو ميل الشبكة العصبية الاصطناعية إلى نسيان المعلومات التي تعلمتها سابقاً بشكل مفاجئ وكبير عند تعلم معلومات جديدة. [ 1 ] [ 2 ]

تُعدّ الشبكات العصبية جزءًا هامًا من المنهج الترابطي في العلوم المعرفية . وقد لفتت أبحاث ماكلوسكي وكوهين (1989) [ 1 ] وراتكليف (1990) [ 2 ] انتباه المجتمع العلمي إلى مشكلة التداخل الكارثي عند نمذجة الذاكرة البشرية باستخدام النماذج الترابطية. وهي تجلٍّ جذري لمعضلة "الحساسية-الاستقرار" [ 3 ] أو معضلة "الاستقرار-اللدونة" [ 4 ] . وتحديدًا، تشير هذه المشكلات إلى التحدي المتمثل في إنشاء شبكة عصبية اصطناعية حساسة للمعلومات الجديدة دون أن تتأثر بها.

تقع جداول البحث والشبكات الترابطية على طرفي نقيض في طيف استقرار المرونة. [ 5 ] فالأولى تظل مستقرة تمامًا في وجود معلومات جديدة، لكنها تفتقر إلى القدرة على التعميم ، أي استنباط مبادئ عامة، من المدخلات الجديدة. من ناحية أخرى، تستطيع الشبكات الترابطية، مثل شبكة الانتشار العكسي القياسية ، التعميم على مدخلات غير مألوفة، لكنها حساسة للمعلومات الجديدة. يمكن تشبيه نماذج الانتشار العكسي بالذاكرة البشرية من حيث قدرتها المماثلة على التعميم ، لكن هذه الشبكات غالبًا ما تُظهر استقرارًا أقل من الذاكرة البشرية. والجدير بالذكر أن شبكات الانتشار العكسي هذه عُرضة للتداخل الكارثي. تُعد هذه مشكلة عند نمذجة الذاكرة البشرية، لأنه على عكس هذه الشبكات، لا يُظهر البشر عادةً نسيانًا كارثيًا. [ 6 ]

اكتشاف

صاغ مصطلح التداخل الكارثي في ​​الأصل ماكلوسكي وكوهين (1989)، ولكن تم لفت انتباه المجتمع العلمي إليه أيضًا من خلال بحث أجراه راتكليف (1990). [ 2 ]

مشكلة التعلم التسلسلي : ماكلوسكي وكوهين (1989)

أشار ماكلوسكي وكوهين (1989) إلى مشكلة التداخل الكارثي خلال تجربتين مختلفتين مع نمذجة الشبكة العصبية ذات الانتشار العكسي.

  • التجربة 1: تعلم حقائق جمع الآحاد والاثنين

في تجربتهم الأولى، قاموا بتدريب شبكة عصبية قياسية تعتمد على الانتشار العكسي على مجموعة تدريبية واحدة تتكون من 17 مسألة جمع من خانة الآحاد (أي من 1 + 1 إلى 9 + 1، ومن 1 + 2 إلى 1 + 9) حتى تمكنت الشبكة من تمثيل جميع المسائل والاستجابة لها بشكل صحيح. انخفض الخطأ بين الناتج الفعلي والناتج المطلوب تدريجيًا خلال جلسات التدريب، مما يعكس تحسن قدرة الشبكة على تمثيل النواتج المستهدفة بشكل أفضل مع تكرار المحاولات. بعد ذلك، قاموا بتدريب الشبكة على مجموعة تدريبية واحدة تتكون من 17 مسألة جمع من خانة الاثنين (أي من 2 + 1 إلى 2 + 9، ومن 1 + 2 إلى 9 + 2) حتى تمكنت الشبكة من تمثيل جميع المسائل والاستجابة لها بشكل صحيح. لاحظوا أن إجراءهم مشابه لكيفية تعلم الطفل حقائق الجمع. بعد كل محاولة تعلم لحقائق جمع الاثنين، تم اختبار الشبكة لمعرفة معرفتها بحقائق جمع الآحاد والاثنين. وكما هو الحال مع حقائق جمع الآحاد، تعلمت الشبكة حقائق جمع الاثنين بسهولة. مع ذلك، لاحظ ماكلوسكي وكوهين أن الشبكة لم تعد قادرة على الإجابة بشكل صحيح على مسائل جمع الآحاد حتى بعد تجربة واحدة لتعلم مسائل جمع الآحاد. كان نمط الإخراج الناتج استجابةً لحقائق الآحاد يُشبه نمط الإخراج لعدد خاطئ أكثر من نمط الإخراج لعدد صحيح. يُعتبر هذا خطأً جسيمًا. علاوة على ذلك، أظهرت المسألتان 2+1 و1+2، اللتان أُدرجتا في مجموعتي التدريب، اضطرابًا كبيرًا حتى خلال تجارب التعلم الأولى لحقائق الآحاد.

  • التجربة 2: تكرار دراسة بارنز وأندروود (1959) [ 7 ]

في نموذجهم الترابطي الثاني، حاول ماكلوسكي وكوهين محاكاة دراسة بارنز وأندروود (1959) حول التداخل الرجعي لدى البشر. درّبوا النموذج على قائمتي AB وAC، واستخدموا نمطًا سياقيًا في متجه الإدخال (نمط الإدخال) للتمييز بين القائمتين. تحديدًا، دُرّبت الشبكة على الاستجابة بالاستجابة الصحيحة B عند عرض المحفز A ونمط السياق AB، وعلى الاستجابة الصحيحة C عند عرض المحفز A ونمط السياق AC. عندما دُرّب النموذج في آنٍ واحد على عناصر AB وAC، تعلّمت الشبكة جميع الارتباطات بشكل صحيح. في التدريب التسلسلي، دُرّبت قائمة AB أولًا، ثم قائمة AC. بعد كل عرض لقائمة AC، قُيس الأداء لكلتا القائمتين AB وAC. وجدوا أن مقدار التدريب على قائمة AC في دراسة بارنز وأندروود، والذي أدى إلى 50% من الاستجابات الصحيحة، أدى إلى ما يقارب 0% من الاستجابات الصحيحة بواسطة شبكة الانتشار العكسي. علاوة على ذلك، وجدوا أن الشبكة تميل إلى إظهار استجابات تشبه نمط الاستجابة C عندما يُطلب منها إعطاء نمط الاستجابة B. يشير هذا إلى أن قائمة AC قد حلت محل قائمة AB. يمكن تشبيه ذلك بتعلم كلمة "كلب"، ثم تعلم كلمة "براز"، ثم اكتشاف أنك تفكر في كلمة "براز" عند سماع كلمة "كلب".

حاول ماكلوسكي وكوهين تقليل التداخل من خلال عدد من التعديلات، بما في ذلك تغيير عدد الوحدات المخفية، وتغيير قيمة معامل معدل التعلم، والتدريب الزائد على قائمة AB، وتجميد أوزان اتصال معينة، وتغيير القيم المستهدفة 0 و1 بدلاً من 0.1 و0.9. ومع ذلك، لم ينجح أي من هذه التعديلات في تقليل التداخل الكارثي الذي أظهرته الشبكات بشكل مُرضٍ.

بشكل عام، خلص ماكلوسكي وكوهين (1989) إلى ما يلي:

  • سيحدث قدر من التداخل على الأقل كلما غيّر التعلم الجديد الأوزان المستخدمة في تمثيل التعلم القديم
  • كلما زادت كمية التعلم الجديد، زاد الاضطراب في المعرفة القديمة
  • كان التداخل كارثيًا في شبكات الانتشار العكسي عندما كان التعلم متسلسلًا وليس متزامنًا

القيود المفروضة بواسطة وظائف التعلم والنسيان : راتكليف (1990)

استخدم راتكليف (1990) مجموعات متعددة من نماذج الانتشار العكسي المطبقة على إجراءات ذاكرة التعرف القياسية، حيث تم تعلم العناصر بشكل متسلسل. [ 2 ] بعد فحص نماذج أداء التعرف، وجد مشكلتين رئيسيتين:

  • تم نسيان المعلومات المكتسبة جيداً بشكل كارثي مع تعلم معلومات جديدة في شبكات الانتشار العكسي الصغيرة والكبيرة على حد سواء.

حتى تجربة تعلم واحدة بمعلومات جديدة أدت إلى فقدان كبير للمعلومات القديمة، وهو ما يتوافق مع نتائج ماكلوسكي وكوهين (1989). [ 1 ] كما وجد راتكليف أن المخرجات الناتجة غالبًا ما تكون مزيجًا من المدخلات السابقة والجديدة. في الشبكات الأكبر، كانت العناصر التي يتم تعلمها في مجموعات (مثل AB ثم CD) أكثر مقاومة للنسيان من العناصر التي يتم تعلمها بشكل فردي (مثل A ثم B ثم C...). ومع ذلك، ظل نسيان العناصر التي يتم تعلمها في مجموعات كبيرًا. ولم تُقلل إضافة وحدات مخفية جديدة إلى الشبكة من التداخل.

  • انخفض التمييز بين العناصر المدروسة والعناصر التي لم يسبق رؤيتها مع ازدياد تعلم الشبكة.

تتعارض هذه النتيجة مع دراسات الذاكرة البشرية، التي أشارت إلى أن التمييز يزداد مع التعلم. حاول راتكليف التخفيف من هذه المشكلة بإضافة "عُقد استجابة" تستجيب بشكل انتقائي للمدخلات القديمة والجديدة. إلا أن هذه الطريقة لم تنجح، إذ أصبحت عُقد الاستجابة هذه نشطة لجميع المدخلات. كما فشل نموذج استخدم نمط السياق في زيادة التمييز بين العناصر الجديدة والقديمة.

الحلول المقترحة

يبدو أن السبب الرئيسي للتداخل الكارثي هو تداخل التمثيلات في الطبقة المخفية للشبكات العصبية الموزعة. [ 8 ] [ 9 ] [ 10 ] في التمثيل الموزع، يميل كل مُدخل إلى إحداث تغييرات في أوزان العديد من العُقد. يحدث النسيان الكارثي لأنه عند تغيير العديد من الأوزان التي تُخزَّن فيها "المعرفة"، فمن غير المرجح أن تبقى المعرفة السابقة سليمة. أثناء التعلم التسلسلي، تختلط المُدخلات، حيث تُضاف المُدخلات الجديدة فوق المُدخلات القديمة. [ 9 ] هناك طريقة أخرى لتصور هذا، وهي تصور التعلم كحركة عبر فضاء الأوزان. [ 11 ] يمكن تشبيه فضاء الأوزان هذا بتمثيل مكاني لجميع التوليفات الممكنة للأوزان التي يمكن أن تمتلكها الشبكة. عندما تتعلم الشبكة لأول مرة تمثيل مجموعة من الأنماط، فإنها تجد نقطة في فضاء الأوزان تسمح لها بالتعرف على جميع تلك الأنماط. [ 10 ] مع ذلك، عندما تتعلم الشبكة مجموعة جديدة من الأنماط، فإنها ستنتقل إلى موضع في فضاء الأوزان يكون فيه الاهتمام الوحيد هو التعرف على الأنماط الجديدة. [ 10 ] وللتعرف على كلتا مجموعتي الأنماط، يجب على الشبكة إيجاد موضع في فضاء الأوزان مناسب للتعرف على كل من الأنماط الجديدة والقديمة.

فيما يلي عدد من التقنيات التي حظيت بدعم تجريبي في الحد بنجاح من التداخل الكارثي في ​​الشبكات العصبية ذات الانتشار العكسي:

التعامد

تضمنت العديد من التقنيات المبكرة لتقليل التداخل التمثيلي جعل متجهات الإدخال أو أنماط تنشيط الوحدات المخفية متعامدة مع بعضها البعض. لاحظ ليفاندوفسكي ولي (1995) [ 12 ] أن التداخل بين الأنماط المتعلمة بالتتابع يقل إلى أدنى حد إذا كانت متجهات الإدخال متعامدة مع بعضها البعض. يُقال إن متجهات الإدخال متعامدة إذا كان مجموع حاصل ضرب عناصرها عبر المتجهين يساوي صفرًا. على سبيل المثال، يُقال إن النمطين [0,0,1,0] و[0,1,0,0] متعامدان لأن (0×0 + 0×1 + 1×0 + 0×0) = 0. إحدى التقنيات التي يمكنها إنشاء تمثيلات متعامدة في الطبقات المخفية هي ترميز الميزات ثنائي القطب (أي الترميز باستخدام -1 و1 بدلاً من 0 و1). [ 10 ] تميل الأنماط المتعامدة إلى إنتاج تداخل أقل فيما بينها. ومع ذلك، لا يمكن تمثيل جميع مشاكل التعلم باستخدام هذه الأنواع من المتجهات، وتشير بعض الدراسات إلى أن درجة التداخل لا تزال إشكالية مع المتجهات المتعامدة. [ 2 ]

تقنية شحذ العقدة

بحسب فرينش (1991) [ 8 ] ، ينشأ التداخل الكارثي في ​​شبكات التغذية الأمامية ذات الانتشار العكسي نتيجة لتفاعل تنشيطات العقد، أو تداخل التنشيطات، الذي يحدث في التمثيلات الموزعة في الطبقة المخفية. لا تُظهر الشبكات العصبية التي تستخدم تمثيلات محلية للغاية تداخلًا كارثيًا بسبب انعدام التداخل في الطبقة المخفية. لذلك، اقترح فرينش أن تقليل قيمة تداخل التنشيطات في الطبقة المخفية من شأنه أن يقلل من التداخل الكارثي في ​​الشبكات الموزعة. وعلى وجه التحديد، اقترح أنه يمكن تحقيق ذلك من خلال تغيير التمثيلات الموزعة في الطبقة المخفية إلى تمثيلات "شبه موزعة". يحتوي التمثيل "شبه الموزع" على عدد أقل من العقد المخفية النشطة، و/أو قيمة تنشيط أقل لهذه العقد، لكل تمثيل، مما يقلل من تداخل تمثيلات المدخلات المختلفة في الطبقة المخفية. أوصى الفرنسيون بأنه يمكن القيام بذلك من خلال "تحسين التنشيط"، وهي تقنية تزيد قليلاً من تنشيط عدد معين من العقد الأكثر نشاطًا في الطبقة المخفية، وتقلل قليلاً من تنشيط جميع الوحدات الأخرى، ثم تغير أوزان الإدخال إلى الطبقة المخفية لتعكس تغييرات التنشيط هذه (على غرار الانتشار العكسي للخطأ).

قاعدة الجدة

اقترح كورتج (1990) [ 13 ] قاعدة تعلم لتدريب الشبكات العصبية، تُسمى "قاعدة الجدة"، للمساعدة في تخفيف التداخل الكارثي. وكما يوحي اسمها، تُساعد هذه القاعدة الشبكة العصبية على تعلم مكونات المدخلات الجديدة التي تختلف عن المدخلات القديمة فقط. وبالتالي، تُغير قاعدة الجدة الأوزان التي لم تكن مُخصصة سابقًا لتخزين المعلومات، مما يُقلل من التداخل في التمثيلات في الوحدات المخفية. ولتطبيق قاعدة الجدة، يُستبدل نمط المدخلات أثناء التعلم بمتجه جدة يُمثل المكونات المختلفة. عند استخدام قاعدة الجدة في شبكة الانتشار العكسي القياسية، لا يحدث نسيان للعناصر القديمة، أو يكون هذا النسيان مُقللًا، عند عرض عناصر جديدة بالتتابع. [ 13 ] ومع ذلك، يتمثل أحد القيود في أن هذه القاعدة لا يُمكن استخدامها إلا مع شبكات التشفير التلقائي أو الشبكات الترابطية التلقائية، حيث تكون الاستجابة المستهدفة لطبقة الإخراج مُطابقة لنمط المدخلات.

شبكات ما قبل التدريب

جادل ماكراي وهيذرينغتون (1993) [ 9 ] بأن البشر، على عكس معظم الشبكات العصبية، لا يبدأون مهام التعلم الجديدة بمجموعة عشوائية من الأوزان. بل يميلون إلى جلب رصيد وافر من المعرفة المسبقة، مما يساعد على تجنب مشكلة التداخل. وقد أظهرا أنه عند تدريب الشبكة مسبقًا على عينة عشوائية من البيانات قبل بدء مهمة التعلم التسلسلي، فإن هذه المعرفة المسبقة ستُقيّد بشكل طبيعي كيفية دمج المعلومات الجديدة. يحدث هذا لأن عينة عشوائية من البيانات من مجال ذي بنية داخلية عالية، كاللغة الإنجليزية مثلاً، ستلتقط أنماط الانتظام، أو الأنماط المتكررة، الموجودة في ذلك المجال. وبما أن المجال قائم على الانتظام، فإن العنصر المُتعلم حديثًا سيميل إلى أن يكون مشابهًا للمعلومات المُتعلمة سابقًا، مما يسمح للشبكة بدمج البيانات الجديدة مع تداخل ضئيل مع البيانات الموجودة. تحديدًا، لا ينبغي لمتجه الإدخال الذي يتبع نفس نمط الانتظام في البيانات المُدربة سابقًا أن يُسبب نمط تنشيط مختلفًا جذريًا في الطبقة المخفية أو يُغير الأوزان بشكل كبير.

بروفة

وصف روبنز (1995) [ 14 ] إمكانية منع النسيان الكارثي من خلال آليات التكرار. وهذا يعني أنه عند إضافة معلومات جديدة، يُعاد تدريب الشبكة العصبية على بعض المعلومات التي تم تعلمها سابقًا. ولكن، بشكل عام،  قد لا تكون المعلومات التي تم تعلمها سابقًا متاحة لإعادة التدريب هذه. ويُعدّ "التكرار الزائف" حلاً لهذه المشكلة، حيث لا يُعاد تدريب الشبكة على البيانات السابقة الفعلية، بل على تمثيلات لها. وتعتمد عدة طرق على هذه الآلية العامة.

الشكل 2: بنية الشبكة شبه المتكررة

الشبكات المتكررة الزائفة

اقترح فرينش (1997) شبكة انتشار عكسي شبه متكررة (انظر الشكل 2). [ 5 ] في هذا النموذج، تُقسّم الشبكة إلى شبكتين فرعيتين متميزتين وظيفيًا ولكنهما متفاعلتان. هذا النموذج مستوحى من علم الأحياء، ويستند إلى بحث أجراه ماكليلاند وآخرون (1995) [ 15 ] . اقترح ماكليلاند وزملاؤه أن الحصين والقشرة المخية الحديثة يعملان كنظامي ذاكرة منفصلين ولكنهما متكاملان، حيث يتولى الحصين تخزين الذاكرة قصيرة المدى ، بينما تتولى القشرة المخية الحديثة تخزين الذاكرة طويلة المدى . يمكن "نقل" المعلومات المخزنة مبدئيًا في الحصين إلى القشرة المخية الحديثة عن طريق إعادة التنشيط أو إعادة التشغيل. في الشبكة شبه المتكررة، تعمل إحدى الشبكتين الفرعيتين كمنطقة معالجة مبكرة، شبيهة بالحصين، وتعمل على تعلم أنماط الإدخال الجديدة. أما الشبكة الفرعية الأخرى فتعمل كمنطقة تخزين نهائية، شبيهة بالقشرة المخية الحديثة. مع ذلك، وخلافًا لنموذج ماكليلاند وآخرون (1995)، تُعيد منطقة التخزين النهائية تمثيلات مُولَّدة داخليًا إلى منطقة المعالجة الأولية، مما يُنشئ شبكة عصبية متكررة. اقترح فرينش أن هذا التداخل بين التمثيلات القديمة والجديدة هو السبيل الوحيد للحد من النسيان الجذري. ولأن الدماغ على الأرجح لن يتمكن من الوصول إلى أنماط الإدخال الأصلية، فإن الأنماط التي ستُعاد إلى القشرة المخية الحديثة ستكون تمثيلات مُولَّدة داخليًا تُسمى أنماطًا زائفة . تُعد هذه الأنماط الزائفة تقريبات للمدخلات السابقة [ 14 ] ، ويمكن دمجها مع عملية تعلم المدخلات الجديدة.

ذاكرة تتجدد ذاتيًا

استلهامًا من روبنز (1995) [ 14 ] وبشكل مستقل عن فرينش (1997) [ 5 ] ، اقترح آنس وروسيه (1997) [ 16 ] أيضًا بنية شبكة عصبية اصطناعية ثنائية الشبكة مع تحديث ذاتي للذاكرة ، تتغلب على التداخل الكارثي عند تنفيذ مهام التعلم التسلسلي في الشبكات الموزعة المدربة بواسطة الانتشار العكسي. ويتمثل المبدأ في تعلم أنماط خارجية جديدة بالتزامن مع أنماط زائفة مُولَّدة داخليًا، أو "ذاكرات زائفة"، تعكس المعلومات المتعلمة سابقًا. وما يميز هذا النموذج بشكل أساسي عن النماذج التي تستخدم التكرار الزائف الكلاسيكي [ 14 ] [ 5 ] في الشبكات متعددة الطبقات ذات التغذية الأمامية هو عملية ارتدادية تُستخدم لتوليد الأنماط الزائفة. بعد عدة عمليات إعادة حقن للنشاط من بذرة عشوائية واحدة، تميل هذه العملية إلى الوصول إلى جاذبات شبكية غير خطية ، وهي أكثر ملاءمة لالتقاط البنية العميقة للمعرفة الموزعة ضمن أوزان الاتصال على النحو الأمثل، مقارنةً بعملية التغذية الأمامية الواحدة للنشاط المستخدمة في التدريب الزائف. وقد أثبتت عملية التحديث الذاتي للذاكرة كفاءتها العالية في عمليات النقل [ 17 ] وفي التعلم التسلسلي للتسلسلات الزمنية للأنماط دون نسيان كارثي [ 18 ] .

إعادة التشغيل التوليدية

في السنوات الأخيرة، استعادت تقنية التدريب الوهمي شعبيتها بفضل التقدم المحرز في قدرات النماذج التوليدية العميقة . عندما تُستخدم هذه النماذج لتوليد "البيانات الوهمية" المراد التدريب عليها، يُشار إلى هذه الطريقة عادةً باسم إعادة التشغيل التوليدية. [ 19 ] يمكن لإعادة التشغيل التوليدية هذه أن تمنع النسيان الكارثي بفعالية، خاصةً عندما تتم إعادة التشغيل في الطبقات المخفية بدلاً من مستوى الإدخال. [ 20 ] [ 21 ]

إعادة التشغيل التلقائي

أدت الفهم المتعمق لآليات توطيد الذاكرة أثناء عمليات النوم في أدمغة الإنسان والحيوان إلى ظهور مناهج أخرى مستوحاة من علم الأحياء. فبينما تُوطَّد الذكريات التصريحية، وفقًا للنموذج الكلاسيكي، من خلال حوار بين الحصين والقشرة المخية الحديثة خلال مرحلة النوم غير المصحوب بحركة العين السريعة (انظر أعلاه)، فقد أشارت بعض الدراسات إلى أن بعض أنواع الذكريات الإجرائية لا تعتمد على الحصين، بل تشمل مرحلة النوم المصحوب بحركة العين السريعة (على سبيل المثال، McDevitt et al. (2015)، [ 22 ] ، ولكن انظر MacDonald and Cote (2021) [ 23 ] لمزيد من التفاصيل حول هذا الموضوع). وقد ألهم هذا نماذج تُعاد فيها تمثيلات داخلية (ذكريات) مُنشأة من خلال التعلم السابق تلقائيًا خلال فترات شبيهة بالنوم في الشبكة نفسها [ 24 ] [ 25 ] (أي دون مساعدة شبكة ثانوية تُنفذها مناهج إعادة التشغيل التوليدية المذكورة أعلاه).

التعلم الكامن

التعلم الكامن هو أسلوب استخدمه غوتستين وستامب (2015) [ 26 ] للتخفيف من التداخل الكارثي بالاستفادة من التعلم النقل . يسعى هذا النهج إلى إيجاد ترميزات مثلى لأي فئات جديدة يتم تعلمها، بحيث يكون احتمال تداخلها الكارثي مع الاستجابات الحالية في أدنى مستوياته. بافتراض وجود شبكة تعلمت التمييز بين مجموعة من الفئات باستخدام رموز تصحيح الأخطاء (ECOC) [ 27 ] (بدلاً من الرموز أحادية القيمة )، يتم اختيار الترميزات المثلى للفئات الجديدة من خلال مراقبة متوسط ​​استجابات الشبكة لها. ولأن هذه الاستجابات المتوسطة نشأت أثناء تعلم المجموعة الأصلية من الفئات دون أي تعرض للفئات الجديدة ، يُشار إليها باسم "الترميزات المتعلمة كامنًا". يستمد هذا المصطلح من مفهوم التعلم الكامن ، كما قدمه تولمان في عام 1930. [ 28 ] في الواقع، تستخدم هذه التقنية التعلم النقل لتجنب التداخل الكارثي، من خلال جعل استجابات الشبكة للفئات الجديدة متسقة قدر الإمكان مع الاستجابات الحالية للفئات التي تم تعلمها بالفعل.

التماسك بالوزن المرن

اقترح كيركباتريك وآخرون (2017) [ 29 ] تقنية دمج الأوزان المرنة (EWC)، وهي طريقة لتدريب شبكة عصبية اصطناعية واحدة بشكل متسلسل على مهام متعددة. تفترض هذه التقنية أن بعض أوزان الشبكة العصبية المدربة أكثر أهمية من غيرها في المهام التي تم تعلمها سابقًا. أثناء تدريب الشبكة العصبية على مهمة جديدة، تقل احتمالية حدوث تغييرات في أوزان الشبكة كلما زادت أهميتها. لتقدير أهمية أوزان الشبكة، تستخدم تقنية دمج الأوزان المرنة آليات احتمالية، ولا سيما مصفوفة معلومات فيشر، ولكن يمكن القيام بذلك بطرق أخرى أيضًا. [ 30 ] [ 31 ] [ 32 ]

التذكر الكارثي

يُشير مصطلح "التذكر الكارثي"، المعروف أيضًا باسم "التعميم المفرط" و "ديجا فو" الشديد ، [ 33 ] إلى ميل الشبكات العصبية الاصطناعية إلى فقدان قدرتها فجأةً على التمييز بين البيانات القديمة والجديدة عند وجود عدد كبير من الأنماط، حيث تتوقف الشبكة عن تعلم إعادة إنتاج مجموعة محددة من الأنماط، وتكتفي بتعلم "تجاوز" أي مدخلات تُعطى لها. [ 34 ] غالبًا ما يحدث التذكر الكارثي نتيجةً لإزالة التداخل الكارثي باستخدام مجموعة تدريب تمثيلية كبيرة أو عدد كافٍ من مجموعات الذاكرة المتسلسلة (إعادة تشغيل الذاكرة أو تكرار البيانات)، مما يؤدي إلى انهيار التمييز بين أنماط الإدخال التي تم تعلمها وتلك التي لم يتم تعلمها. [ 33 ] وقد دُرست هذه المشكلة في البداية من قِبل شاركي وشاركي (1995)، [ 33 ] وروبنز (1993)، [ 34 ] وراتكليف (1990)، [ 2 ] وفرينش (1999). [ 10 ]

انظر أيضاً

مراجع

  1. 1 2 3 ماكلوسكي، مايكل؛ كوهين، نيل ج. (1989). التداخل الكارثي في ​​الشبكات الترابطية: مشكلة التعلم التسلسلي . علم نفس التعلم والتحفيز. المجلد  24. الصفحات 109-165 . doi : 10.1016/S0079-7421(08)60536-8 . ISBN  978-0-12-543324-2.
  2. 1 2 3 4 5 6 راتكليف، روجر (1990). "نماذج الاتصالية لذاكرة التعرف: القيود المفروضة من وظائف التعلم والنسيان". مجلة المراجعة النفسية . 97 (2): 285-308 . doi : 10.1037/0033-295x.97.2.285 . PMID 2186426. S2CID 18556305 .  
  3. ↑ هيب، دونالد أولدينغ (1949). تنظيم السلوك: نظرية عصبية نفسية . وايلي. ISBN 978-0-471-36727-7. OCLC 569043119 . {{cite book}}عدم توافق رقم ISBN / التاريخ ( مساعدة )
  4. ↑ كاربنتر، غيل أ.؛ غروسبيرغ، ستيفن (1 ديسمبر 1987). "ART 2: التنظيم الذاتي لرموز التعرف على الفئات المستقرة لأنماط الإدخال التناظرية". البصريات التطبيقية . 26 (23): 4919-4930 . Bibcode : 1987ApOpt..26.4919C . doi : 10.1364/AO.26.004919 . PMID 20523470 . 
  5. 1 2 3 4 فرينش، روبرت م. (ديسمبر 1997). "شبكات الاتصال شبه المتكررة: مدخل إلى معضلة 'الحساسية والاستقرار'" . علم الاتصال . 9 (4): 353-380 . Bibcode : 1997ConSc...9..353F . doi : 10.1080/095400997116595 .
  6. ↑ غونزاليس، أوسكار سي؛ سوكولوف، يوري؛ كريشنان، جيري بي؛ ديلانوا، جان إريك؛ بازينوف، مكسيم (4 أغسطس 2020). " هل يمكن للنوم حماية الذكريات من النسيان الكارثي؟" . eLife . 9 e51005. doi : 10.7554/eLife.51005 . PMC 7440920. PMID 32748786 .  
  7. ↑ بارنز، جين م.؛ أندروود، بنتون ج. (أغسطس 1959). ""مصير الارتباطات في القائمة الأولى في نظرية النقل". مجلة علم النفس التجريبي . 58 (2): 97-105 . doi : 10.1037/h0047507 . PMID 13796886 . 
  8. 1 2 فرينش، روبرت م. (1991). استخدام التمثيلات شبه الموزعة للتغلب على النسيان الكارثي في ​​الشبكات الترابطية (ملف PDF) . وقائع المؤتمر السنوي الثالث عشر لجمعية العلوم المعرفية. نيو جيرسي: لورانس إيرلبوم. الصفحات 173-178 . CiteSeerX 10.1.1.1040.3564 .  
  9. ١ ٢ ٣ "التخلص من التداخل الكارثي في ​​الشبكات المدربة مسبقًا" . وقائع المؤتمر السنوي الخامس عشر لجمعية العلوم المعرفية: ١٨ إلى ٢١ يونيو ١٩٩٣، معهد العلوم المعرفية، جامعة كولورادو بولدر . دار النشر النفسية. ١٩٩٣. الصفحات ٧٢٣-٧٢٨ . ISBN  978-0-8058-1487-3.
  10. 1 2 3 4 5 فرينش، ر . (1 أبريل 1999). "النسيان الكارثي في ​​الشبكات الترابطية". اتجاهات في العلوم المعرفية . 3 (4): 128-135 . doi : 10.1016/S1364-6613(99)01294-2 . PMID 10322466. S2CID 2691726 .  
  11. ↑ ليفاندوفسكي، ستيفان (1991). "التعلم التدريجي والتداخل الكارثي: مقارنة بين البنى الموزعة" . في: هوكلي، ويليام إي.؛ ليفاندوفسكي، ستيفان (محرران). ربط النظرية بالبيانات: مقالات عن الذاكرة البشرية تكريمًا لبينيت ب. مردوخ . دار النشر النفسية. ص 445-476 . ISBN  978-1-317-76013-9.
  12. ↑ ليفاندوفسكي، ستيفان؛ لي، شو-تشين (1995). "التداخل الكارثي في ​​الشبكات العصبية". التداخل والكبح في الإدراك . ص 329-361 . doi : 10.1016/B978-012208930-5/50011-8 . ISBN  978-0-12-208930-5.
  13. 1 2 كورتج، سي إيه (1990). الذاكرة العرضية في الشبكات الترابطية. في: المؤتمر السنوي الثاني عشر لجمعية العلوم المعرفية ، (ص 764-771). هيلزديل، نيوجيرسي: لورانس إيرلبوم.
  14. ١ ٢ ٣ ٤ روبنز، أنتوني (يونيو ١٩٩٥). "النسيان الكارثي، والتكرار، والتكرار الزائف". علم الاتصال . ٧ (٢): ١٢٣-١٤٦ . doi : 10.1080/09540099550039318 . S2CID 22882861 . 
  15. ↑ ماكليلاند، جيمس ل.؛ ماكناوتون، بروس ل.؛ أورايلي، راندال س. (يوليو 1995). "لماذا توجد أنظمة تعلم تكميلية في الحصين والقشرة المخية الحديثة: رؤى مستقاة من نجاحات وإخفاقات النماذج الترابطية للتعلم والذاكرة". مجلة المراجعة النفسية . 102 (3): 419-457 . doi : 10.1037/0033-295X.102.3.419 . PMID 7624455. S2CID 2832081 .  
  16. ^ الجواب ، برنارد. روسيه ، ستيفان (ديسمبر 1997). “تجنب النسيان الكارثي عن طريق اقتران شبكتين عصبيتين مترددتين”. Comptes Rendus de l'Académie des Sciences، Série III . 320 (12): 989-997 . بيب كود : 1997CRASG.320..989A ​​. دوى : 10.1016/S0764-4469(97)82472-9 .
  17. ↑ آنس، برنارد؛ روسيه، ستيفان (مارس 2000). "الشبكات العصبية ذات الذاكرة ذاتية التحديث: نقل المعرفة في مهام التعلم التسلسلي دون نسيان كارثي". علم الاتصال . 12 (1): 1-19 . Bibcode : 2000ConSc..12....1A . doi : 10.1080/095400900116177 . S2CID 7019649 . 
  18. ↑ آنس، برنارد؛ روسيه، ستيفان؛ فرينش، روبرت م.؛ موسكا، سربان (يونيو 2004). "الذاكرة ذاتية التحديث في الشبكات العصبية الاصطناعية: تعلم التسلسلات الزمنية دون نسيان كارثي" . علم الاتصال . 16 (2): 71-99 . Bibcode : 2004ConSc..16...71A . doi : 10.1080/09540090412331271199 . S2CID 13462914 . 
  19. ↑ موكانو، ديسيبال كونستانتين؛ توريس فيغا، ماريا؛ إيتون، إريك؛ ستون، بيتر؛ ليوتا، أنطونيو (18 أكتوبر 2016). "التباعد التبايني عبر الإنترنت مع إعادة التشغيل التوليدي: إعادة تشغيل التجربة دون تخزين البيانات". arXiv : 1610.05555 [ cs.LG ].
  20. ↑ شين، هانول؛ لي، جونغ كوون؛ كيم، جايهونغ؛ كيم، جي وون (ديسمبر 2017). التعلم المستمر مع إعادة التشغيل التوليدي العميق . NIPS'17: وقائع المؤتمر الدولي الحادي والثلاثين لأنظمة معالجة المعلومات العصبية. كوران أسوشيتس. الصفحات 2994-3003 . ISBN  978-1-5108-6096-4.
  21. ↑ فان دي فين، جيدو م.؛ سيجلمان، هافا ت.؛ تولياس، أندرياس س. (13 أغسطس 2020). "إعادة تشغيل مستوحاة من الدماغ للتعلم المستمر باستخدام الشبكات العصبية الاصطناعية" . نيتشر كوميونيكيشنز . 11 (1): 4069. Bibcode : 2020NatCo..11.4069V . doi : 10.1038/s41467-020-17866-2 . PMC 7426273. PMID 32792531 .  
  22. ↑ ماكديفيت، إليزابيث أ.؛ دوغان، كاثرين أ.؛ ميدنيك، سارة س. (2015-07-01). "نوم حركة العين السريعة يُنقذ التعلّم من التداخل" . علم الأحياء العصبي للتعلّم والذاكرة . نوم حركة العين السريعة والذاكرة. 122 : 51-62 . doi : 10.1016/j.nlm.2014.11.015 . ISSN 1074-7427 . PMC 4704701. PMID 25498222 .   
  23. ↑ ماكدونالد، كيفن جيه؛ كوت، كيمبرلي أ. (2021-10-01). "مساهمات نوم حركة العين السريعة (REM) ونوم حركة العين غير السريعة (NREM) بعد التعلم في استرجاع الذاكرة" . مراجعات طب النوم . 59 101453. doi : 10.1016/j.smrv.2021.101453 . hdl : 10464/17792 . ISSN 1087-0792 . PMID 33588273 .  
  24. ↑ جولدن، رايان؛ ديلانوا، جان إريك؛ ساندا، بافيل؛ بازينوف، ماكسيم (18 نوفمبر 2022). "يمنع النوم النسيان الكارثي في ​​الشبكات العصبية النبضية من خلال تكوين تمثيل مشترك لوزن المشابك العصبية" . مجلة PLOS لعلم الأحياء الحاسوبي . 18 (11) e1010628. رمز Bibcode : 2022PLSCB..18E0628G . doi : 10.1371/journal.pcbi.1010628 . ISSN 1553-7358 . PMC 9674146. PMID 36399437 .   
  25. ↑ تادروس، تيموثي؛ كريشنان، جيري ب.؛ راميا، راميا؛ بازينوف، مكسيم (15 ديسمبر 2022). "إعادة التشغيل غير الخاضعة للإشراف الشبيهة بالنوم تقلل من النسيان الكارثي في ​​الشبكات العصبية الاصطناعية" . مجلة نيتشر كوميونيكيشنز . 13 (1): 7742. رمز Bibcode : 2022NatCo..13.7742T . doi : 10.1038/ s41467-022-34938-7 . ISSN 2041-1723 . PMC 9755223. PMID 36522325 .   
  26. ↑ غوتستين، ستيفن؛ ستامب، إيثان (2015). "الحد من النسيان الكارثي باستخدام التعلم بالنقل ورموز الإخراج الثلاثية". المؤتمر الدولي المشترك للشبكات العصبية 2015 (IJCNN) . الصفحات 1-8 . doi : 10.1109/IJCNN.2015.7280416 . ISBN  978-1-4799-1960-4. S2CID 18745466 . 
  27. ↑ ديتريش، تي جي؛ باكيري، جي. (1 يناير 1995). "حل مشكلات التعلم متعدد الفئات عبر رموز الإخراج المصححة للأخطاء" . مجلة أبحاث الذكاء الاصطناعي . 2 : 263-286 . arXiv : cs/9501101 . doi : 10.1613/jair.105 . S2CID 47109072 . 
  28. ↑ تولمان، إي سي؛ هونزيك، سي إتش (1930). ""البصيرة" عند الفئران". منشورات في علم النفس . 4. جامعة كاليفورنيا: 215-232 .
  29. ↑ كيركباتريك، جيمس؛ باسكانو، رازفان؛ رابينوفيتز، نيل؛ فينيس، جويل؛ ديجاردان، غيوم؛ روسو، أندريه أ.؛ ميلان، كيران؛ كوان، جون؛ رامالهو، تياغو؛ غرابسكا-باروينسكا، أغنيشكا؛ هاسابيس، ديميس؛ كلوباث، كلوديا؛ كوماران، دارشان؛ هادسيل، رايا (14 مارس 2017). " التغلب على النسيان الكارثي في ​​الشبكات العصبية" . وقائع الأكاديمية الوطنية للعلوم . 114 (13): 3521-3526 . arXiv : 1612.00796 . Bibcode : 2017PNAS..114.3521K . doi : 10.1073/pnas.1611835114 . PMC 5380101 . PMID 28292907 .  
  30. ↑ زينك، فريدمان؛ بول، بن؛ جانجولي، سوريا (2017). " التعلم المستمر من خلال الذكاء المشبكي" . وقائع بحوث التعلم الآلي . 70 : 3987-3995 . arXiv : 1703.04200 . PMC 6944509. PMID 31909397 .  
  31. ↑ الجندي، رهف؛ بابيلوني، فرانشيسكا؛ الحسيني، محمد؛ روهرباخ، ماركوس؛ تويتيلارز، تين (2018). "الوصلات العصبية الواعية بالذاكرة: تعلم ما يجب (عدم) نسيانه". رؤية الحاسوب - المؤتمر الأوروبي لرؤية الحاسوب 2018. سلسلة محاضرات في علوم الحاسوب. المجلد 11207. الصفحات 144-161 . arXiv : 1711.09601 . doi : 10.1007/978-3-030-01219-9_9 . ISBN   978-3-030-01218-2. S2CID 4254748 . 
  32. ↑ كوتاليف، أليكسي (2020). "طريقة طبيعية للتغلب على النسيان الكارثي في ​​الشبكات العصبية". تقنيات المعلومات الحديثة وتعليم تكنولوجيا المعلومات . 16 (2): 331-337 . arXiv : 2005.07107 . doi : 10.25559/SITITO.16.202002.331-337 . S2CID 218628670 . 
  33. شاركي ، نويل إي .؛ شاركي، أماندا جيه سي (سبتمبر 1995). "التحليل الهندسي للتمييز باستخدام الانتشار العكسي، ونمذجة الذاكرة التداخلية للشبكات العصبية". مجلة علوم الاتصال . 7 ( 3-4 ): 301-330 . doi : 10.1080/09540099550039264 . ISSN 0954-0091 . S2CID 35249001 .  
  34. 1 2 روبنز، أ. (1993). "النسيان الكارثي في ​​الشبكات العصبية: دور آليات التدريب". وقائع المؤتمر الدولي الأول لنيوزيلندا لعام 1993، ذو المسارين، حول الشبكات العصبية الاصطناعية وأنظمة الخبراء . الصفحات 65-68 . doi : 10.1109/ANNES.1993.323080 . ISBN  0-8186-4260-2. S2CID 41831331 .