الشبكة العصبية المتكررة

📅 آخر تحديث: ٢ أغسطس ٢٠٢٦
✍️ نُشر في: ٢ أغسطس ٢٠٢٦
📷 يحتوي على 8 صور
الموسوعة الحرة

الشبكة العصبية التكرارية هي نوع من الشبكات العصبية العميقة، تُنشأ بتطبيق نفس مجموعة الأوزان بشكل تكراري على مدخلات مُهيكلة، لإنتاج تنبؤ مُهيكل على هياكل إدخال متغيرة الحجم، أو تنبؤ عددي عليها، من خلال اجتياز بنية معينة بترتيب طوبولوجي . وقد طُرحت هذه الشبكات لأول مرة لتعلم التمثيلات الموزعة للبنية (مثل المصطلحات المنطقية )، [ 1 ] ولكنها حققت نجاحًا في تطبيقات متعددة، على سبيل المثال في تعلم هياكل التسلسل والشجرة في معالجة اللغة الطبيعية (وخاصة التمثيلات المستمرة للعبارات والجمل بناءً على تضمينات الكلمات ).

الهندسة المعمارية

أساسي

بنية شبكة عصبية تكرارية بسيطة

في أبسط بنية، يتم دمج العقد في عقد أصلية باستخدام مصفوفة أوزان (مشتركة عبر الشبكة بأكملها) ودالة غير خطية مثلtanh{\displaystyle \tanh }دالة زائدية . إذاج1{\displaystyle c_{1}}وج2{\displaystyle c_{2}}نكونن{\displaystyle n}تمثيلات متجهة ذات أبعاد للعقد، وسيكون والد كل عقدة أيضًان{\displaystyle n}متجه ذو أبعاد، يُعرَّف على النحو التالي:

ص1،2=tanh⁡(دبليو[ج1؛ج2]){\displaystyle p_{1,2}=\tanh(W[c_{1};c_{2}])}

أيندبليو{\displaystyle W}هو عالمن×2ن{\displaystyle n\times 2n}مصفوفة الأوزان.

وقد استُخدمت هذه البنية، مع بعض التحسينات، بنجاح في تحليل المشاهد الطبيعية، والتحليل النحوي لجمل اللغة الطبيعية، [ 2 ] والترميز التلقائي المتكرر والنمذجة التوليدية لهياكل الأشكال ثلاثية الأبعاد في شكل تجريدات مكعبة. [ 3 ]

الارتباط المتتالي المتكرر (RecCC)

RecCC هو نهج شبكة عصبية بناءة للتعامل مع مجالات الأشجار [ 4 ] مع تطبيقات رائدة في الكيمياء [ 5 ] وامتداد إلى الرسوم البيانية الموجهة غير الدورية . [ 6 ]

الشبكات العصبية المتكررة غير الخاضعة للإشراف

تم تقديم إطار عمل للشبكات العصبية المتكررة غير الخاضعة للإشراف في عام 2004. [ 7 ] [ 8 ]

الموتر

تستخدم الشبكات العصبية الموترية المتكررة دالة تركيب واحدة قائمة على الموترات لجميع العقد في الشجرة. [ 9 ]

تمرين

الهبوط التدرجي العشوائي

عادةً ما تُستخدم خوارزمية التدرج العشوائي (SGD) لتدريب الشبكة. ويتم حساب التدرج باستخدام خوارزمية الانتشار العكسي عبر البنية (BPTS)، وهي نوع من خوارزمية الانتشار العكسي عبر الزمن المستخدمة في الشبكات العصبية المتكررة .

ملكيات

لقد تم إثبات قدرة الشبكات العصبية المتكررة على التقريب الشامل على الأشجار في الأدبيات . [ 10 ] [ 11 ]

الشبكات العصبية المتكررة

الشبكات العصبية المتكررة هي شبكات عصبية اصطناعية متكررة ذات بنية محددة: بنية سلسلة خطية. بينما تعمل الشبكات العصبية المتكررة على أي بنية هرمية، حيث تجمع تمثيلات الأبناء في تمثيلات الآباء، فإن الشبكات العصبية المتكررة تعمل على التدرج الخطي للزمن، حيث تجمع الخطوة الزمنية السابقة وتمثيلاً مخفياً في تمثيل الخطوة الزمنية الحالية.

شبكات حالة صدى الشجرة

يتم تقديم نهج فعال لتنفيذ الشبكات العصبية المتكررة بواسطة شبكة حالة صدى الشجرة [ 12 ] ضمن نموذج الحوسبة الخزانية .

امتداد للرسوم البيانية

تشمل امتدادات الرسوم البيانية شبكة الرسوم البيانية العصبية (GNN)، [ 13 ] والشبكة العصبية للرسوم البيانية (NN4G)، [ 14 ] ومؤخراً الشبكات العصبية الالتفافية للرسوم البيانية.

مراجع

  1. ↑ غولر، سي.؛ كوشلر، أ. (1996). "تعلم التمثيلات الموزعة المعتمدة على المهمة عن طريق الانتشار العكسي عبر البنية". وقائع المؤتمر الدولي للشبكات العصبية (ICNN'96) . المجلد  1. الصفحات 347-352 . CiteSeerX 10.1.1.52.4759 . doi : 10.1109/ICNN.1996.548916 . ISBN   978-0-7803-3210-2. S2CID 6536466 . 
  2. ↑ سوشر، ريتشارد؛ لين، كليف؛ نغ، أندرو واي؛ مانينغ، كريستوفر دي. "تحليل المشاهد الطبيعية واللغة الطبيعية باستخدام الشبكات العصبية المتكررة" (ملف PDF) . المؤتمر الدولي الثامن والعشرون للتعلم الآلي (ICML 2011) .
  3. ^ لي، يونيو؛ شو، كاي؛ تشودوري، سيدهارتا؛ يومر، ارسين؛ تشانغ، هاو؛ غيباس، ليوناديس (2017). "GRASS: أجهزة التشفير التلقائي العودية التوليدية لهياكل الأشكال" (PDF) . معاملات ACM على الرسومات . 36 (4): 52. أرخايف : 1705.02090 . دوى : 10.1145/3072959.3073613 . S2CID 20432407 . 
  4. ↑ سبيردوتي، أ.؛ ستاريتا، أ. (1997-05-01). "الشبكات العصبية الخاضعة للإشراف لتصنيف الهياكل". معاملات IEEE في الشبكات العصبية . 8 (3): 714-735 . doi : 10.1109/72.572108 . ISSN 1045-9227 . PMID 18255672 .  
  5. ↑ بيانوتشي، آنا ماريا؛ ميشيلي، أليسيو؛ سبيردوتي، أليساندرو؛ ستاريتا، أنطونينا (2000). "تطبيق شبكات الارتباط المتتالي للهياكل على الكيمياء". الذكاء التطبيقي . 12 ( 1-2 ): 117-147 . doi : 10.1023/A:1008368105614 . ISSN 0924-669X . S2CID 10031212 .  
  6. ↑ ميشيلي، أ.؛ سونا، د.؛ سبيردوتي، أ. (1 نوفمبر 2004). "المعالجة السياقية للبيانات المهيكلة بواسطة الارتباط المتتالي المتكرر". معاملات IEEE في الشبكات العصبية . 15 (6): 1396-1410 . CiteSeerX 10.1.1.135.8772 . doi : 10.1109/TNN.2004.837783 . ISSN 1045-9227 . PMID 15565768. S2CID 12370239 .    
  7. ↑ هامر، باربرا؛ ميشيلي، أليسيو؛ سبيردوتي، أليساندرو؛ ستريكرت، مارك (2004). "نماذج الشبكات ذاتية التنظيم المتكررة". الشبكات العصبية . 17 ( 8-9 ): 1061-1085 . CiteSeerX 10.1.1.129.6155 . doi : 10.1016/j.neunet.2004.06.009 . PMID 15555852 .  
  8. ↑ هامر، باربرا؛ ميشيلي، أليسيو؛ سبيردوتي، أليساندرو؛ ستريكرت، مارك (1 مارس 2004). "إطار عام للمعالجة غير الخاضعة للإشراف للبيانات المهيكلة". الحوسبة العصبية . 57 : 3-35 . CiteSeerX 10.1.1.3.984 . doi : 10.1016/j.neucom.2004.01.008 . 
  9. ↑ سوشر، ريتشارد؛ بيريلجين، أليكس؛ وو، جان؛ تشوانغ، جيسون؛ مانينغ، كريستوفر؛ نغ، أندرو؛ بوتس، كريستوفر. "نماذج عميقة متكررة للتركيب الدلالي على قاعدة بيانات شجرة المشاعر" (ملف PDF) . EMNLP 2013 .
  10. ↑ هامر، باربرا (2007-10-03). التعلم باستخدام الشبكات العصبية المتكررة . سبرينغر. ISBN 9781846285677.
  11. ↑ هامر، باربرا؛ ميشيلي، أليسيو؛ سبيردوتي، أليساندرو (1 مايو 2005). "القدرة التقريبية الشاملة للترابط المتتالي للهياكل". الحوسبة العصبية . 17 (5): 1109-1159 . CiteSeerX 10.1.1.138.2224 . doi : 10.1162/0899766053491878 . S2CID 10845957 .  
  12. ^ جاليتشيو، كلاوديو. ميشيلي ، أليسيو (2013/02/04). “شبكات شجرة صدى الدولة”. الحوسبة العصبية . 101 : 319–337 . دوى : 10.1016/j.neucom.2012.08.017 . اتش دي ال : 11568/158480 .
  13. ↑ سكارسيلي، ف.؛ غوري، م.؛ تسوي، أ.س.؛ هاجنبوخنر، م.؛ مونفارديني، ج. (2009-01-01). "نموذج الشبكة العصبية البيانية" . معاملات IEEE في الشبكات العصبية . 20 (1): 61-80 . doi : 10.1109/TNN.2008.2005605 . ISSN 1045-9227 . PMID 19068426. S2CID 206756462 .   
  14. ↑ ميشيلي، أ. (2009-03-01). " الشبكة العصبية للرسوم البيانية: منهج بنائي سياقي". معاملات IEEE في الشبكات العصبية . 20 (3): 498-511 . doi : 10.1109/TNN.2008.2010350 . ISSN 1045-9227 . PMID 19193509. S2CID 17486263 .