الانتشار العكسي عبر الزمن

تُعدّ تقنية الانتشار العكسي عبر الزمن ( BPTT ) أسلوبًا قائمًا على التدرج لتدريب أنواع معينة من الشبكات العصبية المتكررة ، مثل شبكات إلمان . وقد طُوّرت هذه الخوارزمية بشكل مستقل من قِبل العديد من الباحثين. ^{[ 1 ] [ 2 ] [ 3 ]}

بيانات التدريب لشبكة عصبية متكررة هي عبارة عن تسلسل مرتب من${\displaystyle k}$أزواج المدخلات والمخرجات،$// _ {ك-1}،\mathbf {y} _{ك-1}\rangle }$يجب تحديد قيمة ابتدائية للحالة المخفية${\displaystyle \mathbf {x} _{0}}$، والتي يتم اختيارها عادةً لتكون متجهًا صفريًا .

تبدأ تقنية BPTT بفك تشفير شبكة عصبية متكررة بمرور الوقت. تحتوي الشبكة المفكوكة على${\displaystyle k}$المدخلات والمخرجات، ولكن كل نسخة من الشبكة تشترك في نفس المعلمات. بعد ذلك، تُستخدم خوارزمية الانتشار العكسي لإيجاد تدرج دالة الخسارة بالنسبة لجميع معلمات الشبكة.

لنأخذ مثالاً على شبكة عصبية تحتوي على طبقة متكررة${\displaystyle f}$وطبقة تغذية أمامية${\displaystyle g}$توجد طرق مختلفة لتحديد تكلفة التدريب، لكن التكلفة الإجمالية هي دائمًا متوسط ​​تكاليف كل خطوة زمنية. ويمكن حساب تكلفة كل خطوة زمنية على حدة. يوضح الشكل أعلاه كيفية حساب التكلفة في كل خطوة زمنية.${\displaystyle t+3}$يمكن حساب ذلك عن طريق فك الطبقة المتكررة${\displaystyle f}$لثلاث خطوات زمنية وإضافة طبقة التغذية الأمامية${\displaystyle g}$كل حالة من${\displaystyle f}$تتشارك الشبكة غير المطوية نفس المعلمات. وبالتالي، يتم تحديث الأوزان في كل حالة (${\displaystyle f_{1},f_{2},f_{3}}$يتم جمعها معًا.

فيما يلي رمز زائف لنسخة مختصرة من BPTT، حيث تحتوي بيانات التدريب على${\displaystyle n}$أزواج المدخلات والمخرجات، ويتم فرد الشبكة لـ${\displaystyle k}$الخطوات الزمنية:

Back_Propagation_Through_Time(a, y) // a[t] هو المدخل عند الزمن t. y[t] هو المخرج قم بفرد الشبكة لتضم k من حالات f do حتى يتم استيفاء معيار التوقف: x := متجه ذو مقدار صفري // x هو السياق الحالي for t from 0 to n − k do // t هو الزمن. n هو طول سلسلة التدريب قم بتعيين مدخلات الشبكة إلى x، a[t]، a[t+1]، ...، a[t+k−1] p := نشر المدخلات للأمام على كامل الشبكة غير المطوية e := y[t+k] − p; // الخطأ = الهدف − التوقع انشر الخطأ، e، عكسيًا عبر الشبكة غير المطوية بأكملها اجمع تغيرات الوزن في الحالات k من الدالة f معًا. قم بتحديث جميع الأوزان في f و g. x := f(x, a[t]); // حساب سياق الخطوة الزمنية التالية

يميل BPTT إلى أن يكون أسرع بكثير في تدريب الشبكات العصبية المتكررة مقارنة بتقنيات التحسين العامة مثل التحسين التطوري . ^{[ 4 ]}

تواجه خوارزمية BPTT صعوبة في التعامل مع الحلول المثلى المحلية. في الشبكات العصبية المتكررة، تُعدّ الحلول المثلى المحلية مشكلة أكثر أهمية بكثير منها في الشبكات العصبية ذات التغذية الأمامية. ^{[ 5 ]} تميل التغذية الراجعة المتكررة في هذه الشبكات إلى إحداث استجابات فوضوية في سطح الخطأ، مما يؤدي إلى ظهور الحلول المثلى المحلية بشكل متكرر، وفي مواقع غير مناسبة على سطح الخطأ.

• الانتشار العكسي عبر البنية