شبكة عصبية أمامية التغذية

الدالتان التنشيطيتان الشائعتان تاريخيًا هما دالتان سيجمويديتان ، ويتم وصفهما بواسطة

$${\displaystyle y(v_{i})=\tanh(v_{i})~~{\text{and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}.}$$

الأولى هي دالة الظل الزائدي التي تتراوح قيمتها من -1 إلى 1، بينما الأخرى هي الدالة اللوجستية ، وهي مشابهة لها في الشكل ولكنها تتراوح قيمتها من 0 إلى 1.${\displaystyle y_{i}}$هو ناتج${\displaystyle i}$العقدة (العصبون) رقم -th و${\displaystyle v_{i}}$يمثل المجموع المرجح لوصلات الإدخال. وقد تم اقتراح دوال تنشيط بديلة، بما في ذلك دوال المقوم ودالة سوفت بلس . وتشمل دوال التنشيط الأكثر تخصصًا دوال الأساس الشعاعي (المستخدمة في شبكات الأساس الشعاعي ، وهي فئة أخرى من نماذج الشبكات العصبية الخاضعة للإشراف).

في التطورات الحديثة للتعلم العميق ، يتم استخدام وحدة الخطية المعدلة (ReLU) بشكل متكرر كإحدى الطرق الممكنة للتغلب على المشكلات العددية المتعلقة بالدوال السينية.

يحدث التعلّم من خلال تغيير أوزان الاتصال بعد معالجة كل جزء من البيانات، بناءً على مقدار الخطأ في المخرجات مقارنةً بالنتيجة المتوقعة. هذا مثال على التعلّم الخاضع للإشراف ، ويتم تنفيذه من خلال الانتشار العكسي.

يمكننا تمثيل درجة الخطأ في عقدة الإخراج${\displaystyle j}$في${\displaystyle n}$نقطة البيانات رقم - (مثال تدريبي) بواسطة${\displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$، أين${\displaystyle d_{j}(n)}$هي القيمة المستهدفة المرغوبة لـ${\displaystyle n}$نقطة البيانات رقم - في العقدة${\displaystyle j}$، و${\displaystyle y_{j}(n)}$هي القيمة المنتجة عند العقدة${\displaystyle j}$عندما${\displaystyle n}$يتم إدخال نقطة البيانات رقم -th كمدخل.

يمكن بعد ذلك تعديل أوزان العقد بناءً على التصحيحات التي تقلل الخطأ في الناتج الكلي لـ${\displaystyle n}$النقطة البيانات رقم -th، المعطاة بواسطة

$${\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{output node }}j}e_{j}^{2}(n).}$$

باستخدام خوارزمية التدرج الهبوطي ، يتم حساب التغير في كل وزن.${\displaystyle w_{ij}}$يكون

$${\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}$$

أين${\displaystyle y_{i}(n)}$هو ناتج الخلية العصبية السابقة${\displaystyle i}$، و${\displaystyle \eta }$يمثل معدل التعلم ، والذي يتم اختياره لضمان تقارب الأوزان بسرعة نحو استجابة محددة، دون تذبذبات. في التعبير السابق،${\displaystyle {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}}$يرمز إلى المشتق الجزئي للخطأ${\displaystyle {\mathcal {E}}(n)}$وفقًا للمجموع المرجح${\displaystyle v_{j}(n)}$من وصلات الإدخال للعصبون${\displaystyle i}$.

تعتمد المشتقة المراد حسابها على المجال المحلي المستحث${\displaystyle v_{j}}$وهي متغيرة بدورها. من السهل إثبات أنه بالنسبة لعقدة الإخراج، يمكن تبسيط هذه المشتقة إلى

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}$$

أين${\displaystyle \phi ^{\prime }}$هي مشتقة دالة التنشيط الموصوفة أعلاه، والتي لا تتغير في حد ذاتها. يصبح التحليل أكثر صعوبة بالنسبة لتغير الأوزان إلى عقدة مخفية، ولكن يمكن إثبات أن المشتقة ذات الصلة هي

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n).}$$

يعتمد هذا على التغير في أوزان${\displaystyle k}$تمثل العقد رقم 1 طبقة الإخراج. لذا، لتغيير أوزان الطبقة المخفية، تتغير أوزان طبقة الإخراج وفقًا لمشتق دالة التنشيط، وبالتالي تمثل هذه الخوارزمية عملية انتشار عكسي لدالة التنشيط. ^{[ 10 ]}

• في حوالي عام 1800، ابتكر ليجندر (1805) وغوس (1795) أبسط شبكة تغذية أمامية تتكون من طبقة وزن واحدة ذات دوال تنشيط خطية. تم تدريبها باستخدام طريقة المربعات الصغرى لتقليل متوسط ​​مربع الخطأ ، والمعروفة أيضًا بالانحدار الخطي . استخدم ليجندر وغوس هذه الشبكة للتنبؤ بحركة الكواكب انطلاقًا من بيانات التدريب. ^{[ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ]}
• في عام 1943، اقترح وارن ماكولوتش ووالتر بيتس العصبون الاصطناعي الثنائي كنموذج منطقي للشبكات العصبية البيولوجية. ^{[ 16 ]}
• في عام ١٩٥٨، اقترح فرانك روزنبلات نموذج البيرسيبترون متعدد الطبقات ، والذي يتألف من طبقة إدخال، وطبقة مخفية ذات أوزان عشوائية لا تتعلم، وطبقة إخراج ذات روابط قابلة للتعلم. ^{[ ١٧ ]} ويذكر آر دي جوزيف (١٩٦٠) ^{[ ١٨ ]} جهازًا مشابهًا للبيرسيبترون أقدم من ذلك: ^{[ ١٣ ]} "في الواقع، سبق فارلي وكلارك من مختبر لينكولن التابع لمعهد ماساتشوستس للتكنولوجيا روزنبلات في تطوير جهاز مشابه للبيرسيبترون." ومع ذلك، "توقفا عن الخوض في هذا الموضوع."
• في عام 1960، ناقش جوزيف ^{[ 18 ]} أيضًا الشبكات العصبية متعددة الطبقات ذات الطبقة المخفية التكيفية. وقد استشهد روزنبلات (1962) ^{[ 19 ] في القسم 16} بهذه الأفكار واعتمدها، مع الإشارة أيضًا إلى أعمال إتش دي بلوك وبي دبليو نايت. لسوء الحظ، لم تُفضِ هذه الجهود المبكرة إلى خوارزمية تعلم فعّالة للوحدات المخفية، أي التعلم العميق .
• في عام 1965، نشر أليكسي غريغوريفيتش إيفاخنينكو وفالنتين لابا " طريقة المجموعة لمعالجة البيانات" ، وهي أول خوارزمية عملية للتعلم العميق ، تُستخدم لتدريب الشبكات العصبية ذات العمق غير المحدود. ^{[ 20 ] [ 21 ]} تعتمد هذه الطريقة على التدريب طبقةً تلو الأخرى من خلال تحليل الانحدار. ويتم حذف الوحدات المخفية الزائدة باستخدام مجموعة تحقق منفصلة. ولأن دوال التنشيط للعقد هي متعددات حدود كولموغوروف-غابور، فقد كانت هذه أيضًا أولى الشبكات العميقة التي تحتوي على وحدات ضربية أو "بوابات". ^{[ 13 ]} وقد استُخدمت هذه الطريقة لتدريب شبكة عصبية مكونة من ثماني طبقات في عام 1971.
• في عام 1967، نشر شونيتشي أماري ^{[ 22 ]} أول شبكة عصبية متعددة الطبقات تم تدريبها باستخدام خوارزمية التدرج العشوائي ، والتي كانت قادرة على تصنيف فئات الأنماط غير القابلة للفصل خطيًا. أجرى سايتو، أحد طلاب أماري، التجارب الحاسوبية باستخدام شبكة تغذية أمامية خماسية الطبقات مع طبقتين للتعلم. ^{[ 13 ]}
• في عام 1970، نشر سيبو لينينما الشكل الحديث لخوارزمية الانتشار العكسي في رسالته للماجستير (1970). ^{[ 23 ] [ 24 ] [ 13 ]} وأعاد جي إم أوستروفسكي وآخرون نشرها في عام 1971. ^{[ 25 ] [ 26 ]} وطبّق بول ويربوس خوارزمية الانتشار العكسي على الشبكات العصبية في عام 1982 ^{[ 7 ] [ 27 ]} (مع العلم أن أطروحته للدكتوراه عام 1974، والتي أعيد طبعها في كتاب عام 1994، ^{[ 28 ]} لم تصف الخوارزمية بعد ^{[ 26 ]} ). وفي عام 1986، روّج ديفيد إي . روميلهارت وآخرون لخوارزمية الانتشار العكسي، لكنهم لم يستشهدوا بالعمل الأصلي. ^{[ 29 ] [ 8 ]}
• في عام 2003، عاد الاهتمام بشبكات الانتشار العكسي بسبب نجاحات التعلم العميق في تطبيقه على نمذجة اللغة بواسطة يوشوا بنجيو مع مؤلفين مشاركين. ^{[ 30 ]}

عند استخدام عتبة، أي دالة تنشيط خطية، تُسمى وحدة العتبة الخطية الناتجة " بيرسيبترون ". (غالبًا ما يُستخدم هذا المصطلح للدلالة على وحدة واحدة فقط من هذه الوحدات). تستطيع وحدات غير خطية متوازية متعددة تقريب أي دالة متصلة من فترة محدودة من الأعداد الحقيقية إلى الفترة [−1,1] على الرغم من القدرة الحسابية المحدودة لوحدة واحدة ذات دالة عتبة خطية. ^{[ 31 ]}

يمكن تدريب الشبكات العصبية (Perceptrons) باستخدام خوارزمية تعلم بسيطة تُعرف عادةً باسم قاعدة دلتا . تقوم هذه الخوارزمية بحساب الأخطاء بين المخرجات المحسوبة وبيانات المخرجات النموذجية، وتستخدم هذه الأخطاء لإجراء تعديل على الأوزان، وبالتالي تطبيق شكل من أشكال الانحدار التدريجي .

إن مصطلح "الشبكة العصبية متعددة الطبقات " ( MLP ) هو تسمية خاطئة لشبكة عصبية اصطناعية حديثة ذات تغذية أمامية، تتكون من خلايا عصبية متصلة بالكامل (ومن هنا جاء المرادف المستخدم أحيانًا للشبكة المتصلة بالكامل ( FCN ))، وغالبًا ما تحتوي على نوع غير خطي من دالة التنشيط، ومنظمة في ثلاث طبقات على الأقل، وتتميز بقدرتها على تمييز البيانات غير القابلة للفصل الخطي . ^{[ 32 ]}