أدالاين

التعلم داخل طبقة واحدة من أدالاين
صورة لجهاز أدالاين، بأوزان قابلة للتعديل يدويًا يتم ضبطها بواسطة مقاومات متغيرة.
رسم تخطيطي لوحدة ADALINE واحدة [ 1 ]

أدالاين ( العصبون الخطي التكيفي أو العنصر الخطي التكيفي لاحقًا) هي شبكة عصبية اصطناعية أحادية الطبقة من أوائل الشبكات العصبية الاصطناعية ، وهي أيضًا اسم الجهاز المادي الذي نفذها. [ 2 ] [ 3 ] [ 1 ] [ 4 ] [ 5 ] طُوِّرت هذه الشبكة على يد البروفيسور برنارد ويدرو وطالبه مارسيان هوف في جامعة ستانفورد عام 1960. وهي مبنية على نموذج البيرسيبترون ، وتتكون من أوزان، وانحياز، ودالة جمع. نُفِّذت الأوزان والانحيازات باستخدام المقاومات المتغيرة (كما هو موضح في "أدالاين ذي العقد")، ولاحقًا، باستخدام الميميستورات . وقد استُخدمت على نطاق واسع في معالجة الإشارات التكيفية، وخاصة في ترشيح الضوضاء التكيفي. [ 6 ]

يكمن الفرق بين نموذج أدالين ونموذج بيرسيبترون القياسي (روزنبلات) في طريقة التعلم. يتم تعديل أوزان وحدات نموذج أدالين لتتوافق مع إشارة المعلم قبل تطبيق دالة هيفسايد (انظر الشكل)، بينما يتم تعديل أوزان وحدات نموذج بيرسيبترون القياسي لتتوافق مع المخرج الصحيح بعد تطبيق دالة هيفسايد.

تُعرف الشبكة متعددة الطبقات من وحدات ADALINE باسم MADALINE .

تعريف

أدالين هي شبكة عصبية أحادية الطبقة ذات عقد متعددة، حيث تستقبل كل عقدة مدخلات متعددة وتُنتج مخرجًا واحدًا. بافتراض المتغيرات التالية:

  • x{\displaystyle {\boldsymbol {x}}}متجه الإدخال
  • w{\displaystyle {\boldsymbol {w}}}متجه الوزن
  • شمال{\displaystyle N}عدد المدخلات
  • ب{\displaystyle b}بعض التحيز
  • o{\displaystyle o}، مخرجات النموذج،

الناتج هو:

o=ن=1شمالxنwن+ب{\displaystyle o=\sum _{n=1}^{N}x_{n}w_{n}+b}

إذا افترضنا كذلك أنx0=1{\displaystyle x_{0}=1}وw0=ب{\displaystyle w_{0}=b}ثم يتقلص الناتج إلى:

o=ن=0شمالxنwن{\displaystyle o=\sum _{n=0}^{N}x_{n}w_{n}}

قاعدة التعلم

قاعدة التعلم المستخدمة بواسطة ADALINE هي خوارزمية LMS ("أقل متوسط ​​مربعات")، وهي حالة خاصة من انحدار التدرج .

بالنظر إلى ما يلي:

  • η{\displaystyle \eta }معدل التعلم
  • o{\displaystyle o}مخرجات النموذج
  • y{\displaystyle y}الهدف المنشود
  • هـ=(y-o)2{\displaystyle E=(yo)^{2}}، مربع الخطأ،

تقوم خوارزمية LMS بتحديث الأوزان على النحو التالي:

ww+η(y-o)x{\displaystyle {\boldsymbol {w}}\leftarrow {\boldsymbol {w}}+\eta (yo){\boldsymbol {x}}}

تقلل قاعدة التحديث هذه منهـ{\displaystyle E}، مربع الخطأ، [ 7 ] وهو في الواقع تحديث التدرج العشوائي للانحدار الخطي . [ 8 ]

مادالين

MADALINE (أو MADALINE المتعددة [ 9 ] ) هي بنية شبكة عصبية أمامية التغذية، ثلاثية الطبقات (مدخل، مخفية، مخرج)، متصلة بالكامل، تُستخدم للتصنيف ، وتستخدم وحدات ADALINE في طبقتيها المخفية والمخرجة. أي أن دالة التنشيط فيها هي دالة الإشارة . [ 10 ] تستخدم هذه الشبكة ثلاثية الطبقات أجهزة الميميستور . ولأن دالة الإشارة غير قابلة للتفاضل، لا يمكن استخدام خوارزمية الانتشار العكسي لتدريب شبكات MADALINE. لذلك، تم اقتراح ثلاث خوارزميات تدريب مختلفة، تُسمى القاعدة الأولى، والقاعدة الثانية، والقاعدة الثالثة.

على الرغم من المحاولات العديدة، لم ينجحوا قط في تدريب أكثر من طبقة واحدة من الأوزان في نموذج MADALINE. إلى أن شاهد ويدرو خوارزمية الانتشار العكسي في مؤتمر عام 1985 في سنوبيرد، يوتا . [ 11 ]

قاعدة مادالاين 1 (التصوير بالرنين المغناطيسي) - يعود تاريخ أول هذه القواعد إلى عام 1962. [ 12 ] وهي تتكون من طبقتين: الأولى مصنوعة من وحدات أدالاين (دعنا نفترض أن مخرجاتأنا{\displaystyle i}وحدة أدالاينoأنا{\displaystyle o_{i}}أما الطبقة الثانية فتتكون من وحدتين. إحداهما وحدة تصويت بالأغلبية تشمل جميعoأنا{\displaystyle o_{i}}وإذا كان عدد القيم الموجبة أكثر من عدد القيم السالبة، يُخرج النظام القيمة +1، والعكس صحيح. وهناك آلية أخرى تُسمى "مُوزِّع المهام": لنفترض أن القيمة المطلوبة هي -1، وتختلف عن القيمة التي حازت على أغلبية الأصوات، فإن مُوزِّع المهام يحسب الحد الأدنى لعدد وحدات ADALINE التي يجب أن تُغيِّر قيمها من موجبة إلى سالبة، ويختار وحدات ADALINE الأقرب إلى القيمة السالبة، ويُحدِّث أوزانها وفقًا لقاعدة تعلُّم ADALINE. وقد اعتُبرت هذه الآلية شكلاً من أشكال "مبدأ الحد الأدنى من التشويش". [ 13 ]

كان أكبر جهاز MADALINE تم بناؤه يحتوي على 1000 وزن، كل منها مُنفذ بواسطة مُقاوم مغناطيسي. تم بناؤه عام 1963 واستخدم التصوير بالرنين المغناطيسي للتعلم. [ 13 ] [ 14 ]

تم عرض بعض آلات MADALINE وهي تؤدي مهامًا تشمل موازنة البندول المقلوب ، والتنبؤ بالطقس ، والتعرف على الكلام . [ 3 ]

قاعدة مادالين الثانية (MRII) - خوارزمية التدريب الثانية، التي وُصفت عام 1988، هي تطوير للقاعدة الأولى. [ 9 ] تعتمد خوارزمية التدريب في القاعدة الثانية على مبدأ يُسمى "الحد الأدنى من التشويش". وتعمل هذه الخوارزمية من خلال التكرار على أمثلة التدريب، ولكل مثال، تقوم بما يلي:

  • يجد وحدة الطبقة المخفية (مصنف ADALINE) ذات أقل ثقة في تنبؤها،
  • يقلب إشارة الوحدة بشكل مؤقت،
  • يقبل التغيير أو يرفضه بناءً على ما إذا كان خطأ الشبكة قد انخفض أم لا.
  • يتوقف البرنامج عندما يكون الخطأ صفراً.

قاعدة مادالين 3 - القاعدة الثالثة التي تم تطبيقها على شبكة معدلة باستخدام دوال تنشيط سيجمويد بدلاً من دالة الإشارة؛ وقد تبين لاحقًا أنها مكافئة للانتشار العكسي. [ 13 ]

بالإضافة إلى ذلك، عندما لا يؤدي قلب إشارات الوحدات الفردية إلى جعل الخطأ صفرًا لمثال معين، تبدأ خوارزمية التدريب في قلب إشارات أزواج الوحدات، ثم ثلاثيات الوحدات، وما إلى ذلك. [ 9 ]

انظر أيضاً

مراجع

  1. 1 2 1960: عصبون "أدالين" تكيفي يستخدم "مستشعرات" كيميائية
  2. أندرسون، جيمس أ.؛ روزنفيلد، إدوارد (2000). الشبكات الناطقة: تاريخ شفوي للشبكات العصبية . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 9780262511117.
  3. 1 2 يوتيوب: widrowlms: العلم في العمل
  4. يوتيوب: widrowlms: خوارزمية LMS و ADALINE. الجزء الأول - خوارزمية LMS
  5. يوتيوب: widrowlms: خوارزمية LMS و ADALINE. الجزء الثاني - ADALINE و memistor ADALINE
  6. ويدرو، ب.؛ غلوفر، ج. ر.؛ ماكول، ج. م.؛ كاونيتز، ج.؛ ويليامز، س. س.؛ هيرن، ر. هـ.؛ زايدلر، ج. ر.؛ يوجين دونغ، الابن؛ غودلين، ر. س. (1975). "إلغاء الضوضاء التكيفي: المبادئ والتطبيقات". وقائع معهد مهندسي الكهرباء والإلكترونيات . 63 (12): 1692-1716 . doi : 10.1109/PROC.1975.10036 . ISSN 0018-9219 . 
  7. "أدالين (الخطية التكيفية)" (ملف PDF) . CS 4793: مقدمة في الشبكات العصبية الاصطناعية . قسم علوم الحاسوب، جامعة تكساس في سان أنطونيو.
  8. آفي فايفر. "محاضرة CS181 رقم 5 - البيرسيبترونات" (ملف PDF) . جامعة هارفارد.
  9. 1 2 3 رودني وينتر؛ برنارد ويدرو (1988). قاعدة مادالين الثانية: خوارزمية تدريب للشبكات العصبية (ملف PDF) . المؤتمر الدولي لشبكات IEEE العصبية. الصفحات 401-408 . doi : 10.1109/ICNN.1988.23872 . 
  10. يوتيوب: widrowlms: Science in Action (تم ذكر مادالين في البداية وفي الدقيقة 8:46)
  11. أندرسون، جيمس أ.؛ روزنفيلد، إدوارد، محرران. (2000). الشبكات الناطقة: تاريخ شفوي للشبكات العصبية . مطبعة معهد ماساتشوستس للتكنولوجيا. doi : 10.7551/mitpress/6626.003.0004 . ISBN 978-0-262-26715-1.
  12. ويدرو، برنارد (1962). "التعميم وتخزين المعلومات في شبكات الخلايا العصبية الأدالينية" (ملف PDF) . الأنظمة ذاتية التنظيم : 435-461 .
  13. 1 2 3 ويدرو، برنارد؛ لير، مايكل أ. (1990). "30 عامًا من الشبكات العصبية التكيفية: بيرسيبترون، ومادالين، والانتشار العكسي". وقائع معهد مهندسي الكهرباء والإلكترونيات . 78 (9): 1415-1442 . doi : 10.1109/5.58323 . S2CID 195704643 . 
  14. ب. ويدرو، "أدالين ومادالين - 1963، الخطاب العام"، وقائع المؤتمر الدولي الأول لشبكة IEEE العصبية، المجلد 1، الصفحات 145-158، سان دييغو، كاليفورنيا، 23 يونيو 1987
  • ويدرو؛ ستيرنز، إس دي (1985). معالجة الإشارات التكيفية . إنجلوود كليفس، نيوجيرسي: برنتيس هول.
  • widrowlms (29-07-2012). خوارزمية LMS وADALINE. الجزء الثاني - ADALINE وmemistor ADALINE . تم الاطلاع عليه بتاريخ 17-08-2024 عبر يوتيوب.يقوم ويدرو بعرض كل من آلة أدالاين ذات النتوءات العاملة وآلة أدالاين ذات المقاومة الميميستورية.
  • "قاعدة التعلم دلتا: ADALINE" . الشبكات العصبية الاصطناعية . جامعة بوليتكنيكا بمدريد. مؤرشفة من الأصلي بتاريخ 15-06-2002.
  • " شبكات عصبية متعددة الطبقات قائمة على الميمريستور مع تدريب التدرج الهبوطي عبر الإنترنت ". تطبيق خوارزمية ADALINE باستخدام الميمريستورات في الحوسبة التناظرية.