لي نت

نُشرت أول شبكة عصبية من قِبل مجموعة أبحاث لوكون عام ١٩٨٨. ^{[ ١٠ ]} وقد اعتمدت على نهج هجين. تمثلت المرحلة الأولى في تغيير حجم الصورة المدخلة، وتصحيح انحرافها، واستخراج هيكلها . أما المرحلة الثانية، فكانت عبارة عن طبقة التفافية تضم ١٨ نواة مصممة يدويًا. بينما تمثلت المرحلة الثالثة في شبكة متصلة بالكامل ذات طبقة مخفية واحدة.

كانت مجموعة البيانات عبارة عن مجموعة من صور الأرقام المكتوبة بخط اليد والمستخرجة من رسائل البريد الأمريكية الفعلية، وهي نفس مجموعة البيانات المستخدمة في التقرير الشهير لعام 1989. ^{[ 11 ]}

نُشرت الشبكات من Net-1 إلى Net-5 في تقرير عام 1989. ^{[ 12 ]} كانت الطبقة الأخيرة من جميعها متصلة اتصالاً كاملاً. لم توضح الورقة البحثية الأصلية استراتيجية الحشو . تتمتع جميع الخلايا بانحياز مستقل، بما في ذلك خلايا الإخراج في الطبقات الالتفافية.

• الشبكة 1: لا توجد طبقة مخفية. متصلة بالكامل.${\displaystyle (16\times 16)\to 10}$.
• الشبكة 2: طبقة واحدة مخفية متصلة بالكامل مع 12 وحدة مخفية.${\displaystyle (16\times 16)\to 12\to 10}$.
• الشبكة 3: طبقتان تلافيفيتان مخفيتان.${\displaystyle (16\times 16)\to (8\times 8)\to (4\times 4)\to 10}$كلاهما طبقات متصلة محليًا ذات شكل إدخال${\displaystyle 3\times 3}$والخطوة الثانية.
• الشبكة 4: طبقتان مخفيتان، الأولى عبارة عن التفاف، والثانية متصلة محليًا.${\displaystyle (16\times 16)\to (8\times 8\times 2)\to (4\times 4)\to 10}$تحتوي طبقة الالتفاف على نواتين من نوع الشكل${\displaystyle 3\times 3}$والخطوة 2. الطبقة المتصلة محليًا لها شكل إدخال${\displaystyle 5\times 5\times 2}$والخطوة 1.
• الشبكة 5: طبقتان مخفيتان تلافيفيتان.${\displaystyle (16\times 16)\to (8\times 8\times 2)\to (4\times 4\times 4)\to 10}$تحتوي طبقة الالتفاف الأولى على نواتين من نوع الشكل${\displaystyle 3\times 3}$والخطوة 2. تحتوي الطبقة الالتفافية الثانية على 4 نوى شكلية${\displaystyle 5\times 5\times 2}$والخطوة 1.

احتوت مجموعة البيانات على 480 صورة ثنائية، كل منها بحجم 16×16 بكسل. في البداية، رُسمت 12 صورة لكل رقم يدويًا على خريطة نقطية بحجم 16×13 باستخدام الفأرة، مما نتج عنه 120 صورة. بعد ذلك، أُزيحت كل صورة أفقيًا في 4 مواضع متتالية لإنشاء نسخة بحجم 16×16، مما أدى إلى الحصول على 480 صورة.

من بين هذه الصور، تم اختيار 320 صورة عشوائيًا (32 صورة لكل رقم) للتدريب، بينما استُخدمت الصور الـ 160 المتبقية (16 صورة لكل رقم) للاختبار. بلغت نسبة الأداء على مجموعة التدريب 100% لجميع الشبكات، لكنها اختلفت في أدائها على مجموعة الاختبار.

تتكون شبكة LeNet المنشورة عام 1989 من 3 طبقات مخفية (H1-H3) وطبقة إخراج. ^{[ 11 ]} وتحتوي على 1256 وحدة، و64660 وصلة، و9760 مُعاملًا مستقلًا.

• H1 (الالتفاف):${\displaystyle 16\times 16\to 12\times 8\times 8}$مع${\displaystyle 5\times 5}$الحبوب.
• H2 (الالتفاف):${\displaystyle 12\times 8\times 8\to 12\times 4\times 4}$مع${\displaystyle 8\times 5\times 5}$الحبوب.
• H3: 30 وحدة متصلة بالكامل بـ H2.
• الناتج: 10 وحدات متصلة بالكامل بـ H3، تمثل فئات الأرقام العشرة (0-9).

تم وصف نمط الاتصال بين H1 وH2 في ^{[ 18 ] : الجدول 1.} لم تكن هناك طبقة تجميع منفصلة، ​​لأنها اعتُبرت مكلفة حسابيًا للغاية. ^{[ 19 ]}

كانت مجموعة البيانات تُسمى " قاعدة بيانات خدمة البريد الأمريكية "، وتتألف من 9298 صورة رمادية بدقة 16×16، مُرقمنة من رموز بريدية مكتوبة بخط اليد ظهرت على رسائل البريد الأمريكية التي تمر عبر مكتب بريد بوفالو، نيويورك . ^{[ 11 ]} احتوت مجموعة التدريب على 7291 نقطة بيانات، بينما احتوت مجموعة الاختبار على 2007 نقطة. احتوت كلتا المجموعتين على بيانات غامضة وغير قابلة للتصنيف وبيانات مصنفة بشكل خاطئ. المهمة صعبة نوعًا ما. في مجموعة الاختبار، ارتكب شخصان (جين بروملي وإدوارد ساكينجر) أخطاءً بمعدل 2.5% في المتوسط. ^{[ 20 ] [ 21 ]}

استغرق التدريب ثلاثة أيام على جهاز Sun-4/260 باستخدام تقريب هيسيان القطري لطريقة نيوتن. تم تنفيذه في محاكي الشبكة العصبية SN . استغرق التدريب 23 دورة تدريبية على مجموعة البيانات.

بالمقارنة مع بنية عام 1988 السابقة، لم يكن هناك هيكلة، وتم تعلم النوى الالتفافية تلقائيًا عن طريق الانتشار العكسي.

يحتوي إصدار لاحق من شبكة LeNet لعام 1989 على أربع طبقات مخفية (H1-H4) وطبقة إخراج. يستقبل صورة بحجم 28×28 بكسل كمدخل، على الرغم من أن المنطقة النشطة هي 16×16 لتجنب تأثيرات الحدود. ^{[ 22 ]}

• H1 (الالتفاف):${\displaystyle 28\times 28\to 4\times 24\times 24}$مع${\displaystyle 5\times 5}$النواة. تحتوي هذه الطبقة على${\displaystyle 104}$المعلمات القابلة للتدريب (100 من النوى، 4 من الانحيازات).
• H2 (التجميع):${\displaystyle 4\times 24\times 24\to 4\times 12\times 12}$بواسطة${\displaystyle 2\times 2}$متوسط ​​التجميع.
• H3 (الالتفاف):${\displaystyle 4\times 12\times 12\to 12\times 8\times 8}$مع${\displaystyle 5\times 5}$النوى. بعض النوى تأخذ مدخلات من خريطة ميزات واحدة، بينما يأخذ البعض الآخر مدخلات من خريطتي ميزات.
• H4 (التجميع):${\displaystyle 12\times 8\times 8\to 12\times 4\times 4}$بواسطة${\displaystyle 2\times 2}$متوسط ​​التجميع.
• الناتج: 10 وحدات متصلة بالكامل بـ H4، تمثل فئات الأرقام العشرة (0-9).

تتكون الشبكة من 4635 وحدة، و98442 وصلة، و2578 مُعاملًا قابلًا للتدريب. صُممت بنيتها بالاستناد إلى شبكة LeNet لعام 1989، ثم تقليص عدد المُعاملات بمقدار أربعة أضعاف باستخدام تقنية Optimal Brain Damage . ^{[ 23 ]} تتطلب عملية تمرير واحدة حوالي 140,000 عملية ضرب وجمع . يبلغ حجمها 50 كيلوبايت في الذاكرة. عُرفت أيضًا باسم LeNet-1. على جهاز SPARCstation 10 ، استغرق تدريبها 0.5 أسبوع، وتصنيف صورة واحدة 0.015 ثانية. ^{[ 15 ]}

كانت شبكة LeNet لعام 1994 نسخةً مُطوّرة من شبكة LeNet لعام 1989، صُممت لتناسب قاعدة بيانات MNIST الأكبر. عُرفت أيضًا باسم LeNet-4. احتوت على عدد أكبر من خرائط الميزات في طبقاتها الالتفافية، بالإضافة إلى طبقة إضافية من الوحدات المخفية، متصلة اتصالًا كاملًا بكلٍ من الطبقة الالتفافية الأخيرة ووحدات الإخراج. تتكون من طبقتين التفافيتين، وطبقتين تجميع متوسط، وطبقتين متصلتين اتصالًا كاملًا. تحتوي على حوالي 17000 مُعامل قابل للتدريب. ^{[ 15 ]}

تتطلب عملية تمرير واحدة حوالي 260,000 عملية ضرب وجمع . ويبلغ حجمها 60 كيلوبايت في الذاكرة. على جهاز SPARCstation 10 ، استغرق تدريبها أسبوعين، وتصنيف صورة واحدة 0.03 ثانية. ^{[ 15 ]}

تُشبه شبكة LeNet لعام 1998 شبكة LeNet لعام 1994، ولكنها تحتوي على طبقات متصلة بالكامل أكثر. يظهر هيكلها في الصورة على اليمين. تتكون من طبقتين التفافيتين، وطبقتين لأخذ العينات الفرعية، وثلاث طبقات متصلة بالكامل. تُعرف عادةً باسم LeNet-5. تحتوي على حوالي 60000 مُعامل قابل للتدريب. ^{[ 2 ]}

وبالتحديد، يتكون من الطبقات التالية:

• المدخلات: (ضمنياً)${\displaystyle 1\times 32\times 32}$صورة بكسل)
• C1 (الالتفافية):${\displaystyle 1\times 32\times 32\to 6\times 28\times 28}$مع${\displaystyle 5\times 5}$النوى، مع 156 معلمة قابلة للتدريب.
• S2 (أخذ العينات الفرعية):${\displaystyle 6\times 28\times 28\to 6\times 14\times 14}$مع${\displaystyle 2\times 2}$التجميع، مع 12 معلمة قابلة للتدريب.
• C3 (الالتفافية):${\displaystyle 6\times 14\times 14\to 16\times 10\times 10}$مع${\displaystyle k\times 5\times 5}$نوى لقيم مختلفة من${\displaystyle k}$(انظر الجدول أدناه للاطلاع على الاتصالات الدقيقة في هذه الطبقة)، مع 1516 معلمة قابلة للتدريب.
• S4 (أخذ العينات الفرعية):${\displaystyle 16\times 10\times 10\to 16\times 5\times 5}$مع${\displaystyle 2\times 2}$التجميع، مع 32 معلمة قابلة للتدريب.
• C5 (الالتفافية):${\displaystyle 16\times 5\times 5\to 120\times 1\times 1}$مع${\displaystyle 16\times 5\times 5}$النوى، مع 48120 معلمة قابلة للتدريب.
• F6:${\displaystyle 84}$وحدات متصلة بالكامل بـ C5، مع معلمات قابلة للتدريب، مع 10164 معلمة قابلة للتدريب.
• الناتج:${\displaystyle 10}$الوحدات (RBF) متصلة بالكامل بـ F6، والتي تمثل فئات الأرقام العشرة.

لا تُعدّ كل طبقة من طبقات "أخذ العينات الفرعية" تجميعًا متوسطًا بالمعنى الدقيق، ولكنها تحتوي على معلمات قابلة للتدريب. على وجه التحديد، لنفترض خلية واحدة في S2. تأخذ هذه الطبقة كمدخلات 4 خلايا في C1. ولتكن قيم هذه الخلايا هي${\displaystyle x_{1},\dots ,x_{4}}$إذن، الخلية في S2 لها قيمة${\displaystyle \sigma \left(w\left(\sum _{i=1}^{4}x_{i}\right)+b\right)}$، أين${\displaystyle w,b\in \mathbb {R} }$هي معلمات قابلة للتدريب، و${\displaystyle \sigma }$هي دالة تنشيط سيجمويدية ، وتسمى أحيانًا "دالة الظل الزائدي لـ لوكون". وهي نسخة مُقاسة من دالة التنشيط الظل الزائدي :${\displaystyle 1.7159\tanh(2x/3)}$تم تصميمه بحيث يرسم خريطة للفترة${\displaystyle [-1,+1]}$لذا، مما يضمن أن يكون الربح الإجمالي حوالي 1 في "ظروف التشغيل العادية"، وأن${\displaystyle |f''(x)|}$تكون في أقصى حد لها عندما${\displaystyle x=-1,+1}$مما يحسن التقارب في نهاية التدريب. ^{[ 12 ] [ 24 ]}

في الجدول التالي، يشير كل عمود إلى أي من خرائط الميزات الست في S2 يتم دمجها بواسطة الوحدات الموجودة في كل من خرائط الميزات الـ 15 في C3.

على الرغم من أن C5 له شكل خرج${\displaystyle 120\times 1\times 1}$إنها ليست طبقة متصلة بالكامل، لأن الشبكة مصممة لتكون قادرة على استقبال أشكال إدخال ذات ارتفاع وعرض عشوائيين، أكبر بكثير من${\displaystyle 1\times 32\times 32}$التي يتم تدريب الشبكة عليها. في هذه الحالات، سيكون شكل خرج C5 أكبر. وبالمثل، سيكون خرج F6 أكبر أيضًا من${\displaystyle 84\times 1\times 1}$في الواقع، في اللغة الحديثة، يُوصف الطبقة F6 بشكل أفضل بأنها${\displaystyle 1\times 1}$الالتفاف. ^{[ 25 ]}

يحتوي الجزء التلافيفي من الشبكة على 84 عصبونًا، وهذا ليس من قبيل الصدفة. فقد صُممت الشبكة بهذا الشكل، لأن 84 = 7 × 12، مما يعني أنه يمكن اعتبار مخرجات الشبكة صورة رمادية صغيرة بحجم 7 × 12.

تحتوي طبقة الإخراج على وحدات RBF ، على غرار شبكات RBF . كل وحدة من الوحدات العشر تحتوي على 84 مُعاملًا، قد تكون مُصممة يدويًا ومُثبتة، أو مُدربة. عند تصميمها يدويًا، صُممت بحيث تبدو، عند عرضها كصورة رمادية بحجم 7×12، وكأنها الرقم المراد التعرف عليه.

تم تدريب نموذج LeNet عام 1998 باستخدام خوارزمية ليفنبرغ-ماركوارت العشوائية مع تقريب قطري لمصفوفة هيسيان . وقد تم تدريبه لحوالي 20 دورة تدريبية على مجموعة بيانات MNIST. استغرق التدريب من يومين إلى ثلاثة أيام من وقت وحدة المعالجة المركزية على خادم Silicon Graphics Origin 2000 ، باستخدام معالج R10000 واحد بتردد 200  ميجاهرتز . ^{[ 2 ]}

ذُكر نموذج "LeNet7" في عام 2005. وقد أظهر تفوقه على نموذج SVM في اختبار معيار التعرف على الكائنات بجامعة نيويورك (NORB) . احتوى هذا النموذج على 90,857 مُعاملًا قابلًا للتدريب و4.66 مليون وصلة. تتطلب عملية تمرير واحدة للأمام 3,896,920 عملية ضرب وجمع. تم تدريبه بنفس طريقة تدريب نموذج LeNet لعام 1998، وذلك لحوالي 250,000 تحديث للمعاملات. ^{[ 26 ] [ 27 ]}