إنسبشن (بنية التعلم العميق)

في عام 2014، قام فريق في جوجل بتطوير بنية GoogLeNet، والتي فازت إحدى نماذجها بتحدي ImageNet للتعرف البصري واسع النطاق لعام 2014 (ILSVRC14). ^{[ 1 ] [ 3 ]}

استُمدّ الاسم من شبكة LeNet التي طُرحت عام 1998، إذ أن كلاً من LeNet وGoogLeNet عبارة عن شبكات عصبية تلافيفية (CNNs). كما أُطلق عليها اسم "Inception" نسبةً إلى عبارة "علينا أن نتعمق أكثر" الشائعة على الإنترنت، وهي عبارة من فيلم Inception (2010) . ^{[ 1 ]} ونظرًا لإصدار نسخ لاحقة، أُعيد تسمية بنية Inception الأصلية إلى "Inception v1".

تم نشر النماذج والبرمجيات بموجب ترخيص Apache 2.0 على GitHub. ^{[ 4 ]}

تُعدّ بنية Inception v1 شبكة عصبية تلافيفية عميقة تتألف من 22 طبقة. معظم هذه الطبقات كانت "وحدات Inception". وقد ذكرت الورقة البحثية الأصلية أن وحدات Inception هي "النتيجة المنطقية" لنموذج الشبكة داخل الشبكة ^{[ 5 ]} و(Arora et al, 2014). ^{[ 6 ]}

نظراً لأن نموذج Inception v1 عميق، فقد عانى من مشكلة تلاشي التدرج . وقد حل الفريق هذه المشكلة باستخدام مصنفين مساعدين، وهما مصنفان من نوع linear-softmax تم إدخالهما على عمق 1/3 و2/3 داخل الشبكة، ودالة الخسارة هي مجموع مرجح للمصنفات الثلاثة جميعها:$${\displaystyle L=0.3L_{aux,1}+0.3L_{aux,2}+L_{real}}$$

تمت إزالة هذه العناصر بعد اكتمال التدريب. وقد تم حل هذه المشكلة لاحقًا باستخدام بنية ResNet .

يتكون التصميم المعماري من ثلاثة أجزاء مكدسة فوق بعضها البعض: ^{[ 2 ]}

• الجذع (استيعاب البيانات): تقوم الطبقات الالتفافية القليلة الأولى بمعالجة البيانات مسبقًا لتقليل حجم الصور إلى حجم أصغر.
• الجزء الرئيسي (معالجة البيانات): تقوم وحدات Inception العديدة التالية بتنفيذ الجزء الأكبر من معالجة البيانات.
• الرأس (التنبؤ): الطبقة النهائية المتصلة بالكامل ودالة softmax تنتج توزيعًا احتماليًا لتصنيف الصور.

يُستخدم هذا الهيكل في معظم بنى الشبكات العصبية التلافيفية الحديثة.

تم إصدار Inception v2 في عام 2015، في ورقة بحثية اشتهرت باقتراحها لتطبيع الدُفعات . ^{[ 7 ] [ 8 ]} كان يحتوي على 13.6 مليون مُعامل.

إنه يحسّن من Inception v1 عن طريق إضافة التسوية الدفعية، وإزالة التسرب والتسوية المحلية للاستجابة التي وجدوا أنها أصبحت غير ضرورية عند استخدام التسوية الدفعية.

تم إصدار Inception v3 في عام 2016. ^{[ 7 ] [ 9 ]} وهو يحسّن Inception v2 باستخدام الالتفافات المفككة.

على سبيل المثال، يمكن تحليل عملية التفاف واحدة بحجم 5×5 إلى عملية التفاف بحجم 3×3 مُكدسة فوق عملية التفاف أخرى بحجم 3×3. لكلتا العمليتين مجال استقبال بحجم 5×5. تحتوي نواة عملية الالتفاف بحجم 5×5 على 25 مُعاملًا، مقارنةً بـ 18 مُعاملًا فقط في النسخة المُحللة. وبالتالي، فإن عملية الالتفاف بحجم 5×5 أقوى بشكل واضح من النسخة المُحللة. مع ذلك، فإن هذه القوة ليست ضرورية بالضرورة. فقد وجد فريق البحث تجريبيًا أن عمليات الالتفاف المُحللة تُساعد.

كما أنها تستخدم شكلاً من أشكال تقليل الأبعاد عن طريق دمج مخرجات طبقة الالتفاف وطبقة التجميع . على سبيل المثال، موتر بحجم${\displaystyle 35\times 35\times 320}$يمكن تقليص حجمها عن طريق عملية التفاف بخطوة 2 إلى${\displaystyle 17\times 17\times 320}$وباستخدام تقنية التجميع الأقصى مع حجم المجموعة${\displaystyle 2\times 2}$ل${\displaystyle 17\times 17\times 320}$ثم يتم دمجها لتكوين${\displaystyle 17\times 17\times 640}$.

إضافة إلى ذلك، فقد أزالت أيضًا المصنف المساعد الأدنى أثناء التدريب. ووجدوا أن الرأس المساعد يعمل كشكل من أشكال التنظيم .

كما اقترحوا استخدام تقنية تنظيم التنعيم بالتصنيف. بالنسبة لصورة ذات تصنيف${\displaystyle c}$بدلاً من إنشاء نموذج للتنبؤ بتوزيع الاحتمالات${\displaystyle \delta _{c}=(0,0,\dots ,0,\underbrace {1} _{c{\text{-th entry}}},0,\dots ,0)}$لقد جعلوا النموذج يتنبأ بالتوزيع المُنعم${\displaystyle (1-\epsilon )\delta _{c}+\epsilon /K}$أين${\displaystyle K}$هو العدد الإجمالي للفصول الدراسية.

في عام 2017، أصدر الفريق Inception v4 و Inception ResNet v1 و Inception ResNet v2. ^{[ 10 ]}

يُعد Inception v4 تحديثًا تدريجيًا مع المزيد من عمليات الالتفاف المُحللة، ومضاعفات أخرى تم العثور عليها تجريبيًا لتحسين المعايير.

يُعد كل من Inception ResNet v1 و v2 تعديلات على Inception v4، حيث تمت إضافة وصلات متبقية إلى كل وحدة من وحدات Inception، مستوحاة من بنية ResNet . ^{[ 11 ]}

نُشر نموذج Xception ("الاستبصار المتطرف") في عام 2017. ^{[ 12 ]} وهو عبارة عن مجموعة خطية من طبقات الالتفاف القابلة للفصل العميق مع وصلات متبقية. وقد طُرح التصميم بناءً على فرضية أنه في الشبكة العصبية الالتفافية، يمكن فصل الارتباطات بين القنوات والارتباطات المكانية في خرائط الميزات بشكل كامل .

استغرق تدريب كل شبكة 3 أيام على 60 وحدة معالجة رسومية من نوع K80، أو ما يقارب 0.5 بيتافلوب-يوم. ^{[ 13 ]}