شبكة عصبية كبسولية

الشبكة العصبية الكبسولية ( CapsNet ) هي نظام تعلم آلي من نوع الشبكات العصبية الاصطناعية (ANN) يُستخدم لتحسين نمذجة العلاقات الهرمية. ويهدف هذا النهج إلى محاكاة التنظيم العصبي البيولوجي بشكل أدق. ^{[ 1 ]}

تعتمد الفكرة على إضافة هياكل تُسمى "كبسولات" إلى شبكة عصبية التفافية (CNN)، وإعادة استخدام مخرجات العديد من هذه الكبسولات لتكوين تمثيلات أكثر استقرارًا (في مواجهة مختلف الاضطرابات) للكبسولات الأعلى. ^{[ 2 ]} المخرجات عبارة عن متجه يتكون من احتمالية حدوث ملاحظة ، ووضعية تلك الملاحظة . يشبه هذا المتجه ما يتم فعله، على سبيل المثال، عند إجراء التصنيف مع تحديد الموقع في الشبكات العصبية التفافية.

من بين مزاياها الأخرى، تعالج شبكات CapsNets "مشكلة بيكاسو" في التعرف على الصور: وهي الصور التي تحتوي على جميع الأجزاء الصحيحة ولكنها لا ترتبط بالعلاقة المكانية الصحيحة (على سبيل المثال، في صورة "وجه"، يكون موضع الفم وإحدى العينين معكوسًا). في مجال التعرف على الصور، تستغل شبكات CapsNets حقيقة أن تغييرات زاوية الرؤية لها تأثيرات غير خطية على مستوى البكسل، بينما لها تأثيرات خطية على مستوى الجزء/الكائن. ^{[ 3 ]} يمكن تشبيه ذلك بعكس عرض كائن متعدد الأجزاء. ^{[ 4 ]}

تاريخ

في عام 2000، وصف جيفري هينتون وآخرون نظام تصوير يجمع بين التجزئة والتعرف في عملية استدلال واحدة باستخدام أشجار التحليل النحوي . وقد وصفت ما يُسمى بشبكات المصداقية التوزيع المشترك للمتغيرات الكامنة وأشجار التحليل النحوي الممكنة. وقد أثبت هذا النظام جدواه في قاعدة بيانات الأرقام المكتوبة بخط اليد MNIST . ^{[ 4 ]}

قدّم هينتون وفريقه في عام 2017 آلية توجيه ديناميكية لشبكات الكبسولات. وزُعم أن هذا النهج يقلل من معدلات الخطأ على مجموعة بيانات MNIST ويقلل من أحجام مجموعات التدريب . كما زُعم أن النتائج أفضل بكثير من شبكة CNN على الأرقام المتداخلة بشكل كبير. ^{[ 1 ]}

في فكرة هينتون الأصلية، كان العمود المصغر الواحد يمثل ويكشف عن كيان متعدد الأبعاد واحد. ^{[ 5 ]}^{[ ملاحظة 1 ]}

التحولات

الثابت هو خاصية للكائن لا تتغير نتيجةً لأي تحويل. على سبيل المثال، لا تتغير مساحة الدائرة إذا تم تحريكها إلى اليسار.

بصورة غير رسمية، المتغير المتكافئ هو خاصية تتغير بشكل متوقع عند التحويل. على سبيل المثال، يتحرك مركز الدائرة بنفس مقدار حركة الدائرة عند إزاحتها. ^{[ 6 ]}

الخاصية غير المتغيرة هي خاصية لا تتغير قيمتها بشكل متوقع عند إجراء تحويل. على سبيل المثال، تحويل دائرة إلى قطع ناقص يعني أنه لا يمكن حساب محيطها بضرب قطرها في π.

في مجال رؤية الحاسوب ، يُفترض أن تبقى خصائص الكائن ثابتةً بغض النظر عن التحويلات. أي أن القطة تبقى قطةً سواءً أُزيحت أو قُلبت رأسًا على عقب أو صُغِّر حجمها. مع ذلك، فإن العديد من الخصائص الأخرى تتغير تبعًا للتحويلات. فحجم القطة يتغير عند تغيير حجمها.

تُجسّد الخصائص المتغيرة، كالعلاقة المكانية، في وضعية الجسم ، وهي بيانات تصف انتقاله ودورانه وتغيير حجمه وانعكاسه. الانتقال هو تغيير في الموقع في بُعد واحد أو أكثر. الدوران هو تغيير في الاتجاه. تغيير الحجم هو تغيير في الحجم. الانعكاس هو صورة معكوسة. ^{[ 1 ]}

تتعلم شبكات Capsnet غير الخاضعة للإشراف مصفوفة خطية شاملة بين الكائن ووضعيته، وذلك على شكل مصفوفة من الأوزان. بعبارة أخرى، تستطيع شبكات Capsnet تحديد الكائن بغض النظر عن وضعيته، بدلاً من تعلم التعرف عليه مع تضمين علاقاته المكانية كجزء منه. في شبكات Capsnet، يمكن أن تتضمن الوضعية خصائص أخرى غير العلاقات المكانية، مثل اللون (فالقطط قد تكون بألوان مختلفة).

يؤدي ضرب الجسم بالمتشعب إلى تحديد موضع الجسم (بالنسبة للجسم، في الفضاء). ^{[ 7 ]}

تجميع

ترفض شبكات Capsnet استراتيجية طبقة التجميع في الشبكات العصبية التلافيفية التقليدية، والتي تقلل من كمية التفاصيل المطلوب معالجتها في الطبقة الأعلى التالية. يسمح التجميع بدرجة من الثبات الانتقالي (حيث يمكنه التعرف على نفس الكائن في موقع مختلف نوعًا ما) ويتيح تمثيل عدد أكبر من أنواع الميزات. يجادل مؤيدو Capsnet بأن التجميع: ^{[ 1 ]}

ينتهك الإدراك البيولوجي للشكل من حيث أنه لا يملك إطار إحداثيات جوهري؛
يوفر الثبات (تجاهل المعلومات الموضعية) بدلاً من التباين (فك تشابك تلك المعلومات)؛
يتجاهل التشعب الخطي الذي يكمن وراء العديد من الاختلافات بين الصور؛
توجيه المسارات بشكل ثابت بدلاً من إيصال "الاكتشاف" المحتمل إلى الميزة التي يمكنها تقديره؛
يُلحق الضرر بأجهزة الكشف عن المعالم القريبة، عن طريق حذف المعلومات التي تعتمد عليها.

كبسولات

الكبسولة هي مجموعة من الخلايا العصبية التي تنشط بشكل فردي لخصائص مختلفة لنوع معين من الكائنات، مثل الموقع والحجم واللون. وبصورة أدق، الكبسولة هي مجموعة من الخلايا العصبية التي تُنتج مجتمعةً متجه نشاط ، يحتوي كل عنصر فيه على قيمة التجسيد الخاصة بتلك الخلية (مثل اللون). ^{[ 1 ]} تستخدم برامج الرسومات قيمة التجسيد لرسم الكائن. وتحاول شبكات الكبسولات استخلاص هذه القيم من مدخلاتها. يمثل طول المتجه احتمال وجود الكيان في مدخلات محددة، بينما يحدد اتجاه المتجه خصائص الكبسولة. ^{[ 1 ]}^{[ 3 ]}

تُخرج الخلايا العصبية الاصطناعية تقليديًا إشارة تنشيط عددية حقيقية تمثل بشكل تقريبي احتمالية حدوث ملاحظة ما. تستبدل شبكات Capsnet كاشفات الميزات ذات المخرجات العددية بكبسولات ذات مخرجات متجهة، وتستبدل التجميع الأقصى بالتوجيه بالاتفاق. ^{[ 1 ]}

نظرًا لاستقلالية الكبسولات، فعندما تتفق عدة كبسولات، يكون احتمال الكشف الصحيح أعلى بكثير. فعلى سبيل المثال، قد تتفق مجموعة صغيرة من كبسولتين، عند النظر إلى كيان سداسي الأبعاد، بنسبة 10% بالصدفة مرة واحدة فقط من بين مليون تجربة. ومع ازدياد عدد الأبعاد، يتناقص احتمال الاتفاق العشوائي عبر مجموعة أكبر ذات أبعاد أعلى بشكل أُسّي. ^{[ 1 ]}

تستقبل الكبسولات في الطبقات العليا مخرجات من الكبسولات في الطبقات الدنيا، وتقبل تلك التي تتجمع مخرجاتها. يؤدي التجمع إلى إخراج الكبسولة العليا لاحتمالية عالية لوجود كيان ما، بالإضافة إلى إخراج وضعية عالية الأبعاد (20-50+). ^{[ 1 ]}

تتجاهل الكبسولات ذات المستوى الأعلى القيم الشاذة، وتركز على المجموعات. وهذا يشبه تحويل هوف ، وتحويل هوف العكسي، وخوارزمية RANSAC من معالجة الصور الرقمية الكلاسيكية . ^{[ 1 ]}

التوجيه بالاتفاق

تُوجَّه مخرجات كل كبسولة (ابن) إلى كبسولات في الطبقة التالية (الوالد) وفقًا لقدرة الابن على التنبؤ بمخرجات الوالدين. خلال بضع دورات، قد تتقارب مخرجات كل والد مع تنبؤات بعض الأبناء وتختلف عن تنبؤات آخرين، مما يعني أن ذلك الوالد موجود أو غائب عن المشهد. ^{[ 1 ]}

لكل أب محتمل، يحسب كل ابن متجه تنبؤ بضرب مخرجاته في مصفوفة أوزان (تم تدريبها باستخدام خوارزمية الانتشار العكسي ). ^{[ 3 ]} بعد ذلك، تُحسب مخرجات الأب كحاصل ضرب قياسي لتنبؤ بمعامل يمثل احتمالية انتماء هذا الابن إلى ذلك الأب. يزيد الابن الذي تكون تنبؤاته قريبة نسبيًا من المخرجات الناتجة، معامل الارتباط بين ذلك الأب والابن تدريجيًا، ويقلله بالنسبة للأب الذي لا يتطابق معه جيدًا. هذا يزيد من مساهمة ذلك الابن في ذلك الأب، وبالتالي يزيد من حاصل الضرب القياسي لتنبؤات الكبسولة مع مخرجات الأب. بعد بضع تكرارات، تربط المعاملات الأب بأبنائه الأكثر احتمالًا، مما يشير إلى أن وجود الأبناء يعني وجود الأب في المشهد. ^{[ 1 ]} كلما زاد عدد الأبناء الذين تكون تنبؤاتهم قريبة من مخرجات الأب، زادت سرعة نمو المعاملات، مما يدفع التقارب. يصبح وضع الأب (المنعكس في مخرجاته) متوافقًا تدريجيًا مع وضع أبنائه. ^{[ 3 ]}

تمثل اللوغاريتمات الأولية للمعاملات احتمالات الانتماء المسبقة اللوغاريتمية لطفل إلى أحد والديه. ويمكن تدريب هذه الاحتمالات المسبقة بشكل تمييزي بالتزامن مع الأوزان. وتعتمد هذه الاحتمالات المسبقة على موقع ونوع كبسولات الطفل والوالد، ولكن ليس على المدخلات الحالية. في كل تكرار، يتم تعديل المعاملات باستخدام دالة softmax "التوجيهية" بحيث يستمر مجموعها في الوصول إلى 1 (للتعبير عن احتمال أن تكون كبسولة معينة والدًا لطفل معين). تعمل دالة softmax على تضخيم القيم الكبيرة وتقليل القيم الصغيرة بما يتجاوز نسبتها من المجموع الكلي. وبالمثل، يتم تضخيم احتمال وجود ميزة معينة في المدخلات بواسطة دالة "ضغط" غير خطية تقلل القيم (الصغيرة بشكل كبير والكبيرة بحيث تصبح أقل من 1). ^{[ 3 ]}

توفر آلية التوجيه الديناميكية هذه الإلغاء الضروري للبدائل ("شرحها") اللازمة لتقسيم الكائنات المتداخلة.

لا يوجد ما يُقابل هذا التوجيه المُكتسب للإشارات في علم الأحياء. توجد بعض العمليات في طبقات القشرة الدماغية، لكن لا يبدو أنها مرتبطة بهذه التقنية.

الرياضيات/البرمجة

متجه الوضع ${\textstyle \mathbf {u} _{i}}$ يتم تدويرها ونقلها بواسطة مصفوفة ${\textstyle \mathbf {W} _{ij}}$ إلى متجه ${\textstyle \mathbf {\hat {u}} _{j|i}}$ وهذا يتنبأ بمخرجات الكبسولة الأم.

$\mathbf {\hat {u}} _{j|i}=\mathbf {W} _{ij}\mathbf {u} _{i}$

كبسولات ${\textstyle s_{j}}$ في المستوى الأعلى التالي، يتم تغذية مجموع التنبؤات من جميع الكبسولات في الطبقة الأدنى، ولكل منها معامل اقتران ${\textstyle c_{ij}}$

$s_{j}=\sum {c_{ij}\mathbf {\hat {u}} _{j|i}}$

إجراء سوفت ماكس

معاملات الاقتران من كبسولة ${\textstyle i}$ في طبقة ${\textstyle l}$ إلى جميع الكبسولات في الطبقة ${\textstyle l+1}$ مجموعها يساوي واحدًا، ويتم تعريفها بواسطة " دالة سوفتماكس للتوجيه ". اللوجيتات الأولية ${\textstyle b_{ij}}$ تمثل احتمالات السجل المسبقة للتوجيه. أي الاحتمال المسبق الذي تحققه الكبسولة ${\textstyle i}$ في طبقة ${\textstyle l}$ يجب أن يتصل بالكبسولة ${\textstyle j}$ في طبقة ${\textstyle l+1}$ . توحيد معاملات الاقتران: ^{[ 1 ]}

${\begin{array}{lcl}1:\mathbf {procedure} ~\mathrm {softmax} (\mathbf {b} ,i)\\2:\quad \triangleright {\mbox{مصفوفة الوسيطة}}\\3:\quad \triangleright {\mbox{argument scalar}}\\4:\quad \triangleright {\mbox{حفظ على}}~\mathbf {b} \\5:\quad \triangleright {\mbox{return Vector}}\\6:\quad \mathbf {foreach} ~{\mbox{index}}~i,j~\mathbf {do} \\7:\qquad c_{ij}\leftarrow {\frac {e^{b_{ij}}}{\sum _ {ك} {ه ^ {ب_ {ik}}}}}\\8:\quad \mathbf {عودة} ~\mathbf {c} _{i}\\\end{صفيف}}$

لكي تكون هذه العملية مثالية، يجب عليها حفظ عدة قيم، وإعادة ضبط تلك القيم في كل تكرار. هذا إذا كان المتجه $\mathbf {b}$ إذا طرأت تغييرات، فيجب تحديث القيم المحفوظة. لم يُوضح كيفية القيام بذلك. كما لم يُوضح حفظ المقسوم عليه. ^{[ 1 ]}

إجراء السحق

لأن طول المتجهات يمثل الاحتمالات، فيجب أن يكون بين الصفر والواحد، وللقيام بذلك يتم تطبيق دالة ضغط: ^{[ 1 ]}

${\begin{array}{lcl}1:\mathbf {procedure} ~\mathrm {squash} (\mathbf {a} )\\2:\quad \triangleright {\mbox{ناقل الوسيطة}}\\2:\quad \triangleright {\mbox{return Vector}}\\3:\qquad \mathbf {a} \leftarrow {\frac {\|\mathbf {a} \|^{2}}{1+\|\mathbf {a} \|^{2}}}{\frac {\mathbf {a} }{\|\mathbf {a} \|}}\\4:\quad \mathbf {return} ~\mathbf {a} \\\end{array}}$

المتجه المضغوط إلى الصفر يكون له تدرج معدوم.

توجيه الإجراءات

أحد أساليب التوجيه هو التالي ^{[ 1 ]}

${\begin{array}{lcl}~~1:\mathbf {procedure} ~\mathrm {routing} (\mathbf {\hat {u}} _{j|i},r,l)\\~~2:\quad \triangleright {\mbox{argument vector}}\\~~3:\quad \triangleright {\mbox{argument scalar}}\\~~4:\quad \triangleright {\mbox{argument scalar}}\\~~5:\quad \triangleright {\mbox{return vector}}\\~~6:\quad \mathbf {foreach} ~{\mbox{capsule}}~i~{\mbox{in layer}}~l,~{\mbox{capsule}}~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~b_{ij}\leftarrow 0\\~~7:\quad \mathbf {for} ~{\mbox{iteration}}~r~\mathbf {do} \\~~8:\qquad \mathbf {foreach} ~{\mbox{capsule}}~i~{\mbox{in layer}}~l~\mathbf {do} ~\mathbf {c} _{i}\leftarrow \operatorname {softmax} (\mathbf {b} ,i)\\~~9:\qquad \mathbf {foreach} ~{\mbox{capsule}}~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~\mathbf {s} _{j}\leftarrow \sum _{i}{c_{ij}\mathbf {\hat {u}} _{j|i}}\\10:\qquad \mathbf {foreach} ~{\mbox{capsule}}~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~\mathbf {v} _{j}\leftarrow \operatorname {squash} (\mathbf {s} _{j})\\11:\qquad \mathbf {foreach} ~{\mbox{capsule}}~i~{\mbox{in layer}}~l,~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~\mathbf {b} _{ij}\leftarrow \mathbf {b} _{ij}+\mathbf {\hat {u}} _{j|i}\cdot \mathbf {v} _{j}\\12:\quad \mathbf {return} ~\mathbf {v} _{j}\\\end{array}}$

في السطر 8، يمكن استبدال دالة softmax بأي نوع من أنواع الشبكات التي تعتمد على مبدأ "الفائز يأخذ كل شيء" . من الناحية البيولوجية، يشبه هذا إلى حد ما خلايا الثريا ، ولكن يمكن أيضًا استخدامها في حساب معاملات الاقتران (السطر 9) أو حساب الاتفاقات (السطر 11).

في السطر 9، تظهر مصفوفة الأوزان لمعاملات الاقتران ومصفوفة التنبؤ المخفية. يشبه التركيب في الطبقتين الأولى والثانية إلى حد ما بنية القشرة المخية إذا افترضنا أن الخلايا النجمية تشارك في نقل متجهات الإدخال. يبقى غير واضح ما إذا كان لكلا النوعين من الخلايا النجمية الوظيفة نفسها، إذ تحتوي الطبقة الأولى على خلايا شوكية مثيرة، بينما تحتوي الطبقة الثانية على خلايا غير شوكية مثبطة. يشير هذا الأخير إلى شبكة مختلفة تمامًا.

في السطر 10، يمكن استبدال دالة الضغط بوظائف أخرى وطوبولوجيات شبكية تحافظ على اتجاه المتجه.

الإجراء يقوم ${\textstyle r}$ عدد التكرارات، عادةً من 4 إلى 5، مع ${\textstyle l}$ فهرس طبقة كبسولة المصدر أو الطبقة الأساسية، حيث يتم التوجيه منها ، وطبقة الكبسولة ${\textstyle l+1}$ الطبقة الأعلى التالية.

تمرين

التعلم خاضع للإشراف . ^{[ 3 ]} يتم تدريب الشبكة عن طريق تقليل المسافة الإقليدية بين الصورة ومخرجات شبكة عصبية تلافيفية تعيد بناء المدخلات من مخرجات الكبسولات الطرفية. ^{[ 1 ]}

يتم تدريب الشبكة بشكل تمييزي، باستخدام التوجيه التكراري بالاتفاق. ^{[ 1 ]}

تم إخفاء متجهات النشاط لجميع العناصر باستثناء العنصر الأب الصحيح. ^{[ 1 ]}

خسارة في الهامش

يمثل طول متجه التجسيد احتمال وجود كيان الكبسولة في المشهد. يكون متجه الكبسولة الرئيسية طويلاً إذا وفقط إذا كان الكيان المرتبط بها موجودًا. للسماح بوجود كيانات متعددة، يتم حساب خسارة هامشية منفصلة لكل كبسولة. يؤدي تقليل وزن الخسارة للكيانات الغائبة إلى منع عملية التعلم من تقليص أطوال متجهات النشاط لجميع الكيانات. الخسارة الكلية هي مجموع خسائر جميع الكيانات. ^{[ 1 ]} في مثال هينتون، دالة الخسارة هي: ^{[ 1 ]} ${\begin{aligned}L_{k}&=\underbrace {T_{k}~{\max \left(0,m^{+}-\|\mathbf {v} _{k}\|\right)}^{2}} _{\mbox{class present}}+\underbrace {\lambda \left(1-T_{k}\right)~{\max \left(0,\|\mathbf {v} _{k}\|-m^{-}\right)}^{2}} _{\mbox{class not present}},&T_{k}={\begin{cases}1,&{\mbox{digit of class}}~k~{\mbox{present}}\\0,&{\mbox{otherwise}}\\\end{cases}}\end{aligned}}$

يُعد هذا النوع من دوال الخسارة شائعًا في الشبكات العصبية الاصطناعية. المعاملات ${\textstyle m^{+}}$ و ${\textstyle m^{-}}$ يتم ضبطها بحيث لا يصل الطول إلى الحد الأقصى أو ينهار. ${\textstyle m^{+}=0.9}$ و ${\textstyle m^{-}=0.1}$ يتم التحكم في تقليل الأوزان الأولية للفئات الغائبة بواسطة ${\textstyle \lambda }$ ، مع ${\textstyle \lambda =0.5}$ كخيار معقول. ^{[ 1 ]}

خسائر إعادة البناء

يُشجع فقدان إعادة البناء الإضافي الكيانات على ترميز معلمات إنشاء مدخلاتها. ثم يُستخدم متجه النشاط النهائي لإعادة بناء الصورة المدخلة عبر مُفكِّك شبكة عصبية تلافيفية (CNN) يتكون من 3 طبقات متصلة بالكامل. تُقلل عملية إعادة البناء مجموع مربعات الفروق بين مخرجات الوحدات اللوجستية وشدة البكسل. يتم تقليل فقدان إعادة البناء هذا بمقدار 0.0005 حتى لا يطغى على فقدان الهامش أثناء التدريب. ^{[ 1 ]}

مثال على التكوين

تقوم الطبقات الالتفافية الأولى باستخلاص الميزات. بالنسبة لاختبار صورة MNIST بحجم 28×28 بكسل، تقوم 256 نواة التفافية أولية بحجم 9×9 بكسل (باستخدام خطوة 1 ووحدة تنشيط خطية مصححة (ReLU)، مما يحدد حقول استقبال بحجم 20×20 ) بتحويل مدخلات البكسل إلى تنشيطات ميزات أحادية البعد وإحداث اللاخطية. ^[¹^]

تقسم طبقة الكبسولات الأساسية (الأدنى) النوى الـ 256 إلى 32 كبسولة، تحتوي كل منها على 8 نوى بحجم 9×9 (باستخدام خطوة 2، مما يُحدد حقول استقبال بحجم 6×6). تعمل عمليات تنشيط الكبسولات على عكس عملية عرض الرسومات، حيث تنتقل من البكسلات إلى الميزات. تستخدم كل كبسولة مصفوفة أوزان واحدة عبر جميع حقول الاستقبال. ترى كل كبسولة أساسية جميع مخرجات الطبقات الأدنى التي تتداخل حقولها مع مركز الحقل في الطبقة الأساسية. كل مخرج من مخرجات الكبسولة الأساسية (لحقل معين) هو متجه ثماني الأبعاد. ^{[ 1 ]}^{[ 3 ]}

تحتوي طبقة كبسولات الأرقام الثانية على كبسولة واحدة ذات 16 بُعدًا لكل رقم (من 0 إلى 9). يربط التوجيه الديناميكي طبقات كبسولات الأرقام والطبقات الأساسية فقط. تتحكم مصفوفة أوزان [32×6×6] × 10 في عملية الربط بين الطبقات. ^{[ 1 ]}

تتميز شبكات الكبسولات بأنها هرمية، حيث تساهم كل كبسولة من المستوى الأدنى بشكل كبير في كبسولة واحدة فقط من المستوى الأعلى. ^{[ 1 ]}

مع ذلك، يظل تكرار المعرفة المكتسبة ذا قيمة. ولتحقيق ذلك، تكون الطبقات السفلى لشبكة الكبسولات تلافيفية ، بما في ذلك طبقات الكبسولات المخفية. وبالتالي، تغطي الطبقات العليا مناطق أوسع، مع الاحتفاظ بمعلومات حول الموقع الدقيق لكل كائن داخل المنطقة. بالنسبة للكبسولات ذات المستوى الأدنى، تُرمّز معلومات الموقع وفقًا للكبسولة النشطة. وكلما ارتفعنا، تُرمّز معلومات الموقع بشكل متزايد في متجه خرج الكبسولة. يشير هذا التحول من الترميز المكاني إلى الترميز المعدل، بالإضافة إلى حقيقة أن الكبسولات ذات المستوى الأعلى تمثل كائنات أكثر تعقيدًا بدرجات حرية أكبر، إلى أن أبعاد الكبسولة تزداد مع المستوى. ^{[ 1 ]}

الرؤية البشرية

تعتمد الرؤية البشرية على فحص سلسلة من النقاط البؤرية (التي تُوجَّه بحركات العين السريعة )، حيث تُعالج جزءًا صغيرًا فقط من المشهد بأعلى دقة. تستند شبكات كابسنت إلى إلهام من الأعمدة القشرية المصغرة (وتُسمى أيضًا الأعمدة القشرية الدقيقة) في القشرة المخية . العمود المصغر هو بنية تحتوي على 80-120 عصبونًا، بقطر يتراوح بين 28 و40 ميكرومترًا تقريبًا، وتمتد عبر جميع طبقات القشرة المخية. تمتلك جميع العصبونات في الأعمدة المصغرة الأكبر حجمًا نفس المجال الاستقبالي ، وتُخرج إشاراتها على شكل كمونات عمل أو نبضات عصبية. ^{[ 1 ]} تتلقى العصبونات داخل العمود الدقيق مدخلات مشتركة، ولها مخرجات مشتركة، وهي مترابطة فيما بينها، وقد تُشكل وحدة حسابية أساسية في القشرة المخية . ^{[ 8 ]}

تستكشف شبكات Capsnets الحدس القائل بأن الجهاز البصري البشري يُنشئ بنية شجرية لكل نقطة تركيز، ويُنسق هذه الأشجار للتعرف على الأشياء. مع ذلك، في شبكات Capsnets، تُنحت كل شجرة من شبكة ثابتة (عن طريق تعديل المعاملات) بدلاً من تجميعها بشكل فوري. ^{[ 1 ]}

البدائل

يُزعم أن شبكات CapsNets تتمتع بأربع مزايا مفاهيمية رئيسية مقارنة بالشبكات العصبية الالتفافية (CNN):

ثبات وجهة النظر: يسمح استخدام مصفوفات الوضع لشبكات الكبسولات بالتعرف على الأشياء بغض النظر عن المنظور الذي تُرى منه.
عدد أقل من المعلمات: نظرًا لأن الكبسولات تجمع الخلايا العصبية، فإن الروابط بين الطبقات تتطلب عددًا أقل من المعلمات.
تحسين التعميم على وجهات نظر جديدة: غالبًا ما تتعلم الشبكات العصبية التلافيفية، عند تدريبها على فهم الدوران، أن الجسم يمكن رؤيته بشكل مشابه من عدة دورانات مختلفة. ومع ذلك، فإن شبكات الكبسولات تُعمم بشكل أفضل على وجهات نظر جديدة لأن مصفوفات الوضع يمكنها التقاط هذه الخصائص كتحويلات خطية.
الدفاع ضد هجمات الخصومة ذات الصندوق الأبيض: تُعدّ طريقة إشارة التدرج السريع (FGSM) طريقة شائعة لمهاجمة الشبكات العصبية التلافيفية (CNNs). تقوم هذه الطريقة بتقييم تدرج كل بكسل مقابل خسارة الشبكة، وتُغيّر كل بكسل بمقدار لا يتجاوز إبسيلون (حد الخطأ) لزيادة الخسارة إلى أقصى حد. مع أن هذه الطريقة قد تُقلّل دقة الشبكات العصبية التلافيفية بشكل كبير (مثلاً: إلى أقل من 20%)، إلا أن شبكات الكبسولات تحافظ على دقة أعلى من 70%.

لا تستطيع الشبكات الالتفافية البحتة التعميم على وجهات نظر غير مُدرَّبة (باستثناء الإزاحة). بالنسبة للتحويلات الأفينية الأخرى ، إما أن تُكرَّر كاشفات الميزات على شبكة تنمو أُسِّيًّا مع عدد أبعاد التحويل، أو أن يتوسع حجم مجموعة التدريب المُصنَّفة (أُسِّيًّا) ليشمل وجهات النظر تلك. هذه التوسعات الأُسِّية تجعلها غير مناسبة للمسائل الأكبر حجمًا. ^{[ 1 ]}

تتعلم مصفوفات التحويل في شبكات Capsnet العلاقة المكانية (المستقلة عن وجهة النظر) بين الجزء والكل، مما يسمح بالتعرف على الكل بناءً على هذه العلاقات. مع ذلك، تفترض شبكات Capsnet أن كل موقع يعرض على الأكثر نسخة واحدة من كائن الكبسولة. يسمح هذا الافتراض للكبسولة باستخدام تمثيل موزع (متجه نشاطها) للكائن لتمثيل ذلك الكائن في ذلك الموقع. ^{[ 1 ]}

تستخدم شبكات Capsnets أنشطة عصبية تتغير بتغير زاوية الرؤية. وهي لا تحتاج إلى تطبيع الكائنات (كما هو الحال في شبكات المحولات المكانية)، بل يمكنها حتى التعرف على الكائنات التي خضعت لتحويلات متعددة. كما تستطيع شبكات Capsnets معالجة الكائنات المجزأة. ^{[ 1 ]}

تهجين

توجد بعض الاقتراحات بشأن المناهج الهجينة التي تقدمها شبكات الكبسولات. ^{[ 9 ]}^{[ 10 ]}

انظر أيضاً

ملحوظات

↑ على حد تعبير هينتون نفسه، هذا "تكهنات جامحة".

مراجع

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 صبور، سارة؛ فروست، نيكولاس؛ هينتون، جيفري إي. (2017-10-26). "التوجيه الديناميكي بين الكبسولات". arXiv : 1710.09829 [ cs.CV ].
↑ هينتون، جيفري إي.؛ كريزيفسكي، أليكس؛ وانغ، سيدا د. (14 يونيو 2011). "تحويل المشفرات التلقائية". الشبكات العصبية الاصطناعية والتعلم الآلي - المؤتمر الدولي للشبكات العصبية الاصطناعية 2011. سلسلة محاضرات في علوم الحاسوب. المجلد 6791. سبرينغر، برلين، هايدلبرغ. الصفحات 44-51 . CiteSeerX 10.1.1.220.5099 . doi : 10.1007/978-3-642-21735-7_6 . ISBN 9783642217340. S2CID 6138085 .
1 2 3 4 5 6 7 سريهاري، سارجور. “شبكات الكبسولة” (PDF) . جامعة بوفالو . تم الاسترجاع 2017/12/07 .
1 2 هينتون، جيفري إي؛ قهرماني، زوبين؛ تيه، يي ويي (2000). الأماكن القريبة : لين، المعارف التقليدية؛ مولر، ك. (محرران). التقدم في أنظمة معالجة المعلومات العصبية 12 (PDF) . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 463 – 469.
↑ ميهر فامسي (15 نوفمبر 2017)، نظرية كبسولة جيفري هينتون ، تم الاطلاع عليه بتاريخ 6 ديسمبر 2017
↑ "فهم كبسولات المصفوفة مع توجيه EM (استنادًا إلى شبكات كبسولات هينتون)" . jhui.github.io . تم الاطلاع عليه بتاريخ 31-12-2017 .
↑ تان، كندريك (10 نوفمبر 2017). "شرح شبكات الكبسولة" . kndrck.co . تاريخ الاسترجاع: 26 ديسمبر 2017 .
↑ "الأعمدة الدقيقة في الدماغ" . www.physics.drexel.edu . مؤرشف من الأصل بتاريخ 27-05-2018 . تم الاطلاع عليه بتاريخ 31-12-2017 .
↑ بشاراتي، محمد رضا؛ إيزادي، محمد؛ جعفري، نفيسة (15 أكتوبر 2025). "أوجه التشابه المفاهيمية بين شبكات الكبسولات و GPT: تحليل تقني-مفاهيمي معمق" . doi.org . تاريخ الاسترجاع: 28 أكتوبر 2025 .
↑ بيتوكوفا، لورا، بيتر سينتشاك، لازلو جوزيف كوفاكس، وبنغ وانغ. "كبسولة ConvKAN: نهج عصبي هجين لتصنيف الصور الطبية." arXiv طبعة أولية arXiv:2507.06417 (2025).

روابط خارجية

تنفيذ شبكة الكبسولات في PyTorch، مع إصلاح العديد من الأخطاء في الإصدارات السابقة ، 16 أبريل 2018 ، تم الاطلاع عليه في 16 أبريل 2018
كود بايتورش: توجيه الكبسولات عبر بايز المتغير ، فبراير 2020 ، تم الاطلاع عليه بتاريخ 23 أكتوبر 2020
تطبيق PyTorch لورقة بحثية بعنوان "التوجيه الديناميكي بين الكبسولات" من مؤتمر NIPS 2017 ، Gram.AI، 2017-12-08 ، تم الاطلاع عليها بتاريخ 2017-12-08
ما المشكلة في الشبكات العصبية الالتفافية على يوتيوب؟
"التعلم العميق" . www.cedar.buffalo.edu . تاريخ الاسترجاع: 7 ديسمبر 2017 .
بورداكوس، نيك (12 فبراير 2018). "فهم شبكات الكبسولات - بنية الذكاء الاصطناعي الجديدة الجذابة" . freeCodeCamp.org . تم الاطلاع عليه بتاريخ 23 أبريل 2019 .
داي، جيفنغ؛ تشي، هاوزي؛ شيونغ، يوين؛ لي، يي؛ تشانغ، جودونغ؛ هو، هان؛ وي ، ييتشين (2017/03/17). “الشبكات التلافيفية القابلة للتشوه”. أرخايف : 1703.06211 [ cs.CV ].
دي براباندير، بيرت؛ جيا، شو؛ تويتيلارس، تين؛ فان جول ، لوك (2016/05/31). “شبكات التصفية الديناميكية”. أرخايف : 1605.09673 [ cs.LG ].
غو، شيفنغ (2017-12-08)، CapsNet-Keras: تطبيق Keras لـ CapsNet في ورقة بحثية NIPS2017 بعنوان "التوجيه الديناميكي بين الكبسولات". نسبة الخطأ في الاختبار الحالي = 0.34%. تم الاطلاع عليه بتاريخ 2017-12-08
هينتون، جيفري؛ صبور، سارة؛ فروست، نيكولاس (نوفمبر 2017). "كبسولات المصفوفة مع توجيه EM" .
هينتون وجوجل برين - شبكات الكبسولة على يوتيوب
لياو، هوادونغ (2017-12-08)، CapsNet-Tensorflow: تطبيق Tensorflow لشبكة CapsNet (شبكة الكبسولات) في ورقة هينتون بعنوان "التوجيه الديناميكي بين الكبسولات" ، تم الاطلاع عليه بتاريخ 2017-12-08
كاي ، فانجيو (2020-12-18). ""بإمكاننا فعلها" - جيفري هينتون وفريق من جامعات كولومبيا البريطانية، وتكساس، وجوجل، وفيكتوريا يقترحون كبسولة غير خاضعة للإشراف..." موقع Medium . تم الاطلاع عليه بتاريخ 18 يناير 2021 .
صن، ويوي؛ تاغلياساشي، أندريا؛ دينغ، بويانغ. صبور، سارة؛ يزداني، سروش؛ هينتون، جيفري. يي ، كوانغ مو (2020-12-08). “الكبسولات الكنسي: كبسولات غير خاضعة للرقابة في الوضع الكنسي”. أرخايف : 2012.04718 [ cs.CV ].

[:0-6] على حد تعبير هينتون نفسه، هذا "تكهنات جامحة".

[:1-1] 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 صبور، سارة؛ فروست، نيكولاس؛ هينتون، جيفري إي. (2017-10-26). "التوجيه الديناميكي بين الكبسولات". arXiv : 1710.09829 [ cs.CV ].

[2] هينتون، جيفري إي.؛ كريزيفسكي، أليكس؛ وانغ، سيدا د. (14 يونيو 2011). "تحويل المشفرات التلقائية". الشبكات العصبية الاصطناعية والتعلم الآلي - المؤتمر الدولي للشبكات العصبية الاصطناعية 2011. سلسلة محاضرات في علوم الحاسوب. المجلد 6791. سبرينغر، برلين، هايدلبرغ. الصفحات 44-51 . CiteSeerX 10.1.1.220.5099 . doi : 10.1007/978-3-642-21735-7_6 . ISBN 9783642217340. S2CID 6138085 .

[:16-3] 1 2 3 4 5 6 7 سريهاري، سارجور. “شبكات الكبسولة” (PDF) . جامعة بوفالو . تم الاسترجاع 2017/12/07 .

[:0-4] 1 2 هينتون، جيفري إي؛ قهرماني، زوبين؛ تيه، يي ويي (2000). الأماكن القريبة : لين، المعارف التقليدية؛ مولر، ك. (محرران). التقدم في أنظمة معالجة المعلومات العصبية 12 (PDF) . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 463 – 469.

[5] ميهر فامسي (15 نوفمبر 2017)، نظرية كبسولة جيفري هينتون ، تم الاطلاع عليه بتاريخ 6 ديسمبر 2017

[7] "فهم كبسولات المصفوفة مع توجيه EM (استنادًا إلى شبكات كبسولات هينتون)" . jhui.github.io . تم الاطلاع عليه بتاريخ 31-12-2017 .

[8] تان، كندريك (10 نوفمبر 2017). "شرح شبكات الكبسولة" . kndrck.co . تاريخ الاسترجاع: 26 ديسمبر 2017 .

[9] "الأعمدة الدقيقة في الدماغ" . www.physics.drexel.edu . مؤرشف من الأصل بتاريخ 27-05-2018 . تم الاطلاع عليه بتاريخ 31-12-2017 .

[10] بشاراتي، محمد رضا؛ إيزادي، محمد؛ جعفري، نفيسة (15 أكتوبر 2025). "أوجه التشابه المفاهيمية بين شبكات الكبسولات و GPT: تحليل تقني-مفاهيمي معمق" . doi.org . تاريخ الاسترجاع: 28 أكتوبر 2025 .

[11] بيتوكوفا، لورا، بيتر سينتشاك، لازلو جوزيف كوفاكس، وبنغ وانغ. "كبسولة ConvKAN: نهج عصبي هجين لتصنيف الصور الطبية." arXiv طبعة أولية arXiv:2507.06417 (2025).

[ 2 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

اللغة	العربية (RTL)
روابط موسوعية	30 رابطاً
المصدر الأصلي	ويكيبيديا ↗