طبقة التجميع

تُستخدم تقنية التجميع الأقصى (MaxPool) بشكل شائع في الشبكات العصبية التلافيفية لتقليل الأبعاد المكانية لخرائط الميزات.

يُعرِّف$${\displaystyle \mathrm {MaxPool} (x|f,s)_{0,0,0}=\max(x_{0:f-1,0:f-1,0})}$$أين${\displaystyle 0:f-1}$يعني النطاق${\displaystyle 0,1,\dots ,f-1}$لاحظ أنه يجب علينا تجنب خطأ الاختلاف بمقدار واحد . المدخل التالي هو$${\displaystyle \mathrm {MaxPool} (x|f,s)_{1,0,0}=\max(x_{s:s+f-1,0:f-1,0})}$$وهكذا دواليك. المجال الاستقبالي لـ${\displaystyle y_{i,j,c}}$يكون${\displaystyle x_{is+f-1,js+f-1,c}}$لذا بشكل عام،$${\displaystyle \mathrm {MaxPool} (x|f,s)_{i,j,c}=\mathrm {max} (x_{is:is+f-1,js:js+f-1,c})}$$إذا اختلف حجم المرشح الأفقي والرأسي وخطواته، فعندئذٍ بشكل عام،$${\displaystyle \mathrm {MaxPool} (x|f,s)_{i,j,c}=\mathrm {max} (x_{is_{H}:is_{H}+f_{H}-1,js_{W}:js_{W}+f_{W}-1,c})}$$باختصار أكثر، يمكننا أن نكتب${\displaystyle y_{k}=\max(\{x_{k'}|k'{\text{ in the receptive field of }}k\})}$.

لو${\displaystyle H}$لا يمكن التعبير عنها كـ${\displaystyle ks+f}$أين${\displaystyle k}$إذا كان عددًا صحيحًا، فلحساب عناصر موتر الإخراج على الحدود، ستحاول عملية التجميع الأقصى استخدام متغيرات من الموتر كمدخلات. في هذه الحالة، تعتمد كيفية التعامل مع هذه المتغيرات غير الموجودة على شروط الحشو ، الموضحة على اليمين.

التجميع الأقصى العالمي (GMP) هو نوع محدد من التجميع الأقصى حيث يكون لموتر الإخراج شكل${\displaystyle \mathbb {R} ^{C}}$والمجال الاستقبالي لـ${\displaystyle y_{c}}$هو كل شيء${\displaystyle x_{0:H,0:W,c}}$أي أنه يأخذ القيمة القصوى على مستوى كل قناة. ويُستخدم غالبًا قبل الطبقات المتصلة بالكامل في رأس تصنيف الشبكة العصبية التلافيفية.

يتم تعريف التجميع المتوسط ​​(AvgPool) بشكل مماثل$${\displaystyle \mathrm {AvgPool} (x|f,s)_{i,j,c}=\mathrm {average} (x_{is:is+f-1,js:js+f-1,c})={\frac {1}{f^{2}}}\sum _{k\in is:is+f-1}\sum _{l\in js:js+f-1}x_{k,l,c}}$$يُعرَّف التجميع المتوسط ​​العالمي (GAP) بشكل مشابه لتقنية التجميع المتوسط ​​العالمي (GMP). وقد طُرح لأول مرة في نموذج الشبكة داخل الشبكة. ^{[ 2 ]} ومثل تقنية التجميع المتوسط ​​العالمي، يُستخدم غالبًا قبل الطبقات المتصلة بالكامل الأخيرة في رأس تصنيف الشبكة العصبية التلافيفية (CNN).

توجد بعض عمليات الاستيفاء للتجميع الأقصى والتجميع المتوسط.

التجميع المختلط هو مجموع خطي للتجميع الأقصى والتجميع المتوسط. ^{[ 3 ]} أي،$${\displaystyle \mathrm {MixedPool} (x|f,s,w)=w\mathrm {MaxPool} (x|f,s)+(1-w)\mathrm {AvgPool} (x|f,s)}$$أين${\displaystyle w\in [0,1]}$إما أن يكون معلمة فائقة، أو معلمة قابلة للتعلم، أو يتم أخذ عينة عشوائية منها من جديد في كل مرة.

يُشبه تجميع Lp تجميع المتوسط، ولكنه يستخدم متوسط ​​معيار Lp بدلاً من المتوسط:$${\displaystyle y_{k}=\left({\frac {1}{N}}\sum _{k'{\text{ in the receptive field of }}k}|x_{k'}|^{p}\right)^{1/p}}$$أين${\displaystyle N}$حجم المجال الاستقبالي، و${\displaystyle p\geq 1}$هو مُعامل فائق. إذا كانت جميع التنشيطات غير سالبة، فإن التجميع المتوسط ​​هو حالة${\displaystyle p=1}$، والتجميع الأقصى هو حالة من${\displaystyle p\to \infty }$يُعد تجميع الجذر التربيعي مثالاً على ذلك .${\displaystyle p=2}$[ ^{4 ]​}

عينات التجميع العشوائي هي تنشيط عشوائي${\displaystyle x_{k'}}$من المجال الاستقبالي باحتمالية${\displaystyle {\frac {x_{k'}}{\sum _{k''}x_{k''}}}}$وهو ما يعادل التجميع المتوسط ​​في التوقع . ^{[ 5 ]}

يشبه تجميع Softmax تجميع max، ولكنه يستخدم دالة softmax ، أي${\displaystyle {\frac {\sum _{k'}e^{\beta x_{k'}}x_{k'}}{\sum _{k''}e^{\beta x_{k''}}}}}$أين${\displaystyle \beta >0}$يُعد تجميع المتوسطات مثالاً على ذلك.${\displaystyle \beta \downarrow 0}$، والتجميع الأقصى هو حالة من${\displaystyle \beta \uparrow \infty }$^{[ 4 ]}

يُعمم التجميع القائم على الأهمية المحلية تجميع softmax بواسطة${\displaystyle {\frac {\sum _{k'}e^{g(x_{k'})}x_{k'}}{\sum _{k''}e^{g(x_{k''})}}}}$أين${\displaystyle g}$هي دالة قابلة للتعلم. ^{[ 6 ]}

تُطبّق تقنية التجميع الهرمي المكاني التجميع الأقصى (أو أي شكل آخر من أشكال التجميع) في بنية هرمية . أي أنها تُطبّق التجميع الأقصى الشامل، ثم تُطبّقه على الصورة المُقسّمة إلى 4 أجزاء متساوية، ثم إلى 16 جزءًا، وهكذا. بعد ذلك، تُدمج النتائج . وهي شكل هرمي من التجميع الشامل، ومثل التجميع الشامل، تُستخدم غالبًا قبل رأس التصنيف مباشرةً. ^{[ 7 ]}

يُعد تجميع منطقة الاهتمام (المعروف أيضًا باسم تجميع RoI) أحد أنواع التجميع الأقصى المستخدم في الشبكات العصبية الالتفافية R-CNNs للكشف عن الأجسام . ^{[ 8 ]} وهو مصمم لأخذ مصفوفة إدخال ذات حجم عشوائي، وإخراج مصفوفة إخراج ذات حجم ثابت.

تحسب عملية تجميع التغاير مصفوفة التغاير للمتجهات.$${\displaystyle \{x_{k,l,0:C-1}\}_{k\in is:is+f-1,l\in js:js+f-1}}$$ثم يتم تسويتها إلى${\displaystyle C^{2}}$متجه ذو أبعاد${\displaystyle y_{i,j,0:C^{2}-1}}$يُستخدم تجميع التغاير العالمي بشكل مشابه لتجميع الحد الأقصى العالمي. ولأن تجميع المتوسط ​​يحسب المتوسط، وهو إحصائية من الدرجة الأولى ، بينما التغاير إحصائية من الدرجة الثانية، يُطلق على تجميع التغاير أيضًا اسم "تجميع الرتبة الثانية". ويمكن تعميمه ليشمل عمليات التجميع من الرتب الأعلى. ^{[ 9 ] [ 10 ]}

يعني تجميع التمويه تطبيق طريقة تمويه قبل تقليل حجم العينة. على سبيل المثال، يعني تجميع التمويه Rect-2 أخذ متوسط ​​التجميع عند${\displaystyle f=2,s=1}$ثم أخذ كل بكسل ثانٍ (متطابق مع${\displaystyle s=2}$). ^{[ 11 ]}

لقد حددنا أولاً

${\displaystyle \mathbf {y} ={\frac {\mathbf {X} \mathbf {p} }{\Vert \mathbf {p} \Vert }}}$

أين${\displaystyle \mathbf {p} }$هو متجه إسقاط قابل للتعلم . متجه الإسقاط${\displaystyle \mathbf {p} }$يحسب قيمة إسقاط قياسية لكل عقدة في الرسم البياني.

يمكن بعد ذلك صياغة طبقة التجميع ذات أعلى k عنصر ^{[ 17 ] على النحو التالي:}

${\displaystyle \mathbf {X} '=(\mathbf {X} \odot {\text{sigmoid}}(\mathbf {y} ))_{\mathbf {i} }}$

${\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}$

أين${\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}$هي مجموعة فرعية من العقد التي حصلت على أعلى k درجة إسقاط،${\displaystyle \odot }$يرمز إلى ضرب المصفوفات عنصرًا بعنصر ، و${\displaystyle {\text{sigmoid}}(\cdot )}$هي دالة سيجمويد . بعبارة أخرى، يتم الاحتفاظ بالعقد ذات أعلى k درجة إسقاط في مصفوفة التجاور الجديدة.${\displaystyle \mathbf {A} '}$. ال${\displaystyle {\text{sigmoid}}(\cdot )}$تُنشئ العملية متجه الإسقاط${\displaystyle \mathbf {p} }$يمكن تدريبها عن طريق الانتشار العكسي ، والذي ينتج عنه مخرجات منفصلة في غير ذلك. ^{[ 17 ]}

لقد حددنا أولاً

${\displaystyle \mathbf {y} ={\text{GNN}}(\mathbf {X} ,\mathbf {A} )}$

أين${\displaystyle {\text{GNN}}}$هي طبقة GNN عامة متغيرة بالتبديل (مثل GCN، GAT، MPNN).

يمكن بعد ذلك صياغة طبقة تجميع الانتباه الذاتي ^{[ 18 ] على النحو التالي:}

${\displaystyle \mathbf {X} '=(\mathbf {X} \odot \mathbf {y} )_{\mathbf {i} }}$

${\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}$

أين${\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}$هي مجموعة فرعية من العقد التي حصلت على أعلى k درجة إسقاط،${\displaystyle \odot }$يشير إلى ضرب المصفوفات عنصرًا بعنصر .

يمكن اعتبار طبقة تجميع الانتباه الذاتي امتدادًا لطبقة تجميع أعلى k. وبخلاف تجميع أعلى k، فإن درجات الانتباه الذاتي المحسوبة في تجميع الانتباه الذاتي تأخذ في الاعتبار كلًا من خصائص الرسم البياني وبنيته.