الشبكة العصبية، العملية الغاوسية

الموسوعة الحرة

عملية غاوسية للشبكة العصبية (NNGP) هي عملية غاوسية (GP) تُستخلص كحدٍّ لتسلسل نوعٍ مُحدد من الشبكات العصبية . وبالتحديد، تتقارب مجموعة واسعة من بنى الشبكات إلى عملية غاوسية في حدٍّ لانهائي ، بمعنى التوزيع . [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] ويُمثل هذا المفهوم تعريفًا قصديًا ، أي أن عملية غاوسية للشبكة العصبية هي ببساطة عملية غاوسية، ولكنها تتميز بكيفية استخلاصها.

تحفيز

تُعدّ الشبكات البايزية أداةً لنمذجة البيانات، تُستخدم لتعيين احتمالات للأحداث، وبالتالي تحديد مستوى عدم اليقين في تنبؤات النموذج. ويُعتبر التعلّم العميق والشبكات العصبية الاصطناعية من المناهج المستخدمة في التعلّم الآلي لبناء نماذج حسابية تتعلم من أمثلة التدريب. وتجمع الشبكات العصبية البايزية بين هذين المجالين، فهي نوع من الشبكات العصبية التي تكون معاييرها وتنبؤاتها احتمالية. [ 9 ] [ 10 ] في حين أن الشبكات العصبية التقليدية غالبًا ما تُعطي ثقة عالية حتى للتنبؤات غير الصحيحة، [ 11 ] فإن الشبكات العصبية البايزية قادرة على تقييم مدى احتمالية صحة تنبؤاتها بدقة أكبر.

على اليسار : شبكة عصبية بايزية ذات طبقتين مخفيتين، تحول مدخلًا ثلاثي الأبعاد (أسفل) إلى مخرج ثنائي الأبعاد(y1،y2){\displaystyle (y_{1},y_{2})}(أعلى). يمين : دالة كثافة الاحتمال الناتجةص(y1،y2){\displaystyle p(y_{1},y_{2})}ناتج عن الأوزان العشوائية للشبكة. فيديو : مع ازدياد عرض الشبكة، يتبسط توزيع المخرجات، ويتقارب في النهاية إلى توزيع طبيعي متعدد المتغيرات في حالة العرض اللانهائي.

تُنظَّم العمليات الحسابية في الشبكات العصبية الاصطناعية عادةً في طبقات متسلسلة من الخلايا العصبية الاصطناعية . يُطلق على عدد الخلايا العصبية في الطبقة الواحدة اسم عرض الطبقة. عند دراسة سلسلة من الشبكات العصبية البايزية ذات طبقات متزايدة العرض (انظر الشكل)، فإنها تتقارب في التوزيع إلى نموذج NNGP. يُعدّ هذا الحدّ الكبير للعرض ذا أهمية عملية، إذ غالبًا ما تتحسّن الشبكات مع ازدياد عرض الطبقات. [ 12 ] [ 4 ] [ 13 ] وقد تُتيح هذه العملية طريقةً مغلقةً لتقييم الشبكات.

يظهر مصطلح NNGPs أيضًا في سياقات أخرى عديدة: فهو يصف توزيع التنبؤات التي تُجريها الشبكات العصبية الاصطناعية غير البايزية واسعة النطاق بعد التهيئة العشوائية لمعلماتها، ولكن قبل التدريب؛ ويظهر كمصطلح في معادلات التنبؤ باستخدام نواة المماس العصبي ؛ ويُستخدم في نشر المعلومات العميق لتحديد ما إذا كانت المعلمات الفائقة والبنى قابلة للتدريب. [ 14 ] ويرتبط بحدود العرض الكبيرة الأخرى للشبكات العصبية.

نِطَاق

تم التوصل إلى أول نتيجة للمراسلات في أطروحة الدكتوراه التي قدمها رادفورد إم. نيل عام 1995 ، [ 15 ] والتي أشرف عليها آنذاك جيفري هينتون في جامعة تورنتو . ويستشهد نيل بديفيد جيه سي ماكاي كمصدر إلهام، والذي عمل في مجال التعلم البايزي .

اليوم، تم إثبات هذه المطابقة لـ: الشبكات العصبية البايزية ذات الطبقة المخفية الواحدة؛ [ 15 ] والشبكات العميقة [ 2 ] [ 3 ] كاملة الاتصال ، حيث يُؤخذ عدد الوحدات في كل طبقة إلى ما لا نهاية؛ والشبكات العصبية الالتفافية ، حيث يُؤخذ عدد القنوات إلى ما لا نهاية؛ [ 4 ] [ 5 ] [ 6 ] وشبكات المحولات، حيث يُؤخذ عدد رؤوس الانتباه إلى ما لا نهاية؛ [ 16 ] والشبكات المتكررة ، حيث يُؤخذ عدد الوحدات إلى ما لا نهاية. [ 8 ] في الواقع، تنطبق هذه المطابقة بين الشبكات العصبية والبرمجة العامة على أي بنية تقريبًا: بشكل عام، إذا أمكن التعبير عن بنية ما فقط من خلال ضرب المصفوفات واللاخطية الإحداثية (أي، برنامج موتر )، فإنها تمتلك برنامجًا عامًا لا نهائي العرض. [ 8 ] وهذا يشمل على وجه الخصوص جميع الشبكات العصبية ذات التغذية الأمامية أو المتكررة المكونة من شبكة عصبية متعددة الطبقات ، وشبكات عصبية متكررة (مثل LSTMs و GRUs )، والالتفاف (nD أو الرسم البياني) ، والتجميع، والوصلة التخطي، والانتباه، وتطبيع الدفعات ، و/أو تطبيع الطبقات.

توضيح

عندما تكون المعلماتθ{\displaystyle \theta }يتم أخذ عينات من شبكة ذات عرض لانهائي بشكل متكرر من بياناتها السابقةص(θ){\displaystyle p(\theta )}، ويتم وصف التوزيع الناتج على مخرجات الشبكة بواسطة عملية غاوسية.

كل إعداد لمعلمات الشبكة العصبيةθ{\displaystyle \theta }يتوافق مع دالة محددة يتم حسابها بواسطة الشبكة العصبية. توزيع مسبقص(θ){\displaystyle p(\theta )}وبالتالي، فإنّ توزيع معلمات الشبكة العصبية يُقابل توزيعًا مسبقًا للدوال التي تحسبها الشبكة. ونظرًا لأنّ الشبكات العصبية تُصنع بعرض لانهائي، فإنّ هذا التوزيع للدوال يتقارب إلى عملية غاوسية في العديد من البنى.

إن الترميز المستخدم في هذا القسم هو نفسه الترميز المستخدم أدناه لاستخلاص العلاقة بين NNGPs والشبكات المتصلة بالكامل، ويمكن العثور على مزيد من التفاصيل هناك.

يوضح الشكل الموجود على اليمين المخرجات أحادية البعد.zل(⋅؛θ){\displaystyle z^{L}(\cdot ;\theta )} لشبكة عصبية لمدخلينx{\displaystyle x}وx*{\displaystyle x^{*}}في مواجهة بعضها البعض. تُظهر النقاط السوداء الدالة التي حسبتها الشبكة العصبية على هذه المدخلات لسحب عشوائي للمعاملات منص(θ){\displaystyle p(\theta )}الخطوط الحمراء هي خطوط تساوي الاحتمالية للتوزيع المشترك على مخرجات الشبكة.zل(x؛θ){\displaystyle z^{L}(x;\theta )}وzل(x*؛θ){\displaystyle z^{L}(x^{*};\theta )}ناتج عنص(θ){\displaystyle p(\theta )}هذا هو التوزيع في فضاء الدوال المقابل للتوزيعص(θ){\displaystyle p(\theta )}في فضاء المعلمات، وتمثل النقاط السوداء عينات من هذا التوزيع. بالنسبة للشبكات العصبية ذات العرض اللانهائي، وبما أن التوزيع على الدوال التي تحسبها الشبكة العصبية هو عملية غاوسية، فإن التوزيع المشترك على مخرجات الشبكة هو توزيع غاوسي متعدد المتغيرات لأي مجموعة محدودة من مدخلات الشبكة.

مناقشة

شبكة متصلة بالكامل ذات نطاق واسع للغاية

يتناول هذا القسم بالتفصيل العلاقة بين الشبكات العصبية ذات العرض اللانهائي وعمليات غاوس في حالة محددة، وهي بنية متصلة بالكامل. ويقدم ملخصًا لإثبات صحة هذه العلاقة، ويعرض الشكل الوظيفي المحدد لعملية غاوس للشبكات العصبية المتصلة بالكامل. ويتبع ملخص الإثبات نهج نوفاك وزملاؤه [ 4 ] .

مواصفات بنية الشبكة

تم اشتقاق NNGP وهو ما يعادل شبكة عصبية بايزية ذات بنية متصلة بالكامل.

لنفترض وجود شبكة عصبية اصطناعية متصلة بالكامل مع مدخلاتx{\displaystyle x}، حدودθ{\displaystyle \theta }تتكون من أوزاندبليول{\displaystyle W^{l}}والتحيزاتبل{\displaystyle b^{l}}لكل طبقةل{\displaystyle l}في الشبكة، التنشيطات المسبقة (اللاخطية المسبقة)zل{\displaystyle z^{l}}، التنشيطات (بعد اللاخطية)yل{\displaystyle y^{l}}، اللاخطية النقطيةϕ(⋅){\displaystyle \phi (\cdot )}وعرض الطبقاتنل{\displaystyle n^{l}}لتبسيط الأمر، العرضنل+1{\displaystyle n^{L+1}}متجه القراءةzل{\displaystyle z^{L}}تُعتبر قيمتها 1. تتمتع معلمات هذه الشبكة بتوزيع مسبق.ص(θ){\displaystyle p(\theta )}تتكون هذه الشبكة من توزيع غاوسي متساوي الخواص لكل وزن وانحياز، حيث يتناسب تباين الأوزان عكسيًا مع عرض الطبقة. يوضح الشكل على اليمين هذه الشبكة، ويتم وصفها بمجموعة المعادلات التالية:

x≡مدخلyل(x)={xل=0ϕ(zل-1(x))ل>0zأنال(x)=∑جدبليوأناجلyجل(x)+بأنالدبليوأناجل∼شمال(0،σw2نل)بأنال∼شمال(0،σب2)ϕ(⋅)≡اللاخطيةyل(x)،zل-1(x)∈Rنل×1نل+1=1θ={دبليو0،ب0،...،دبليول،بل}\begin{aligned}x&\equiv {\text{input}}\\y^{l}(x)&=\left\{{\begin{array}{lcl}x&&l=0\\\phi \left(z^{l-1}(x)\right)&&l>0\end{array}}\right.\\z_{i}^{l}(x)&=\sum _{j}W_{ij}^{l}y_{j}^{l}(x)+b_{i}^{l}\\W_{ij}^{l}&\sim {\mathcal {N}}\left(0,{\frac {\sigma _{w}^{2}}{n^{l}}}\right)\\b_{i}^{l}&\sim {\mathcal {N}}\left(0,\sigma _{b}^{2}\right)\\\phi (\cdot )&\equiv {\text{اللاخطية}}\\y^{l}(x),z^{l-1}(x)&\in \mathbb {R} ^{n^{l}\times 1}\\n^{L+1}&=1\\\theta &=\left\{W^{0},b^{0},\dots ,W^{L},b^{L}\right\}\end{aligned}}}

zل|yل{\displaystyle z^{l}|y^{l}}هي عملية غاوسية

نلاحظ أولاً أن التنشيطات المسبقةzل{\displaystyle z^{l}}يتم وصفها بواسطة عملية غاوسية مشروطة بالتنشيطات السابقة.yل{\displaystyle y^{l}}تبقى هذه النتيجة صحيحة حتى عند العرض المحدود. كل عملية تنشيط مسبقzأنال{\displaystyle z_{i}^{l}}هو مجموع مرجح لمتغيرات عشوائية غاوسية، تتوافق مع الأوزان.دبليوأناجل{\displaystyle W_{ij}^{l}}والتحيزاتبأنال{\displaystyle b_{i}^{l}}حيث تمثل معاملات كل متغير من تلك المتغيرات الغاوسية التنشيطات السابقة.yجل{\displaystyle y_{j}^{l}}لأنها عبارة عن مجموع مرجح لتوزيعات غاوسية ذات متوسط ​​صفري، فإنzأنال{\displaystyle z_{i}^{l}}هي نفسها توزيعات غاوسية ذات متوسط ​​صفري (مشروطة بالمعاملات)yجل{\displaystyle y_{j}^{l}}منذzل{\displaystyle z^{l}}تكون التوزيعات غاوسية مشتركة لأي مجموعة منyل{\displaystyle y^{l}}يتم وصفها بواسطة عملية غاوسية مشروطة بالتنشيطات السابقة.yل{\displaystyle y^{l}}يعتمد التباين المشترك أو النواة لهذه العملية الغاوسية على تباينات الوزن والانحياز.σw2{\displaystyle \sigma _{w}^{2}}وσب2{\displaystyle \sigma _{b}^{2}}بالإضافة إلى مصفوفة العزم الثانيكل{\displaystyle K^{l}}من عمليات التنشيط السابقةyل{\displaystyle y^{l}}،

zأنال|yل∼جيP(0،σw2كل+σب2)كل(x،x′)=1نل∑أناyأنال(x)yأنال(x′){\displaystyle {\begin{aligned}z_{i}^{l}\mid y^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right)\\K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}y_{i}^{l}(x)y_{i}^{l}(x')\end{aligned}}}

تأثير ميزان الوزنσw2{\displaystyle \sigma _{w}^{2}}يتمثل الهدف في إعادة قياس المساهمة في مصفوفة التغاير منكل{\displaystyle K^{l}}بينما يكون التحيز مشتركًا بين جميع المدخلات، وبالتاليσب2{\displaystyle \sigma _{b}^{2}}يجعلzأنال{\displaystyle z_{i}^{l}}بالنسبة لنقاط البيانات المختلفة، تصبح أكثر تشابهاً، مما يجعل مصفوفة التغاير أشبه بمصفوفة ثابتة.

zل|كل{\displaystyle z^{l}|K^{l}}هي عملية غاوسية

التفعيل المسبقzل{\displaystyle z^{l}}الاعتماد فقط علىyل{\displaystyle y^{l}}من خلال مصفوفة العزم الثانيكل{\displaystyle K^{l}}ولهذا السبب، يمكننا القول إنzل{\displaystyle z^{l}}هي عملية غاوسية مشروطة بـكل{\displaystyle K^{l}}بدلاً من أن يكون مشروطاً بـyل{\displaystyle y^{l}}،

zأنال|كل∼جيP(0،σw2كل+σب2).{\displaystyle {\begin{aligned}z_{i}^{l}\mid K^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right).\end{aligned}}}

عرض الطبقةنل→∞{\displaystyle n^{l}\rightarrow \infty }،كل|كل-1{\displaystyle K^{l}\mid K^{l-1}}يصبح حتمياً

كما تم تحديده سابقاً،كل{\displaystyle K^{l}}هي مصفوفة العزم الثاني لـyل{\displaystyle y^{l}}. منذyل{\displaystyle y^{l}}يمثل متجه التنشيط بعد تطبيق اللاخطيةϕ{\displaystyle \phi }، ويمكن استبداله بـϕ(zل-1){\displaystyle \phi \left(z^{l-1}\right)}مما ينتج عنه معادلة معدلة تعبر عنكل{\displaystyle K^{l}}لل>0{\displaystyle l>0}من ناحيةzل-1{\displaystyle z^{l-1}}،

كل(x،x′)=1نل∑أناϕ(zأنال-1(x))ϕ(zأنال-1(x′)).{\displaystyle {\begin{aligned}K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}\phi \left(z_{i}^{l-1}(x)\right)\phi \left(z_{i}^{l-1}(x')\right).\end{aligned}}}

لقد قررنا بالفعل أنzل-1|كل-1{\displaystyle z^{l-1}|K^{l-1}}هي عملية غاوسية. هذا يعني أن المجموع الذي يحددكل{\displaystyle K^{l}}هو متوسط ​​علىنل{\displaystyle n^{l}}عينات من عملية غاوسية وهي دالة لـكل-1{\displaystyle K^{l-1}}،

{zأنال-1(x)،zأنال-1(x′)}∼جيP(0،σw2كل-1+σب2).{\displaystyle {\begin{aligned}\left\{z_{i}^{l-1}(x),z_{i}^{l-1}(x')\right\}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l-1}+\sigma _{b}^{2}\right).\end{aligned}}}

عرض الطبقةنل{\displaystyle n^{l}}هذا المتوسط ​​يؤول إلى ما لا نهايةنل{\displaystyle n^{l}}يمكن استبدال العينات من العملية الغاوسية بتكامل على العملية الغاوسية:

ليمنل→∞كل(x،x′)=∫دzدz′ϕ(z)ϕ(z′)شمال([zz′]؛0،σw2[كل-1(x،x)كل-1(x،x′)كل-1(x′،x)كل-1(x′،x′)]+σب2){\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}(x,x')&=\int dz\,dz'\,\phi (z)\,\phi (z')\,{\mathcal {N}}\left(\left[{\begin{array}{c}z\\z'\end{array}}\right];0,\sigma _{w}^{2}\left[{\begin{array}{cc}K^{l-1}(x,x)&K^{l-1}(x,x')\\K^{l-1}(x',x)&K^{l-1}(x',x')\end{array}}\right]+\sigma _{b}^{2}\right)\end{aligned}}}

لذا، في حالة العرض اللانهائي، تكون مصفوفة العزم الثانيكل{\displaystyle K^{l}}لكل زوج من المدخلاتx{\displaystyle x}وx′{\displaystyle x'}يمكن التعبير عنها كتكامل على دالة غاوسية ثنائية الأبعاد، لحاصل ضربϕ(z){\displaystyle \phi (z)}وϕ(z′){\displaystyle \phi (z')}هناك عدد من الحالات التي تم فيها حل هذه المسألة تحليليًا، مثل عندماϕ(⋅){\displaystyle \phi (\cdot )}هي دالة ReLU ، [ 17 ] أو ELU، أو GELU، [ 18 ] أو دالة خطأ [ 1 ] غير خطية. حتى عندما يتعذر حلها تحليليًا، نظرًا لكونها تكاملًا ثنائي الأبعاد، يمكن حسابها عدديًا بكفاءة بشكل عام. [ 2 ] هذا التكامل حتمي، لذاكل|كل-1{\displaystyle K^{l}|K^{l-1}}هو حتمي.

للاختصار، نُعرّف دالةF{\displaystyle F}، وهو ما يتوافق مع حساب هذا التكامل ثنائي الأبعاد لجميع أزواج المدخلات، والذي يرسمكل-1{\displaystyle K^{l-1}}داخلكل{\displaystyle K^{l}}،

ليمنل→∞كل=F(كل-1).{\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}&=F\left(K^{l-1}\right).\end{aligned}}}

zل|x{\displaystyle z^{L}\mid x}هو برنامج NNGP

من خلال تطبيق الملاحظة بشكل متكرر أنكل|كل-1{\displaystyle K^{l}\mid K^{l-1}}حتمية مثلنل→∞{\displaystyle n^{l}\rightarrow \infty }،كل{\displaystyle K^{L}}يمكن كتابتها كدالة حتمية لـك0{\displaystyle K^{0}}،

ليممين(ن1،...،نل)→∞كل=F∘F⋯(ك0)=Fل(ك0)،{\displaystyle {\begin{aligned}\lim _{\min \left(n^{1},\dots ,n^{L}\right)\rightarrow \infty }K^{L}&=F\circ F\cdots \left(K^{0}\right)=F^{L}\left(K^{0}\right),\end{aligned}}}

أينFل{\displaystyle F^{L}}يشير إلى تطبيق الوظيفةF{\displaystyle F}بالتتابعل{\displaystyle L}مرات. من خلال دمج هذا التعبير مع الملاحظات الإضافية التي تفيد بأن مصفوفة العزم الثاني لطبقة الإدخالك0(x،x′)=1ن0∑أناxأناxأنا′{\displaystyle K^{0}(x,x')={\tfrac {1}{n^{0}}}\sum _{i}x_{i}x'_{i}}هي دالة حتمية للمدخلاتx{\displaystyle x}وذلكzل|كل{\displaystyle z^{L}|K^{L}}بما أن العملية غاوسية، فإن مخرجات الشبكة العصبية يمكن التعبير عنها كعملية غاوسية بدلالة مدخلاتها.

zأنال(x)∼جيP(0،σw2Fل(ك0)+σب2).{\displaystyle {\begin{aligned}z_{i}^{L}(x)&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}F^{L}\left(K^{0}\right)+\sigma _{b}^{2}\right).\end{aligned}}}

مكتبات البرامج

Neural Tangents هي مكتبة بايثون مجانية ومفتوحة المصدر تُستخدم لحساب واستنتاج NNGP ونواة المماس العصبي التي تتوافق مع مختلف بنى الشبكات العصبية الاصطناعية الشائعة. [ 19 ]

مراجع

  1. 1 2 ويليامز، كريستوفر كي (1997). "الحوسبة باستخدام الشبكات اللانهائية". أنظمة معالجة المعلومات العصبية .
  2. 1 2 3 لي، جاي هون؛ بحري، ياسمين؛ نوفاك، رومان؛ شونهولز، صموئيل س.؛ بينينجتون، جيفري؛ سول-ديكستين، ياشا (2017). "الشبكات العصبية العميقة كعمليات غاوسية". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1711.00165 . Bibcode : 2017arXiv171100165L .
  3. 1 2 جي. دي جي. ماثيوز، ألكسندر؛ رولاند، مارك؛ هرون، جيري؛ تيرنر، ريتشارد إي.؛ غراماني، زوبين (2017). "سلوك العملية الغاوسية في الشبكات العصبية العميقة واسعة النطاق". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1804.11271 . Bibcode : 2018arXiv180411271M .
  4. 1 2 3 4 نوفاك، رومان؛ شياو، ليتشاو؛ لي، جاي هون؛ بحري، ياسمين؛ يانغ، غريغ؛ أبو العافية، دان؛ بينينغتون، جيفري؛ سول-ديكستين، ياشا (2018). "الشبكات التلافيفية العميقة البايزية ذات القنوات المتعددة هي عمليات غاوسية". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1810.05148 . Bibcode : 2018arXiv181005148N .
  5. 1 2 غاريغا-ألونسو، أدريا؛ أيتشيسون، لورانس؛ راسموسن، كارل إدوارد (2018). "الشبكات العصبية التلافيفية العميقة كعمليات غاوسية سطحية". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1808.05587 . Bibcode : 2018arXiv180805587G .
  6. 1 2 بوروفيك، أناستاسيا (2018). "منظور العملية الغاوسية على الشبكات العصبية الالتفافية". arXiv : 1810.10798 [ stat.ML ].
  7. ^ تسوتشيدا ، راسل. بيرس، تيم؛ فان دير هايد، كريستوفر؛ روستا، فريد؛ غالاغر، ماركوس (2020). “تجنب النقاط الثابتة لـ Kernel: الحوسبة باستخدام شبكات ELU وGELU اللانهائية”. أرخايف : 2002.08517 [ cs.LG ].
  8. 1 2 3 يانغ، غريغ (2019). "برامج الموتر 1: الشبكات العصبية ذات التغذية الأمامية الواسعة أو المتكررة من أي بنية هي عمليات غاوسية" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . arXiv : 1910.12478 . Bibcode : 2019arXiv191012478Y .
  9. ↑ ماكاي، ديفيد جيه سي (1992). "إطار بايزي عملي لشبكات الانتشار العكسي" . الحوسبة العصبية . 4 (3): 448-472 . doi : 10.1162/neco.1992.4.3.448 . ISSN 0899-7667 . S2CID 16543854 .  
  10. ↑ نيل، رادفورد م. (2012). التعلم البايزي للشبكات العصبية . سبرينغر ساينس آند بيزنس ميديا.
  11. ↑ غو، تشوان؛ بليس، جيف؛ صن، يو؛ واينبرغر، كيليان كيو. (2017). "حول معايرة الشبكات العصبية الحديثة". وقائع المؤتمر الدولي الرابع والثلاثين للتعلم الآلي - المجلد 70. arXiv : 1706.04599 .
  12. ↑ نوفاك، رومان؛ بحري، ياسمين؛ أبو العافية، دانيال أ.؛ بينينجتون، جيفري؛ سول-ديكستين، ياشا (15 فبراير 2018). "الحساسية والتعميم في الشبكات العصبية: دراسة تجريبية" . المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1802.08760 . Bibcode : 2018arXiv180208760N .
  13. ↑ نيشابور، بهنام؛ لي، تشيوان؛ بهوجانابالي، سريناد؛ ليكان، يان؛ سريبرو، ناثان (2019). "نحو فهم دور الإفراط في المعلمات في تعميم الشبكات العصبية". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1805.12076 . Bibcode : 2018arXiv180512076N .
  14. ↑ شونهولز، صموئيل س.؛ جيلمر، جاستن؛ جانجولي، سوريا؛ سول-ديكستين، ياشا (2016). "انتشار المعلومات العميقة". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1611.01232 .
  15. 1 2 نيل، رادفورد م. (1996)، "التوزيعات الاحتمالية المسبقة للشبكات اللانهائية"، التعلم البايزي للشبكات العصبية ، سلسلة محاضرات في الإحصاء، المجلد 118، سبرينغر نيويورك، الصفحات 29-53 ، doi : 10.1007/978-1-4612-0745-0_2 ، ISBN   978-0-387-94724-2
  16. ↑ هرون، جيري؛ بحري ، ياسمين؛ سول-ديكستين، ياشا؛ نوفاك، رومان (18 يونيو 2020). "الانتباه اللانهائي: NNGP وNTK لشبكات الانتباه العميق". المؤتمر الدولي للتعلم الآلي . 2020. arXiv : 2006.10540 . Bibcode : 2020arXiv200610540H .
  17. ↑ تشو، يونغمين؛ سول، لورانس ك. (2009). "طرق النواة للتعلم العميق" . أنظمة معالجة المعلومات العصبية . 22 : 342-350 .
  18. ^ تسوتشيدا ، راسل. بيرس، تيم؛ فان دير هايد، كريستوفر؛ روستا، فريد؛ غالاغر، ماركوس (2020). “تجنب النقاط الثابتة لـ Kernel: الحوسبة باستخدام شبكات ELU وGELU اللانهائية”. أرخايف : 2002.08517 [ cs.LG ].
  19. ↑ نوفاك، رومان؛ شياو، ليتشاو؛ هرون، جيري؛ لي، جاي هون؛ أليمي، ألكسندر أ.؛ سول-ديكستين، ياشا؛ شونهولز، صموئيل س. (5 ديسمبر 2019)، "المماسات العصبية: شبكات عصبية لانهائية سريعة وسهلة في بايثون"، المؤتمر الدولي لتمثيلات التعلم (ICLR) ، المجلد 2020، arXiv : 1912.02803 ، Bibcode : 2019arXiv191202803N