تهيئة الوزن

📅 آخر تحديث: ٢٤ يوليو ٢٠٢٦
✍️ نُشر في: ٢٤ يوليو ٢٠٢٦
📷 يحتوي على 35 صور
الموسوعة الحرة

في مجال التعلم العميق ، تُعرف عملية تهيئة الأوزان أو تهيئة المعلمات بأنها الخطوة الأولى في إنشاء الشبكة العصبية . تحتوي الشبكة العصبية على معلمات قابلة للتدريب يتم تعديلها أثناء التدريب؛ وتُعد تهيئة الأوزان خطوة ما قبل التدريب التي يتم فيها تعيين قيم أولية لهذه المعلمات.

يؤثر اختيار طريقة تهيئة الأوزان على سرعة التقارب، وحجم التنشيط العصبي داخل الشبكة، وحجم إشارات التدرج أثناء الانتشار العكسي ، وجودة النموذج النهائي. وتُعدّ التهيئة الصحيحة ضرورية لتجنب مشاكل مثل تلاشي التدرجات وانفجارها، وتشبع دالة التنشيط .

تجدر الإشارة إلى أنه على الرغم من أن عنوان هذه المقالة هو "تهيئة الأوزان"، فإن كلاً من الأوزان والانحيازات تُستخدم في الشبكة العصبية كمعاملات قابلة للتدريب، لذا تشرح هذه المقالة كيفية تهيئة كليهما. وبالمثل، تُسمى المعاملات القابلة للتدريب في الشبكات العصبية الالتفافية (CNNs) بالنوى والانحيازات، وتشرح هذه المقالة هذه المعاملات أيضًا.

تهيئة الثوابت

نناقش الطرق الرئيسية للتهيئة في سياق الشبكة العصبية متعددة الطبقات (MLP). أما الاستراتيجيات المحددة لتهيئة بنى الشبكات الأخرى فسيتم تناولها في أقسام لاحقة.

بالنسبة للشبكة العصبية متعددة الطبقات، يوجد نوعان فقط من المعلمات القابلة للتدريب، وهما الأوزان والانحيازات. كل طبقةل{\displaystyle l}يحتوي على مصفوفة وزندبليو(ل)∈Rنل-1×نل{\displaystyle W^{(l)}\in \mathbb {R} ^{n_{l-1}\times n_{l}}}ومتجه انحيازب(ل)∈Rنل{\displaystyle b^{(l)}\in \mathbb {R} ^{n_{l}}}، أيننل{\displaystyle n_{l}}يمثل عدد الخلايا العصبية في تلك الطبقة. طريقة تهيئة الأوزان هي خوارزمية لضبط القيم الأولية لـدبليو(ل)،ب(ل){\displaystyle W^{(ل)},ب^{(ل)}}لكل طبقةل{\displaystyle l}.

أبسط شكل هو التهيئة الصفرية :دبليو(ل)=0،ب(ل)=0{\displaystyle W^{(l)}=0,b^{(l)}=0}عادة ما يتم استخدام التهيئة الصفرية لتهيئة الانحيازات، ولكن لا يتم استخدامها لتهيئة الأوزان، لأنها تؤدي إلى التناظر في الشبكة، مما يتسبب في تعلم جميع الخلايا العصبية لنفس الميزات.

في هذه الصفحة، نفترضب=0{\displaystyle b=0}ما لم يُذكر خلاف ذلك.

تستخدم الشبكات العصبية المتكررة عادةً دوال تنشيط ذات نطاق محدود، مثل دالة سيجمويد ودالة تانش، لأن التنشيط غير المحدود قد يتسبب في قيم متضخمة. اقترح (لي، جايتلي، هينتون، 2015) [ 1 ] تهيئة الأوزان في الأجزاء المتكررة من الشبكة لتكون متطابقة وذات انحياز صفري، على غرار فكرة الاتصالات المتبقية وشبكة الذاكرة طويلة المدى بدون بوابة نسيان.

في معظم الحالات، تُهيأ قيم الانحياز إلى الصفر، مع إمكانية استخدام قيم غير صفرية في بعض الحالات. على سبيل المثال، في الوحدات الضربية، كبوابة النسيان في شبكة LSTM ، يمكن تهيئة الانحياز إلى 1 لضمان مرور إشارة تدرج جيدة عبر البوابة. [ 2 ] بالنسبة للخلايا العصبية ذات دالة التنشيط ReLU ، يمكن تهيئة الانحياز إلى قيمة موجبة صغيرة مثل 0.1، بحيث يكون التدرج غير صفري على الأرجح عند التهيئة، مما يتجنب مشكلة ReLU المتلاشية. [ 3 ] : 305 [ 4 ]

التهيئة العشوائية

التهيئة العشوائية تعني أخذ عينات من الأوزان من توزيع طبيعي أو توزيع منتظم ، وعادة ما يكون ذلك بشكل مستقل .

تهيئة LeCun

تم تصميم تهيئة LeCun ، التي شاع استخدامها في (LeCun et al.، 1998)، [ 5 ] للحفاظ على تباين التنشيطات العصبية أثناء المرور الأمامي.

يقوم بأخذ عينة من كل مدخل فيدبليو(ل){\displaystyle W^{(l)}}بشكل مستقل عن توزيع بمتوسط ​​0 وتباين1/نل-1{\displaystyle 1/n_{l-1}}على سبيل المثال، إذا كان التوزيع توزيعًا منتظمًا مستمرًا ، فإن التوزيع يكونيو(±3/نل-1){\displaystyle {\mathcal {U}}(\pm {\sqrt {3/n_{l-1}}})}.

تهيئة غلوروت

تم اقتراح تهيئة غلوروت (أو تهيئة زافيير ) بواسطة زافيير غلوروت ويوشوا بنجيو . [ 6 ] وقد صُممت كحل وسط بين هدفين: الحفاظ على تباين التنشيط أثناء المرور الأمامي والحفاظ على تباين التدرج أثناء المرور العكسي.

لضمان التهيئة الموحدة، يتم أخذ عينة من كل إدخال فيدبليو(ل){\displaystyle W^{(l)}}بشكل مستقل ومتطابق منيو(±6/(نل+1+نل-1)){\displaystyle {\mathcal {U}}(\pm {\sqrt {6/(n_{l+1}+n_{l-1})}})}في هذا السياق،نل-1{\displaystyle n_{l-1}}ويُطلق عليه أيضاً اسم " الهجوم المروحي "، ونل+1{\displaystyle n_{l+1}}" التفرع ". عندما يكون التفرع الداخل والتفرع الخارج متساويين، فإن تهيئة Glorot تكون مماثلة لتهيئة LeCun.

التهيئة

نظرًا لأن تهيئة Glorot لا تُؤدي أداءً جيدًا مع دالة التنشيط ReLU، [ 7 ] فقد اقترح Kaiming He وآخرون [ 8 ] تهيئة He (أو تهيئة Kaiming ) للشبكات التي تستخدم دالة التنشيط ReLU . وتقوم هذه التهيئة بأخذ عينة من كل مدخل فيدبليو(ل){\displaystyle W^{(l)}}من شمال(0،2/نل-1){\displaystyle {\mathcal {N}}(0,2/n_{l-1})}.

التهيئة المتعامدة

اقترح ساكس وآخرون (2013) [ 9 ] التهيئة المتعامدة : وهي تهيئة مصفوفات الأوزان كمصفوفات شبه متعامدة عشوائية بشكل منتظم (وفقًا لمقياس هار ) ، مضروبة في عامل يعتمد على دالة التنشيط للطبقة. وقد صُممت هذه الطريقة بحيث إذا تم تهيئة شبكة خطية عميقة بهذه الطريقة، فإن وقت تدريبها حتى التقارب يكون مستقلاً عن العمق. [ 10 ]

يمكن أخذ عينات من مصفوفة شبه متعامدة عشوائية بشكل منتظم عن طريق التهيئةX{\displaystyle X}عن طريق أخذ عينات مستقلة ومتطابقة التوزيع من توزيع طبيعي معياري، ثم حساب(XX⊤)-1/2X{\displaystyle \left(XX^{\top }\right)^{-1/2}X}أو منقولها، اعتمادًا على ما إذاX{\displaystyle X}طويل أو عريض. [ 11 ]

بالنسبة لنوى الشبكات العصبية التلافيفية ذات العرض والارتفاع الفرديين، تتم عملية التهيئة المتعامدة على النحو التالي: تهيئة النقطة المركزية بمصفوفة شبه متعامدة، وملء باقي المدخلات بالأصفار. على سبيل المثال، نواةك{\displaystyle K}شكل3×3×ج×ج′{\displaystyle 3\times 3\times c\times c'}يتم تهيئتها عن طريق التعبئةك[2،2،:،:]{\displaystyle K[2,2,:,:]}مع عناصر مصفوفة شبه متعامدة عشوائية ذات شكلج×ج′{\displaystyle c\times c'}، وبقية المدخلات بصفر. (بالدوزي وآخرون، 2017) [ 12 ] استخدموها بخطوة 1 وحشو أصفار. يُطلق على هذا أحيانًا اسم تهيئة دلتا المتعامدة . [ 11 ] [ 13 ]

في سياق هذا النهج، تقترح عملية التهيئة الوحدوية تحديد معلمات مصفوفات الأوزان لتكون مصفوفات وحدوية ، بحيث تكون عند التهيئة مصفوفات وحدوية عشوائية (وتبقى كذلك طوال فترة التدريب). وقد وُجد أن هذا يُحسّن نمذجة التسلسلات الطويلة في شبكات الذاكرة طويلة المدى (LSTM). [ 14 ] [ 15 ]

تم تعميم التهيئة المتعامدة لتصبح تهيئة الطبقة المتسلسلة ذات التباين الموحد (LSUV) . وهي طريقة تهيئة تعتمد على البيانات، ويمكن استخدامها في الشبكات العصبية الالتفافية . تبدأ هذه الطريقة بتهيئة أوزان كل طبقة التفافية أو متصلة بالكامل باستخدام مصفوفات متعامدة. ثم، بالانتقال من الطبقة الأولى إلى الأخيرة، تُجري تمريرة أمامية على دفعة صغيرة عشوائية، وتقسم أوزان الطبقة على الانحراف المعياري لمخرجاتها، بحيث يكون تباين مخرجاتها مساويًا تقريبًا للواحد. [ 16 ] [ 17 ]

عملية الإصلاح الأولية

في عام ٢٠١٥، أتاح إدخال الوصلات المتبقية تدريب شبكات عصبية عميقة للغاية، تتجاوز بكثير عدد طبقاتها العشرين تقريبًا في أحدث التقنيات السابقة (مثل VGG-19 ). وقد أدت هذه الوصلات إلى ظهور مشكلات واستراتيجيات خاصة بها في تهيئة الأوزان. تُعرف هذه الأساليب أحيانًا باسم "الأساليب غير المعتمدة على التطبيع"، لأن استخدام الوصلات المتبقية يُمكن أن يُحسّن استقرار تدريب الشبكة العصبية العميقة لدرجة تجعل التطبيع غير ضروري.

تم تصميم تهيئة الإصلاح خصيصًا للشبكات ذات الاتصالات المتبقية وبدون تطبيع الدفعات، على النحو التالي: [ 18 ]

  1. قم بتهيئة طبقة التصنيف والطبقة الأخيرة من كل فرع متبقٍ إلى 0.
  2. قم بتهيئة كل طبقة ثانية باستخدام طريقة قياسية (مثل تهيئة He)، وقم بتغيير حجم طبقات الوزن داخل الفروع المتبقية فقط بواسطةل-12م-2{\displaystyle L^{-{\frac {1}{2m-2}}}}.
  3. أضف مضاعفًا قياسيًا (تم تهيئته عند 1) في كل فرع وانحيازًا قياسيًا (تم تهيئته عند 0) قبل كل طبقة التفاف، وخطية، وتنشيط عنصري.

وبالمثل، صُممت عملية تهيئة T-Fixup للمحولات بدون تطبيع الطبقات . [ 19 ] : 9

آحرون

بدلاً من تهيئة جميع الأوزان بقيم عشوائية من رتبةيا(1/ن){\displaystyle O(1/{\sqrt {n}})}، حيث قامت عملية التهيئة المتفرقة بتهيئة مجموعة فرعية صغيرة فقط من الأوزان بقيم عشوائية أكبر، بينما تم تهيئة الأوزان الأخرى بصفر، بحيث يظل التباين الكلي في حدوديا(1){\displaystyle O(1)}[ 20 ]​

تم تصميم تهيئة المشي العشوائي لشبكة MLP بحيث أثناء الانتشار العكسي، يقوم معيار L2 للتدرج في كل طبقة بمشي عشوائي غير متحيز أثناء الانتقال من الطبقة الأخيرة إلى الأولى. [ 21 ]

يبدو أن التهيئة الخطية قد صُممت للسماح للشبكة العصبية بالتصرف كشبكة خطية عميقة عند التهيئة، لأندبليوRهـليو(x)-دبليوRهـليو(-x)=دبليوx{\displaystyle W\;\mathrm {ReLU} (x)-W\;\mathrm {ReLU} (-x)=Wx}. يقوم بتهيئة مصفوفةدبليو{\displaystyle W}شكلRن2×م{\displaystyle \mathbb {R} ^{{\frac {n}{2}}\times m}}بأي طريقة، مثل التهيئة المتعامدة، ثم دعRن×م{\displaystyle \mathbb {R} ^{n\times m}}مصفوفة الأوزان لتكون عبارة عن سلسلة مندبليو،-دبليو{\displaystyle W,-W}[ 22 ]​

متنوع

بالنسبة لدالة التنشيط الظل الزائدي ، يتم استخدام مقياس معين في بعض الأحيان:1.7159tanh⁡(2x/3){\displaystyle 1.7159\tanh(2x/3)}كان يُطلق على هذا أحيانًا اسم " دالة الظل الزائدي لـ لوكون ". وقد صُممت بحيث تُمثل الفترة[-1،+1]{\displaystyle [-1,+1]}لذا، مما يضمن أن يكون الربح الإجمالي حوالي 1 في "ظروف التشغيل العادية"، وأن|و"(x)|{\displaystyle |f''(x)|}تكون في أقصى حد لها عندماx=-1،+1{\displaystyle x=-1,+1}مما يحسن التقارب في نهاية التدريب. [ 23 ] [ 5 ]

في الشبكات العصبية ذاتية التطبيع ، دالة التنشيط SELUSهـليو(x)=λ{xلو x>0αهـx-αلو x≤0{\displaystyle \mathrm {SELU} (x)=\lambda {\begin{cases}x&{\text{if }}x>0\\\alpha e^{x}-\alpha &{\text{if }}x\leq 0\end{cases}}}مع المعلماتλ≈1.0507،α≈1.6733{\displaystyle \lambda \approx 1.0507,\alpha \approx 1.6733}مما يجعل متوسط ​​وتباين مخرجات كل طبقة(0،1){\displaystyle (0,1)}باعتبارها نقطة ثابتة جاذبة. وهذا يجعل التهيئة أقل أهمية، على الرغم من أنهم يوصون بتهيئة الأوزان عشوائيًا بتباين1/نل-1{\displaystyle 1/n_{l-1}}[ 24 ]​

تاريخ

استُخدمت تهيئة الأوزان العشوائية منذ ظهور البيرسيبترونات لفرانك روزنبلات . ومن الأعمال المبكرة التي وصفت تهيئة الأوزان تحديدًا دراسة (ليكون وآخرون، 1998). [ 5 ]

قبل عصر التعلم العميق في العقد الثاني من الألفية الثانية، كان من الشائع تهيئة النماذج باستخدام "التدريب المسبق التوليدي" عبر خوارزمية تعلم غير مُشرف عليها، وليست خوارزمية الانتشار العكسي، لصعوبة تدريب الشبكات العصبية العميقة مباشرةً باستخدام الانتشار العكسي. [ 25 ] [ 26 ] على سبيل المثال، تم تدريب شبكة الاعتقاد العميق باستخدام تباعد التباين طبقةً تلو الأخرى، بدءًا من الطبقة السفلية. [ 27 ]

اقترح مارتنز (2010) [ 20 ] طريقة التحسين الخالية من مصفوفة هيسيان، وهي طريقة شبه نيوتنية لتدريب الشبكات العميقة مباشرةً. أثار هذا العمل حماسًا كبيرًا لإمكانية تهيئة الشبكات دون مرحلة تدريب مسبق. [ 28 ] مع ذلك، أظهرت ورقة بحثية نُشرت عام 2013 أنه مع اختيار معلمات فائقة مناسبة، يكفي استخدام خوارزمية التدرج الزخمي مع تهيئة الأوزان لتدريب الشبكات العصبية، دون الحاجة إلى طريقة شبه نيوتنية أو التدريب المسبق التوليدي، وهو مزيج لا يزال مستخدمًا حتى عام 2024. [ 29 ]

منذ ذلك الحين، أصبح تأثير التهيئة على ضبط التباين أقل أهمية، مع تطوير طرق لضبط التباين تلقائيًا، مثل تطبيع الدُفعات الذي يضبط تباين المرور الأمامي، [ 30 ] ومُحسِّنات الزخم التي تضبط تباين المرور العكسي. [ 31 ]

يوجد توتر بين استخدام تهيئة الأوزان بعناية لتقليل الحاجة إلى التطبيع، واستخدام التطبيع لتقليل الحاجة إلى تهيئة الأوزان بعناية، ولكل نهج مزاياه وعيوبه. على سبيل المثال، يؤدي تطبيع الدُفعات إلى اعتماد أمثلة التدريب في الدفعة المصغرة على بعضها البعض، وهي سمة غير مرغوب فيها، بينما تعتمد تهيئة الأوزان على بنية النظام. [ 32 ]

انظر أيضاً

مراجع

  1. ↑ لي، كوك ف.؛ جايتلي، نافديب؛ هينتون، جيفري إي. (2015). "طريقة بسيطة لتهيئة الشبكات المتكررة للوحدات الخطية المعدلة". arXiv : 1504.00941 [ cs.NE ].
  2. ↑ جوزيفوفيتش، رافال؛ زاريمبا، فويتش؛ سوتسكيفر، إيليا (2015-06-01). "استكشاف تجريبي لبنى الشبكات المتكررة" . وقائع المؤتمر الدولي الثاني والثلاثين للتعلم الآلي . PMLR: 2342–2350 .
  3. ↑ غودفيلو، إيان؛ بينجيو، يوشوا؛ كورفيل، آرون (2016). التعلم العميق . الحوسبة التكيفية والتعلم الآلي. كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-03561-3.
  4. ^ لو، لو؛ شين، يونجونج؛ سو، يانهوي؛ كارنياداكيس، جورج إم (2019). “Dying ReLU والتهيئة: النظرية والأمثلة العددية”. الاتصالات في الفيزياء الحاسوبية . 28 (5): 1671–1706 . أرخايف : 1903.06733 . دوى : 10.4208/cip.OA-2020-0165 .
  5. 1 2 3 لوكون، يان؛ بوتو، ليون؛ أور، جينيفيف ب.؛ مولر، كلاوس-روبرت (1998)، "الانتشار العكسي الفعال" ، في أور، جينيفيف ب.؛ مولر، كلاوس-روبرت (محرران)، الشبكات العصبية: حيل المهنة ، برلين، هايدلبرغ: سبرينغر، ص 9-50 ، doi : 10.1007/3-540-49430-8_2 ، ISBN  978-3-540-49430-0تم الاطلاع عليه بتاريخ 2024-10-05
  6. ↑ غلوروت، خافيير؛ بينجيو، يوشوا (31 مارس 2010). "فهم صعوبة تدريب الشبكات العصبية العميقة ذات التغذية الأمامية" . وقائع المؤتمر الدولي الثالث عشر حول الذكاء الاصطناعي والإحصاء . وقائع ورش عمل ومؤتمرات JMLR: 249-256 .
  7. ↑ كومار، سيدهارث كريشنا (2017). "حول تهيئة الأوزان في الشبكات العصبية العميقة". arXiv : 1704.08863 [ cs.LG ].
  8. ↑ هي، كايمينغ؛ تشانغ، شيانغيو؛ رين، شاوكينغ؛ صن، جيان (2015). "التعمق في المصححات: تجاوز الأداء البشري في تصنيف ImageNet". arXiv : 1502.01852 [ cs.CV ].
  9. ↑ ساكس، أندرو م.؛ ماكليلاند، جيمس ل.؛ جانجولي، سوريا (2013). "حلول دقيقة للديناميكيات غير الخطية للتعلم في الشبكات العصبية الخطية العميقة". arXiv : 1312.6120 [ cs.NE ].
  10. ↑ هو، وي؛ شياو، ليتشاو؛ بينينجتون، جيفري (2020). "الفائدة المؤكدة للتهيئة المتعامدة في تحسين الشبكات الخطية العميقة". arXiv : 2001.05992 [ cs.LG ].
  11. 1 2 مارتنز، جيمس؛ بالارد، آندي؛ ديجاردان، غيوم؛ سويرشتش، غريغورز؛ داليبارد، فالنتين؛ سول-ديكستين، ياشا؛ شونهولز، صموئيل س. (2021). "التدريب السريع للشبكات العصبية العميقة بدون وصلات تخطي أو طبقات تطبيع باستخدام تشكيل النواة العميقة". arXiv : 2110.01765 [ cs.LG ].
  12. ↑ بالدوزي، ديفيد؛ فريان، ماركوس؛ ليري، لينوكس؛ لويس، جيه بي؛ ما، كورت وان-دو؛ ماكويليامز، برايان (17 يوليو 2017). "مشكلة التدرجات المتناثرة: إذا كانت شبكات ResNet هي الحل، فما هو السؤال؟" . وقائع المؤتمر الدولي الرابع والثلاثين للتعلم الآلي . PMLR: 342-350 .
  13. ↑ شياو، ليتشاو؛ بحري، ياسمين؛ سول-ديكستين، ياشا؛ شونهولز، صموئيل؛ بينينجتون، جيفري (2018-07-03). "التماثل الديناميكي ونظرية المجال المتوسط ​​للشبكات العصبية الالتفافية: كيفية تدريب شبكات عصبية التفافية تقليدية مكونة من 10000 طبقة" . وقائع المؤتمر الدولي الخامس والثلاثين للتعلم الآلي . PMLR: 5393–5402 . arXiv : 1806.05393 .
  14. ↑ أرجووفسكي، مارتن؛ شاه، عمار؛ بنجيو، يوشوا (11 يونيو 2016). "الشبكات العصبية المتكررة ذات التطور الوحدوي" . وقائع المؤتمر الدولي الثالث والثلاثين للتعلم الآلي . PMLR: 1120-1128 . arXiv : 1511.06464 .
  15. ↑ هيناف، ميكائيل؛ شلام، آرثر؛ ليكان، يان (2017-03-15). "الشبكات المتعامدة المتكررة ومهام الذاكرة الطويلة". arXiv : 1602.06662 [ cs.NE ].
  16. ^ ميشكين، دميترو؛ ماتاس، جيري (19/02/2016)، كل ما تحتاجه هو init جيد ، أرخايف : 1511.06422
  17. ↑ شي، دي؛ شيونغ، جيانغ؛ بو، شيليانغ (2017). كل ما تحتاجه يتجاوز التهيئة الجيدة: استكشاف حل أفضل لتدريب الشبكات العصبية الالتفافية العميقة للغاية باستخدام التعامد والتعديل . مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط (CVPR). الصفحات 6176-6185 . 
  18. ↑ تشانغ، هونغي؛ دوفين، يان ن.؛ ما، تينغيو (2019). "تهيئة الإصلاح: التعلم المتبقي بدون تطبيع". arXiv : 1901.09321 [ cs.LG ].
  19. ↑ هوانغ، شياو شي؛ بيريز، فيليبي؛ با، جيمي؛ فولكوفس، ماكسيمز (21 نوفمبر 2020). "تحسين خوارزمية المحولات من خلال تهيئة أفضل" . وقائع المؤتمر الدولي السابع والثلاثين للتعلم الآلي . PMLR: 4475–4483 .
  20. 1 2 مارتنز، جيمس (21-06-2010). "التعلم العميق عبر التحسين الخالي من مصفوفة هيسيان" . وقائع المؤتمر الدولي السابع والعشرين للتعلم الآلي . ICML'10. ماديسون، ويسكونسن، الولايات المتحدة الأمريكية: أومنيبريس: 735-742 . ISBN 978-1-60558-907-7.
  21. ↑ سوسيلو، ديفيد؛ أبوت، إل إف (2014). "تهيئة المشي العشوائي لتدريب الشبكات الأمامية العميقة جدًا". arXiv : 1412.6558 [ cs.NE ].
  22. ↑ بالدوزي، ديفيد؛ فريان، ماركوس؛ ليري، لينوكس؛ لويس، جيه بي؛ كورت وان-دو ما؛ ماكويليامز، برايان (2017). "مشكلة التدرجات المتناثرة: إذا كانت الشبكات الشبكية هي الحل، فما هو السؤال؟". arXiv : 1702.08591 [ cs.NE ].
  23. ↑ لوكون، ي. (1989). "التعميم واستراتيجيات تصميم الشبكات" (ملف PDF) . في: فايفر، ر.؛ شريتر، ز.؛ فوغلمان، ف.؛ ستيلز، ل. (محررون). الاتصالية من منظورها: وقائع المؤتمر الدولي للاتصالية من منظورها، جامعة زيورخ، 10-13 أكتوبر 1988. أمستردام: إلسيفير.
  24. ^ كلامباور، غونتر. أونترثينر، توماس؛ ماير، أندرياس. هوخريتر، سيب (2017). “الشبكات العصبية ذاتية التطبيع” . التقدم في أنظمة معالجة المعلومات العصبية . 30 . شركة كوران أسوشيتس
  25. ↑ بينجيو، ي. (2009). "تعلم البنى العميقة للذكاء الاصطناعي" (ملف PDF) . أسس واتجاهات في تعلم الآلة . 2 : 1-127 . CiteSeerX 10.1.1.701.9550 . doi : 10.1561/2200000006 . 
  26. ↑ إرهان، دوميترو؛ كورفيل، آرون؛ بينجيو، يوشوا؛ فنسنت، باسكال (31 مارس 2010). "لماذا يُفيد التدريب المسبق غير الخاضع للإشراف في التعلم العميق؟" . وقائع المؤتمر الدولي الثالث عشر حول الذكاء الاصطناعي والإحصاء . وقائع ورش عمل ومؤتمرات JMLR: 201-208 .
  27. ↑ بينجيو، يوشوا؛ لامبلين، باسكال؛ بوبوفيتشي، دان؛ لاروشيل، هوغو (2006). "التدريب الجشع للطبقات في الشبكات العميقة" . التطورات في أنظمة معالجة المعلومات العصبية . 19. مطبعة معهد ماساتشوستس للتكنولوجيا.
  28. ↑ غلوروت، كزافييه؛ بوردس، أنطوان؛ بينجيو، يوشوا (14-06-2011). "شبكات عصبية عميقة ذات مقومات متفرقة" . وقائع المؤتمر الدولي الرابع عشر حول الذكاء الاصطناعي والإحصاء . وقائع ورش عمل ومؤتمرات JMLR: 315-323 .
  29. ↑ سوتسكيفر، إيليا؛ مارتنز، جيمس؛ دال، جورج؛ هينتون، جيفري (26-05-2013). "حول أهمية التهيئة والزخم في التعلم العميق" (ملف PDF) . وقائع المؤتمر الدولي الثلاثين للتعلم الآلي . PMLR: 1139-1147 .
  30. ↑ بيورك، نيلز؛ غوميز، كارلا ب؛ سيلمان، بارت؛ واينبرغر، كيليان كيو (2018). "فهم التطبيع الدفعي" . التطورات في أنظمة معالجة المعلومات العصبية . 31. كوران أسوشيتس، إنك. arXiv : 1806.02375 .
  31. ↑ باليس، لوكاس؛ هينيغ، فيليب (2018-07-03). "تشريح آدم: إشارة وحجم وتباين التدرجات العشوائية" . وقائع المؤتمر الدولي الخامس والثلاثين للتعلم الآلي . PMLR: 404–413 . arXiv : 1705.07774 .
  32. ↑ بروك، أندرو؛ دي، سوهام؛ سميث، صموئيل ل.؛ سيمونيان، كارين (2021). "التعرف على الصور واسعة النطاق عالية الأداء بدون تطبيع". arXiv : 2102.06171 [ cs.CV ].

للمزيد من القراءة

  • جودفيلو، إيان؛ بينجيو، يوشوا؛ كورفيل، آرون (2016). "8.4 استراتيجيات تهيئة المعلمات" . التعلم العميق . الحوسبة التكيفية والتعلم الآلي. كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-03561-3.
  • نارخيدي، مينال ف.؛ بارتاكي، براشانت ب.؛ سوتاون، موكول س. (28 يونيو 2021). "مراجعة لاستراتيجيات تهيئة الأوزان للشبكات العصبية". مجلة مراجعة الذكاء الاصطناعي . 55 (1). سبرينغر ساينس آند بيزنس ميديا ​​ذ.م.م.: 291-322 . doi : 10.1007/s10462-021-10033-z . ISSN 0269-2821 .