التعلم العميق

📅 آخر تحديث: ٣١ يوليو ٢٠٢٦
✍️ نُشر في: ٣١ يوليو ٢٠٢٦
📷 يحتوي على 8 صور
الموسوعة الحرة
تمثيل الصور على طبقات متعددة من التجريد في التعلم العميق
تمثيل الصور على طبقات متعددة من التجريد في التعلم العميق [ 1 ]

في مجال تعلم الآلة ، يركز التعلم العميق على استخدام الشبكات العصبية متعددة الطبقات لأداء مهام مثل التصنيف والانحدار وتعلم التمثيل . يستلهم هذا المجال من علم الأعصاب البيولوجي ، ويتمحور حول تكديس الخلايا العصبية الاصطناعية في طبقات و"تدريبها" على معالجة البيانات. تشير صفة "العميق" إلى استخدام طبقات متعددة (تتراوح من ثلاث إلى عدة مئات أو آلاف) في الشبكة. يمكن أن تكون الطرق المستخدمة خاضعة للإشراف ، أو شبه خاضعة للإشراف، أو غير خاضعة للإشراف . [ 2 ]

تتضمن بعض بنى شبكات التعلم العميق الشائعة الشبكات المتصلة بالكامل ، وشبكات الاعتقاد العميق ، والشبكات العصبية المتكررة ، والشبكات العصبية الالتفافية ، والشبكات التوليدية التنافسية ، والمحولات ، وحقول الإشعاع العصبي . وقد طُبقت هذه البنى في مجالاتٍ عديدة، منها رؤية الحاسوب ، والتعرف على الكلام ، ومعالجة اللغة الطبيعية ، والترجمة الآلية ، والمعلوماتية الحيوية ، وتصميم الأدوية ، وتحليل الصور الطبية ، وعلوم المناخ ، وفحص المواد، وبرامج ألعاب الطاولة ، حيث حققت نتائج تُضاهي، بل وتتفوق في بعض الحالات، على أداء الخبراء البشريين. [ 3 ] [ 4 ] [ 5 ]

استُلهمت الأشكال المبكرة للشبكات العصبية من معالجة المعلومات وعُقد الاتصال الموزعة في الأنظمة البيولوجية ، ولا سيما الدماغ البشري . ومع ذلك، لا تهدف الشبكات العصبية الحالية إلى محاكاة وظائف الدماغ لدى الكائنات الحية، وتُعتبر عمومًا نماذج منخفضة الجودة لهذا الغرض. [ 6 ]

ملخص

تعتمد معظم نماذج التعلم العميق الحديثة على الشبكات العصبية متعددة الطبقات مثل الشبكات العصبية الالتفافية والمحولات ، على الرغم من أنها يمكن أن تتضمن أيضًا صيغًا افتراضية أو متغيرات كامنة منظمة على مستوى الطبقات في نماذج توليدية عميقة مثل العقد في شبكات الاعتقاد العميقة وآلات بولتزمان العميقة . [ 7 ]

يشير التعلم العميق أساسًا إلى فئة من خوارزميات التعلم الآلي التي تستخدم تسلسلًا هرميًا من الطبقات لتحويل بيانات الإدخال إلى تمثيل أكثر تجريدًا وتركيبًا تدريجيًا. على سبيل المثال، في نموذج التعرف على الصور ، قد يكون الإدخال الأولي صورة (ممثلة كموتر من البكسلات ). قد تحاول الطبقة التمثيلية الأولى تحديد الأشكال الأساسية مثل الخطوط والدوائر، وقد تقوم الطبقة الثانية بتكوين وتشفير ترتيبات الحواف، وقد تقوم الطبقة الثالثة بتشفير الأنف والعينين، وقد تتعرف الطبقة الرابعة على أن الصورة تحتوي على وجه.

الأهم من ذلك، أن عملية التعلم العميق قادرة على تحديد الميزات الأمثل لكل مستوى تلقائيًا . قبل ظهور التعلم العميق، كانت تقنيات التعلم الآلي تعتمد غالبًا على هندسة الميزات يدويًا لتحويل البيانات إلى تمثيل أكثر ملاءمة لخوارزمية التصنيف. أما في نهج التعلم العميق، فلا تُصمم الميزات يدويًا، بل يكتشف النموذج تمثيلات الميزات المفيدة من البيانات تلقائيًا. هذا لا يُلغي الحاجة إلى الضبط اليدوي؛ فعلى سبيل المثال، يمكن أن يوفر اختلاف عدد الطبقات وأحجامها درجات متفاوتة من التجريد. [ 8 ] [ 2 ]

يشير مصطلح "عميق" في "التعلم العميق" إلى عدد الطبقات التي تُحوَّل البيانات من خلالها. وبشكل أدق، تتميز أنظمة التعلم العميق بعمق كبير في مسار تخصيص الفضل (CAP). يُمثل مسار تخصيص الفضل سلسلة التحويلات من المدخلات إلى المخرجات، ويصف الروابط السببية المحتملة بين المدخلات والمخرجات. بالنسبة للشبكة العصبية ذات التغذية الأمامية ، يكون عمق مسارات تخصيص الفضل مساويًا لعمق الشبكة نفسها، وهو عدد الطبقات المخفية مضافًا إليه واحد (لأن طبقة المخرجات مُعَلمة أيضًا). أما بالنسبة للشبكات العصبية المتكررة ، حيث قد تنتشر الإشارة عبر طبقة ما أكثر من مرة، فإن عمق مسار تخصيص الفضل غير محدود. [ 9 ] لا يوجد حد أدنى متفق عليه عالميًا للعمق يفصل بين التعلم السطحي والتعلم العميق، لكن يتفق معظم الباحثين على أن التعلم العميق يتضمن عمقًا لمسار تخصيص الفضل أكبر من اثنين. وقد ثبت أن مسار تخصيص الفضل بعمق اثنين يُعد مُقَرِّبًا عالميًا بمعنى أنه يستطيع محاكاة أي دالة. [ 10 ] بعد ذلك، لا تُضيف الطبقات الإضافية أي قيمة لقدرة الشبكة على تقريب الدوال. تستطيع النماذج العميقة (CAP > اثنين) استخراج ميزات أفضل من النماذج الضحلة، وبالتالي، تساعد الطبقات الإضافية في تعلم الميزات بشكل فعال.

يمكن بناء بنى التعلم العميق باستخدام طريقة جشعة طبقة تلو الأخرى. [ 11 ] يساعد التعلم العميق على فك تشابك هذه المفاهيم المجردة واختيار الميزات التي تُحسّن الأداء. [ 8 ]

يمكن تطبيق خوارزميات التعلم العميق على مهام التعلم غير الخاضع للإشراف. وهذه ميزة مهمة لأن البيانات غير المصنفة أكثر وفرة من البيانات المصنفة. ومن أمثلة البنى العميقة التي يمكن تدريبها بطريقة غير خاضعة للإشراف شبكات الاعتقاد العميق . [ 8 ] [ 12 ]

قدّمت رينا ديختر مصطلح "التعلم العميق" إلى مجتمع التعلم الآلي عام 1986، [ 13 ] ثمّ قدّمه إيغور آيزنبرغ وزملاؤه إلى الشبكات العصبية الاصطناعية عام 2000، في سياق الخلايا العصبية ذات العتبة المنطقية . [ 14 ] [ 15 ] أما أصل المصطلح فهو أكثر تعقيدًا. [ 16 ]

التفسيرات

تُفسَّر الشبكات العصبية العميقة عمومًا من حيث نظرية التقريب الشامل [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ] أو الاستدلال الاحتمالي [ 22 ] [ 23 ] [ 8 ] [ 9 ] [ 24 ] .

تتعلق نظرية التقريب الشامل الكلاسيكية بقدرة الشبكات العصبية ذات التغذية الأمامية ، والتي تحتوي على طبقة مخفية واحدة ذات حجم محدود، على تقريب الدوال المتصلة . [ 17 ] [ 18 ] [ 19 ] [ 20 ] في عام 1989، نشر جورج سيبينكو أول برهان لهذه النظرية لدوال التنشيط السينية [ 17 ] ، ثم عُممت لتشمل بنى التغذية الأمامية متعددة الطبقات في عام 1991 على يد كورت هورنيك. [ 18 ] كما أظهرت دراسات حديثة أن التقريب الشامل ينطبق أيضًا على دوال التنشيط غير المحدودة، مثل وحدة كونيهيكو فوكوشيما الخطية المُعدلة . [ 25 ] [ 26 ]

تتعلق نظرية التقريب الشامل للشبكات العصبية العميقة بسعة الشبكات ذات العرض المحدود مع السماح لعمقها بالنمو. وقد أثبت لو وآخرون [ 21 ] أنه إذا كان عرض الشبكة العصبية العميقة المزودة بدالة تنشيط ReLU أكبر من بُعد الإدخال، فإن الشبكة قادرة على تقريب أي دالة قابلة للتكامل وفقًا لمعيار ليبيغ ؛ أما إذا كان العرض أصغر من أو يساوي بُعد الإدخال، فإن الشبكة العصبية العميقة لا تُعدّ مُقَرِّبًا شاملًا.

يستمد التفسير الاحتمالي [ 24 ] من مجال تعلم الآلة . وهو يتضمن الاستدلال [ 23 ] [ 7 ] [ 8 ] [ 9 ] [ 12 ] [ 24 ] ، بالإضافة إلى مفاهيم التحسين الخاصة بالتدريب والاختبار ، والمتعلقة بالملاءمة والتعميم على التوالي . وبشكل أكثر تحديدًا، يعتبر التفسير الاحتمالي اللاخطية في التنشيط دالة توزيع تراكمية [ 24 ] . وقد أدى هذا التفسير إلى إدخال تقنية التسرب (Dropout) كمنظم في الشبكات العصبية. وقد طُرح التفسير الاحتمالي من قبل باحثين من بينهم هوبفيلد ، ويدرو، وناريندرا ، وانتشر على نطاق واسع في دراسات استقصائية مثل دراسة بيشوب [ 27 ] .

تاريخ

قبل عام 1980

يوجد نوعان من الشبكات العصبية الاصطناعية: الشبكة العصبية التغذية الأمامية (FNN) أو الشبكة العصبية متعددة الطبقات (MLP)، والشبكات العصبية المتكررة (RNN). تتميز الشبكات العصبية المتكررة بوجود حلقات في بنية اتصالها، بينما تفتقر الشبكات العصبية التغذية الأمامية إلى هذه الحلقات. في عشرينيات القرن الماضي، ابتكر ويلهلم لينز وإرنست إيزينغ نموذج إيزينغ [ 28 ] [ 29 ] ، وهو في جوهره بنية شبكة عصبية متكررة غير قابلة للتعلم، تتكون من عناصر عتبة شبيهة بالخلايا العصبية. وفي عام 1972، جعل شونيتشي أماري هذه البنية قابلة للتكيف. [ 30 ] [ 31 ] أعاد جون هوبفيلد نشر شبكته العصبية المتكررة للتعلم عام 1982. [ 32 ] ونُشرت شبكات عصبية متكررة مبكرة أخرى بواسطة كاورو ناكانو عام 1971. [ 33 ] [ 34 ] وفي عام 1948، أنتج آلان تورينج عملاً بعنوان "الآلات الذكية" لم يُنشر في حياته، [ 35 ] يتضمن "أفكارًا متعلقة بالتطور الاصطناعي وشبكات التعلم العصبية المتكررة". [ 31 ]

اقترح فرانك روزنبلات (1958) [ 36 ] مفهوم البيرسيبترون، وهو شبكة عصبية متعددة الطبقات (MLP) بثلاث طبقات: طبقة إدخال، وطبقة مخفية بأوزان عشوائية لا تتعلم، وطبقة إخراج. ونشر لاحقًا كتابًا عام 1962 قدّم فيه أيضًا متغيرات وتجارب حاسوبية، بما في ذلك نسخة ببيرسيبترونات رباعية الطبقات "مع شبكات طرفية تكيفية" حيث تعلمت الطبقتان الأخيرتان أوزانًا (وينسب الفضل في ذلك إلى إتش دي بلوك وبي دبليو نايت). [ 37 ] : القسم 16. يستشهد الكتاب بشبكة سابقة لآر دي جوزيف (1960) [ 38 ] "مكافئة وظيفيًا لنسخة معدلة" من هذا النظام رباعي الطبقات (يذكر الكتاب جوزيف أكثر من 30 مرة). فهل يُعتبر جوزيف إذًا مبتكر البيرسيبترونات متعددة الطبقات التكيفية ذات الوحدات المخفية القابلة للتعلم؟ لسوء الحظ، لم تكن خوارزمية التعلم فعالة، وانتهى بها المطاف طي النسيان.

كانت أول خوارزمية فعّالة للتعلم العميق هي طريقة المجموعة لمعالجة البيانات ، وهي طريقة لتدريب الشبكات العصبية العميقة بشكل تعسفي، نشرها أليكسي إيفاخنينكو ولابا عام 1965. اعتبراها شكلاً من أشكال الانحدار متعدد الحدود، [ 39 ] أو تعميمًا لبيرسيبترون روزنبلات للتعامل مع علاقات أكثر تعقيدًا وغير خطية وهرمية. [ 40 ] وصفت ورقة بحثية نُشرت عام 1971 شبكة عميقة ذات ثماني طبقات تم تدريبها بهذه الطريقة، [ 41 ] والتي تعتمد على التدريب طبقة تلو الأخرى من خلال تحليل الانحدار. يتم تقليم الوحدات المخفية الزائدة باستخدام مجموعة تحقق منفصلة. نظرًا لأن دوال التنشيط للعقد هي متعددات حدود كولموغوروف-غابور، فقد كانت هذه أيضًا أولى الشبكات العميقة ذات الوحدات الضربية أو "البوابات". [ 31 ]

نُشر أول نموذج لشبكة عصبية متعددة الطبقات للتعلم العميق ، تم تدريبه باستخدام خوارزمية التدرج العشوائي ، عام 1967 على يد شونيتشي أماري . [ 42 ] وفي تجارب حاسوبية أجراها سايتو، أحد طلاب أماري، تعلمت شبكة عصبية متعددة الطبقات بخمس طبقات، اثنتان منها قابلتان للتعديل ، تمثيلات داخلية لتصنيف فئات الأنماط غير القابلة للفصل خطيًا. [ 31 ] وقد جعلت التطورات اللاحقة في الأجهزة وضبط المعلمات الفائقة من خوارزمية التدرج العشوائي الشاملة أسلوب التدريب السائد حاليًا.

في عام 1969، قدم كونيهيكو فوكوشيما دالة التنشيط ReLU (وحدة الخط المستقيم المعدلة) . [ 25 ] [ 31 ] وقد أصبحت هذه الدالة الأكثر شيوعًا في مجال التعلم العميق. [ 44 ]

بدأت بنى التعلم العميق للشبكات العصبية الالتفافية (CNNs) ذات الطبقات الالتفافية وطبقات تقليل حجم العينة مع نموذج Neocognitron الذي قدمه كونيهيكو فوكوشيما في عام 1979، على الرغم من أنه لم يتم تدريبه باستخدام خوارزمية الانتشار العكسي. [ 45 ] [ 46 ]

يُعدّ الانتشار العكسي تطبيقًا فعالًا لقاعدة السلسلة التي اشتقها غوتفريد فيلهلم لايبنتز عام 1673 [ 47 ] على شبكات العقد القابلة للتفاضل. وقد صاغ روزنبلات مصطلح "أخطاء الانتشار العكسي" عام 1962 [ 37 ]، لكنه لم يكن على دراية بكيفية تطبيقه، على الرغم من أن هنري ج. كيلي قدّم نموذجًا أوليًا مستمرًا للانتشار العكسي عام 1960 في سياق نظرية التحكم [ 48 ] . نُشر الشكل الحديث للانتشار العكسي لأول مرة في رسالة الماجستير لسيبو لينينما (1970) [ 49 ] [ 50 ] [ 31 ] . أُعيد نشره عام 1971. [ 51 ] [ 52 ] طبّق بول ويربوس خوارزمية الانتشار العكسي على الشبكات العصبية عام 1982 [ 53 ] ( لم تتضمن أطروحته للدكتوراه عام 1974، والتي أُعيد نشرها في كتاب عام 1994، [ 54 ] وصفًا للخوارزمية [ 52 ] ). في عام 1986، روّج ديفيد إي . روميلهارت وآخرون لخوارزمية الانتشار العكسي، لكنهم لم يستشهدوا بالعمل الأصلي. [ 55 ] [ 56 ]

1980-2000

طُرحت الشبكة العصبية ذات التأخير الزمني ( TDNN) عام 1987 على يد أليكس ويبيل لتطبيق الشبكات العصبية الالتفافية (CNN) في التعرف على الصوتيات. استخدمت هذه الشبكة الالتفافات، ومشاركة الأوزان، والانتشار العكسي. [ 57 ] [ 58 ] في عام 1988، طبّق وي تشانغ شبكة عصبية التفافية مُدرّبة بالانتشار العكسي للتعرف على الحروف الأبجدية. [ 59 ] في عام 1989، ابتكر يان ليكان وآخرون شبكة عصبية التفافية تُسمى LeNet للتعرف على الرموز البريدية المكتوبة بخط اليد على البريد. استغرق تدريبها 3 أيام. [ 60 ] في عام 1990، نفّذ وي تشانغ شبكة عصبية التفافية على أجهزة الحوسبة الضوئية . [ 61 ] في عام 1991، طُبّقت شبكة عصبية التفافية على تجزئة الأجسام في الصور الطبية [ 62 ] والكشف عن سرطان الثدي في صور الماموجرام. [ 63 ] تم تطبيق شبكة LeNet-5 (1998)، وهي شبكة عصبية تلافيفية من 7 مستويات من تطوير يان ليكان وآخرون، والتي تصنف الأرقام، من قبل العديد من البنوك للتعرف على الأرقام المكتوبة بخط اليد على الشيكات التي تم رقمنتها في صور بحجم 32 × 32 بكسل. [ 64 ]

شهدت الشبكات العصبية المتكررة (RNN) [ 28 ] [ 30 ] تطورًا ملحوظًا في ثمانينيات القرن الماضي. يُستخدم التكرار في معالجة التسلسلات، وعند فرد الشبكة المتكررة، فإنها تُشابه رياضيًا طبقة التغذية الأمامية العميقة. ونتيجةً لذلك، تتشابه خصائصها وقضاياها، وقد أثر تطورها المتبادل. في مجال الشبكات العصبية المتكررة، كان من أوائل الأعمال المؤثرة شبكة جوردان (1986) [ 65 ] وشبكة إلمان (1990) [ 66 ] ، اللتان طبقتا الشبكات العصبية المتكررة لدراسة مشكلات في علم النفس المعرفي .

في ثمانينيات القرن الماضي، لم تكن خوارزمية الانتشار العكسي فعّالة في التعلم العميق مع مسارات تخصيص الاعتمادات الطويلة. وللتغلب على هذه المشكلة، اقترح يورغن شميدهوبر في عام 1991 تسلسلًا هرميًا من الشبكات العصبية المتكررة (RNNs) المدربة مسبقًا مستوىً تلو الآخر من خلال التعلم الذاتي، حيث تحاول كل شبكة RNN التنبؤ بمدخلها التالي، وهو المدخل غير المتوقع التالي للشبكة RNN التي تليها. [ 67 ] [ 68 ] يستخدم هذا "الضاغط التاريخي العصبي" الترميز التنبؤي لتعلم التمثيلات الداخلية على نطاقات زمنية متعددة ذاتية التنظيم. وهذا من شأنه أن يُسهّل بشكل كبير عملية التعلم العميق اللاحقة. ويمكن دمج التسلسل الهرمي للشبكات RNN في شبكة RNN واحدة، عن طريق تحويل شبكة تجزئة ذات مستوى أعلى إلى شبكة أتمتة ذات مستوى أدنى . [ 67 ] [ 68 ] [ 31 ] في عام 1993، حلّ ضاغط تاريخ عصبي مهمة "التعلم العميق جدًا" التي تطلبت أكثر من 1000 طبقة متتالية في شبكة RNN موزعة زمنيًا. [ 69 ] يشير الحرف "P" في ChatGPT إلى هذا التدريب المسبق.

نفّذ سيب هوكريتر في أطروحته للدبلوم (1991) [ 70 ] ضاغط التاريخ العصبي، [ 67 ] وحدّد وحلّ مشكلة تلاشي التدرج . [ 70 ] [ 71 ] اقترح هوكريتر وصلات متبقية متكررة لحلّ مشكلة تلاشي التدرج. أدّى ذلك إلى ظهور الذاكرة طويلة المدى (LSTM)، التي نُشرت عام 1995. [ 72 ] تستطيع LSTM تعلّم مهام "التعلم العميق جدًا" [ 9 ] ذات مسارات تخصيص رصيد طويلة تتطلّب ذكريات أحداث وقعت قبل آلاف الخطوات الزمنية المنفصلة. لم تكن LSTM آنذاك البنية الحديثة التي تطلّبت "بوابة النسيان"، التي طُرحت عام 1999، [ 73 ] والتي أصبحت فيما بعد البنية القياسية للشبكات العصبية المتكررة (RNN).

في عام 1991، نشر يورغن شميدهوبر أيضًا شبكات عصبية تنافسية تتنافس فيما بينها على شكل لعبة محصلتها صفر ، حيث يكون ربح إحدى الشبكات خسارة للأخرى. [ 74 ] [ 75 ] الشبكة الأولى هي نموذج توليدي يُحاكي توزيعًا احتماليًا لأنماط المخرجات. أما الشبكة الثانية فتتعلم عن طريق خوارزمية التدرج الهبوطي للتنبؤ بردود فعل البيئة تجاه هذه الأنماط. وقد أُطلق على هذا اسم "الفضول الاصطناعي". في عام 2014، استُخدم هذا المبدأ في الشبكات التوليدية التنافسية (GANs). [ 76 ]

خلال الفترة من 1985 إلى 1995، واستلهامًا من الميكانيكا الإحصائية، طُوِّرت العديد من البنى والأساليب على يد تيري سيجنوفسكي ، وبيتر دايان ، وجيفري هينتون ، وغيرهم، بما في ذلك آلة بولتزمان [ 77 ] ، وآلة بولتزمان المقيدة [ 78 ] ، وآلة هيلمهولتز [ 79 ] ، وخوارزمية اليقظة والنوم [ 80 ] . صُمِّمت هذه الأساليب للتعلم غير الخاضع للإشراف للنماذج التوليدية العميقة. مع ذلك، كانت هذه الأساليب أكثر تكلفة حسابية مقارنةً بخوارزمية الانتشار العكسي. حظيت خوارزمية تعلم آلة بولتزمان، التي نُشرت عام 1985، بشعبية وجيزة قبل أن تتفوق عليها خوارزمية الانتشار العكسي عام 1986 (ص  112 [ 81 ] ). أصبحت شبكة عام 1988 أحدث ما توصل إليه العلم في مجال التنبؤ ببنية البروتين ، وهو تطبيق مبكر للتعلم العميق في المعلوماتية الحيوية [ 82 ] .

تم استكشاف كل من التعلم السطحي والعميق (مثل الشبكات المتكررة) للشبكات العصبية الاصطناعية في مجال التعرف على الكلام لسنوات عديدة. [ 83 ] [ 84 ] [ 85 ] لم تتفوق هذه الأساليب قط على تقنية نموذج خليط غاوسي غير منتظم داخلي الصنع / نموذج ماركوف المخفي (GMM-HMM) القائمة على نماذج توليدية للكلام مدربة بشكل تمييزي. [ 86 ] تم تحليل الصعوبات الرئيسية، بما في ذلك تناقص التدرج [ 70 ] وضعف بنية الارتباط الزمني في النماذج التنبؤية العصبية. [ 87 ] [ 88 ] ومن الصعوبات الإضافية نقص بيانات التدريب ومحدودية القدرة الحاسوبية.

اتجه معظم الباحثين في مجال التعرف على الكلام بعيدًا عن الشبكات العصبية نحو النمذجة التوليدية. وكان معهد SRI الدولي استثناءً في أواخر التسعينيات. بتمويل من وكالة الأمن القومي الأمريكية ووكالة مشاريع البحوث الدفاعية المتقدمة (DARPA) ، أجرى المعهد أبحاثًا في مجال التعرف على الكلام والمتحدث . وقد حقق فريق التعرف على المتحدث، بقيادة لاري هيك، نجاحًا ملحوظًا باستخدام الشبكات العصبية العميقة في معالجة الكلام في معيار NIST للتعرف على المتحدث لعام 1998. [ 89 ] [ 90 ] وتم تطبيق هذه التقنية في برنامج Nuance Verifier، مما يمثل أول تطبيق صناعي رئيسي للتعلم العميق. [ 91 ]

تم استكشاف مبدأ إعطاء الأولوية للخصائص الخام على حساب التحسين اليدوي بنجاح لأول مرة في بنية المشفر التلقائي العميق على خصائص الطيف الترددي الخام أو خصائص بنك المرشحات الخطية في أواخر التسعينيات، [ 90 ] مما أظهر تفوقه على خصائص ميل-سيبسترال التي تحتوي على مراحل تحويل ثابتة من الطيف الترددي. وقد حققت الخصائص الخام للكلام، أي الموجات الصوتية ، نتائج ممتازة على نطاق أوسع لاحقًا. [ 92 ]

العقد الأول من القرن الحادي والعشرين

دخلت الشبكات العصبية في فترة ركود، وأصبحت النماذج الأبسط التي تستخدم ميزات مصممة خصيصًا للمهمة مثل مرشحات غابور وآلات المتجهات الداعمة (SVMs) هي الخيارات المفضلة في التسعينيات والألفية الجديدة، وذلك بسبب التكلفة الحسابية للشبكات العصبية الاصطناعية وعدم فهم كيفية قيام الدماغ بتوصيل شبكاته البيولوجية.

في عام 2003، أصبحت شبكة الذاكرة طويلة المدى (LSTM) منافسةً لأنظمة التعرف على الكلام التقليدية في بعض المهام. [ 93 ] وفي عام 2006، قام كلٌ من أليكس غريفز وسانتياغو فرنانديز وفاوستينو غوميز وشميدهوبر بدمجها مع التصنيف الزمني الترابطي (CTC) [ 94 ] في مجموعات من شبكات LSTM. [ 95 ] وفي عام 2009، أصبحت أول شبكة عصبية متكررة (RNN) تفوز بمسابقة التعرف على الأنماط ، وذلك في مجال التعرف على الكتابة اليدوية المتصلة . [ 96 ] [ 9 ]

في عام 2006، طُوِّرت شبكات الاعتقاد العميق للنمذجة التوليدية في منشورات لجيف هينتون ، ورسلان سالاخوتدينوف ، وأوسينديرو، وتيه [ 97 ] [ 98 ] . تُدرَّب هذه الشبكات بتدريب آلة بولتزمان مقيدة، ثم تجميدها وتدريب أخرى فوقها، وهكذا، ثم تُضبط بدقة باستخدام الانتشار العكسي الخاضع للإشراف. [ 97 ] وقد استطاعت هذه الشبكات نمذجة التوزيعات الاحتمالية عالية الأبعاد، مثل توزيع صور MNIST ، إلا أن التقارب كان بطيئًا. [ 97 ] [ 99 ] [ 100 ]

بدأ تأثير التعلم العميق في الصناعة في أوائل العقد الأول من القرن الحادي والعشرين، عندما كانت الشبكات العصبية التلافيفية تعالج ما يقدر بنحو 10% إلى 20% من جميع الشيكات المكتوبة في الولايات المتحدة، وفقًا ليان ليكان. [ 101 ] بدأت التطبيقات الصناعية للتعلم العميق في مجال التعرف على الكلام على نطاق واسع حوالي عام 2010.

عُقدت ورشة عمل NIPS لعام 2009 حول التعلم العميق للتعرف على الكلام انطلاقًا من محدودية نماذج توليد الكلام العميقة، وإمكانية أن تصبح الشبكات العصبية العميقة عمليةً في ظل توفر أجهزة أكثر كفاءة ومجموعات بيانات ضخمة. كان يُعتقد أن التدريب المسبق للشبكات العصبية العميقة باستخدام نماذج توليدية لشبكات الاعتقاد العميق (DBN) من شأنه التغلب على الصعوبات الرئيسية للشبكات العصبية. مع ذلك، تبيّن أن استبدال التدريب المسبق بكميات كبيرة من بيانات التدريب لعملية الانتشار العكسي المباشر عند استخدام الشبكات العصبية العميقة ذات طبقات الإخراج الكبيرة والمعتمدة على السياق، أدى إلى انخفاض معدلات الخطأ بشكل كبير مقارنةً بأحدث نماذج خليط غاوسي (GMM) ونموذج ماركوف المخفي (HMM) في ذلك الوقت، وكذلك مقارنةً بالأنظمة الأكثر تطورًا القائمة على النماذج التوليدية. [ 102 ] تميزت طبيعة أخطاء التعرف الناتجة عن نوعي الأنظمة باختلافها الواضح، [ 103 ] مما وفر رؤى تقنية حول كيفية دمج التعلم العميق في نظام فك تشفير الكلام عالي الكفاءة المستخدم حاليًا في جميع أنظمة التعرف على الكلام الرئيسية. [ 23 ] [ 104 ] [ 105 ] حفزت التحليلات التي أجريت في الفترة ما بين 2009 و2010، والتي قارنت بين نموذج خليط غاوسي (ونماذج الكلام التوليدية الأخرى) ونماذج الشبكات العصبية العميقة، استثمارات صناعية مبكرة في التعلم العميق للتعرف على الكلام. [ 103 ] وقد أظهر هذا التحليل أداءً متقاربًا (أقل من 1.5% في معدل الخطأ) بين الشبكات العصبية العميقة التمييزية والنماذج التوليدية. [ 102 ] [ 103 ] [ 106 ] في عام 2010، وسّع الباحثون نطاق التعلم العميق من TIMIT ليشمل التعرف على الكلام ذي المفردات الكبيرة، وذلك من خلال اعتماد طبقات إخراج كبيرة للشبكة العصبية العميقة بناءً على حالات نموذج ماركوف المخفي المعتمدة على السياق والمُنشأة بواسطة أشجار القرار . [ 107 ] [ 108 ] [ 109 ] [ 104 ]

ثورة التعلم العميق

كيف يُعدّ التعلّم العميق فرعاً من فروع التعلّم الآلي، وكيف يُعدّ التعلّم الآلي فرعاً من فروع الذكاء الاصطناعي.

بدأت ثورة التعلم العميق حول رؤية الكمبيوتر القائمة على الشبكات العصبية التلافيفية ووحدات معالجة الرسومات.

على الرغم من أن الشبكات العصبية التلافيفية المدربة باستخدام خوارزمية الانتشار العكسي كانت موجودة منذ عقود، وكذلك تطبيقات الشبكات العصبية على وحدات معالجة الرسومات لسنوات، [ 110 ] بما في ذلك الشبكات العصبية التلافيفية، [ 111 ] إلا أن الحاجة إلى تطبيقات أسرع للشبكات العصبية التلافيفية على وحدات معالجة الرسومات كانت ضرورية للتقدم في مجال رؤية الحاسوب. لاحقًا، ومع انتشار التعلم العميق، تم تطوير أجهزة متخصصة وتحسينات خوارزمية خصيصًا للتعلم العميق. [ 112 ]

كان للتطورات في مجال الأجهزة، وخاصة وحدات معالجة الرسومات (GPU)، دورٌ محوري في ثورة التعلم العميق. تعود بعض الأعمال المبكرة في هذا المجال إلى عام 2004. [ 110 ] [ 111 ] في عام 2009، نشر راينا ومادهافان وأندرو نج تقريرًا عن شبكة اعتقاد عميق تضم 100 مليون عنصر، تم تدريبها على 30 وحدة معالجة رسومات من نوع Nvidia GeForce GTX 280 ، وهو عرض مبكر للتعلم العميق القائم على وحدات معالجة الرسومات. وقد أفادوا بتحقيق سرعة تدريب تصل إلى 70 ضعفًا. [ 113 ]

في عام 2011، حققت شبكة عصبية تلافيفية تُدعى DanNet [ 114 ] [ 115 ] ، من تطوير دان سيريسان، وأولي ماير، وجوناثان ماسكي، ولوكا ماريا غامبارديلا ، ويورغن شميدهوبر، أداءً خارقًا لأول مرة في مسابقة للتعرف على الأنماط البصرية، متفوقةً على الطرق التقليدية بثلاثة أضعاف. [ 9 ] ثم فازت بمزيد من المسابقات. [ 116 ] [ 117 ] كما أظهروا كيف حسّن استخدام تجميع الشبكات العصبية التلافيفية القصوى على وحدة معالجة الرسومات الأداء بشكل ملحوظ. [ 3 ]

في عام 2012، ابتكر أندرو نج وجيف دين شبكة عصبية أمامية تعلمت التعرف على مفاهيم عالية المستوى، مثل القطط، فقط من خلال مشاهدة صور غير مصنفة مأخوذة من مقاطع فيديو على يوتيوب . [ 118 ]

في أكتوبر 2012، فاز نموذج AlexNet، الذي طوره أليكس كريزيفسكي وإيليا سوتسكيفر وجيفري هينتون [ 4 ]، بمسابقة ImageNet واسعة النطاق بفارق كبير عن أساليب التعلم الآلي السطحية. وشملت التحسينات التدريجية اللاحقة شبكة VGG-16 التي طورتها كارين سيمونيان وأندرو زيسرمان [ 119 ] ونموذج Inceptionv3 من جوجل [ 120 ] .

ثم امتد النجاح في تصنيف الصور ليشمل المهمة الأكثر تحديًا المتمثلة في توليد أوصاف (تعليقات توضيحية) للصور، وغالبًا ما يتم ذلك باستخدام مزيج من الشبكات العصبية التلافيفية (CNNs) وشبكات الذاكرة طويلة المدى (LSTMs). [ 121 ] [ 122 ] [ 123 ]

في عام 2014، كان أحدث ما توصلت إليه التكنولوجيا هو تدريب "الشبكات العصبية العميقة جدًا" التي تتكون من 20 إلى 30 طبقة. [ 124 ] أدى تكديس عدد كبير جدًا من الطبقات إلى انخفاض حاد في دقة التدريب ، [ 125 ] وهو ما يُعرف بمشكلة "التدهور". [ 126 ] في عام 2015، طُوّرت تقنيتان لتدريب الشبكات العميقة جدًا: نُشرت شبكة الطرق السريعة في مايو 2015، وشبكة العصبونات المتبقية (ResNet) [ 126 ] في ديسمبر 2015. تعمل ResNet كشبكة طرق سريعة مفتوحة البوابة.

في نفس الوقت تقريبًا، بدأ التعلم العميق يؤثر على مجال الفن. ومن الأمثلة المبكرة على ذلك Google DeepDream (2015)، ونقل الأنماط العصبية (2015)، [ 127 ] وكلاهما كان يعتمد على الشبكات العصبية المدربة مسبقًا لتصنيف الصور، مثل VGG-19 .

أصبحت الشبكة التوليدية التنافسية (GAN) التي طورها إيان غودفيلو وآخرون (2014) [ 128 ] (استنادًا إلى مبدأ الفضول الاصطناعي ليورغن شميدهوبر [ 74 ] [ 76 ] ) أحدث التقنيات في مجال النمذجة التوليدية خلال الفترة 2014-2018. وقد حققت تقنية StyleGAN من إنفيديا (2018) [ 129 ]، والمبنية على Progressive GAN التي طورها تيرو كاراس وآخرون [ 130 ] ، جودة صور ممتازة . في هذه التقنية، يتم تطوير مولد GAN من نطاق صغير إلى نطاق كبير بشكل هرمي. وقد لاقى توليد الصور باستخدام GAN رواجًا واسعًا، وأثار نقاشات حول تقنية التزييف العميق (Deepfakes ). [ 131 ] نماذج الانتشار (2015) [ 132 ] تفوقت على GANs في النمذجة التوليدية منذ ذلك الحين، مع أنظمة مثل DALL·E 2 (2022) و Stable Diffusion (2022).

في عام 2015، تحسنت تقنية التعرف على الكلام من جوجل بنسبة 49% بفضل نموذج قائم على LSTM، والذي أتاحته جوجل من خلال خدمة البحث الصوتي على الهواتف الذكية . [ 133 ] [ 134 ]

يُعدّ التعلّم العميق جزءًا من أحدث الأنظمة في مختلف التخصصات، ولا سيما رؤية الحاسوب والتعرّف التلقائي على الكلام . وقد شهدت النتائج على مجموعات التقييم الشائعة الاستخدام، مثل TIMIT (للتعرّف التلقائي على الكلام) و MNIST ( لتصنيف الصور )، فضلًا عن مجموعة من مهام التعرّف على الكلام ذات المفردات الكبيرة، تحسّنًا مطردًا. [ 102 ] [ 135 ] وقد حلّت شبكات LSTM محلّ الشبكات العصبية الالتفافية في التعرّف التلقائي على الكلام . [ 134 ] [ 136 ] [ 137 ] [ 138 ] إلا أنها أكثر نجاحًا في مجال رؤية الحاسوب.

حصل كل من يوشوا بنجيو وجيفري هينتون ويان ليكان على جائزة تورينج لعام 2018 لـ "الاكتشافات المفاهيمية والهندسية التي جعلت الشبكات العصبية العميقة عنصرًا أساسيًا في الحوسبة". [ 139 ]

الشبكات العصبية

مثال مبسط لتدريب شبكة عصبية في مجال اكتشاف الأجسام: يتم تدريب الشبكة باستخدام صور متعددة معروفة بتصويرها لنجم البحر وقنافذ البحر ، والتي ترتبط بـ"عُقد" تمثل السمات المرئية . يتطابق نجم البحر مع نسيج حلقي وشكل نجمي، بينما تتطابق معظم قنافذ البحر مع نسيج مخطط وشكل بيضاوي. ومع ذلك، فإن وجود قنفذ بحر ذي نسيج حلقي يُنشئ ارتباطًا ضعيفًا بينهما.
تشغيل الشبكة لاحقًا على صورة مُدخلة (يسار): [ 140 ] تكتشف الشبكة نجم البحر بشكل صحيح. مع ذلك، فإن الارتباط الضعيف بين النسيج الحلقي وقنفذ البحر يُعطي إشارة ضعيفة للأخير من إحدى العقدتين الوسيطتين. إضافةً إلى ذلك، تُعطي صدفة لم تُدرج في التدريب إشارة ضعيفة للشكل البيضاوي، مما ينتج عنه أيضًا إشارة ضعيفة لقنفذ البحر. قد تُؤدي هذه الإشارات الضعيفة إلى نتيجة إيجابية خاطئة لقنفذ البحر. في الواقع، لا تُمثل الأنسجة والخطوط الخارجية بعقدة واحدة، بل بأنماط أوزان مُرتبطة من عدة عقد.

الشبكات العصبية الاصطناعية ، أو الأنظمة الترابطية، هي أنظمة حاسوبية مستوحاة من الشبكات العصبية البيولوجية التي تُكوّن أدمغة الحيوانات. تتعلم هذه الأنظمة (وتُحسّن قدرتها تدريجيًا) أداء المهام من خلال دراسة الأمثلة، عادةً دون الحاجة إلى برمجة خاصة بكل مهمة. على سبيل المثال، في مجال التعرّف على الصور، قد تتعلم هذه الأنظمة تحديد الصور التي تحتوي على قطط من خلال تحليل صور نموذجية تم تصنيفها يدويًا على أنها "قطة" أو "لا قطة"، واستخدام نتائج التحليل لتحديد القطط في صور أخرى. وقد وجدت هذه الأنظمة استخدامًا واسعًا في التطبيقات التي يصعب التعبير عنها باستخدام خوارزميات الحاسوب التقليدية القائمة على البرمجة القائمة على القواعد .

تعتمد الشبكة العصبية الاصطناعية على مجموعة من الوحدات المتصلة تُسمى الخلايا العصبية الاصطناعية (على غرار الخلايا العصبية البيولوجية في الدماغ ). يمكن لكل وصلة ( مشبك عصبي ) بين الخلايا العصبية نقل إشارة إلى خلية عصبية أخرى. تعالج الخلية العصبية المستقبلة (بعد المشبكية) الإشارة (الإشارات) ثم تُرسل إشارة إلى الخلايا العصبية المتصلة بها. قد تمتلك الخلايا العصبية حالة، تُمثل عادةً بأعداد حقيقية ، تتراوح عادةً بين 0 و1. كما قد تمتلك الخلايا العصبية والمشابك العصبية وزنًا يتغير مع تقدم عملية التعلم، مما قد يزيد أو يُقلل من قوة الإشارة التي تُرسلها إلى الخلايا العصبية المتصلة بها.

عادةً ما تُنظَّم الخلايا العصبية في طبقات. وقد تُجري الطبقات المختلفة أنواعًا مختلفة من التحويلات على مدخلاتها. تنتقل الإشارات من الطبقة الأولى (المدخلات) إلى الطبقة الأخيرة (المخرجات)، وربما بعد اجتياز الطبقات عدة مرات.

كان الهدف الأصلي لنهج الشبكات العصبية هو حل المشكلات بنفس الطريقة التي يحل بها الدماغ البشري المشكلات. ومع مرور الوقت، انصب التركيز على مطابقة قدرات عقلية محددة، مما أدى إلى انحرافات عن العمليات البيولوجية مثل الانتشار العكسي ، أو تمرير المعلومات في الاتجاه المعاكس وتعديل الشبكة لتعكس تلك المعلومات.

تم استخدام الشبكات العصبية في مجموعة متنوعة من المهام، بما في ذلك رؤية الكمبيوتر، والتعرف على الكلام ، والترجمة الآلية ، وتصفية الشبكات الاجتماعية ، ولعب ألعاب الطاولة والفيديو ، والتشخيص الطبي.

اعتبارًا من عام 2017، تتكون الشبكات العصبية عادةً من بضعة آلاف إلى بضعة ملايين من الوحدات وملايين الوصلات. وعلى الرغم من أن هذا العدد أقل بكثير من عدد الخلايا العصبية في دماغ الإنسان، إلا أن هذه الشبكات قادرة على أداء العديد من المهام بمستوى يتجاوز مستوى البشر (مثل التعرف على الوجوه، أو لعب لعبة "جو" [ 141 ] ).

الشبكات العصبية العميقة

الشبكة العصبية العميقة ( DNN ) هي شبكة عصبية اصطناعية ذات طبقات متعددة بين طبقتي الإدخال والإخراج. [ 7 ] [ 9 ] توجد أنواع مختلفة من الشبكات العصبية، لكنها تتكون دائمًا من نفس المكونات: الخلايا العصبية، والتشابكات العصبية، والأوزان، والانحيازات، والوظائف. [ 142 ] تعمل هذه المكونات مجتمعةً بطريقة تحاكي وظائف الدماغ البشري، ويمكن تدريبها كأي خوارزمية تعلم آلي أخرى.

على سبيل المثال، تقوم شبكة عصبية عميقة مُدرَّبة على تمييز سلالات الكلاب بتحليل الصورة المُعطاة وحساب احتمالية أن يكون الكلب الظاهر فيها من سلالة مُعينة. يُمكن للمستخدم مُراجعة النتائج واختيار الاحتمالات التي يجب أن تُعرضها الشبكة (فوق عتبة مُعينة، إلخ) وإرجاع التصنيف المُقترح. تُعتبر كل عملية حسابية من هذا القبيل طبقةً، [ 143 ] وتتكون الشبكات العصبية العميقة المُعقدة من طبقات عديدة، ومن هنا جاء اسم "الشبكات العميقة".

تستطيع الشبكات العصبية العميقة نمذجة العلاقات غير الخطية المعقدة. تُولّد بنى هذه الشبكات نماذج تركيبية حيث يُعبّر عن الكائن كتركيب طبقي من العناصر الأولية . [ 144 ] تُمكّن الطبقات الإضافية من تركيب الميزات من الطبقات الأدنى، مما يُتيح نمذجة البيانات المعقدة بوحدات أقل من شبكة سطحية ذات أداء مماثل. [ 7 ] على سبيل المثال، ثبت أن تقريب كثيرات الحدود متعددة المتغيرات المتفرقة أسهل بشكل أُسّي باستخدام الشبكات العصبية العميقة مقارنةً بالشبكات السطحية. [ 145 ]

تتضمن البنى العميقة العديد من المتغيرات لعدد قليل من المناهج الأساسية. وقد حققت كل بنية نجاحًا في مجالات محددة. ليس من الممكن دائمًا مقارنة أداء البنى المتعددة، إلا إذا تم تقييمها على نفس مجموعات البيانات. [ 143 ]

تُعدّ الشبكات العصبية العميقة (DNNs) عادةً شبكات تغذية أمامية، حيث تتدفق البيانات من طبقة الإدخال إلى طبقة الإخراج دون عودة. في البداية، تُنشئ الشبكة العصبية العميقة خريطةً للخلايا العصبية الافتراضية وتُعيّن قيمًا عددية عشوائية، أو "أوزانًا"، للوصلات بينها. تُضرب الأوزان بالمدخلات، وتُنتج مخرجًا يتراوح بين 0 و1. إذا لم تتعرف الشبكة بدقة على نمط معين، يقوم خوارزمية بتعديل الأوزان. [ 146 ] بهذه الطريقة، يُمكن للخوارزمية زيادة تأثير بعض المعلمات، إلى أن تُحدد المعالجة الرياضية الصحيحة لمعالجة البيانات بشكل كامل.

تُستخدم الشبكات العصبية المتكررة ، التي تسمح بتدفق البيانات في أي اتجاه، في تطبيقات مثل نمذجة اللغة . [ 147 ] [ 148 ] [ 149 ] [ 150 ] [ 151 ] وتُعدّ الذاكرة طويلة المدى فعّالة بشكل خاص لهذا الاستخدام. [ 152 ] [ 153 ]

تُستخدم الشبكات العصبية الالتفافية (CNNs) في مجال رؤية الحاسوب. [ 154 ] كما طُبقت هذه الشبكات في النمذجة الصوتية للتعرف التلقائي على الكلام (ASR). [ 155 ]

التحديات

كما هو الحال مع الشبكات العصبية الاصطناعية، قد تنشأ العديد من المشكلات مع الشبكات العصبية العميقة المدربة بطريقة ساذجة. ومن بين المشكلات الشائعة مشكلة التجاوز في التدريب ووقت الحساب.

تُعدّ الشبكات العصبية العميقة عرضةً للتجاوز بسبب طبقات التجريد الإضافية، التي تسمح لها بنمذجة التبعيات النادرة في بيانات التدريب. وتُستخدم أساليب التنظيم مثل تقليم الوحدات لإيفاخنينكو [ 41 ] أو اضمحلال الوزن (ℓ2{\displaystyle \ell _{2}}-التنظيم) أو التباعد (ℓ1{\displaystyle \ell _{1}}يمكن تطبيق التنظيم (التنظيم الجزئي) أثناء التدريب لمكافحة فرط التخصيص. [ 156 ] بدلاً من ذلك، يقوم تنظيم التسرب بحذف وحدات عشوائيًا من الطبقات المخفية أثناء التدريب، مما يساعد على استبعاد التبعيات النادرة. [ 157 ] ومن التطورات الحديثة الأخرى المثيرة للاهتمام البحث في نماذج ذات تعقيد كافٍ من خلال تقدير التعقيد الجوهري للمهمة التي يتم نمذجتها. وقد طُبّق هذا النهج بنجاح على مهام التنبؤ بالسلاسل الزمنية متعددة المتغيرات، مثل التنبؤ بحركة المرور. [ 158 ] وأخيرًا، يمكن زيادة حجم البيانات عبر طرق مثل الاقتصاص والتدوير، بحيث يمكن زيادة حجم مجموعات التدريب الأصغر حجمًا لتقليل احتمالات فرط التخصيص. [ 159 ]

يجب أن تأخذ الشبكات العصبية العميقة في الاعتبار العديد من معايير التدريب، مثل الحجم (عدد الطبقات وعدد الوحدات في كل طبقة)، ومعدل التعلم ، والأوزان الأولية. قد لا يكون البحث الشامل عن المعايير المثلى عمليًا نظرًا لتكلفته من حيث الوقت والموارد الحاسوبية. تعمل بعض الحيل، مثل التجميع (حساب التدرج على عدة أمثلة تدريبية دفعة واحدة بدلًا من كل مثال على حدة) [ 160 ] ، على تسريع الحساب. وقد أدت القدرات المعالجة الكبيرة للمعالجات متعددة النوى (مثل وحدات معالجة الرسومات أو معالجات Intel Xeon Phi) إلى تسريع كبير في التدريب، نظرًا لملاءمة هذه المعالجات لحسابات المصفوفات والمتجهات. [ 161 ] [ 162 ]

بدلاً من ذلك، قد يبحث المهندسون عن أنواع أخرى من الشبكات العصبية ذات خوارزميات تدريب أبسط وأكثر تقاربًا. تُعدّ CMAC ( وحدة تحكم التعبير النموذجي للمخيخ ) أحد هذه الأنواع من الشبكات العصبية. فهي لا تتطلب معدلات تعلم أو أوزانًا أولية عشوائية. ويمكن ضمان تقارب عملية التدريب في خطوة واحدة مع دفعة جديدة من البيانات، كما أن التعقيد الحسابي لخوارزمية التدريب خطي بالنسبة لعدد الخلايا العصبية المستخدمة. [ 163 ] [ 164 ]

الأجهزة

منذ العقد الثاني من الألفية، أدت التطورات في كلٍ من خوارزميات التعلم الآلي ومكونات الحاسوب إلى ظهور أساليب أكثر كفاءة لتدريب الشبكات العصبية العميقة التي تحتوي على طبقات عديدة من الوحدات المخفية غير الخطية وطبقة إخراج ضخمة. [ 165 ] وبحلول عام 2019، حلت وحدات معالجة الرسومات (GPUs)، التي غالبًا ما تتضمن تحسينات خاصة بالذكاء الاصطناعي، محل وحدات المعالجة المركزية (CPUs) لتصبح الطريقة السائدة لتدريب أنظمة الذكاء الاصطناعي السحابية التجارية واسعة النطاق. [ 166 ] وقدّرت OpenAI حجم الحوسبة المستخدمة في أكبر مشاريع التعلم العميق، بدءًا من AlexNet (2012) وصولًا إلى AlphaZero (2017)، ووجدت زيادة قدرها 300,000 ضعف في حجم الحوسبة المطلوبة، مع معدل تضاعف كل 3.4 أشهر. [ 167 ] [ 168 ]

صُممت دوائر إلكترونية خاصة تُسمى معالجات التعلم العميق لتسريع خوارزميات التعلم العميق. تشمل هذه المعالجات وحدات المعالجة العصبية (NPUs) في هواتف هواوي [ 169 ] وخوادم الحوسبة السحابية مثل وحدات معالجة الموترات (TPUs) في منصة جوجل السحابية [ 170 ] . كما طورت شركة سيريبراس سيستمز نظامًا مخصصًا للتعامل مع نماذج التعلم العميق الضخمة، وهو CS-2، ويعتمد على أكبر معالج في هذا المجال، وهو الجيل الثاني من محرك رقاقة السيليكون (WSE-2) [ 171 ] [ 172 ] .

تُعتبر أشباه الموصلات الرقيقة للغاية واعدةً لتطبيقات أجهزة التعلم العميق الموفرة للطاقة، حيث يُستخدم نفس الهيكل الأساسي للجهاز في كلٍ من العمليات المنطقية وتخزين البيانات. في عام 2020، نشر ماريغا وزملاؤه تجاربَ باستخدام مادة قناة نشطة ذات مساحة كبيرة لتطوير أجهزة ودوائر منطقية مدمجة في الذاكرة، تعتمد على ترانزستورات تأثير المجال ذات البوابة العائمة (FGFETs). [ 173 ]

في عام 2021، اقترح ج. فيلدمان وآخرون مُسرِّعًا متكاملًا للأجهزة الضوئية لمعالجة الشبكات العصبية الالتفافية المتوازية. [ 174 ] حدد الباحثون ميزتين رئيسيتين للأجهزة الضوئية المتكاملة مقارنةً بنظيراتها الإلكترونية: (1) نقل البيانات المتوازي على نطاق واسع من خلال تقنية تعدد الإرسال بتقسيم الطول الموجي بالتزامن مع أمشاط التردد ، و(2) سرعات تعديل بيانات فائقة. [ 174 ] يستطيع نظامهم تنفيذ تريليونات من عمليات الضرب والتجميع في الثانية، مما يُشير إلى إمكانات الأجهزة الضوئية المتكاملة في تطبيقات الذكاء الاصطناعي كثيفة البيانات. [ 174 ]

التطبيقات

التعرف التلقائي على الكلام

يُعدّ التعرّف التلقائي على الكلام على نطاق واسع أول وأنجح مثال على التعلّم العميق. تستطيع شبكات LSTM RNN تعلّم مهام "التعلّم العميق جدًا" [ 9 ] التي تتضمن فترات زمنية متعددة الثواني تحتوي على أحداث كلامية تفصل بينها آلاف الخطوات الزمنية المنفصلة، ​​حيث تُعادل الخطوة الزمنية الواحدة حوالي 10 مللي ثانية. تُنافس شبكات LSTM المزودة ببوابات النسيان [ 153 ] أنظمة التعرّف على الكلام التقليدية في بعض المهام. [ 93 ]

استند النجاح الأولي في مجال التعرف على الكلام إلى مهام التعرف صغيرة النطاق باستخدام مجموعة بيانات TIMIT. تحتوي هذه المجموعة على 630 متحدثًا من ثماني لهجات رئيسية للغة الإنجليزية الأمريكية ، حيث يقرأ كل متحدث 10 جمل. [ 175 ] يتيح صغر حجمها تجربة العديد من التكوينات. والأهم من ذلك، أن مهمة TIMIT تتعلق بالتعرف على تسلسل الأصوات ، وهو ما يسمح، على عكس التعرف على تسلسل الكلمات، باستخدام نماذج لغوية ثنائية الأصوات ضعيفة . وهذا يُسهّل تحليل قوة جوانب النمذجة الصوتية للتعرف على الكلام. وقد جُمعت معدلات الخطأ المذكورة أدناه، بما في ذلك هذه النتائج المبكرة والمقاسة كنسبة مئوية لمعدلات خطأ الأصوات (PER)، منذ عام 1991.

طريقةنسبة الخطأ في المكالمات الهاتفية (PER) (%)
شبكة عصبية متكررة مهيأة عشوائياً [ 176 ]26.1
نموذج بايز ثلاثي البوابات GMM-HMM25.6
نموذج المسار الخفي (التوليدي)24.8
شبكة عصبية عميقة أحادية الصوت مهيأة عشوائياً23.4
أحادي الصوت DBN-DNN22.4
تدريب Triphone GMM-HMM مع BMMI21.7
أحادي الصوت DBN-DNN على fbank20.7
شبكة عصبية عميقة التفافية [ 177 ]20.0
شبكة عصبية عميقة التفافية مع تجميع غير متجانس18.7
Ensemble DNN/CNN/RNN [ 178 ]18.3
LSTM ثنائي الاتجاه17.8
شبكة ماكس أوت العميقة التلافيفية الهرمية [ 179 ]16.5

أدى ظهور الشبكات العصبية العميقة للتعرف على المتحدث في أواخر التسعينيات والتعرف على الكلام حوالي 2009-2011 و LSTM حوالي 2003-2007 إلى تسريع التقدم في ثمانية مجالات رئيسية: [ 23 ] [ 106 ] [ 104 ]

  • توسيع نطاق التدريب وفك تشفير الشبكات العصبية العميقة وتسريعهما
  • التدريب على التمييز التسلسلي
  • معالجة الميزات بواسطة نماذج عميقة مع فهم راسخ للآليات الأساسية
  • تكييف الشبكات العصبية العميقة والنماذج العميقة ذات الصلة
  • التعلم متعدد المهام ونقل التعلم بواسطة الشبكات العصبية العميقة والنماذج العميقة ذات الصلة
  • الشبكات العصبية التلافيفية وكيفية تصميمها للاستفادة المثلى من المعرفة المتخصصة في مجال الكلام
  • الشبكات العصبية المتكررة (RNN) ومتغيراتها الغنية من نوع LSTM
  • أنواع أخرى من النماذج العميقة بما في ذلك النماذج القائمة على الموترات والنماذج التوليدية/التمييزية العميقة المتكاملة.

تستخدم نماذج التعرف على الكلام الحديثة شبكات Transformers أو شبكات الالتفاف الزمني بنجاح كبير وتطبيقات واسعة النطاق. [ 180 ] [ 181 ] [ 182 ] وتعتمد جميع أنظمة التعرف على الكلام التجارية الرئيسية (مثل Microsoft Cortana و Xbox و Skype Translator و Amazon Alexa و Google Now و Apple Siri و Baidu و iFlyTek للبحث الصوتي، ومجموعة من منتجات Nuance الصوتية، وغيرها) على التعلم العميق. [ 23 ] [ 183 ] ​​[ 184 ]

التعرف على الصور

يشرح ريتشارد غرين كيف يتم استخدام التعلم العميق مع مركبة يتم تشغيلها عن بعد في تربية بلح البحر .

تُعدّ قاعدة بيانات MNIST من مجموعات التقييم الشائعة لتصنيف الصور . تتألف MNIST من أرقام مكتوبة بخط اليد، وتضم 60,000 مثال تدريبي و10,000 مثال اختباري. وكما هو الحال مع TIMIT، فإن صغر حجمها يسمح للمستخدمين باختبار تكوينات متعددة. تتوفر قائمة شاملة بالنتائج المتعلقة بهذه المجموعة. [ 185 ]

أصبح التعرف على الصور باستخدام التعلم العميق "خارقاً"، إذ يُنتج نتائج أكثر دقة من المتسابقين البشريين. وقد حدث هذا لأول مرة في عام 2011 في التعرف على إشارات المرور، وفي عام 2014 في التعرف على وجوه البشر. [ 186 ] [ 187 ]

تقوم المركبات المدربة على التعلم العميق الآن بتفسير صور الكاميرا بزاوية 360 درجة. [ 188 ] مثال آخر هو تحليل تشوهات الوجه الجديد (FDNA) المستخدم لتحليل حالات التشوه البشري المرتبطة بقاعدة بيانات كبيرة من المتلازمات الوراثية.

معالجة الفنون البصرية

معالجة فنية بصرية لجيمي ويلز في فرنسا، بأسلوب لوحة " الصرخة " لمونش، باستخدام تقنية نقل الأنماط العصبية.

يرتبط التقدم المحرز في مجال التعرف على الصور ارتباطًا وثيقًا بالتطبيق المتزايد لتقنيات التعلم العميق في مختلف مهام الفنون البصرية. وقد أثبتت الشبكات العصبية العميقة قدرتها، على سبيل المثال، على

  • تحديد الفترة الأسلوبية للوحة معينة [ 189 ] [ 190 ]
  • نقل الأسلوب العصبي - التقاط أسلوب عمل فني معين وتطبيقه بطريقة بصرية ممتعة على صورة فوتوغرافية أو فيديو عشوائي [ 189 ] [ 190 ] 
  • توليد صور مذهلة بناءً على حقول إدخال بصرية عشوائية. [ 189 ] [ 190 ]

معالجة اللغة الطبيعية

استُخدمت الشبكات العصبية لتطبيق نماذج اللغة منذ أوائل العقد الأول من القرن الحادي والعشرين. [ 147 ] وقد ساهمت شبكات الذاكرة طويلة المدى (LSTM) في تحسين الترجمة الآلية ونمذجة اللغة. [ 148 ] [ 149 ] [ 150 ]

من التقنيات الرئيسية الأخرى في هذا المجال أخذ العينات السلبية [ 191 ] وتضمين الكلمات . يُمكن اعتبار تضمين الكلمات، مثل word2vec ، طبقة تمثيلية في بنية التعلم العميق، حيث تُحوّل الكلمة الأساسية إلى تمثيل موضعي لها بالنسبة إلى الكلمات الأخرى في مجموعة البيانات؛ ويُمثّل الموضع كنقطة في فضاء متجهي . يُتيح استخدام تضمين الكلمات كطبقة إدخال في الشبكة العصبية المتكررة (RNN) للشبكة تحليل الجمل والعبارات باستخدام قواعد نحوية متجهية تركيبية فعّالة. يُمكن اعتبار القواعد النحوية المتجهة التركيبية بمثابة قواعد نحوية احتمالية خالية من السياق (PCFG) تُنفّذها الشبكة العصبية المتكررة [ 192 ] . يُمكن للمُشفّرات التلقائية المتكررة المبنية على تضمينات الكلمات تقييم تشابه الجمل واكتشاف إعادة الصياغة. [ 192 ] توفر البنى العصبية العميقة أفضل النتائج لتحليل التركيب، [ 193 ] وتحليل المشاعر ، [ 194 ] واسترجاع المعلومات، [ 195 ] [ 196 ] وفهم اللغة المنطوقة، [ 197 ] والترجمة الآلية، [ 148 ] [ 198 ] وربط الكيانات السياقية، [ 198 ] والتعرف على أسلوب الكتابة، [ 199 ] والتعرف على الكيانات المسماة (تصنيف الرموز)، [ 200 ] وتصنيف النصوص، وغيرها. [ 201 ]

تُعمم التطورات الحديثة تضمين الكلمات ليشمل تضمين الجمل .

يستخدم مترجم جوجل (GT) شبكة ذاكرة طويلة المدى (LSTM) واسعة النطاق من البداية إلى النهاية . [ 202 ] [ 203 ] [ 204 ] [ 205 ] أما مترجم جوجل العصبي الآلي (GNMT) فيستخدم أسلوب ترجمة آلية قائم على الأمثلة، حيث يتعلم النظام من ملايين الأمثلة. [ 203 ] ويترجم الجمل كاملةً في كل مرة، بدلاً من أجزاء منها. يدعم مترجم جوجل أكثر من مئة لغة. [ 203 ] وتُشفّر الشبكة دلالات الجملة بدلاً من مجرد حفظ الترجمات من عبارة إلى أخرى. [ 203 ] [ 206 ] ويستخدم مترجم جوجل اللغة الإنجليزية كلغة وسيطة بين معظم أزواج اللغات. [ 206 ]

اكتشاف الأدوية وعلم السموم

نسبة كبيرة من الأدوية المرشحة لا تحصل على موافقة الجهات التنظيمية. ويعود سبب هذا الفشل إلى عدم كفاية الفعالية (التأثير على الهدف)، أو التفاعلات غير المرغوب فيها (التأثيرات خارج الهدف)، أو الآثار السامة غير المتوقعة . [ 207 ] [ 208 ] وقد استكشفت الأبحاث استخدام التعلم العميق للتنبؤ بالأهداف الجزيئية الحيوية ، [ 209 ] [ 210 ] والتأثيرات خارج الهدف ، والآثار السامة للمواد الكيميائية البيئية الموجودة في المغذيات والمنتجات المنزلية والأدوية. [ 211 ] [ 212 ] [ 213 ]

AtomNet هو نظام تعلّم عميق لتصميم الأدوية العقلاني القائم على البنية . [ 214 ] استُخدم AtomNet للتنبؤ بجزيئات حيوية مرشحة جديدة لأهداف علاجية لأمراض مثل فيروس إيبولا [ 215 ] والتصلب المتعدد . [ 216 ] [ 215 ]

في عام 2017، استُخدمت الشبكات العصبية البيانية لأول مرة للتنبؤ بخصائص مختلفة للجزيئات في مجموعة بيانات سمية ضخمة. [ 217 ] وفي عام 2019، استُخدمت الشبكات العصبية التوليدية لإنتاج جزيئات تم التحقق من صحتها تجريبياً، وصولاً إلى الفئران. [ 218 ] [ 219 ]

أنظمة التوصية

استخدمت أنظمة التوصية التعلم العميق لاستخلاص سمات ذات دلالة لنموذج العوامل الكامنة لتوصيات الموسيقى والمجلات القائمة على المحتوى. [ 220 ] [ 221 ] كما طُبِّق التعلم العميق متعدد الرؤى لتعلم تفضيلات المستخدم من مجالات متعددة. [ 222 ] يستخدم النموذج نهجًا هجينًا تعاونيًا وقائمًا على المحتوى، ويُحسِّن التوصيات في مهام متعددة.

المعلوماتية الحيوية

استُخدمت شبكة عصبية اصطناعية ذاتية الترميز في المعلوماتية الحيوية ، للتنبؤ بتعليقات علم الجينات وعلاقات الجينات بالوظائف. [ 223 ]

في مجال المعلوماتية الطبية، تم استخدام التعلم العميق للتنبؤ بجودة النوم بناءً على بيانات من الأجهزة القابلة للارتداء [ 224 ] والتنبؤ بالمضاعفات الصحية من بيانات السجلات الصحية الإلكترونية . [ 225 ]

أظهرت الشبكات العصبية العميقة أداءً لا مثيل له في التنبؤ ببنية البروتين ، وفقًا لتسلسل الأحماض الأمينية المكونة له. في عام 2020، حقق نظام AlphaFold ، وهو نظام قائم على التعلم العميق، مستوى دقة أعلى بكثير من جميع الطرق الحسابية السابقة. [ 226 ] [ 227 ]

تقديرات الشبكة العصبية العميقة

يمكن استخدام الشبكات العصبية العميقة لتقدير إنتروبيا عملية عشوائية من خلال آلية تُسمى مُقدِّر الإنتروبيا المشترك العصبي (NJEE). [ 228 ] يُتيح هذا التقدير فهمًا أعمق لتأثيرات المتغيرات العشوائية المُدخلة على متغير عشوائي مستقل . عمليًا، تُدرَّب الشبكة العصبية العميقة كمُصنِّف يُحوِّل متجهًا أو مصفوفة مُدخلة X إلى توزيع احتمالي للمُخرَج على الفئات المُحتملة للمتغير العشوائي Y، بناءً على المُدخل X. على سبيل المثال، في مهام تصنيف الصور ، يُحوِّل NJEE متجه قيم ألوان البكسلات إلى احتمالات على فئات الصورة المُحتملة. عمليًا، يُحَصَّل التوزيع الاحتمالي لـ Y بواسطة طبقة Softmax بعدد عُقد يُساوي حجم أبجدية Y. يستخدم NJEE دوال تنشيط قابلة للتفاضل باستمرار ، بحيث تتحقق شروط نظرية التقريب الشامل . وقد ثَبُتَ أن هذه الطريقة تُوفِّر مُقدِّرًا مُتَّسقًا للغاية وتتفوق على الطرق الأخرى في حالات أحجام الأبجدية الكبيرة. [ 228 ]

تحليل الصور الطبية

أثبتت تقنيات التعلم العميق قدرتها على تحقيق نتائج تنافسية في التطبيقات الطبية، مثل تصنيف الخلايا السرطانية، والكشف عن الآفات، وتجزئة الأعضاء، وتحسين الصور. [ 229 ] [ 230 ] وتُظهر أدوات التعلم العميق الحديثة دقة عالية في الكشف عن مختلف الأمراض، وفائدة استخدامها من قِبل المتخصصين لتحسين كفاءة التشخيص. [ 231 ] [ 232 ]

الإعلان عبر الهاتف المحمول

يُعدّ تحديد الجمهور المستهدف المناسب للإعلانات عبر الأجهزة المحمولة تحديًا دائمًا، إذ يتطلب الأمر دراسة وتحليل العديد من البيانات قبل إنشاء شريحة مستهدفة واستخدامها في عرض الإعلانات من قِبل أي خادم إعلانات. [ 233 ] وقد استُخدم التعلّم العميق لتحليل مجموعات بيانات إعلانية ضخمة ومتعددة الأبعاد. تُجمع العديد من البيانات خلال دورة الإعلان عبر الإنترنت (الطلب/العرض/النقر). ويمكن لهذه المعلومات أن تُشكّل أساسًا للتعلّم الآلي لتحسين اختيار الإعلانات.

استعادة الصورة

لقد تم تطبيق التعلم العميق بنجاح على المشكلات العكسية مثل إزالة التشويش ، وتحسين الدقة الفائقة ، وإعادة بناء الصور ، وتلوين الأفلام . [ 234 ] تشمل هذه التطبيقات أساليب التعلم مثل "حقول الانكماش لاستعادة الصور الفعالة" [ 235 ] التي يتم تدريبها على مجموعة بيانات صور، و"المعلومات المسبقة للصورة العميقة " التي يتم تدريبها على الصورة التي تحتاج إلى استعادة.

كشف الاحتيال المالي

يتم تطبيق التعلم العميق في الكشف عن الاحتيال المالي ، والكشف عن التهرب الضريبي، [ 236 ] ومكافحة غسل الأموال. [ 237 ]

علم المواد

في نوفمبر 2023، أعلن باحثون من جوجل ديب مايند ومختبر لورانس بيركلي الوطني عن تطويرهم نظام ذكاء اصطناعي يُعرف باسم GNoME. وقد أسهم هذا النظام في علم المواد باكتشافه أكثر من مليوني مادة جديدة خلال فترة زمنية قصيرة نسبيًا. يستخدم GNoME تقنيات التعلم العميق لاستكشاف هياكل المواد المحتملة بكفاءة، محققًا زيادة ملحوظة في تحديد هياكل البلورات غير العضوية المستقرة . تم التحقق من صحة تنبؤات النظام من خلال تجارب روبوتية ذاتية التشغيل، مُظهرةً معدل نجاح ملحوظًا بلغ 71%. بيانات المواد المكتشفة حديثًا متاحة للعموم عبر قاعدة بيانات مشروع المواد ، مما يتيح للباحثين فرصة تحديد المواد ذات الخصائص المطلوبة لتطبيقات متنوعة. لهذا التطور آثارٌ على مستقبل الاكتشاف العلمي ودمج الذكاء الاصطناعي في أبحاث علم المواد، مما قد يُسرّع من ابتكار المواد ويُقلل تكاليف تطوير المنتجات. يُشير استخدام الذكاء الاصطناعي والتعلم العميق إلى إمكانية تقليل أو إلغاء التجارب المعملية اليدوية، مما يسمح للعلماء بالتركيز بشكل أكبر على تصميم وتحليل المركبات الفريدة. [ 238 ] [ 239 ] [ 240 ]

جيش

طبقت وزارة الدفاع الأمريكية تقنية التعلم العميق لتدريب الروبوتات على مهام جديدة من خلال الملاحظة. [ 241 ]

المعادلات التفاضلية الجزئية

استُخدمت الشبكات العصبية المُستندة إلى الفيزياء لحل المعادلات التفاضلية الجزئية في كلٍ من المسائل المباشرة والمعكوسة بطريقة تعتمد على البيانات. [ 242 ] ومن الأمثلة على ذلك إعادة بناء تدفق الموائع الخاضع لمعادلات نافيير-ستوكس . لا يتطلب استخدام الشبكات العصبية المُستندة إلى الفيزياء توليد الشبكة المكلف في كثير من الأحيان، والذي تعتمد عليه طرق ديناميكا الموائع الحسابية التقليدية. [ 243 ] [ 244 ] من الواضح أن القيود الهندسية والفيزيائية لها تأثير تآزري على بدائل المعادلات التفاضلية الجزئية العصبية، مما يُعزز فعاليتها في التنبؤ بالانتشار المستقر والطويل جدًا. [ 245 ]

طريقة المعادلات التفاضلية العشوائية العميقة العكسية

طريقة المعادلات التفاضلية العشوائية العكسية العميقة هي طريقة عددية تجمع بين التعلم العميق والمعادلات التفاضلية العشوائية العكسية (BSDE). تُعد هذه الطريقة مفيدة بشكل خاص لحل المسائل عالية الأبعاد في الرياضيات المالية. من خلال الاستفادة من قدرات تقريب الدوال القوية للشبكات العصبية العميقة ، تعالج طريقة المعادلات التفاضلية العشوائية العكسية العميقة التحديات الحسابية التي تواجهها الطرق العددية التقليدية في البيئات عالية الأبعاد. على وجه التحديد، غالبًا ما تعاني الطرق التقليدية، مثل طرق الفروق المحدودة أو محاكاة مونت كارلو، من معضلة الأبعاد، حيث تزداد التكلفة الحسابية بشكل أُسّي مع عدد الأبعاد. مع ذلك، تستخدم طرق المعادلات التفاضلية العشوائية العكسية العميقة الشبكات العصبية العميقة لتقريب حلول المعادلات التفاضلية الجزئية عالية الأبعاد، مما يقلل بشكل فعال من العبء الحسابي. [ 246 ]

بالإضافة إلى ذلك، يُعزز دمج الشبكات العصبية المُستندة إلى الفيزياء (PINNs) في إطار عمل المعادلات التفاضلية العكسية العميقة (BSDE) من قدراته، وذلك بتضمين القوانين الفيزيائية الأساسية مباشرةً في بنية الشبكة العصبية. وهذا يضمن أن الحلول لا تُطابق البيانات فحسب، بل تلتزم أيضًا بالمعادلات التفاضلية العشوائية الحاكمة. تستفيد شبكات PINNs من قوة التعلم العميق مع مراعاة القيود التي تفرضها النماذج الفيزيائية، مما ينتج عنه حلول أكثر دقة وموثوقية لمسائل الرياضيات المالية.

إعادة بناء الصورة

إعادة بناء الصور هي عملية إعادة بناء الصور الأصلية انطلاقاً من القياسات المتعلقة بالصورة. وقد أظهرت العديد من الدراسات تفوق أساليب التعلم العميق على الأساليب التحليلية في تطبيقات متنوعة، مثل التصوير الطيفي [ 247 ] والتصوير بالموجات فوق الصوتية [ 248 ] .

توقعات الطقس

تعتمد أنظمة التنبؤ الجوي التقليدية على حل نظام معقد للغاية من المعادلات التفاضلية الجزئية. أما GraphCast فهو نموذج قائم على التعلم العميق، تم تدريبه على تاريخ طويل من بيانات الطقس للتنبؤ بكيفية تغير أنماط الطقس بمرور الوقت. وهو قادر على التنبؤ بأحوال الطقس لمدة تصل إلى 10 أيام على مستوى العالم، بمستوى تفصيلي للغاية، وفي أقل من دقيقة، بدقة تضاهي أحدث الأنظمة. [ 249 ] [ 250 ]

الساعة اللاجينية

الساعة اللاجينية هي اختبار بيوكيميائي يُستخدم لقياس العمر. استخدم غالكن وزملاؤه الشبكات العصبية العميقة لتدريب ساعة لاجينية للشيخوخة بدقة غير مسبوقة باستخدام أكثر من 6000 عينة دم. [ 251 ] تعتمد الساعة على معلومات من 1000 موقع CpG، وتتنبأ بأن الأشخاص المصابين بأمراض معينة سيعيشون عمرًا أطول من الأشخاص الأصحاء، مثل: داء الأمعاء الالتهابي ، والخرف الجبهي الصدغي ، وسرطان المبيض ، والسمنة . كان من المقرر إطلاق ساعة الشيخوخة للاستخدام العام في عام 2021 من قِبل شركة Deep Longevity، وهي شركة منبثقة عن Insilico Medicine .

العلاقة بالتطور المعرفي والدماغي لدى الإنسان

يرتبط التعلم العميق ارتباطًا وثيقًا بمجموعة من نظريات نمو الدماغ (وتحديدًا نمو القشرة المخية الحديثة) التي اقترحها علماء الأعصاب الإدراكيون في أوائل التسعينيات. [ 252 ] [ 253 ] [ 254 ] [ 255 ] وقد تم تجسيد هذه النظريات النمائية في نماذج حاسوبية، مما جعلها أسلافًا لأنظمة التعلم العميق. تشترك هذه النماذج النمائية في خاصية أن ديناميكيات التعلم المختلفة المقترحة في الدماغ (مثل موجة عامل نمو الأعصاب ) تدعم التنظيم الذاتي الذي يشبه إلى حد ما الشبكات العصبية المستخدمة في نماذج التعلم العميق. وكما هو الحال في القشرة المخية الحديثة ، تستخدم الشبكات العصبية تسلسلًا هرميًا من المرشحات الطبقية، حيث تأخذ كل طبقة في الاعتبار المعلومات من طبقة سابقة (أو بيئة التشغيل)، ثم تمرر مخرجاتها (وربما المدخلات الأصلية) إلى الطبقات الأخرى. وتنتج عن هذه العملية مجموعة من المحولات ذاتية التنظيم ، مُهيأة جيدًا لبيئة التشغيل الخاصة بها. وجاء في وصف نُشر عام 1995: "...يبدو أن دماغ الرضيع ينظم نفسه تحت تأثير موجات من ما يسمى بالعوامل الغذائية ... وتتصل مناطق مختلفة من الدماغ بالتتابع، حيث تنضج طبقة من الأنسجة قبل الأخرى وهكذا حتى ينضج الدماغ بأكمله". [ 256 ]

استُخدمت مناهج متنوعة لدراسة مدى معقولية نماذج التعلم العميق من منظور عصبي بيولوجي. فمن جهة، اقتُرحت عدة صيغ لخوارزمية الانتشار العكسي لزيادة واقعية معالجتها. [ 257 ] [ 258 ] بينما يرى باحثون آخرون أن أشكال التعلم العميق غير الخاضعة للإشراف، كتلك القائمة على النماذج التوليدية الهرمية وشبكات الاعتقاد العميق ، قد تكون أقرب إلى الواقع البيولوجي. [ 259 ] [ 260 ] وفي هذا السياق، رُبطت نماذج الشبكات العصبية التوليدية بأدلة عصبية بيولوجية حول المعالجة القائمة على أخذ العينات في القشرة الدماغية. [ 261 ]

على الرغم من عدم وجود مقارنة منهجية بين تنظيم الدماغ البشري والترميز العصبي في الشبكات العميقة، فقد تم الإبلاغ عن العديد من أوجه التشابه. على سبيل المثال، قد تكون العمليات الحسابية التي تُجريها وحدات التعلم العميق مشابهة لتلك التي تُجريها الخلايا العصبية الفعلية [ 262 ] والمجموعات العصبية [ 263 ] . وبالمثل، فإن التمثيلات التي تُطورها نماذج التعلم العميق تُشابه تلك التي تم قياسها في الجهاز البصري للرئيسيات [ 264 ] على مستوى الوحدة المفردة [ 265 ] وعلى مستوى المجموعة [ 266 ] .

النشاط التجاري

يقوم مختبر الذكاء الاصطناعي التابع لفيسبوك بمهام مثل وضع علامات تلقائية على الصور التي يتم تحميلها بأسماء الأشخاص الموجودين فيها. [ 267 ]

طوّرت شركة DeepMind Technologies التابعة لشركة جوجل نظامًا قادرًا على تعلّم كيفية لعب ألعاب فيديو أتاري باستخدام وحدات البكسل فقط كمدخلات بيانات. وفي عام 2015، عرضت الشركة نظام AlphaGo الخاص بها ، والذي تعلّم لعبة Go ببراعة كافية للتغلب على لاعب محترف. [ 268 ] [ 269 ] [ 270 ] ويستخدم مترجم جوجل شبكة عصبية للترجمة بين أكثر من 100 لغة.

في عام 2017، تم إطلاق شركة Covariant.ai، التي تركز على دمج التعلم العميق في المصانع. [ 271 ]

في عام 2008، [ 272 ] طوّر باحثون في جامعة تكساس في أوستن (UT) إطار عمل للتعلم الآلي يُسمى "تدريب وكيل يدويًا عبر التعزيز التقييمي" (TAMER)، والذي اقترح أساليب جديدة لتعلم الروبوتات أو برامج الحاسوب كيفية أداء المهام من خلال التفاعل مع مُدرّب بشري. [ 241 ] بعد تطويره أولًا باسم TAMER، طُرحت خوارزمية جديدة تُسمى Deep TAMER في عام 2018 خلال تعاون بين مختبر أبحاث الجيش الأمريكي (ARL) وباحثي جامعة تكساس. استخدمت Deep TAMER التعلم العميق لتزويد الروبوت بالقدرة على تعلم مهام جديدة من خلال الملاحظة. [ 241 ] باستخدام Deep TAMER، تعلّم الروبوت مهمةً ما بمساعدة مُدرّب بشري، من خلال مشاهدة مقاطع فيديو أو مُلاحظة شخص يؤدي المهمة شخصيًا. ثمّ مارس الروبوت المهمة بمساعدة بعض التوجيهات من المُدرّب، الذي قدّم ملاحظات مثل "أحسنت" و"لم تُحسن". [ 273 ]

النقد والتعليق

لقد اجتذب التعلم العميق الانتقادات والتعليقات، وفي بعض الحالات من خارج مجال علوم الحاسوب.

نظرية

تتمثل إحدى الانتقادات الرئيسية في نقص النظرية المحيطة ببعض الأساليب. [ 274 ] يُنفَّذ التعلّم في معظم البنى العميقة الشائعة باستخدام خوارزمية التدرج الهبوطي المعروفة جيدًا. ومع ذلك، فإن النظرية المحيطة بخوارزميات أخرى، مثل التباعد التبايني، أقل وضوحًا. (على سبيل المثال، هل تتقارب؟ إذا كان الأمر كذلك، فما مدى سرعتها؟ ما الذي تُقاربه؟) غالبًا ما يُنظر إلى أساليب التعلّم العميق على أنها صندوق أسود ، حيث تُجرى معظم عمليات التحقق تجريبيًا، بدلًا من نظريًا. [ 275 ]

في إشارة أخرى إلى فكرة أن الحساسية الفنية قد تكون متأصلة في المستويات المنخفضة نسبيًا من التسلسل الهرمي المعرفي، فإن سلسلة من التمثيلات الرسومية المنشورة للحالات الداخلية للشبكات العصبية العميقة (20-30 طبقة) التي تحاول تمييز الصور التي تم تدريبها عليها ضمن بيانات عشوائية أساسًا [ 276 ] تُظهر جاذبية بصرية: فقد تلقى إشعار البحث الأصلي أكثر من 1000 تعليق، وكان موضوعًا لما كان لفترة من الوقت المقالة الأكثر زيارة على موقع The Guardian الإلكتروني [ 277 ] .

بدعم من نظرية انتشار الابتكار (IDT)، حللت دراسة انتشار التعلم العميق في دول البريكس ومنظمة التعاون الاقتصادي والتنمية باستخدام بيانات من جوجل تريندز . [ 278 ]

أخطاء

تُظهر بعض بنى التعلم العميق سلوكيات إشكالية، [ 279 ] مثل تصنيف الصور غير القابلة للتمييز بثقة على أنها تنتمي إلى فئة مألوفة من الصور العادية (2014) [ 280 ] وتصنيف التشوهات الطفيفة في الصور المصنفة بشكل صحيح تصنيفًا خاطئًا (2013). [ 281 ] افترض غورتزل أن هذه السلوكيات ناتجة عن قيود في تمثيلاتها الداخلية، وأن هذه القيود ستعيق دمجها في بنى الذكاء الاصطناعي العام (AGI) متعددة المكونات غير المتجانسة. [ 279 ] من الممكن معالجة هذه المشكلات من خلال بنى التعلم العميق التي تُشكل داخليًا حالات مماثلة لتحليلات قواعد الصور [ 282 ] للكيانات والأحداث المرصودة. [ 279 ] إن تعلم قواعد اللغة (البصرية أو اللغوية) من بيانات التدريب يُعادل تقييد النظام بالاستدلال المنطقي الذي يعمل على المفاهيم من حيث قواعد الإنتاج النحوي ، وهو هدف أساسي لكل من اكتساب اللغة البشرية [ 283 ] والذكاء الاصطناعي . [ 284 ]

التهديد السيبراني

مع انتقال التعلم العميق من المختبر إلى التطبيق العملي، تُظهر الأبحاث والتجارب أن الشبكات العصبية الاصطناعية عُرضة للاختراق والخداع. [ 285 ] فمن خلال تحديد الأنماط التي تستخدمها هذه الأنظمة في عملها، يستطيع المهاجمون تعديل مُدخلات الشبكات العصبية الاصطناعية بطريقة تجعلها تجد تطابقًا لا يستطيع المُشاهدون البشريون تمييزه. على سبيل المثال، يُمكن للمهاجم إجراء تغييرات طفيفة على صورة بحيث تجد الشبكة العصبية الاصطناعية تطابقًا حتى وإن بدت الصورة مُختلفة تمامًا عن الهدف المطلوب للمشاهد البشري. يُطلق على هذا التلاعب اسم " الهجوم المُعادي ". [ 286 ]

في عام 2016، استخدم باحثون شبكة عصبية اصطناعية واحدة لتعديل الصور بطريقة تجريبية، وتحديد نقاط التركيز في صورة أخرى، وبالتالي توليد صور تخدعها. لم تكن الصور المعدلة تبدو مختلفة للعين المجردة. وأظهرت مجموعة أخرى أن طباعة الصور المعدلة ثم تصويرها نجحت في خداع نظام تصنيف الصور. [ 287 ] يتمثل أحد أساليب الحماية في البحث العكسي عن الصور، حيث تُرسل الصورة التي يُحتمل أن تكون مزيفة إلى موقع مثل TinEye الذي يمكنه العثور على نسخ أخرى منها. ويتمثل أحد التحسينات في البحث باستخدام أجزاء فقط من الصورة، لتحديد الصور التي ربما أُخذ منها ذلك الجزء . [ 288 ]

أظهرت مجموعة أخرى أن بعض النظارات ذات التأثيرات البصرية المهلوسة قد تخدع نظام التعرف على الوجوه ، فتجعله يعتقد أن الأشخاص العاديين هم مشاهير، مما قد يسمح لشخص بانتحال شخصية آخر. وفي عام 2017، أضاف باحثون ملصقات إلى إشارات المرور ، مما تسبب في تصنيف خاطئ لها بواسطة شبكة عصبية اصطناعية. [ 287 ]

مع ذلك، يمكن تدريب الشبكات العصبية الاصطناعية بشكل أكبر لكشف محاولات الخداع ، مما قد يدفع المهاجمين والمدافعين إلى سباق تسلح مماثل لما هو سائد في صناعة مكافحة البرمجيات الخبيثة . وقد تم تدريب الشبكات العصبية الاصطناعية على هزيمة برامج مكافحة البرمجيات الخبيثة القائمة على الشبكات العصبية الاصطناعية، وذلك من خلال مهاجمة نظام الدفاع بشكل متكرر باستخدام برمجيات خبيثة تم تعديلها باستمرار بواسطة خوارزمية جينية حتى تمكنت من خداع برنامج مكافحة البرمجيات الخبيثة مع الحفاظ على قدرتها على إلحاق الضرر بالهدف. [ 287 ]

في عام 2016، أثبتت مجموعة أخرى أن بعض الأصوات يمكن أن تجعل نظام الأوامر الصوتية لـ Google Now يفتح عنوان ويب معينًا، وافترضت أن هذا قد "يشكل نقطة انطلاق لهجمات أخرى (مثل فتح صفحة ويب تستضيف برامج خبيثة من نوع Drive-Begin)". [ 287 ]

في " تسميم البيانات "، يتم تهريب بيانات خاطئة باستمرار إلى مجموعة تدريب نظام التعلم الآلي لمنعه من تحقيق الإتقان. [ 287 ]

أخلاقيات جمع البيانات

تعتمد أنظمة التعلم العميق التي تُدرَّب باستخدام التعلم الخاضع للإشراف غالبًا على بيانات يُنشئها أو يُعلِّمها البشر، أو كليهما. [ 289 ] وقد طُرحت فكرة أنَّ العمل المدفوع الأجر المنخفض (كما هو الحال في منصة Amazon Mechanical Turk ) لا يُستخدم فقط لهذا الغرض، بل أيضًا أشكال ضمنية من العمل البشري المصغر التي غالبًا ما لا تُدرك على حقيقتها. [ 290 ] يُميِّز الفيلسوف راينر مولهوف خمسة أنواع من "الاستحواذ الآلي" على العمل البشري المصغر لتوليد بيانات التدريب: (1) التلعيب (دمج مهام التعليق أو الحساب في سياق اللعبة)، (2) "الاحتجاز والتتبع" (مثل اختبارات CAPTCHA للتعرف على الصور أو تتبع النقرات على صفحات نتائج بحث جوجل )، (3) استغلال الدوافع الاجتماعية (مثل وسم الوجوه على فيسبوك للحصول على صور وجوه مُصنَّفة)، (4) استخراج المعلومات (مثل الاستفادة من أجهزة تتبع النشاط الذاتي )، و(5) العمل المدفوع الأجر المنخفض. [ 290 ]

انظر أيضاً

مراجع

  1. ^ شولتز، هانس. بهنكي ، سفين (نوفمبر 2012). “التعلم العميق: التعلم الحكيم للطبقات من التسلسلات الهرمية للميزات”. كي - كونستليش إنتيليجينز . 26 (4): 357-363 . دوى : 10.1007 / s13218-012-0198-z .
  2. 1 2 ليكان، يان؛ بينجيو، يوشوا؛ هينتون، جيفري (2015). "التعلم العميق" . مجلة نيتشر . 521 (7553): 436-444 . Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . PMID 26017442 . 
  3. 1 2 سيريسان، د.؛ ماير، يو.؛ شميدهوبر، ج. (2012). "شبكات عصبية عميقة متعددة الأعمدة لتصنيف الصور". مؤتمر IEEE لعام 2012 حول رؤية الحاسوب والتعرف على الأنماط . الصفحات 3642-3649 . arXiv : 1202.2745 . doi : 10.1109/cvpr.2012.6248110 . ISBN  978-1-4673-1228-8.
  4. 1 2 كريزيفسكي، أليكس؛ سوتسكيفر، إيليا؛ هينتون، جيفري إي (2012). "تصنيف ImageNet باستخدام الشبكات العصبية التلافيفية العميقة" . التقدم في أنظمة معالجة المعلومات العصبية . 25 .
  5. ↑ «فوز برنامج الذكاء الاصطناعي AlphaGo التابع لشركة جوجل في سلسلة من ثلاث مباريات ضد أفضل لاعب غو في العالم» . TechCrunch . 25 مايو 2017. مؤرشف من الأصل في 17 يونيو 2018. تم الاطلاع عليه في 17 يونيو 2018 .
  6. ↑ «دراسة تحث على توخي الحذر عند مقارنة الشبكات العصبية بالدماغ» . أخبار معهد ماساتشوستس للتكنولوجيا | معهد ماساتشوستس للتكنولوجيا . 2022-11-02 . تاريخ الاطلاع: 2023-12-06 .
  7. 1 2 3 4 بينجيو، ي. (2009). "تعلم البنى العميقة للذكاء الاصطناعي". أسس واتجاهات في تعلم الآلة . 2 (1): 1-127 . doi : 10.1561/2200000006 .
  8. 1 2 3 4 5 بينجيو، ي.؛ كورفيل، أ.؛ فنسنت، ب. (2013). "تعلم التمثيل: مراجعة ووجهات نظر جديدة". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 35 (8): 1798-1828 . arXiv : 1206.5538 . Bibcode : 2013ITPAM..35.1798B . doi : 10.1109/tpami.2013.50 . PMID 23787338 . 
  9. 1 2 3 4 5 6 7 8 شميدهوبر، ج. (2015). "التعلم العميق في الشبكات العصبية: نظرة عامة". الشبكات العصبية . 61 : 85-117 . arXiv : 1404.7828 . Bibcode : 2015NN.....61...85S . doi : 10.1016/j.neunet.2014.09.003 . PMID 25462637 . 
  10. ↑ شيجيكي، سوجياما (12 أبريل 2019). السلوك البشري ونوع آخر في الوعي: بحوث وفرص ناشئة . دار نشر IGI Global. رقم ISBN 978-1-5225-8218-2.
  11. ↑ بينجيو، يوشوا؛ لامبلين، باسكال؛ بوبوفيتشي، دان؛ لاروشيل، هوغو (2007). التدريب الجشع للشبكات العميقة على مستوى الطبقات (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية. الصفحات 153-160 . مؤرشف (ملف PDF) من الأصل بتاريخ 20 أكتوبر 2019. تم الاطلاع عليه بتاريخ 6 أكتوبر 2019 . 
  12. 1 2 هينتون، جي إي (2009). "شبكات الاعتقاد العميق" . سكولاربيديا . 4 (5): 5947. رمز Bibcode : 2009SchpJ...4.5947H . doi : 10.4249/scholarpedia.5947 .
  13. ↑ رينا ديختر (1986). التعلم أثناء البحث في مسائل إرضاء القيود. جامعة كاليفورنيا، قسم علوم الحاسوب، مختبر الأنظمة المعرفية. مؤرشف إلكترونيًا بتاريخ 19 أبريل 2016 على موقع Wayback Machine.
  14. ^ أيزنبرج، إيجور ن.؛ أيزنبرج، نعوم ن.؛ فانديوال، جوس (2000). الخلايا العصبية الثنائية متعددة القيمة والعالمية . دوى : 10.1007/978-1-4757-3115-6 . رقم ISBN 978-1-4419-4978-3.
  15. ↑ الخلايا العصبية المتكررة المتطورة بشكل مشترك تتعلم ذاكرة عميقة POMDPs. وقائع GECCO، واشنطن العاصمة، الصفحات 1795-1802، مطبعة ACM، نيويورك، نيويورك، الولايات المتحدة الأمريكية، 2005.
  16. ↑ فرادكوف، ألكسندر ل. (2020-01-01). "التاريخ المبكر للتعلم الآلي" . أوراق الاتحاد الدولي للتحكم الآلي على الإنترنت . المؤتمر العالمي الحادي والعشرون للاتحاد الدولي للتحكم الآلي. 53 (2): 1385-1390 . doi : 10.1016/j.ifacol.2020.12.1888 .
  17. 1 2 3 سيبينكو، ج. (ديسمبر 1989). "التقريب بالتراكب لدالة سيجمويدية". رياضيات التحكم والإشارات والأنظمة . 2 (4): 303-314 . Bibcode : 1989MCSS....2..303C . doi : 10.1007/bf02551274 .
  18. هورنيك ، كورت ( 1991 ). "قدرات التقريب لشبكات التغذية الأمامية متعددة الطبقات". الشبكات العصبية . 4 (2): 251-257 . Bibcode : 1991NN......4..251H . doi : 10.1016/0893-6080(91)90009-t .
  19. 1 2 هايكين، سيمون س. (1999). الشبكات العصبية: أساس شامل . برنتيس هول. ISBN 978-0-13-273350-2.
  20. 1 2 حسون، محمد ح. (1995). أساسيات الشبكات العصبية الاصطناعية . مطبعة معهد ماساتشوستس للتكنولوجيا. ص. 48. ردمك  978-0-262-08239-6.
  21. 1 2 لو، ز.، بو، هـ.، وانغ، ف.، هو، ز.، ووانغ، ل. (2017). القدرة التعبيرية للشبكات العصبية: نظرة من منظور واسع. مؤرشف بتاريخ 13 فبراير 2019 في أرشيف الإنترنت . أنظمة معالجة المعلومات العصبية، 6231-6239.
  22. ↑ أورهان، أ.إ.؛ ما، و.ج. (2017). "الاستدلال الاحتمالي الفعال في الشبكات العصبية العامة المدربة باستخدام التغذية الراجعة غير الاحتمالية" . مجلة نيتشر كوميونيكيشنز . 8 (1): 138. Bibcode : 2017NatCo...8..138O . doi : 10.1038/s41467-017-00181-8 . PMC 5527101. PMID 28743932 .  
  23. 1 2 3 4 5 دينغ، ل.؛ يو، د. (2014). "التعلم العميق: الأساليب والتطبيقات" (ملف PDF) . أسس واتجاهات معالجة الإشارات . 7 ( 3-4 ): 1-199 . doi : 10.1561/2000000039 . مؤرشف (ملف PDF) من الأصل بتاريخ 14 مارس 2016. تم الاطلاع عليه بتاريخ 18 أكتوبر 2014 .
  24. 1 2 3 4 مورفي، كيفن ب. (24 أغسطس 2012). التعلم الآلي: منظور احتمالي . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-01802-9.
  25. 1 2 فوكوشيما، ك. (1969). "استخلاص الميزات المرئية بواسطة شبكة متعددة الطبقات من عناصر العتبة التناظرية". معاملات IEEE في علوم الأنظمة وعلم التحكم الآلي . 5 (4): 322-333 . Bibcode : 1969ITSSC...5..322F . doi : 10.1109/TSSC.1969.300225 .
  26. ↑ سونودا، شو؛ موراتا، نوبورو (2017). "الشبكة العصبية ذات دوال التنشيط غير المحدودة هي مقارب شامل". التحليل التوافقي التطبيقي والحسابي . 43 (2): 233-268 . arXiv : 1505.03654 . doi : 10.1016/j.acha.2015.12.005 .
  27. ↑ بيشوب، كريستوفر م. (2006). التعرف على الأنماط والتعلم الآلي . سبرينغر. ISBN 978-0-387-31073-2.
  28. 1 2 "مساهمة إرنست إيزينغ في نظرية المغناطيسية الحديدية" .
  29. ↑ براش، ستيفن ج. (1967). "تاريخ نموذج لينز-إيزينغ". مراجعات الفيزياء الحديثة . 39 (4): 883-893 . Bibcode : 1967RvMP...39..883B . doi : 10.1103/RevModPhys.39.883 .
  30. 1 2 أماري، شون-إيتشي (1972). "تعلم الأنماط وتسلسلات الأنماط بواسطة الشبكات ذاتية التنظيم لعناصر العتبة". معاملات IEEE . ج (21): 1197-1206 .
  31. 1 2 3 4 5 6 7 شميدهوبر، يورغن (2022). "تاريخ مشروح للذكاء الاصطناعي الحديث والتعلم العميق". arXiv : 2212.11279 [ cs.NE ].
  32. ↑ هوبفيلد، ج. ج. (1982). "الشبكات العصبية والأنظمة الفيزيائية ذات القدرات الحسابية الجماعية الناشئة" . وقائع الأكاديمية الوطنية للعلوم . 79 (8): 2554-2558 . Bibcode : 1982PNAS...79.2554H . doi : 10.1073 / pnas.79.8.2554 . PMC 346238. PMID 6953413 .  
  33. ↑ ناكانو، كاورو (1971). "عملية التعلم في نموذج للذاكرة الترابطية". التعرف على الأنماط والتعلم الآلي . ص 172-186 . doi : 10.1007/978-1-4615-7566-5_15 . ISBN  978-1-4615-7568-9.
  34. ↑ ناكانو، كاورو (1972). "أسوسياترون - نموذج للذاكرة الترابطية". معاملات IEEE في الأنظمة والإنسان وعلم التحكم الآلي . SMC-2 (3): 380-388 . Bibcode : 1972ITSMC...2..380N . doi : 10.1109/TSMC.1972.4309133 .
  35. ↑ تورينج، آلان (1992) [1948]. "الآلات الذكية". في إنس، دي سي (محرر). الأعمال الكاملة لـ أ. م. تورينج: الذكاء الميكانيكي . المجلد 1. دار نشر إلسيفير للعلوم. ص 107. ISBN   0-444-88058-5.
  36. ↑ روزنبلات، ف. (1958). "البرسبترون: نموذج احتمالي لتخزين المعلومات وتنظيمها في الدماغ". مجلة علم النفس . 65 (6): 386-408 . doi : 10.1037/h0042519 . PMID 13602029 . 
  37. 1 2 روزنبلات، فرانك (1962). مبادئ الديناميكا العصبية . سبارتان، نيويورك.
  38. ↑ جوزيف، آر دي (1960). مساهمات في نظرية البيرسيبترون، تقرير مختبر كورنيل للملاحة الجوية رقم VG-11 96--G-7، بوفالو .
  39. ↑ إيفاخنينكو، أ.ج.؛ لابا، ف.ج. (1967). علم التحكم الآلي وتقنيات التنبؤ . شركة النشر الأمريكية إلسيفير. رقم ISBN 978-0-444-00020-0.
  40. ↑ إيفاخنينكو، أ.ج. (مارس 1970). "التنظيم الذاتي الاستدلالي في مشاكل هندسة التحكم الآلي" . أوتوماتيكا . 6 (2): 207-219 . Bibcode : 1970Autom...6..207I . doi : 10.1016/0005-1098(70)90092-0 .
  41. 1 2 إيفاخنينكو، أليكسي (1971). "نظرية كثيرات الحدود للأنظمة المعقدة" (ملف PDF) . معاملات IEEE في الأنظمة والإنسان وعلم التحكم الآلي . SMC-1 (4): 364-378 . Bibcode : 1971ITSMC...1..364I . doi : 10.1109/TSMC.1971.4308320 . مؤرشف (ملف PDF) من الأصل بتاريخ 29-08-2017 . تم الاسترجاع بتاريخ 05-11-2019 .
  42. ↑ روبنز، هـ .؛ مونرو، س. (1951). "طريقة تقريبية عشوائية" . حوليات الإحصاء الرياضي . 22 (3): 400. doi : 10.1214/aoms/1177729586 .
  43. ↑ أماري، شونيتشي (يونيو 1967). "نظرية مصنفات الأنماط التكيفية". معاملات IEEE في الحواسيب الإلكترونية . EC-16 (3): 299-307 . Bibcode : 1967ITECm..16..299A . doi : 10.1109/PGEC.1967.264666 .
  44. ↑ راماشاندران، براجيت؛ باريت، زوف؛ كوك، في. لي (16 أكتوبر 2017). "البحث عن دوال التنشيط". arXiv : 1710.05941 [ cs.NE ].
  45. ↑ فوكوشيما، ك. (1979). "نموذج شبكة عصبية لآلية التعرف على الأنماط غير المتأثرة بتغير الموضع - نيوكوجنيترون". معاملات IECE (باللغة اليابانية) . J62-A (10): 658-665 . doi : 10.1007/bf00344251 . PMID 7370364 . 
  46. ↑ فوكوشيما، ك. (1980). "نيوكوجنيترون: نموذج شبكة عصبية ذاتية التنظيم لآلية التعرف على الأنماط غير المتأثرة بتغير الموقع". علم التحكم الحيوي . 36 (4): 193-202 . doi : 10.1007/bf00344251 . PMID 7370364 . 
  47. ↑ لايبنتز، غوتفريد فيلهلم فرايهر فون (1920). المخطوطات الرياضية المبكرة للايبنتز: مترجمة من النصوص اللاتينية، نشرها كارل إيمانويل غيرهاردت مع ملاحظات نقدية وتاريخية (نشر لايبنتز قاعدة السلسلة في مذكراته عام 1676) . دار نشر أوبن كورت. رقم ISBN 978-0-598-81846-1.{{cite book}}عدم توافق رقم ISBN / التاريخ ( مساعدة )
  48. ↑ كيلي، هنري ج. (1960). "نظرية التدرج لمسارات الطيران المثلى". مجلة ARS . 30 (10): 947-954 . doi : 10.2514/8.5282 .
  49. ↑ لينينما، سيبو (1970). تمثيل الخطأ التراكمي للتقريب في خوارزمية ما كتوسيع تايلور لأخطاء التقريب المحلية (رسالة ماجستير) (باللغة الفنلندية). جامعة هلسنكي. ص 6-7 . 
  50. ↑ لينينما، سيبو (1976). "توسيع تايلور لخطأ التقريب المتراكم". الرياضيات العددية في BIT . 16 (2): 146-160 . doi : 10.1007/bf01931367 .
  51. ↑ أوستروفسكي، جي إم، فولين، واي إم، وبوريس، دبليو دبليو (1971). حول حساب المشتقات. مجلة العلوم التقنية للكيمياء، 13: 382-384.
  52. 1 2 شميدهوبر، يورغن (25 أكتوبر 2014). "من اخترع خوارزمية الانتشار العكسي؟" . معهد IDSIA، سويسرا. مؤرشف من الأصل في 30 يوليو 2024. تم الاطلاع عليه في 14 سبتمبر 2024 .
  53. ↑ ويربوس، بول (1982). "تطبيقات التطورات في تحليل الحساسية غير الخطية" (ملف PDF) . نمذجة الأنظمة وتحسينها . سبرينغر. الصفحات 762-770 . مؤرشف (ملف PDF) من الأصل في 14 أبريل 2016. تم الاطلاع عليه في 2 يوليو 2017 . 
  54. ↑ ويربوس، بول ج. (1994). جذور الانتشار العكسي: من المشتقات المرتبة إلى الشبكات العصبية والتنبؤ السياسي . نيويورك: جون وايلي وأولاده. ISBN 0-471-59897-6.
  55. ↑ روميلهارت، ديفيد إي.؛ هينتون، جيفري إي.؛ ويليامز، رونالد جيه. (أكتوبر 1986). "تعلم التمثيلات عن طريق نشر الأخطاء عكسيًا". مجلة نيتشر . 323 (6088): 533-536 . رمز Bibcode : 1986Natur.323..533R . doi : 10.1038/323533a0 .
  56. ↑ روميلهارت، ديفيد إي.؛ هينتون، جيفري إي.؛ ويليامز، رونالد جيه. (1985). تعلم التمثيلات الداخلية عن طريق نشر الخطأ (ملف PDF) (تقرير). DTIC ADA164453 . مؤرشف من الأصل (ملف PDF) بتاريخ 13 أكتوبر 2022.
  57. ↑ وايبيل، أليكس (ديسمبر 1987). التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني (ملف PDF) . اجتماع معهد مهندسي الكهرباء والمعلومات والاتصالات (IEICE). طوكيو، اليابان.
  58. ↑ وايبيل، أ.؛ هانازاوا، ت.؛ هينتون، ج.؛ شيكانو، ك.؛ لانغ، ك.ج. (مارس 1989). "التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني". معاملات IEEE في الصوتيات والكلام ومعالجة الإشارات . 37 (3): 328-339 . Bibcode : 1989ITASS..37..328W . doi : 10.1109/29.21701 .
  59. ↑ تشانغ، وي (1988). "شبكة عصبية للتعرف على الأنماط غير المتغيرة مع الإزاحة وبنيتها البصرية" . وقائع المؤتمر السنوي للجمعية اليابانية للفيزياء التطبيقية .
  60. ↑ لوكون، واي.؛ بوسر، بي.؛ دينكر، جيه إس.؛ هندرسون، دي.؛ هوارد، آر إي.؛ هوبارد، دبليو.؛ جاكيل، إل دي. (ديسمبر 1989). "تطبيق خوارزمية الانتشار العكسي على التعرف على الرموز البريدية المكتوبة بخط اليد". الحوسبة العصبية . 1 (4): 541-551 . doi : 10.1162/neco.1989.1.4.541 .
  61. ↑ تشانغ، وي؛ إيتو، كازويوشي؛ تانيدا، جون؛ إيتشيوكا، يوشيكي (10 نوفمبر 1990). "نموذج معالجة موزعة متوازية مع وصلات محلية ثابتة مكانيًا وبنيته البصرية". البصريات التطبيقية . 29 (32): 4790-4797 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/AO.29.004790 . PMID 20577468 . 
  62. ↑ تشانغ، وي؛ هاسيغاوا، أكيرا؛ إيتو، كازويوشي؛ إيتشيوكا، يوشيكي (10 أكتوبر 1991). "معالجة صور بطانة القرنية البشرية باستخدام شبكة تعلم". البصريات التطبيقية . 30 (29): 4211-4217 . Bibcode : 1991ApOpt..30.4211Z . doi : 10.1364/AO.30.004211 . PMID 20706526 . 
  63. ↑ تشانغ، وي (1994). "الكشف المحوسب عن التكلسات الدقيقة المتجمعة في صور الثدي الرقمية باستخدام شبكة عصبية اصطناعية ثابتة الإزاحة". الفيزياء الطبية . 21 (4): 517-24 . Bibcode : 1994MedPh..21..517Z . doi : 10.1118/1.597177 . PMID 8058017 . 
  64. ↑ لوكون، يان؛ ليون بوتو؛ يوشوا بنجيو؛ باتريك هافنر (1998). "التعلم القائم على التدرج المطبق على التعرف على المستندات" (ملف PDF) . وقائع معهد مهندسي الكهرباء والإلكترونيات . 86 (11): 2278-2324 . رمز Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .
  65. ↑ جوردان، مايكل آي. (1986). "ديناميكيات الجذب والتوازي في آلة تسلسلية اتصالية" . وقائع الاجتماع السنوي لجمعية العلوم المعرفية . 8 .
  66. ↑ إلمان، جيفري ل. (مارس 1990). "إيجاد البنية في الزمن". العلوم المعرفية . 14 (2): 179-211 . doi : 10.1207/s15516709cog1402_1 .
  67. 1 2 3 شميدهوبر، يورغن (أبريل 1991). "مجزئات التسلسل العصبي" (ملف PDF) . TR FKI-148، جامعة ميونخ التقنية .
  68. 1 2 شميدهوبر، يورغن (مارس 1992). "تعلم التسلسلات المعقدة والممتدة باستخدام مبدأ ضغط التاريخ". الحوسبة العصبية . 4 (2): 234-242 . Bibcode : 1992NeCom...4..234S . doi : 10.1162/neco.1992.4.2.234 .
  69. ↑ شميدهوبر، يورغن (1993). أطروحة التأهيل: نمذجة النظم وتحسينها (ملف PDF) . مؤرشفة من الأصل (ملف PDF) في 16 مايو 2022.توضح الصفحة 150 وما يليها عملية تخصيص الاعتمادات عبر ما يعادل 1200 طبقة في شبكة عصبية متكررة غير مطوية.
  70. 1 2 3 S. Hochreiter., " Unter suchungen zu dynamischen neuronalen Netzen ". أرشفة 2015-03-06 في آلة Wayback .. أطروحة الدبلوم. معهد ف. المعلوماتية، الجامعة التقنية. ميونيخ. المستشار: ج. شميدهوبر ، 1991.
  71. ↑ هوكريتر، س.؛ وآخرون . (15 يناير 2001). "تدفق التدرج في الشبكات المتكررة: صعوبة تعلم التبعيات طويلة المدى" . في: كولين، جون ف.؛ كريمر، ستيفان س. (محرران). دليل ميداني للشبكات المتكررة الديناميكية . جون وايلي وأولاده. ISBN  978-0-7803-5369-5.
  72. ^ سيب هوشريتر . يورغن شميدهوبر (21 أغسطس 1995)، الذاكرة طويلة المدى ، ويكي بيانات Q98967430 
  73. ↑ جيرز، فيليكس؛ شميدهوبر، يورغن؛ كومينز، فريد (1999). "التعلم من النسيان: التنبؤ المستمر باستخدام LSTM". المؤتمر الدولي التاسع للشبكات العصبية الاصطناعية: ICANN '99 . المجلد 1999. الصفحات 850-855 . doi : 10.1049/cp:19991218 . ISBN   0-85296-721-7.
  74. 1 2 شميدهوبر، يورغن (1991). "إمكانية تطبيق الفضول والملل في وحدات التحكم العصبية لبناء النماذج" . من الحيوانات إلى الروبوتات . ص 222-228 . doi : 10.7551/mitpress/3115.003.0030 . ISBN  978-0-262-25667-4.
  75. ↑ شميدهوبر، يورغن (2010). "النظرية الرسمية للإبداع والمرح والدافعية الذاتية (1990-2010)". معاملات IEEE في التطور العقلي المستقل . 2 (3): 230-247 . Bibcode : 2010ITAMD...2..230S . doi : 10.1109/TAMD.2010.2056368 .
  76. 1 2 شميدهوبر، يورغن (2020). "الشبكات التوليدية التنافسية هي حالات خاصة من الفضول الاصطناعي (1990) وترتبط ارتباطًا وثيقًا بتقليل القدرة على التنبؤ (1991)". الشبكات العصبية . 127 : 58-66 . arXiv : 1906.04493 . doi : 10.1016/j.neunet.2020.04.008 . PMID 32334341 . 
  77. ↑ أكلي، د؛ هينتون، ج؛ سيجنوفسكي، ت (مارس 1985). "خوارزمية تعلم لآلات بولتزمان". العلوم المعرفية . 9 (1): 147-169 . doi : 10.1016/S0364-0213(85)80012-4 .
  78. ↑ سمولينسكي، بول (1986). "الفصل 6: معالجة المعلومات في الأنظمة الديناميكية: أسس نظرية التناغم" (ملف PDF) . في روميلهارت، ديفيد إي.؛ ماكليلاند، جيمس إل. (محرران). المعالجة الموزعة المتوازية: استكشافات في البنية الدقيقة للإدراك، المجلد 1: الأسس . مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 194-281 . ISBN  0-262-68053-X.
  79. ↑ بيتر، دايان ؛ هينتون، جيفري إي.؛ نيل ، رادفورد إم .؛ زيميل، ريتشارد إس. (1995). "آلة هيلمهولتز". الحوسبة العصبية . 7 (5): 889-904 . doi : 10.1162/neco.1995.7.5.889 . hdl : 21.11116/0000-0002-D6D3-E . PMID 7584891 . رمز الوصول المغلق
  80. ↑ هينتون، جيفري إي .؛ دايان، بيتر ؛ فراي، بريندان جيه .؛ نيل، رادفورد (26 مايو 1995). "خوارزمية اليقظة والنوم للشبكات العصبية غير الخاضعة للإشراف". مجلة ساينس . 268 (5214): 1158-1161 . رمز Bibcode : 1995Sci...268.1158H . doi : 10.1126/science.7761831 . PMID 7761831 . 
  81. ↑ سيجنوفسكي، تيرينس ج. (2018). ثورة التعلم العميق . كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا . ISBN 978-0-262-03803-4.
  82. ↑ تشيان، نينغ؛ سيجنوفسكي، تيرينس جيه. (20 أغسطس 1988). "التنبؤ بالبنية الثانوية للبروتينات الكروية باستخدام نماذج الشبكات العصبية". مجلة البيولوجيا الجزيئية . 202 (4): 865-884 . Bibcode : 1988JMBio.202..865Q . doi : 10.1016/0022-2836(88)90564-5 . ISSN: 0022-2836 . PMID: 3172241 .  
  83. ↑ مورغان، نيلسون؛ بورلار، هيرفيه؛ رينالز، ستيف؛ كوهين، مايكل؛ فرانكو، هوراسيو (1 أغسطس 1993). "أنظمة الشبكات العصبية الهجينة/نماذج ماركوف المخفية للتعرف على الكلام المتواصل". المجلة الدولية للتعرف على الأنماط والذكاء الاصطناعي . 7 (4): 899-916 . doi : 10.1142/s0218001493000455 . ISSN 0218-0014 . 
  84. ↑ روبنسون، ت. (1992). "نظام التعرف على الكلمات في الوقت الحقيقي باستخدام شبكة انتشار الخطأ المتكرر". [ وقائع ] ICASSP-92: المؤتمر الدولي لعام 1992 لمعهد مهندسي الكهرباء والإلكترونيات حول الصوتيات والكلام ومعالجة الإشارات . الصفحات 617-620، المجلد 1. doi : 10.1109/ICASSP.1992.225833 . ISBN  0-7803-0532-9.
  85. ↑ وايبيل، أ.؛ هانازاوا، ت.؛ هينتون، ج.؛ شيكانو، ك.؛ لانغ، ك.ج. (مارس 1989). "التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني". معاملات IEEE في الصوتيات والكلام ومعالجة الإشارات . 37 (3): 328-339 . Bibcode : 1989ITASS..37..328W . doi : 10.1109/29.21701 . hdl : 10338.dmlcz/135496 .
  86. ↑ بيكر، ج.؛ دينغ، لي؛ غلاس، جيم؛ خودانبور، س.؛ لي، سي.-إتش.؛ مورغان، ن.؛ أوشوغنيسي، د. (2009). "تطورات البحث واتجاهاته في التعرف على الكلام وفهمه، الجزء 1". مجلة معالجة الإشارات IEEE . 26 (3): 75-80 . Bibcode : 2009ISPM...26...75B . doi : 10.1109/msp.2009.932166 . hdl : 1721.1/51891 .
  87. ↑ بينجيو، ي. (1991). "الشبكات العصبية الاصطناعية وتطبيقها في التعرف على الكلام/التسلسل" . أطروحة دكتوراه، جامعة ماكجيل. مؤرشفة من الأصل بتاريخ 9 مايو 2021. تم الاطلاع عليها بتاريخ 12 يونيو 2017 .
  88. ↑ دينغ، ل.؛ حسنين، ك.؛ المصري، م. (1994). "تحليل بنية الارتباط لنموذج تنبؤي عصبي مع تطبيقات في التعرف على الكلام". الشبكات العصبية . 7 (2): 331-339 . doi : 10.1016/0893-6080(94)90027-2 .
  89. ↑ دودينغتون، ج.؛ برزيبوكي، م.؛ مارتن، أ.؛ رينولدز، د. (2000). "تقييم التعرف على المتحدث من قبل المعهد الوطني للمعايير والتكنولوجيا: نظرة عامة، منهجية، أنظمة، نتائج، منظور". مجلة التواصل الكلامي . 31 (2): 225-254 . doi : 10.1016/S0167-6393(99)00080-1 .
  90. 1 2 هيك، ل.؛ كونيغ، ي.؛ سونميز، م.؛ وينتروب، م. (2000). "مقاومة تشوه سماعة الهاتف في التعرف على المتحدث من خلال تصميم الميزات التمييزية". اتصالات الكلام . 31 (2): 181-192 . doi : 10.1016/s0167-6393(99)00077-1 .
  91. ↑ إل بي هيك و ر. تيونين. "معاملات آمنة ومريحة باستخدام Nuance Verifier". مؤتمر مستخدمي Nuance، أبريل 1998.
  92. ↑ "النمذجة الصوتية باستخدام الشبكات العصبية العميقة وإشارة الوقت الخام لتقنية التعرف على الصوت منخفض التردد (ملف PDF متاح للتنزيل)" . ResearchGate . مؤرشف من الأصل في 9 مايو 2021. تم الاطلاع عليه في 14 يونيو 2017 .
  93. 1 2 غريفز، أليكس؛ إيك، دوغلاس؛ بيرينجر، نيكول؛ شميدهوبر، يورغن (2003). "التعرف على الكلام ذي المصداقية البيولوجية باستخدام الشبكات العصبية LSTM" (ملف PDF) . ورشة العمل الدولية الأولى حول المناهج المستوحاة بيولوجيًا لتكنولوجيا المعلومات المتقدمة، Bio-ADIT 2004، لوزان، سويسرا . الصفحات 175-184 . مؤرشف من الأصل (ملف PDF) بتاريخ 2017-07-06 . تم الاطلاع عليه بتاريخ 2016-04-09 . 
  94. ↑ غريفز، أليكس؛ فرنانديز، سانتياغو؛ غوميز، فاوستينو؛ شميدهوبر، يورغن (2006). "التصنيف الزمني الترابطي: تصنيف بيانات التسلسل غير المجزأة باستخدام الشبكات العصبية المتكررة". وقائع المؤتمر الدولي الثالث والعشرين للتعلم الآلي - ICML '06 . الصفحات 369-376 . doi : 10.1145/1143844.1143891 . ISBN  1-59593-383-2.
  95. ↑ فرنانديز، سانتياغو؛ غريفز، أليكس؛ شميدهوبر، يورغن (2007). "تطبيق الشبكات العصبية المتكررة على تحديد الكلمات المفتاحية التمييزية" . الشبكات العصبية الاصطناعية - المؤتمر الدولي للشبكات العصبية الاصطناعية 2007. سلسلة محاضرات في علوم الحاسوب. المجلد 4669. الصفحات 220-229 . doi : 10.1007/978-3-540-74695-9_23 . ISBN   978-3-540-74693-5.
  96. ↑ غريفز، أليكس؛ شميدهوبر، يورغن (2008). "التعرف على الكتابة اليدوية دون اتصال بالإنترنت باستخدام الشبكات العصبية المتكررة متعددة الأبعاد" . التطورات في أنظمة معالجة المعلومات العصبية . 21 .
  97. هينتون ، جيفري إي . (أكتوبر 2007). "تعلم طبقات متعددة من التمثيل". اتجاهات في العلوم المعرفية . 11 (10): 428-434 . doi : 10.1016/j.tics.2007.09.004 . PMID 17921042 . 
  98. ↑ هينتون، جيفري إي؛ أوسينديرو، سيمون؛ تيه، يي-واي (يوليو 2006). "خوارزمية تعلم سريعة لشبكات الاعتقاد العميق". الحوسبة العصبية . 18 (7): 1527-1554 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 . 
  99. ↑ هينتون، جيفري إي؛ أوسينديرو، سيمون؛ تيه، يي-واي (يوليو 2006). "خوارزمية تعلم سريعة لشبكات الاعتقاد العميق". الحوسبة العصبية . 18 (7): 1527-1554 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 . 
  100. ↑ هينتون، جيفري (2009). "شبكات الاعتقاد العميق" . موسوعة سكولاربيديا . 4 (5): 5947. رمز Bibcode : 2009SchpJ...4.5947H . doi : 10.4249/scholarpedia.5947 .
  101. ↑ ليكان، يان (24 مارس 2016). التعلم العميق ومستقبل الذكاء الاصطناعي . ندوة سيرن .
  102. هينتون، جيفري؛ دينغ، لي؛ يو، دونغ؛ دال، جورج؛ محمد، عبد الرحمن؛ جايتلي، نافديب؛ سينيور، أندرو؛ فان هوك، فنسنت؛ نغوين، باتريك؛ ساينث، تارا؛ كينغسبري، برايان (نوفمبر 2012). "الشبكات العصبية العميقة للنمذجة الصوتية في التعرف على الكلام: وجهات النظر المشتركة لأربع مجموعات بحثية". مجلة معالجة الإشارات IEEE . 29 (6): 82-97 . Bibcode : 2012ISPM...29...82H . doi : 10.1109/msp.2012.2205597 .
  103. 1 2 3 دينغ، لي؛ هينتون، جيفري؛ كينغسبري، برايان (2013). "أنواع جديدة من تعلم الشبكات العصبية العميقة للتعرف على الكلام والتطبيقات ذات الصلة: نظرة عامة". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات IEEE لعام 2013. الصفحات 8599-8603 . doi : 10.1109/ICASSP.2013.6639344 . ISBN  978-1-4799-0356-6.
  104. يو ، دونغ ؛ دينغ، لي (2015). التعرف التلقائي على الكلام . تكنولوجيا الإشارات والاتصالات. doi : 10.1007/978-1-4471-5779-3 . ISBN 978-1-4471-5778-6.
  105. ↑ «دينغ يحصل على جائزة الإنجاز التقني المرموقة من معهد مهندسي الكهرباء والإلكترونيات - مايكروسوفت للأبحاث» . مايكروسوفت للأبحاث . 3 ديسمبر 2015. مؤرشف من الأصل في 16 مارس 2018. تم الاطلاع عليه في 16 مارس 2018 .
  106. 1 2 لي، دينغ (سبتمبر 2014). "محاضرة رئيسية: 'إنجازات وتحديات التعلم العميق - من تحليل الكلام والتعرف عليه إلى معالجة اللغة والوسائط المتعددة'"" . Interspeech . مؤرشف من الأصل بتاريخ 2017-09-26 . تم الاسترجاع بتاريخ 2017-06-12 .
  107. ↑ يو، د.؛ دينغ، ل. (2010). "أدوار التدريب المسبق والضبط الدقيق في نماذج ماركوف المخفية ذات الشبكات العميقة المعتمدة على السياق للتعرف على الكلام في العالم الحقيقي" . ورشة عمل NIPS حول التعلم العميق وتعلم الميزات غير الخاضع للإشراف . مؤرشف من الأصل بتاريخ 12 أكتوبر 2017. تم الاسترجاع بتاريخ 14 يونيو 2017 .
  108. ↑ سايد، فرانك؛ لي، غانغ؛ يو، دونغ (2011). "نسخ الكلام الحواري باستخدام الشبكات العصبية العميقة المعتمدة على السياق". إنترسبيتش 2011. ص 437-440 . doi : 10.21437/Interspeech.2011-169 . 
  109. ↑ دينغ، لي؛ لي، جينيو؛ هوانغ، جوي-تينغ؛ ياو، كايشنغ؛ يو، دونغ؛ سايد، فرانك؛ سيلتزر، مايكل؛ زويج، جيف؛ هي، شياودونغ؛ ويليامز، جيسون؛ غونغ، ييفان؛ أسيرو، أليكس (2013). "التطورات الحديثة في التعلم العميق لأبحاث الكلام في مايكروسوفت". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات IEEE لعام 2013. الصفحات 8604-8608 . doi : 10.1109/ICASSP.2013.6639345 . ISBN  978-1-4799-0356-6.
  110. 1 2 أوه، كيه-إس؛ جونغ، كيه (2004). "تنفيذ الشبكات العصبية باستخدام وحدة معالجة الرسومات". التعرف على الأنماط . 37 (6): 1311-1314 . Bibcode : 2004PatRe..37.1311O . doi : 10.1016/j.patcog.2004.01.013 .
  111. 1 2 تشيلابيلا، كومار؛ بوري، سيد؛ سيمارد، باتريس (2006)، شبكات عصبية التفافية عالية الأداء لمعالجة المستندات ، مؤرشفة من الأصل في 18-05-2020 ، تم استرجاعها في 14-02-2021
  112. ↑ سزي، فيفيان ؛ تشين، يو-هسين؛ يانغ، تيان-جو؛ إيمر، جويل (2017). "المعالجة الفعالة للشبكات العصبية العميقة: دليل ودراسة استقصائية". arXiv : 1703.09039 [ cs.CV ].
  113. ↑ راينا، راجات؛ مادهافان، أناند؛ نغ، أندرو واي. (2009). "التعلم العميق غير الخاضع للإشراف على نطاق واسع باستخدام معالجات الرسومات". وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي . الصفحات 873-880 . doi : 10.1145/1553374.1553486 . ISBN  978-1-60558-516-1.
  114. ↑ سيريسان، دان كلاوديو؛ ماير، أولي؛ غامبارديلا، لوكا ماريا؛ شميدهوبر، يورغن (21 سبتمبر 2010). "شبكات عصبية عميقة وكبيرة وبسيطة للتعرف على الأرقام المكتوبة بخط اليد". الحوسبة العصبية . 22 (12): 3207-3220 . arXiv : 1003.0358 . Bibcode : 2010NeCom..22.3207C . doi : 10.1162/neco_a_00052 . PMID 20858131 . 
  115. ↑ . دوى : 10.5591/978-1-57735-516-8/ijcai11-210 .{{cite journal}}: يتطلب الاستشهاد بالمجلة |journal=( مساعدة ) ؛ مفقود أو فارغ |title=( مساعدة )
  116. ↑ سيريسان، دان؛ جوستي، أليساندرو؛ غامبارديلا، لوكا م.؛ شميدهوبر، يورغن (2012). بيريرا، ف.؛ بورجيس، سي جيه سي؛ بوتو، ل.؛ واينبرغر، كيو كيو (محررون). التطورات في أنظمة معالجة المعلومات العصبية 25 (ملف PDF) . كوران أسوشيتس، إنك.، الصفحات 2843-2851 . مؤرشف (ملف PDF) من الأصل بتاريخ 9 أغسطس 2017. تم الاطلاع عليه بتاريخ 13 يونيو 2017 . 
  117. ↑ سيريسان، د.؛ جوستي، أ.؛ جامبارديلا، ل.م.؛ شميدهوبر، ج. (2013). "الكشف عن الانقسام الخلوي في صور الأنسجة لسرطان الثدي باستخدام الشبكات العصبية العميقة". الحوسبة الطبية للصور والتدخل بمساعدة الحاسوب - MICCAI 2013. سلسلة محاضرات في علوم الحاسوب. المجلد 7908. الصفحات 411-418 . doi : 10.1007/978-3-642-40763-5_51 . ISBN   978-3-642-38708-1PMID 24579167​​ 
  118. ↑ نغ، أندرو؛ دين، جيف (2012). "بناء ميزات عالية المستوى باستخدام التعلم غير الخاضع للإشراف على نطاق واسع". arXiv : 1112.6209 [ cs.LG ].
  119. ↑ سيمونيان، كارين؛ أندرو، زيسرمان (2014). "شبكات الالتفاف العميق للغاية للتعرف على الصور واسعة النطاق". arXiv : 1409.1556 [ cs.CV ].
  120. ↑ سيجيدي، كريستيان (2015). "التعمق أكثر في الالتفافات" (ملف PDF) . Cvpr2015 . arXiv : 1409.4842 .
  121. ↑ فينيالز، أوريول؛ توشيف، ألكسندر؛ بينجيو، سامي؛ إرهان، دوميترو (2014). "Show and Tell: A Neural Image Caption Generator". arXiv : 1411.4555 [ cs.CV ]..
  122. ↑ فانغ، هاو؛ غوبتا، سوراب؛ إياندولا، فورست؛ سريفاستافا، روبيش؛ دينغ، لي؛ دولار، بيوتر؛ غاو، جيانفينغ؛ هي، شياودونغ؛ ميتشل، مارغريت؛ بلات، جون سي؛ لورانس زيتنيك، سي؛ زويج، جيفري (2014). "من التعليقات التوضيحية إلى المفاهيم البصرية والعودة". arXiv : 1411.4952 [ cs.CV ]..
  123. ↑ كيروس، ريان؛ سالاخوتدينوف، روسلان؛ زيميل، ريتشارد س (2014). "توحيد التضمينات البصرية الدلالية مع نماذج اللغة العصبية متعددة الوسائط". arXiv : 1411.2539 [ cs.LG ]..
  124. ↑ سيمونيان، كارين؛ زيسرمان، أندرو (2014). "شبكات الالتفاف العميقة جدًا للتعرف على الصور واسعة النطاق". arXiv : 1409.1556 [ cs.CV ].
  125. ↑ هي، كايمينغ؛ تشانغ، شيانغيو؛ رين، شاوكينغ؛ صن، جيان (2016). "التعمق في المصححات: تجاوز الأداء البشري في تصنيف ImageNet". arXiv : 1502.01852 [ cs.CV ].
  126. 1 2 هي، كايمينغ؛ تشانغ، شيانغيو؛ رن، شاوكينغ؛ صن، جيان (2016). "التعلم العميق المتبقي للتعرف على الصور". مؤتمر IEEE لعام 2016 حول رؤية الحاسوب والتعرف على الأنماط (CVPR) . الصفحات 770-778 . arXiv : 1512.03385 . doi : 10.1109/CVPR.2016.90 . ISBN  978-1-4673-8851-1.
  127. ↑ جاتيس، ليون أ.؛ إيكر، ألكسندر س.؛ بيثج، ماتياس (26 أغسطس 2015). "خوارزمية عصبية للأسلوب الفني". arXiv : 1508.06576 [ cs.CV ].
  128. ↑ غودفيلو، إيان؛ بوجيه-أبادي، جان؛ ميرزا، مهدي؛ شو، بينغ؛ وارد-فارلي، ديفيد؛ أوزير، شيرجيل؛ كورفيل، آرون؛ بينجيو، يوشوا (2014). الشبكات التوليدية التنافسية (ملف PDF) . وقائع المؤتمر الدولي لأنظمة معالجة المعلومات العصبية (NIPS 2014). الصفحات 2672-2680 . مؤرشف (ملف PDF) من الأصل في 22 نوفمبر 2019. تم الاطلاع عليه في 20 أغسطس 2019 . 
  129. ↑ "GAN 2.0: مولد الوجوه الواقعية للغاية من NVIDIA" . SyncedReview.com . 14 ديسمبر 2018. تم الاطلاع عليه في 3 أكتوبر 2019 .
  130. ↑ كاراس، ت.؛ آيلا، ت.؛ لاين، س.؛ ليتينين، ج. (26 فبراير 2018). "النمو التدريجي لشبكات GANs لتحسين الجودة والاستقرار والتنوع". arXiv : 1710.10196 [ cs.NE ].
  131. ↑ "استعد، لا تفزع: الوسائط الاصطناعية والتزييف العميق" . موقع witness.org. مؤرشف من الأصل بتاريخ 2 ديسمبر 2020. تم الاطلاع عليه بتاريخ 25 نوفمبر 2020 .
  132. ↑ سول-ديكستين، ياشا؛ فايس، إريك؛ ماهيسواراناثان، نيرو؛ جانجولي، سوريا (2015-06-01). "التعلم العميق غير الخاضع للإشراف باستخدام الديناميكا الحرارية غير المتوازنة" (ملف PDF) . وقائع المؤتمر الدولي الثاني والثلاثين للتعلم الآلي . 37. PMLR: 2256–2265 . arXiv : 1503.03585 .
  133. ↑ مدونة أبحاث جوجل. الشبكات العصبية وراء تحويل الصوت إلى نص في جوجل. ١١ أغسطس ٢٠١٥. بقلم فرانسواز بوفايس http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html
  134. 1 2 ساك، هاشم؛ سينيور، أندرو؛ راو، كانيشكا؛ بوفايس، فرانسواز؛ شالكويك، يوهان (سبتمبر 2015). "البحث الصوتي من جوجل: أسرع وأكثر دقة" . مؤرشف من الأصل في 9 مارس 2016. تم الاطلاع عليه في 9 أبريل 2016 .
  135. ↑ سينغ، بريمجيت؛ ساها، غوتام؛ شهيد الله، محمد (2021). "تشويه التردد غير الخطي باستخدام تحويل Q الثابت للتعرف على المشاعر في الكلام". المؤتمر الدولي للاتصالات الحاسوبية والمعلوماتية 2021 (ICCCI) . الصفحات 1-4 . arXiv : 2102.04029 . doi : 10.1109/ICCCI50826.2021.9402569 . ISBN  978-1-7281-5875-4.
  136. ↑ ساك، هاشم؛ سينيور، أندرو؛ بوفاي، فرانسواز (2014). "بنى الشبكات العصبية المتكررة القائمة على الذاكرة طويلة المدى للتعرف على الكلام ذي المفردات الكبيرة". arXiv : 1402.1128 [ cs.NE ].
  137. ↑ لي، شيانغانغ؛ وو، شيهونغ (2014). "بناء شبكات عصبية متكررة عميقة قائمة على الذاكرة طويلة المدى للتعرف على الكلام ذي المفردات الكبيرة". arXiv : 1410.4281 [ cs.CL ].
  138. ↑ زين، هيغا؛ ساك، هاشم (2015). "شبكة عصبية متكررة أحادية الاتجاه للذاكرة طويلة المدى قصيرة المدى مع طبقة إخراج متكررة لتوليف الكلام منخفض زمن الاستجابة". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات (ICASSP) لعام 2015. الصفحات 4470-4474 . doi : 10.1109/ICASSP.2015.7178816 . ISBN  978-1-4673-6997-8.
  139. ↑ "الفائزون بجائزة تورينج لعام 2018 من جمعية آلات الحوسبة" . awards.acm.org . تم الاطلاع عليه بتاريخ 7 أغسطس 2024 .
  140. ↑ فيري، سي.، وكايزر، إس. (2019). الشبكات العصبية للأطفال . دار سورس بوكس ​​للنشر. رقم ISBN 978-1-4926-7120-6.{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  141. ↑ سيلفر، ديفيد؛ هوانغ، آجا؛ ماديسون، كريس جيه؛ غيز، آرثر؛ سيفري، لوران؛ دريسش، جورج فان دن؛ شريتويزر، جوليان؛ أنطونوغلو، يوانيس؛ بانيرشيلفام، فيدا (يناير 2016). "إتقان لعبة غو باستخدام الشبكات العصبية العميقة وبحث الشجرة". مجلة نيتشر . 529 (7587): 484-489 . Bibcode : 2016Natur.529..484S . doi : 10.1038/nature16961 . ISSN 1476-4687 . PMID 26819042 .  
  142. ↑ دليل التعلم العميق والشبكات العصبية ، مؤرشف من الأصل بتاريخ 2020-11-02 ، تم الاطلاع عليه بتاريخ 2020-11-16
  143. 1 2 كومار، نيشانت؛ راوبال، مارتن (2021). "تطبيقات التعلم العميق في كشف الازدحام والتنبؤ به وتخفيفه: دراسة استقصائية" . أبحاث النقل، الجزء ج: التقنيات الناشئة . 133 103432. arXiv : 2102.09759 . Bibcode : 2021TRPC..13303432K . doi : 10.1016/j.trc.2021.103432 . hdl : 10230/42143 .
  144. ↑ سيجيدي، كريستيان؛ توشيف، ألكسندر؛ إرهان، دوميترو (2013). "الشبكات العصبية العميقة للكشف عن الأجسام" . التطورات في أنظمة معالجة المعلومات العصبية : 2553-2561 . مؤرشف من الأصل بتاريخ 29-06-2017 . تم الاسترجاع بتاريخ 13-06-2017 .
  145. ↑ رولنيك، ديفيد؛ تيغمارك، ماكس (2018). "قوة الشبكات العميقة في التعبير عن الوظائف الطبيعية" . المؤتمر الدولي لتمثيلات التعلم . ICLR 2018. مؤرشف من الأصل بتاريخ 7 يناير 2021. تم الاطلاع عليه بتاريخ 5 يناير 2021 .
  146. ↑ هوف، روبرت د. "هل بات الذكاء الاصطناعي أخيراً في أوج عطائه؟" . مجلة إم آي تي ​​للتكنولوجيا . مؤرشف من الأصل في 31 مارس 2019. تم الاطلاع عليه في 10 يوليو 2018 .
  147. 1 2 جيرز، ف. أ.؛ شميدهوبر، إ. (نوفمبر 2001). "شبكات LSTM المتكررة تتعلم لغات بسيطة خالية من السياق ولغات حساسة للسياق". معاملات IEEE في الشبكات العصبية . 12 (6): 1333-1340 . Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962 . 
  148. 1 2 3 سوتسكيفر، ل.؛ فينيالز، أ.؛ لي، ك. (2014). "التعلم من تسلسل إلى تسلسل باستخدام الشبكات العصبية" (ملف PDF) . وقائع مؤتمر NIPS . arXiv : 1409.3215 . Bibcode : 2014arXiv1409.3215S . مؤرشف (PDF) من الأصل بتاريخ 2021-05-09 . تم الاطلاع عليه بتاريخ 2017-06-13 .
  149. 1 2 جوزيفوفيتش، رافال؛ فينيالز، أوريول؛ شوستر، مايك؛ شازير، نوام؛ وو، يونغهوي (2016). "استكشاف حدود نمذجة اللغة". arXiv : 1602.02410 [ cs.CL ].
  150. 1 2 جيليك، دان؛ برونك، كليف؛ فينيالز، أوريول؛ سوبرامانيا، أمارناج (2015). "معالجة اللغات المتعددة من البايتات". arXiv : 1512.00103 [ cs.CL ].
  151. ^ ميكولوف، توماس. كارافيات، مارتن؛ بورجيت، لوكاس؛ تشيرنوكي، يناير؛ خودانبور ، سانجيف (2010). “نموذج اللغة المعتمد على الشبكة العصبية المتكررة”. كلام بين الكلام 2010 . الصفحات من 1045 إلى 1048. دوى : 10.21437/Interspeech.2010-343 . 
  152. ^ هوخريتر، سيب. شميدهوبر، يورغن (1 نوفمبر 1997). “الذاكرة طويلة المدى قصيرة المدى”. الحساب العصبي . 9 (8): 1735–1780 . دوى : 10.1162/neco.1997.9.8.1735 . بميد 9377276 . 
  153. 1 2 جيرز، فيليكس أ.؛ شراودولف، نيكول ن.؛ شميدهوبر، يورغن (2002). "تعلم التوقيت الدقيق باستخدام الشبكات المتكررة LSTM" . مجلة أبحاث تعلم الآلة . 3 (أغسطس): 115-143 .
  154. ↑ لوكون، ي.؛ وآخرون (1998). "التعلم القائم على التدرج المطبق على التعرف على المستندات" . وقائع معهد مهندسي الكهرباء والإلكترونيات . 86 (11): 2278-2324 . رمز Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 . 
  155. ↑ ساينث، تارا ن .؛ محمد، عبد الرحمن؛ كينغسبري، برايان؛ رامابادران، بوفانا (2013). "الشبكات العصبية الالتفافية العميقة لمعالجة الصوت والكلام". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات IEEE لعام 2013. الصفحات 8614-8618 . doi : 10.1109/icassp.2013.6639347 . ISBN  978-1-4799-0356-6.
  156. ↑ بينجيو، يوشوا؛ بولانجر-ليفاندوفسكي، نيكولاس؛ باسكانو، رازفان (2013). "تطورات في تحسين الشبكات المتكررة". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات IEEE لعام 2013. الصفحات 8624-8628 . doi : 10.1109/icassp.2013.6639349 . ISBN  978-1-4799-0356-6.
  157. ↑ دال، ج.؛ وآخرون (2013). "تحسين الشبكات العصبية العميقة لتقنية التعرف على الكلام منخفض التردد باستخدام وحدات خطية مصححة وتقنية التسرب" (ملف PDF) . المؤتمر الدولي لمعالجة الإشارات الصوتية والصوتية . مؤرشف (ملف PDF) من النسخة الأصلية بتاريخ 12 أغسطس 2017. تم الاطلاع عليه بتاريخ 13 يونيو 2017 . 
  158. ↑ كومار، نيشانت؛ مارتن، هنري؛ راوبال، مارتن (2024). "تحسين مسارات التنبؤ بحركة المرور على مستوى المدينة باستخدام التعلم العميق من خلال تحليل التعقيد" . علم البيانات للنقل . 6 (3) 24. doi : 10.1007/s42421-024-00109-x . hdl : 20.500.11850/695425 .
  159. ↑ "توسيع البيانات - deeplearning.ai | كورسيرا" . كورسيرا . مؤرشف من الأصل في 1 ديسمبر 2017. تم الاطلاع عليه في 30 نوفمبر 2017 .
  160. ↑ هينتون، جي إي (2010). "دليل عملي لتدريب آلات بولتزمان المقيدة" . تقرير فني UTML TR 2010-003 . مؤرشف من الأصل بتاريخ 9 مايو 2021. تم الاطلاع عليه بتاريخ 13 يونيو 2017 .
  161. ↑ يو، يانغ؛ بولوتش، أيدين؛ ديميل، جيمس (2017). "توسيع نطاق التعلم العميق على وحدات معالجة الرسومات ومجموعات نايتس لاندينغ". وقائع المؤتمر الدولي للحوسبة عالية الأداء والشبكات والتخزين والتحليل . الصفحات 1-12 . arXiv : 1708.02983 . doi : 10.1145/3126908.3126912 . ISBN  978-1-4503-5114-0.
  162. ↑ فيبكي، أندريه؛ ميميتي، سوجب؛ بلانا، صبري؛ أبراهام، أجيث (2019). "CHAOS: مخطط موازاة لتدريب الشبكات العصبية الالتفافية على معالجات Intel Xeon Phi". مجلة الحوسبة الفائقة . 75 : 197-227 . arXiv : 1702.07908 . Bibcode : 2017arXiv170207908V . doi : 10.1007/s11227-017-1994-x .
  163. ↑ تينغ تشين وآخرون. "خوارزمية تعلم لـ CMAC تعتمد على RLS". رسائل المعالجة العصبية 19.1 (2004): 49-61.
  164. ↑ تينغ تشين وآخرون. " CMAC-QRLS المستمر ومصفوفة الانقباض الخاصة به ". مؤرشف في 18-11-2018 على Wayback Machine . رسائل المعالجة العصبية 22.1 (2005): 1-16.
  165. ↑ بحث، الذكاء الاصطناعي (23 أكتوبر 2015). "الشبكات العصبية العميقة للنمذجة الصوتية في التعرف على الكلام" . airesearch.com . مؤرشف من الأصل في 1 فبراير 2016. تم الاطلاع عليه في 23 أكتوبر 2015 .
  166. ↑ "وحدات معالجة الرسومات لا تزال تهيمن على سوق مسرعات الذكاء الاصطناعي في الوقت الحالي" . InformationWeek . ديسمبر 2019. مؤرشف من الأصل في 10 يونيو 2020. تم الاطلاع عليه في 11 يونيو 2020 .
  167. ↑ راي، تيرنان (2019). "الذكاء الاصطناعي يُغيّر طبيعة الحوسبة برمتها" . زد نت . مؤرشف من الأصل في 25 مايو 2020. تم الاطلاع عليه في 11 يونيو 2020 .
  168. ↑ "الذكاء الاصطناعي والحوسبة" . OpenAI . 16 مايو 2018. مؤرشف من الأصل في 17 يونيو 2020. تم الاطلاع عليه في 11 يونيو 2020 .
  169. ↑ "هواوي تكشف عن مستقبل الذكاء الاصطناعي للأجهزة المحمولة في معرض IFA 2017 | آخر أخبار هواوي | هواوي العالمية" . consumer.huawei.com . مؤرشف من الأصل بتاريخ 10 نوفمبر 2021. تم الاطلاع عليه بتاريخ 3 أغسطس 2022 .
  170. ↑ P، JouppiNorman؛ YoungCliff؛ PatilNishant؛ PattersonDavid؛ AgrawalGaurav؛ BajwaRaminder؛ BatesSarah؛ BhatiaSuresh؛ BodenNan؛ BorchersAl؛ BoyleRick (24-06-2017). "تحليل أداء وحدة معالجة الموترات داخل مركز البيانات" . ACM SIGARCH Computer Architecture News . 45 (2): 1–12 . arXiv : 1704.04760 . doi : 10.1145/3140659.3080246 .
  171. ↑ وودي، أليكس (2021-11-01). "سيريبراس يُسرّع أحمال عمل التعلم العميق" . داتانامي . تم الاسترجاع في 2022-08-03 .
  172. ↑ «شركة سيريبراس تطلق معالجًا جديدًا للحوسبة الفائقة للذكاء الاصطناعي مزودًا بـ 2.6 تريليون ترانزستور» . فينشر بيت . 20 أبريل 2021. مؤرشف من الأصل في 17 سبتمبر 2024. تم الاطلاع عليه في 3 أغسطس 2022 .
  173. ^ ماريجا ، جيلهيرم ميجلياتو. تشاو، يانفي؛ أفسار، أحمد؛ وانغ، زينيو؛ تريباتي، موكيش. رادينوفيتش، ألكسندرا؛ كيس، أنراس (2020). "المنطق في الذاكرة يعتمد على أشباه الموصلات الرفيعة ذريًا" . طبيعة . 587 (2): 72– 77. بيب كود : 2020Natur.587...72M . دوى : 10.1038/s41586-020-2861-0 . بمك 7116757 . بميد 33149289 .  
  174. 1 2 3 فيلدمان، ج.؛ يونغبلود، ن.؛ كاربوف، م.؛ وآخرون . (2021). "المعالجة التلافيفية المتوازية باستخدام موتر فوتوني متكامل". نيتشر . 589 (2): 52-58 . arXiv : 2002.00281 . doi : 10.1038/s41586-020-03070-1 . PMID 33408373 .  
  175. ↑ غاروفولو، جيه إس؛ لاميل، إل إف؛ فيشر، دبليو إم؛ فيسكوس، جيه جي؛ باليت، دي إس؛ دالغرين، إن إل؛ زوي، في. (1993). مجموعة بيانات TIMIT الصوتية-النطقية للكلام المتواصل . اتحاد البيانات اللغوية. doi : 10.35111/17gk-bn40 . ISBN 1-58563-019-5تم الاطلاع عليه بتاريخ 27 ديسمبر 2023 .
  176. ↑ روبنسون، توني (30 سبتمبر 1991). "تحسينات متعددة على نظام التعرف على الهواتف باستخدام شبكة انتشار الأخطاء المتكررة". تقرير فني صادر عن قسم الهندسة بجامعة كامبريدج . CUED/F-INFENG/TR82. doi : 10.13140/RG.2.2.15418.90567 .
  177. ↑ عبد الحميد، أسامة؛ محمد، عبد الرحمن؛ جيانغ، هوي؛ دينغ، لي؛ بن، جيرالد؛ يو، دونغ (أكتوبر 2014). "الشبكات العصبية الالتفافية للتعرف على الكلام". معاملات IEEE/ACM في معالجة الصوت والكلام واللغة . 22 (10): 1533-1545 . Bibcode : 2014ITASL..22.1533A . doi : 10.1109/taslp.2014.2339736 .
  178. ↑ دينغ، ل.؛ بلات، ج. (2014). "التعلم العميق الجماعي للتعرف على الكلام". وقائع مؤتمر Interspeech : 1915-1919 . doi : 10.21437/Interspeech.2014-433 .
  179. ↑ توث، لازلو (ديسمبر 2015). "التعرف على الهواتف باستخدام شبكات ماكس آوت العميقة التلافيفية الهرمية" . مجلة EURASIP لمعالجة الصوت والكلام والموسيقى . 2015 (1) 25. doi : 10.1186/s13636-015-0068-3 .
  180. ^ آرون فان دن أورد. ديليمان، ساندر؛ زين، هيجا؛ سيمونيان، كارين؛ فينيالس، أوريول. جريفز، اليكس. كالشبرينر، نال؛ كبير، أندرو؛ كافوكوجلو ، كوراي (2016). “WaveNet: نموذج توليدي للصوت الخام”. أرخايف : 1609.03499 [ cs.SD ].
  181. ↑ "WaveNet: نموذج توليدي للصوت الخام" . جوجل ديب مايند . 2016-09-08 . تم الاطلاع عليه بتاريخ 2025-07-31 .
  182. ^ لطيف، صديق. الزيدي، عون؛ كواياهويتل، هيربيرتو؛ شمشاد، فهد؛ شوكت، معظم؛ أسامة، محمد؛ قادر، جنيد (2023). “المحولات في معالجة الكلام: دراسة استقصائية”. أرخايف : 2303.11607 [ cs.CL ].
  183. ↑ ماكميلان، روبرت (17 ديسمبر 2014). "كيف استخدم سكايب الذكاء الاصطناعي لبناء مترجمه اللغوي الجديد المذهل | وايرد" . وايرد . مؤرشف من الأصل في 8 يونيو 2017. تم الاطلاع عليه في 14 يونيو 2017 .
  184. ↑ حنون، عوني؛ كيس، كارل؛ كاسبر، جاريد. كاتانزارو، بريان؛ دياموس، جريج. إلسن، إريك؛ برينجر ، ريان. ساتيش، سانجيف؛ سينغوبتا، شوبو؛ كوتس، آدم. إن جي، أندرو واي (2014). “الكلام العميق: توسيع نطاق التعرف على الكلام من البداية إلى النهاية”. أرخايف : 1412.5567 [ cs.CL ].
  185. ↑ "قاعدة بيانات الأرقام المكتوبة بخط اليد MNIST، يان ليكان، كورينا كورتيس، وكريس بورجيس" . yann.lecun.com . مؤرشفة من الأصل بتاريخ 13 يناير 2014. تم الاطلاع عليها بتاريخ 28 يناير 2014 .
  186. ↑ سيريشان، دان؛ ماير، أولي؛ ماسكي، جوناثان؛ شميدهوبر، يورغن (أغسطس 2012). "شبكة عصبية عميقة متعددة الأعمدة لتصنيف إشارات المرور". الشبكات العصبية . 32 : 333-338 . doi : 10.1016/j.neunet.2012.02.023 . PMID 22386783 . 
  187. ^ تشاوتشاو لو؛ شياو تانغ (2014). “تجاوز التعرف على الوجه على مستوى الإنسان”. أرخايف : 1404.3840 [ cs.CV ].
  188. ↑ عرضت شركة إنفيديا حاسوب سيارة مُدرَّبًا بتقنية "التعلم العميق" (6 يناير 2015)، بقلم ديفيد تالبوت، مجلة إم آي تي ​​للتكنولوجيا
  189. 1 2 3 جي. دبليو. سميث؛ فريدريك فول ليماري (10 أبريل 2017). "الآلة كفنان: مقدمة" . الفنون . 6 (4): 5. doi : 10.3390/arts6020005 .
  190. 1 2 3 بليز أغويرا إي أركاس (29 سبتمبر 2017). "الفن في عصر الذكاء الاصطناعي" . الفنون . 6 (4): 18. doi : 10.3390/arts6040018 .
  191. ↑ غولدبيرغ، يواف؛ ليفي، عمر (2014). "شرح word2vec: اشتقاق طريقة تضمين الكلمات بأخذ العينات السلبية لميكولوف وآخرون". arXiv : 1402.3722 [ cs.CL ].
  192. 1 2 سوشر، ريتشارد؛ مانينغ، كريستوفر. "التعلم العميق لمعالجة اللغة الطبيعية" (ملف PDF) . مؤرشف (ملف PDF) من الأصل في 6 يوليو 2014. تم الاطلاع عليه في 26 أكتوبر 2014 .
  193. ↑ سوشر، ريتشارد؛ باور، جون؛ مانينغ، كريستوفر؛ نغ، أندرو (2013). "التحليل النحوي باستخدام قواعد المتجهات التركيبية" (ملف PDF) . وقائع مؤتمر ACL 2013. مؤرشف ( ملف PDF) من الأصل بتاريخ 27 نوفمبر 2014. تم الاطلاع عليه بتاريخ 3 سبتمبر 2014 .
  194. ↑ سوشر، ريتشارد؛ بيريلجين، أليكس؛ وو، جين؛ تشوانغ، جيسون؛ مانينغ، كريستوفر د.؛ نغ، أندرو؛ بوتس، كريستوفر (2013). "نماذج عميقة متكررة للتركيب الدلالي على قاعدة بيانات شجرة المشاعر". وقائع مؤتمر 2013 حول الأساليب التجريبية في معالجة اللغة الطبيعية . الصفحات 1631-1642 . doi : 10.18653/v1/d13-1170 . 
  195. ↑ شين، ييلونغ؛ هي، شياودونغ؛ غاو، جيانفنغ؛ دينغ، لي؛ ميسنيل، غريغوار (1 نوفمبر 2014). "نموذج دلالي كامن ذو بنية تجميعية التفافية لاسترجاع المعلومات" . مايكروسوفت للأبحاث . مؤرشف من الأصل في 27 أكتوبر 2017. تم الاسترجاع في 14 يونيو 2017 .
  196. ↑ هوانغ، بو-سين؛ هي، شياودونغ؛ غاو، جيانفنغ؛ دينغ، لي؛ أسيرو، أليكس؛ هيك، لاري (1 أكتوبر 2013). "تعلم نماذج دلالية هيكلية عميقة للبحث على الويب باستخدام بيانات النقر" . مايكروسوفت للأبحاث . مؤرشف من الأصل في 27 أكتوبر 2017. تم الاسترجاع في 14 يونيو 2017 .
  197. ↑ ميسنيل، ج.؛ دوفين، ي.؛ ياو، ك.؛ بينجيو، ي.؛ دينغ، ل.؛ حقاني-تور، د .؛ هي، ش.؛ هيك، ل.؛ تور، ج.؛ يو، د.؛ زويج، ج. (2015). "استخدام الشبكات العصبية المتكررة لملء الفراغات في فهم اللغة المنطوقة". معاملات IEEE في معالجة الصوت والكلام واللغة . 23 (3): 530-539 . Bibcode : 2015ITASL..23..530M . doi : 10.1109/taslp.2014.2383614 .
  198. 1 2 غاو، جيانفينغ؛ هي، شياودونغ؛ ييه، سكوت وين تاو؛ دينغ، لي (1 يونيو 2014). "تعلم تمثيلات العبارات المتصلة لنمذجة الترجمة" . مايكروسوفت للأبحاث . مؤرشف من الأصل في 27 أكتوبر 2017. تم الاسترجاع في 14 يونيو 2017 .
  199. ↑ بروكاردو، مارسيلو لويز؛ تراوري، عيسى؛ وونغانغ، إسحاق؛ عبيدات، محمد س. (2017). "التحقق من التأليف باستخدام أنظمة شبكات الاعتقاد العميق". المجلة الدولية لأنظمة الاتصالات . 30 (12) e3259. doi : 10.1002/dac.3259 .
  200. ↑ كاريامبوزا، ويليام؛ أليا، جيوكوندا؛ كو، سو؛ سانجاك، جليل؛ ماثي، إيوي؛ سيد، إريك؛ شاتيلين، هايلي؛ ياداو، أرجون؛ شو، يانجي؛ تشو، تشيان (2023). "استخلاص المعلومات الدقيقة لعلم أوبئة الأمراض النادرة على نطاق واسع" . مجلة الطب الانتقالي . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634. PMID 36855134 .  
  201. ↑ "التعلم العميق لمعالجة اللغة الطبيعية: النظرية والتطبيق (دورة تدريبية لمؤتمر CIKM2014) - مايكروسوفت للأبحاث" . مايكروسوفت للأبحاث . مؤرشف من الأصل بتاريخ 13 مارس 2017. تم الاطلاع عليه بتاريخ 14 يونيو 2017 .
  202. ↑ توروفسكي، باراك (15 نوفمبر 2016). "موجود في الترجمة: جمل أكثر دقة وسلاسة في ترجمة جوجل" . مدونة جوجل للكلمات المفتاحية . مؤرشف من الأصل في 7 أبريل 2017. تم الاطلاع عليه في 23 مارس 2017 .
  203. ١ ٢ ٣ ٤ شوستر، مايك؛ جونسون، ملفين؛ ثورات، نيخيل (٢٢ نوفمبر ٢٠١٦). "الترجمة بدون تدريب باستخدام نظام الترجمة الآلية العصبية متعددة اللغات من جوجل" . مدونة أبحاث جوجل . مؤرشف من الأصل في ١٠ يوليو ٢٠١٧. تم الاطلاع عليه في ٢٣ مارس ٢٠١٧ .
  204. ↑ وو، يونغهوي؛ شوستر، مايك؛ تشين، تشيفنغ؛ لي، كوك الخامس؛ نوروزي، محمد؛ ماشيري، وولفغانغ؛ كريكن، ماكسيم؛ كاو، يوان؛ غاو، تشين؛ ماشيري، كلاوس؛ كلينغر، جيف؛ شاه، أبورفا؛ جونسون، ملفين؛ ليو، شياوبينغ؛ كايزر، لوكاس؛ غاوس، ستيفان؛ كاتو، يوشيكيو؛ كودو، تاكو؛ كازاوا، هيديتو؛ ستيفنز، كيث؛ كوريان، جورج؛ باتيل، نيشانت؛ وانغ، وي؛ يونغ، كليف؛ سميث، جيسون؛ ريسا، جيسون؛ رودنيك، أليكس؛ فينيالز، أوريول؛ كورادو، غريغ؛ وآخرون . (2016). "نظام جوجل للترجمة الآلية العصبية: سد الفجوة بين الترجمة البشرية والآلية". arXiv : 1609.08144 [ cs.CL ]. 
  205. ↑ ميتز، كيد (27 سبتمبر 2016). "دمج الذكاء الاصطناعي يجعل ترجمة جوجل أكثر قوة من أي وقت مضى" . وايرد . مؤرشف من الأصل في 8 نوفمبر 2020. تم الاطلاع عليه في 12 أكتوبر 2017 .
  206. 1 2 بويتيه، كريستيان؛ بلانشون، هيرفيه؛ سيليغمان، مارك؛ بيلينك، فاليري (2010). "الترجمة الآلية على الويب ومن أجله" (ملف PDF) . مؤرشف من الأصل (ملف PDF) في 29 مارس 2017. تم الاطلاع عليه في 1 ديسمبر 2016 .
  207. ↑ أروسميث، ج؛ ميلر، ب (2013). "متابعة التجارب السريرية: معدلات التسرب من المرحلتين الثانية والثالثة 2011-2012" . مجلة نيتشر ريفيوز لاكتشاف الأدوية . 12 (8): 569. doi : 10.1038/nrd4090 . PMID 23903212 . 
  208. ↑ فيربست، ب؛ كلامباور، ج؛ فيرفورت، ل؛ تالون، و؛ كونسورتيوم كيو ستار؛ شكيدي، ز؛ ثاس، أ؛ بيندر، أ؛ غولمان، هـ و؛ هوكريتر، س (2015). "استخدام علم النسخ لتوجيه تحسين المركبات الرائدة في مشاريع اكتشاف الأدوية: دروس مستفادة من مشروع كيو ستار" . اكتشاف الأدوية اليوم . 20 (5): 505-513 . doi : 10.1016/j.drudis.2014.12.014 . hdl : 1942/18723 . PMID 25582842 . 
  209. ↑ "تحدي ميرك للنشاط الجزيئي" . kaggle.com . مؤرشف من الأصل بتاريخ 16 يوليو 2020. تم الاطلاع عليه بتاريخ 16 يوليو 2020 .
  210. ^ دال ، جورج إي. جايتلي، نافديب؛ صلاح الدينوف، رسلان (2014). “الشبكات العصبية متعددة المهام لتنبؤات QSAR”. أرخايف : 1406.1231 [ stat.ML ].
  211. ↑ "علم السموم في القرن الحادي والعشرين: تحدي البيانات"
  212. ↑ "المركز الوطني لتطوير العلوم الانتقالية يعلن عن الفائزين في تحدي بيانات Tox21" . مؤرشف من الأصل بتاريخ 8 سبتمبر 2015. تم الاطلاع عليه بتاريخ 5 مارس 2015 .
  213. ↑ "المركز الوطني لتطوير العلوم الانتقالية يعلن عن الفائزين في تحدي بيانات Tox21" . مؤرشف من الأصل بتاريخ 28 فبراير 2015. تم الاطلاع عليه بتاريخ 5 مارس 2015 .
  214. ↑ والاش، إزهار؛ دزامبا، مايكل؛ هيفيتس، أبراهام (9 أكتوبر 2015). "AtomNet: شبكة عصبية تلافيفية عميقة للتنبؤ بالنشاط الحيوي في اكتشاف الأدوية القائم على البنية". arXiv : 1510.02855 [ cs.LG ].
  215. ١ ٢ "شركة ناشئة في تورنتو لديها طريقة أسرع لاكتشاف أدوية فعّالة" . صحيفة ذا غلوب آند ميل . مؤرشف من الأصل في ٢٠ أكتوبر ٢٠١٥. تم الاطلاع عليه في ٩ نوفمبر ٢٠١٥ .
  216. ↑ "شركة ناشئة تستغل الحواسيب العملاقة للبحث عن علاجات" . KQED Future of You . 27 مايو 2015. مؤرشف من الأصل في 24 ديسمبر 2015. تم الاطلاع عليه في 9 نوفمبر 2015 .
  217. ↑ جيلمر، جاستن؛ شونهولز، صموئيل س.؛ رايلي، باتريك ف.؛ فينيالز، أوريول؛ دال، جورج إي. (2017-06-12). "تمرير الرسائل العصبية للكيمياء الكمية". arXiv : 1704.01212 [ cs.LG ].
  218. ↑ زافورونكوف، أليكس (2019). "التعلم العميق يُمكّن من التحديد السريع لمثبطات كيناز DDR1 الفعّالة". مجلة نيتشر للتكنولوجيا الحيوية . 37 (9): 1038-1040 . doi : 10.1038/s41587-019-0224-x . PMID 31477924 . 
  219. ↑ غريغوري، باربر. "جزيء مصمم بواسطة الذكاء الاصطناعي يُظهر خصائص شبيهة بالأدوية" . وايرد . مؤرشف من الأصل بتاريخ 30 أبريل 2020. تم الاطلاع عليه بتاريخ 5 سبتمبر 2019 .
  220. ^ فان دن أورد ، هارون. ديليمان، ساندر؛ شراوين، بنيامين (2013). "توصية موسيقية عميقة قائمة على المحتوى" . التقدم في أنظمة معالجة المعلومات العصبية . 26 .
  221. ↑ فينغ، إكس واي؛ تشانغ، إتش؛ رين، واي جيه؛ شانغ، بي إتش؛ تشو، واي؛ ليانغ، واي سي؛ غوان، آر سي؛ شو، دي. (2019). "نظام التوصية القائم على التعلم العميق "Pubmender" لاختيار منصة نشر طبية حيوية: دراسة التطوير والتحقق" . مجلة أبحاث الإنترنت الطبية . 21 (5) e12957. doi : 10.2196/12957 . PMC 6555124. PMID 31127715 .  
  222. ↑ الكهكي، علي ممدوح؛ سونغ، يانغ؛ هي، شياودونغ (1 مايو 2015). "نهج التعلم العميق متعدد الرؤى لنمذجة المستخدم عبر المجالات في أنظمة التوصية" . مايكروسوفت للأبحاث . مؤرشف من الأصل في 25 يناير 2018. تم الاسترجاع في 14 يونيو 2017 .
  223. ↑ شيكو، دافيد؛ سادوفسكي، بيتر؛ بالدي، بيير (2014). "شبكات عصبية ذاتية التشفير عميقة للتنبؤ بتعليقات علم الجينات". وقائع المؤتمر الخامس لجمعية الحوسبة الآلية (ACM) حول المعلوماتية الحيوية، وعلم الأحياء الحاسوبي، والمعلوماتية الصحية . الصفحات 533-540 . doi : 10.1145/2649387.2649442 . hdl : 11311/964622 . ISBN  978-1-4503-2894-4.
  224. ↑ ساتيانارايانا، آرتي (1 يناير 2016). "التنبؤ بجودة النوم من بيانات الأجهزة القابلة للارتداء باستخدام التعلم العميق" . مجلة JMIR للصحة المتنقلة والصحة الإلكترونية . 4 (4): e125. doi : 10.2196/mhealth.6562 . PMC 5116102. PMID 27815231 .  
  225. ↑ تشوي، إدوارد؛ شوتز، آندي؛ ستيوارت، والتر ف.؛ صن، جيمينغ (13 أغسطس 2016). " استخدام نماذج الشبكات العصبية المتكررة للكشف المبكر عن بداية قصور القلب" . مجلة الجمعية الأمريكية للمعلوماتية الطبية . 24 (2): 361-370 . doi : 10.1093/jamia/ocw112 . ISSN 1067-5027 . PMC 5391725. PMID 27521897 .   
  226. ↑ «حلّ الذكاء الاصطناعي لطي البروتين من ديب مايند تحديًا بيولوجيًا كبيرًا استمر 50 عامًا» . مجلة إم آي تي ​​للتكنولوجيا . تاريخ الاطلاع: 10 مايو 2024 .
  227. ↑ شيد، سام (30 نوفمبر 2020). "ديب مايند تحل "تحديًا كبيرًا" عمره 50 عامًا باستخدام الذكاء الاصطناعي لطي البروتين" . سي إن بي سي . تم الاطلاع عليه بتاريخ 10 مايو 2024 .
  228. 1 2 شاليف، يوفال؛ باينسكي، أميشاي؛ بن غال، إيراد (أبريل 2024). "تقدير الإنتروبيا المشتركة العصبية". معاملات IEEE في الشبكات العصبية وأنظمة التعلم . 35 (4): 5488-5500 . arXiv : 2012.11197 . Bibcode : 2024ITNNL..35.5488S . doi : 10.1109/TNNLS.2022.3204919 . PMID 36155469 . 
  229. ^ ليتجينس، جيرت. كوي، ثيس؛ بجنوردي، باباك احتشامي؛ سيتيو، أرنو أريندرا أديوسو؛ تشيومبي، فرانشيسكو؛ غفوريان، محسن؛ فان دير لاك، جيروين AWM؛ فان جينكن، برام؛ سانشيز، كلارا آي. (ديسمبر 2017). “مسح حول التعلم العميق في تحليل الصور الطبية”. تحليل الصور الطبية . 42 : 60– 88. أرخايف : 1702.05747 . بيب كود : 2017arXiv170205747L . دوى : 10.1016/j.media.2017.07.005 . بميد 28778026 . 
  230. ↑ فورسليد، غوستاف؛ ويسلاندر، هاكان؛ بنغتسون، إيورت؛ والبي، كارولينا؛ هيرش، يان-مايكل؛ ستارك، كريستينا رونو؛ ساداناندان، ساجيث كيتشيريل (2017). "شبكات عصبية تلافيفية عميقة للكشف عن التغيرات الخلوية الناتجة عن الأورام الخبيثة" . ورش عمل المؤتمر الدولي لهندسة الكهرباء والإلكترونيات (IEEE) حول رؤية الحاسوب (ICCVW) لعام 2017. الصفحات 82-89 . doi : 10.1109/ICCVW.2017.18 . ISBN  978-1-5386-1034-3أُرشف من المصدر الأصلي بتاريخ 9 مايو 2021. تم الاطلاع عليه بتاريخ 12 نوفمبر 2019 .
  231. ↑ دونغ، شين؛ تشو، ييزهاو؛ وانغ، لانتان؛ بنغ، جينغفنغ؛ لو، يانبو؛ فان، ييكون (2020). "الكشف عن سرطان الكبد باستخدام شبكة عصبية تلافيفية كاملة هجينة قائمة على إطار التعلم العميق" . IEEE Access . 8 : 129889–129898 . Bibcode : 2020IEEEA...8l9889D . doi : 10.1109/ACCESS.2020.3006362 . ISSN 2169-3536 . 
  232. ↑ لياخوف، بافيل أليكسييفيتش؛ لياخوفا، أوليانا أليكسيفنا؛ ناغورنوف، نيكولاي نيكولايفيتش (2022-04-03). "نظام للتعرف على آفات الجلد المصطبغة من خلال دمج وتحليل البيانات غير المتجانسة بناءً على شبكة عصبية متعددة الوسائط" . مجلة السرطانات . 14 (7): 1819. doi : 10.3390/cancers14071819 . ISSN 2072-6694 . PMC 8997449. PMID 35406591 .   
  233. ↑ دي، شوناك؛ مايتي، أبهيشيك؛ جويل، فريتي؛ شيتول، سانجاي؛ بهاتاشاريا، أفيك (2017). "التنبؤ بشعبية منشورات إنستغرام لمجلة أسلوب حياة باستخدام التعلم العميق". المؤتمر الدولي الثاني لأنظمة الاتصالات والحوسبة وتطبيقات تكنولوجيا المعلومات (CSCITA) لعام 2017. الصفحات 174-177 . doi : 10.1109/CSCITA.2017.8066548 . ISBN  978-1-5090-4381-1.
  234. ↑ "تلوين الصور القديمة وترميمها باستخدام التعلم العميق" . مدونة فلويد هب . ١٣ نوفمبر ٢٠١٨. مؤرشف من الأصل في ١١ أكتوبر ٢٠١٩. تم الاطلاع عليه في ١١ أكتوبر ٢٠١٩ .
  235. ↑ شميدت، أوفه؛ روث، ستيفان. حقول الانكماش لاستعادة الصور بفعالية (ملف PDF) . مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط (CVPR)، 2014. مؤرشف (ملف PDF) من الأصل بتاريخ 2018-01-02 . تم الاطلاع عليه بتاريخ 2018-01-01 .
  236. ↑ كليانثوس، كريستوس؛ تشاتزيس، سوتيريوس (2020). "مشفرات تلقائية متغيرة للخليط المُبَوَّب لاختيار حالات تدقيق ضريبة القيمة المضافة". أنظمة قائمة على المعرفة . 188 105048. doi : 10.1016/j.knosys.2019.105048 .
  237. ↑ فان، جياني؛ خين شار، لوين؛ تشانغ، روي تشن؛ ليو، زياو؛ يانغ، وينتشو؛ نياتو، دوسيت؛ لام، كوك يان (15 مارس 2026). "أساليب التعلم العميق لمكافحة غسل الأموال في المعاملات عبر الهاتف المحمول: مراجعة، إطار عمل، وتوجهات". مجلة IEEE لإنترنت الأشياء . 13 (6): 10407-10431 . Bibcode : 2026IITJ...1310407F . doi : 10.1109/JIOT.2026.3653434 . ISSN 2327-4662 . 
  238. ↑ نونيز، مايكل (29 نوفمبر 2023). "اكتشف الذكاء الاصطناعي للمواد من جوجل ديب مايند 2.2 مليون بلورة جديدة بالفعل" . فينشر بيت . تم الاطلاع عليه بتاريخ 19 ديسمبر 2023 .
  239. ↑ ميرشانت، أميل؛ باتزنر، سيمون؛ شونهولز، صموئيل س.؛ أيكول، موراتاهان؛ تشيون، غوون؛ تشوبوك، إيكين دوغوس (ديسمبر 2023). "توسيع نطاق التعلم العميق لاكتشاف المواد" . مجلة نيتشر . 624 (7990): 80-85 . Bibcode : 2023Natur.624...80M . doi : 10.1038/ s41586-023-06735-9 . ISSN 1476-4687 . PMC 10700131. PMID 38030720 .   
  240. ↑ بيبلو، مارك (29 نوفمبر 2023). "توحيد جهود الذكاء الاصطناعي والروبوتات من جوجل لبناء مواد جديدة". مجلة نيتشر . doi : 10.1038/d41586-023-03745-5 . PMID 38030771 . 
  241. ١ ٢ ٣ "باحثو الجيش يطورون خوارزميات جديدة لتدريب الروبوتات" . يوريك أليرت! . مؤرشف من الأصل بتاريخ ٢٨ أغسطس ٢٠١٨. تم الاطلاع عليه بتاريخ ٢٩ أغسطس ٢٠١٨ .
  242. ↑ ريسي، م.؛ بيرديكاريس، ب.؛ كارنياداكيس، ج. إي. (فبراير 2019). "الشبكات العصبية المُستندة إلى الفيزياء: إطار عمل للتعلم العميق لحل المسائل المباشرة والمعكوسة التي تتضمن معادلات تفاضلية جزئية غير خطية" . مجلة الفيزياء الحاسوبية . 378 : 686-707 . Bibcode : 2019JCoPh.378..686R . doi : 10.1016/j.jcp.2018.10.045 . OSTI 1595805 . 
  243. ↑ ماو، زيبينغ؛ جاغتاب، أميا د.؛ كارنياداكيس، جورج إم (مارس 2020). "الشبكات العصبية المُستندة إلى الفيزياء لتدفقات عالية السرعة" . أساليب الحاسوب في الميكانيكا التطبيقية والهندسة . 360 112789. Bibcode : 2020CMAME.36012789M . doi : 10.1016/j.cma.2019.112789 .
  244. ↑ ريسي، مازيار؛ يزداني، علي رضا؛ كارنياداكيس، جورج إم (28 فبراير 2020). "ميكانيكا الموائع الخفية: تعلم حقول السرعة والضغط من تصورات التدفق" . مجلة ساينس . 367 (6481): 1026-1030 . Bibcode : 2020Sci...367.1026R . doi : 10.1126/science.aaw4741 . PMC 7219083. PMID 32001523 .  
  245. ↑ هوانغ، يونفي؛ غرينبيرغ، ديفيد س. (2025). "القيود الهندسية والفيزيائية تعزز بشكل تآزري بدائل المعادلات التفاضلية الجزئية العصبية". arXiv : 2506.05513 [ cs.LG ].
  246. ↑ هان، ج.؛ جينتزن، أ.؛ إي، و. (2018). "حل المعادلات التفاضلية الجزئية عالية الأبعاد باستخدام التعلم العميق" . وقائع الأكاديمية الوطنية للعلوم . 115 (34): 8505-8510 . arXiv : 1707.02568 . Bibcode : 2018PNAS..115.8505H . doi : 10.1073/pnas.1718942115 . PMC 6112690. PMID 30082389 .  
  247. ↑ أوكتيم، فيجن س.؛ كار، أوغوزهان فاتح؛ بيزيك، جان دينيز؛ كمالابادي، فرزاد (2021). "التصوير متعدد الأطياف عالي الدقة باستخدام العدسات الحيودية وإعادة البناء المُتعلمة". معاملات IEEE في التصوير الحاسوبي . 7 : 489-504 . arXiv : 2008.11625 . Bibcode : 2021ITCI....7..489O . doi : 10.1109/TCI.2021.3075349 .
  248. ↑ برنهاردت، ميلاني؛ فيشنفسكي، فاليري؛ راو، ريتشارد؛ جوكسيل، أوركون (ديسمبر 2020). "تدريب الشبكات التباينية باستخدام محاكاة متعددة المجالات: إعادة بناء صورة سرعة الصوت". معاملات IEEE في الموجات فوق الصوتية، والمواد الكهروإجهادية، والتحكم في التردد . 67 (12): 2584-2594 . arXiv : 2006.14395 . Bibcode : 2020ITUFF..67.2584B . doi : 10.1109/TUFFC.2020.3010186 . PMID: 32746211 . 
  249. ^ لام ، ريمي. سانشيز غونزاليس، ألفارو؛ ويلسون، ماثيو. ويرنسبرجر، بيتر؛ فورتوناتو، ميري؛ أليت، فيران؛ رافوري، سومان؛ ايوالدز، تيمو. إيتون روزين، زاك؛ هو، ويهوا؛ ميروز، الكسندر. هوير، ستيفان. هولاند، جورج؛ فينيالس، أوريول. ستوت ، جاكلين (22/12/2023). "التعلم الماهر للتنبؤ بالطقس العالمي متوسط ​​المدى" . علوم . 382 (6677): 1416–1421 . أرخايف : 2212.12794 . بيب كود : 2023Sci...382.1416L . دوى : 10.1126/science.adi2336 . ISSN 0036-8075 . PMID 37962497 .  
  250. ↑ سيفاكومار، راماكريشنان (27 نوفمبر 2023). "GraphCast: طفرة في التنبؤات الجوية" . Medium . تم الاطلاع عليه بتاريخ 19 مايو 2024 .
  251. ↑ جالكين، ف.؛ ماموشينا، ب.؛ كوتشيتوف، ك.؛ سيدورينكو، د.؛ زافورونكوف، أ. (2020). "DeepMAge: ساعة شيخوخة مثيلة مطورة باستخدام التعلم العميق" . الشيخوخة والمرض . doi : 10.14336/AD .
  252. ↑ أوتجوف، بي إي؛ ستراكوزي، دي جيه (2002). "التعلم متعدد الطبقات". الحوسبة العصبية . 14 (10): 2497-2529 . doi : 10.1162/08997660260293319 . PMID 12396572 . 
  253. ↑ إلمان، جيفري ل. (1998). إعادة التفكير في الفطرة: منظور ترابطي للتطور . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-55030-7.
  254. ↑ شراغر، ج.؛ جونسون، م. هـ. (1996). "تؤثر اللدونة الديناميكية على ظهور الوظيفة في مصفوفة قشرية بسيطة". الشبكات العصبية . 9 (7): 1119-1129 . doi : 10.1016/0893-6080(96)00033-0 . PMID 12662587 . 
  255. ↑ كوارتز، ستيفن ر.؛ سيجنوفسكي، تيرينس ج. (ديسمبر 1997). "الأساس العصبي للتطور المعرفي: بيان بنائي". العلوم السلوكية والدماغية . 20 (4): 537-556 . doi : 10.1017/s0140525x97001581 . PMID 10097006 . 
  256. ↑ S. Blakeslee, “In brain's early growth, timetable may be critical”, The New York Times, Science Section , pp. B5–B6, 1995.
  257. ↑ مازوني، ب.؛ أندرسن، ر.أ.؛ جوردان، م.إ. (15 مايو 1991). "قاعدة تعلم أكثر توافقًا مع البيولوجيا للشبكات العصبية" . وقائع الأكاديمية الوطنية للعلوم . 88 (10): 4433-4437 . Bibcode : 1991PNAS...88.4433M . doi : 10.1073/pnas.88.10.4433 . ISSN 0027-8424 . PMC 51674. PMID 1903542 .   
  258. ↑ أورايلي، راندال سي. (1 يوليو 1996). "التعلم القائم على الخطأ ذو المعقولية البيولوجية باستخدام اختلافات التنشيط المحلية: خوارزمية إعادة التدوير المعممة". الحوسبة العصبية . 8 (5): 895-938 . doi : 10.1162/neco.1996.8.5.895 . ISSN 0899-7667 . 
  259. ↑ تيستولين، ألبرتو؛ زورزي، ماركو (2016). "النماذج الاحتمالية والشبكات العصبية التوليدية: نحو إطار موحد لنمذجة الوظائف العصبية الإدراكية الطبيعية والمختلة" . مجلة فرونتيرز في علم الأعصاب الحاسوبي . 10 : 73. doi : 10.3389/fncom.2016.00073 . ISSN 1662-5188 . PMC 4943066. PMID 27468262 .   
  260. ↑ تيستولين، ألبرتو؛ ستويانوف، إيفيلين؛ زورزي، ماركو (سبتمبر 2017). "إدراك الحروف ينشأ من التعلم العميق غير الخاضع للإشراف وإعادة تدوير خصائص الصور الطبيعية". مجلة نيتشر للسلوك البشري . 1 (9): 657-664 . doi : 10.1038/s41562-017-0186-2 . ISSN 2397-3374 . PMID 31024135 .  
  261. ↑ بوسينغ، لارس؛ بيل، يوهانس؛ نيسلر، برنارد؛ ماس، وولفغانغ (3 نوفمبر 2011). "الديناميكيات العصبية كعملية أخذ عينات: نموذج للحساب العشوائي في الشبكات المتكررة للخلايا العصبية الشوكية" . مجلة PLOS لعلم الأحياء الحاسوبي . 7 (11) e1002211. رمز Bibcode : 2011PLSCB...7E2211B . doi : 10.1371/journal.pcbi.1002211 . ISSN 1553-7358 . PMC 3207943. PMID 22096452 .   
  262. ↑ كاش، س.؛ يوست، ر. (فبراير 1999). "التجميع الخطي للمدخلات الاستثارية بواسطة الخلايا العصبية الهرمية CA1" . نيرون . 22 (2): 383-394 . doi : 10.1016/s0896-6273(00)81098-3 . ISSN 0896-6273 . PMID 10069343 .  
  263. ↑ أولشاوزن، ب؛ فيلد، د (1 أغسطس 2004). "الترميز المتفرق للمدخلات الحسية". الرأي الحالي في علم الأحياء العصبي . 14 (4): 481-487 . doi : 10.1016/j.conb.2004.07.007 . PMID 15321069 . 
  264. ↑ يامينز، دانيال إل كيه؛ ديكارلو، جيمس جيه (مارس 2016). "استخدام نماذج التعلم العميق الموجهة بالأهداف لفهم القشرة الحسية". مجلة نيتشر لعلم الأعصاب . 19 (3): 356-365 . doi : 10.1038/nn.4244 . ISSN 1546-1726 . PMID 26906502 .  
  265. ↑ زورزي، ماركو؛ تيستولين، ألبرتو (19 فبراير 2018). "منظور ناشئ حول أصل الإحساس بالأعداد" . معاملات الجمعية الملكية، السلسلة ب . 373 ( 1740) 20170043. doi : 10.1098/rstb.2017.0043 . ISSN 0962-8436 . PMC 5784047. PMID 29292348 .   
  266. ↑ غوتشلو، أوموت؛ فان جيرفن، مارسيل أ. ج. (8 يوليو 2015). "الشبكات العصبية العميقة تكشف عن تدرج في تعقيد التمثيلات العصبية عبر المسار البطني" . مجلة علم الأعصاب . 35 (27): 10005-10014 . arXiv : 1411.6422 . doi : 10.1523/jneurosci.5023-14.2015 . PMC 6605414. PMID 26157000 .  
  267. ↑ ميتز، سي. (12 ديسمبر 2013). "خبير "التعلم العميق" في فيسبوك يكشف مستقبل الذكاء الاصطناعي" . وايرد . مؤرشف من الأصل في 28 مارس 2014. تم الاطلاع عليه في 26 أغسطس 2017 .
  268. ↑ جيبني، إليزابيث (2016). "خوارزمية الذكاء الاصطناعي من جوجل تتقن لعبة غو القديمة" . مجلة نيتشر . 529 (7587): 445-446 . Bibcode : 2016Natur.529..445G . doi : 10.1038/529445a . PMID 26819021 . 
  269. ^ فضة، ديفيد ؛ الأماكن القريبة : ماديسون، كريس J.؛ جويز، آرثر؛ سيفري، لوران؛ دريش، جورج فان دن؛ شريتويزر، جوليان؛ أنتونوغلو، يوانيس؛ بانيرشلفام، فيدا؛ لانكتوت، مارك؛ ديليمان، ساندر؛ غريوي، دومينيك. نهام، جون. كالشبرينر، نال؛ الأماكن القريبة : ليليكراب، تيموثي؛ ليتش، مادلين. كافوكوجلو، كوراي؛ جريبيل، ثور؛ حسابيص، ديميس (28 يناير 2016). “إتقان لعبة Go باستخدام الشبكات العصبية العميقة والبحث عن الأشجار”. طبيعة . 529 (7587): 484– 489. بيب كود : 2016Natur.529..484S . doi : 10.1038/nature16961 . ISSN 0028-0836 . PMID 26819042 .  رمز الوصول المغلق
  270. ↑ "خوارزمية جوجل ديب مايند تستخدم التعلم العميق وتقنيات أخرى لإتقان لعبة غو | مراجعة معهد ماساتشوستس للتكنولوجيا" . مراجعة معهد ماساتشوستس للتكنولوجيا . 27 يناير 2016. مؤرشف من الأصل في 1 فبراير 2016. تم الاطلاع عليه في 30 يناير 2016 .
  271. ↑ ميتز، كيد (6 نوفمبر 2017). "باحثو الذكاء الاصطناعي يغادرون مختبر إيلون ماسك لتأسيس شركة ناشئة في مجال الروبوتات" . صحيفة نيويورك تايمز . مؤرشف من الأصل في 7 يوليو 2019. تم الاطلاع عليه في 5 يوليو 2019 .
  272. ↑ برادلي نوكس، دبليو؛ ستون، بيتر (2008). "TAMER: تدريب وكيل يدويًا عبر التعزيز التقييمي". المؤتمر الدولي السابع لمعهد مهندسي الكهرباء والإلكترونيات حول التطوير والتعلم ، 2008. الصفحات 292-297 . doi : 10.1109/devlrn.2008.4640845 . ISBN  978-1-4244-2661-4.
  273. ↑ "التحدث إلى الخوارزميات: الذكاء الاصطناعي يصبح متعلماً أسرع" . governmentciomedia.com . ١٦ مايو ٢٠١٨. مؤرشف من الأصل في ٢٨ أغسطس ٢٠١٨. تم الاطلاع عليه في ٢٩ أغسطس ٢٠١٨ .
  274. ↑ ماركوس، غاري (14 يناير 2018). "دفاعًا عن التشكيك في التعلم العميق" . غاري ماركوس . مؤرشف من الأصل في 12 أكتوبر 2018. تم الاطلاع عليه في 11 أكتوبر 2018 .
  275. ↑ نايت، ويل (14 مارس 2017). "تُموّل داربا مشاريع تسعى إلى كشف خبايا الذكاء الاصطناعي" . مجلة إم آي تي ​​للتكنولوجيا . مؤرشف من الأصل في 4 نوفمبر 2019. تم الاطلاع عليه في 2 نوفمبر 2017 .
  276. ↑ ألكسندر موردفينتسيف؛ كريستوفر أولاه؛ مايك تيكا (17 يونيو 2015). "الاستبصار: التعمق في الشبكات العصبية" . مدونة أبحاث جوجل. مؤرشف من الأصل في 3 يوليو 2015. تم الاطلاع عليه في 20 يونيو 2015 .
  277. ↑ أليكس هيرن (18 يونيو 2015). "نعم، الروبوتات تحلم بخراف كهربائية" . صحيفة الغارديان . مؤرشف من الأصل في 19 يونيو 2015. تم الاطلاع عليه في 20 يونيو 2015 .
  278. ^ تاكاهاشي، كارلوس كازوناري. فيغيريدو، خوليو سيزار باستوس دي؛ فافاريتو، خوسيه إدواردو ريكياردي (2023/03/24). "نشر التعلم العميق حسب اتجاه البحث: تحليل على مستوى الدولة" . مجلة أبحاث الدراسات المستقبلية: الاتجاهات والاستراتيجيات . 15 (1): e0695. دوى : 10.24023/FutureJournal/2175-5825/2023.v15i1.695 . ردمك 2175-5825 . 
  279. 1 2 3 غورتزل، بن (2015). "هل توجد أسباب عميقة وراء عيوب خوارزميات التعلم العميق الحالية؟". الذكاء الاصطناعي العام . سلسلة محاضرات في علوم الحاسوب. المجلد 9205. الصفحات 70-79 . doi : 10.1007/978-3-319-21365-1_8 . ISBN   978-3-319-21364-4.
  280. ↑ نغوين، آن؛ يوسينسكي، جيسون؛ كلون، جيف (2014). "الشبكات العصبية العميقة يسهل خداعها: تنبؤات عالية الثقة للصور غير القابلة للتمييز". arXiv : 1412.1897 [ cs.CV ].
  281. ^ زيجيدي، كريستيان؛ زاريمبا، فويتشخ؛ سوتسكيفر، إيليا؛ برونا، جوان؛ ارهان، دوميترو؛ جودفيلو، إيان؛ فيرغوس، روب (2013). “خصائص مثيرة للاهتمام للشبكات العصبية”. أرخايف : 1312.6199 [ cs.CV ].
  282. ↑ تشو، سونغ-تشون؛ مامفورد، ديفيد (20 أغسطس 2007). "قواعد نحوية عشوائية للصور". أسس واتجاهات في رسومات الحاسوب والرؤية . 2 (4): 259-362 . doi : 10.1561/0600000018 .
  283. ↑ ميلر، جي إيه، ون. تشومسكي. "مفهوم النمط". ورقة بحثية مقدمة لمؤتمر حول اكتشاف الأنماط، جامعة ميشيغان. 1957.
  284. ↑ إيسنر، جيسون. "التعلم العميق للبنية المتكررة: استقراء القواعد النحوية" . مؤرشف من الأصل بتاريخ 30-12-2017 . تم الاطلاع عليه بتاريخ 10-05-2015 .
  285. ↑ «بدأ المخترقون بالفعل في تسخير الذكاء الاصطناعي كسلاح» . جيزمودو . ١١ سبتمبر ٢٠١٧. مؤرشف من الأصل في ١١ أكتوبر ٢٠١٩. تم الاطلاع عليه في ١١ أكتوبر ٢٠١٩ .
  286. ↑ "كيف يمكن للمخترقين إجبار الذكاء الاصطناعي على ارتكاب أخطاء غبية" . صحيفة ذا ديلي دوت . ١٨ يونيو ٢٠١٨. مؤرشف من الأصل في ١١ أكتوبر ٢٠١٩. تم الاطلاع عليه في ١١ أكتوبر ٢٠١٩ .
  287. ١ ٢ ٣ ٤ ٥ "الذكاء الاصطناعي سهل الخداع - لماذا يجب تغيير ذلك؟" . سينغولاريتي هب . ١٠ أكتوبر ٢٠١٧. مؤرشف من الأصل في ١١ أكتوبر ٢٠١٧. تم الاطلاع عليه في ١١ أكتوبر ٢٠١٧ .
  288. ↑ جيبني، إليزابيث (2017). "العالمة التي تكشف الفيديوهات المزيفة" . مجلة نيتشر . doi : 10.1038/nature.2017.22784 . مؤرشف من الأصل بتاريخ 10 أكتوبر 2017. تم الاطلاع عليه بتاريخ 11 أكتوبر 2017 .
  289. ↑ توبارو، باولا (2020). "ذكاء من هو الذكاء الاصطناعي؟" . الحوار العالمي : 38-39 .
  290. 1 2 مولهوف، راينر (6 نوفمبر 2019). "الذكاء الاصطناعي بمساعدة الإنسان: أو، كيف يمكن إجراء عمليات حسابية ضخمة في أدمغة البشر؟ نحو علم اجتماع إعلامي للتعلم الآلي" . الإعلام الجديد والمجتمع . 22 (10): 1868-1884 . doi : 10.1177/1461444819885334 .

للمزيد من القراءة

  • بيشوب، كريستوفر م.؛ بيشوب، هيو (2024). التعلم العميق: الأسس والمفاهيم . سبرينغر. ISBN 978-3-031-45467-7.
  • شوليه، فرانسوا ؛ واتسون، ماثيو (2025). التعلم العميق باستخدام بايثون . مانينغ. ISBN 9781633436589.
  • برينس، سيمون جيه دي (2023). فهم التعلم العميق . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-04864-4.
  • غودفيلو، إيان ؛ بينجيو، يوشوا ؛ كورفيل، آرون (2016). التعلم العميق . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-26203561-3أُرشف من الأصل بتاريخ 16 أبريل 2016. تم الاطلاع عليه بتاريخ 9 مايو 2021 ، كتاب تمهيدي.{{cite book}}: CS1 maint: postscript ( link )