آلة بولتزمان

📅 آخر تحديث: ٢٨ يوليو ٢٠٢٦
✍️ نُشر في: ٢٨ يوليو ٢٠٢٦
📷 يحتوي على 41 صور
الموسوعة الحرة
تمثيل بياني لآلة بولتزمان كمثال.
تمثيل بياني لآلة بولتزمان كمثال. يمثل كل ضلع غير موجه علاقة تبعية. في هذا المثال، توجد 3 وحدات مخفية و4 وحدات مرئية. هذه ليست آلة بولتزمان مقيدة.

آلة بولتزمان (وتُسمى أيضًا نموذج شيرينغتون-كيركباتريك مع مجال خارجي أو نموذج إيزينغ العشوائي )، نسبةً إلى لودفيغ بولتزمان ، هي نموذج زجاجي مغزلي مع مجال خارجي، أي نموذج شيرينغتون-كيركباتريك ، [ 1 ] وهو نموذج إيزينغ عشوائي . وهي تقنية فيزيائية إحصائية تُطبَّق في سياق العلوم المعرفية . [ 2 ] كما تُصنَّف أيضًا كحقل ماركوف عشوائي . [ 3 ]

تُعدّ آلات بولتزمان مثيرة للاهتمام من الناحية النظرية نظرًا لطبيعة خوارزمية التدريب الخاصة بها، والتي تعتمد على مبدأ هيب (حيث يتم تدريبها وفقًا لقاعدة هيب)، بالإضافة إلى توازيها وتشابه ديناميكياتها مع العمليات الفيزيائية البسيطة . لم تثبت جدوى آلات بولتزمان ذات الاتصال غير المقيد في حلّ المشكلات العملية في مجال التعلّم الآلي أو الاستدلال ، ولكن إذا تم تقييد الاتصال بشكل مناسب، يُمكن جعل عملية التعلّم فعّالة بما يكفي لتكون مفيدة في حلّ المشكلات العملية. [ 4 ]

سُميت هذه النماذج نسبةً إلى توزيع بولتزمان في الميكانيكا الإحصائية ، والذي يُستخدم في دالة أخذ العينات الخاصة بها . وقد حظيت هذه النماذج بشعبية واسعة وترويج كبير من قِبل جيفري هينتون وتيري سيجنوفسكي ويان ليكان في أوساط العلوم المعرفية، ولا سيما في مجال تعلم الآلة ، [ 2 ] كجزء من " النماذج القائمة على الطاقة " (EBM)، وذلك لأن هاميلتونيان الزجاج المغزلي يُستخدم كطاقة كنقطة انطلاق لتحديد مهمة التعلم. [ 5 ]

بناء

تمثيل بياني لآلة بولتزمان كمثال مع ملصقات الأوزان.
تمثيل بياني لآلة بولتزمان مع بعض الأوزان الموضحة. يمثل كل ضلع غير موجه تبعية ويتم ترجيحه بالوزن.wأناج{\displaystyle w_{ij}}في هذا المثال، توجد 3 وحدات مخفية (باللون الأزرق) و4 وحدات ظاهرة (باللون الأبيض). هذه ليست آلة بولتزمان مقيدة.

آلة بولتزمان، مثل نموذج شيرينغتون-كيركباتريك ، هي شبكة من الوحدات ذات "طاقة" كلية ( هاميلتوني ) محددة للشبكة بأكملها. تنتج وحداتها نتائج ثنائية . أوزان آلة بولتزمان عشوائية . الطاقة الكليةهـ{\displaystyle E}في آلة بولتزمان، يكون الشكل مطابقًا لشكل شبكات هوبفيلد ونماذج إيزينغ :

هـ=-(∑أنا<جwأناجsأناsج+∑أناθأناsأنا){\displaystyle E=-\left(\sum _{i<j}w_{ij}\,s_{i}\,s_{j}+\sum _{i}\theta _{i}\,s_{i}\right)}

أين:

  • wأناج{\displaystyle w_{ij}}قوة الاتصال بين الوحدةج{\displaystyle j}ووحدةأنا{\displaystyle i}.
  • sأنا{\displaystyle s_{i}}هي الدولة،sأنا∈{0،1}{\displaystyle s_{i}\in \{0,1\}}، من الوحدةأنا{\displaystyle i}.
  • θأنا{\displaystyle \theta _{i}}هو انحياز الوحدةأنا{\displaystyle i}في دالة الطاقة العالمية. (-θأنا{\displaystyle -\theta _{i}}(وهو عتبة التنشيط للوحدة.)

غالباً ما تكون الأوزانwأناج{\displaystyle w_{ij}}يتم تمثيلها كمصفوفة متناظرةدبليو=[wأناج]{\displaystyle W=[w_{ij}]}مع وجود أصفار على طول القطر.

احتمالية الحالة الواحدة

الفرق في الطاقة العالمية الناتج عن وحدة واحدةأنا{\displaystyle i}يساوي 0 (إيقاف) مقابل 1 (تشغيل)، مكتوبΔهـأنا{\displaystyle \Delta E_{i}}، بافتراض مصفوفة أوزان متناظرة، يتم إعطاؤها بواسطة:

Δهـأنا=∑ج>أناwأناجsج+∑ج<أناwجأناsج+θأنا{\displaystyle \Delta E_{i}=\sum _{j>i}w_{ij}\,s_{j}+\sum _{j<i}w_{ji}\,s_{j}+\theta _{i}}

ويمكن التعبير عن ذلك على أنه الفرق في طاقات حالتين:

Δهـأنا=هـi=إيقاف-هـi=on{\displaystyle \Delta E_{i}=E_{\text{i=off}}-E_{\text{i=on}}}

وباستبدال طاقة كل حالة باحتماليتها النسبية وفقًا لعامل بولتزمان (وهي خاصية لتوزيع بولتزمان مفادها أن طاقة الحالة تتناسب مع اللوغاريتم السالب لاحتمالية تلك الحالة)، ينتج ما يلي:

Δهـأنا=-كبتيln⁡(صi=إيقاف)-(-كبتيln⁡(صi=on))،{\displaystyle \Delta E_{i}=-k_{B}T\ln(p_{\text{i=off}})-(-k_{B}T\ln(p_{\text{i=on}})),}

أينكب{\displaystyle k_{B}}هو ثابت بولتزمان ويتم استيعابه في المفهوم الاصطناعي لدرجة الحرارةتي{\displaystyle T}مع ملاحظة أن احتمالات تشغيل الوحدة أو إيقافها مجموعها يساوي1{\displaystyle 1}يُتيح ذلك التبسيط:

-Δهـأناكبتي=-ln⁡(صأنا=على)+ln⁡(صأنا=عن)=ln⁡(1-صأنا=علىصأنا=على)=ln⁡(صأنا=على-1-1)،{\displaystyle -{\frac {\Delta E_{i}}{k_{B}T}}=-\ln(p_{i={\text{on}}})+\ln(p_{i={\text{off}}})=\ln {\Big (}{\frac {1-p_{i={\text{on}}}}{p_{i={\text{on}}}}}{\Big )}=\ln(p_{i={\text{on}}}^{-1}-1),}

ومن هنا احتمال أنأنا{\displaystyle i}الوحدة رقم -th معطاة بواسطة

صأنا=على=11+خبرة⁡(-Δهـأناكبتي)،{\displaystyle p_{i={\text{on}}}={\frac {1}{1+\exp {\Big (}-{\frac {\Delta E_{i}}{k_{B}T}}{\Big )}}},}

حيث الكمية القياسيةتي{\displaystyle T}يُشار إليها بدرجة حرارة النظام. هذه العلاقة هي مصدر الدالة اللوجستية الموجودة في تعابير الاحتمالات في متغيرات آلة بولتزمان.

حالة التوازن

تعمل الشبكة عن طريق اختيار وحدة ما بشكل متكرر وإعادة ضبط حالتها. بعد تشغيلها لفترة كافية عند درجة حرارة معينة، يعتمد احتمال حالة الشبكة العامة فقط على طاقة تلك الحالة العامة، وفقًا لتوزيع بولتزمان ، وليس على الحالة الابتدائية التي بدأت منها العملية. هذا يعني أن احتمالات الحالات العامة اللوغاريتمية تصبح خطية بالنسبة لطاقاتها. تتحقق هذه العلاقة عندما تكون الآلة "في حالة توازن حراري "، أي عندما يتقارب توزيع احتمالات الحالات العامة. عند تشغيل الشبكة بدءًا من درجة حرارة عالية، تنخفض درجة حرارتها تدريجيًا حتى تصل إلى حالة توازن حراري عند درجة حرارة أقل. بعد ذلك، قد تتقارب إلى توزيع يتذبذب فيه مستوى الطاقة حول الحد الأدنى العالمي. تُسمى هذه العملية بالتلدين المحاكي .

لتدريب الشبكة بحيث تتقارب إلى حالة عالمية وفقًا لتوزيع خارجي على هذه الحالات، يجب ضبط الأوزان بحيث تحصل الحالات العالمية ذات الاحتمالات الأعلى على أقل الطاقات. ويتم ذلك من خلال التدريب.

تمرين

تُقسّم الوحدات في آلة بولتزمان إلى وحدات "مرئية" (V) ووحدات "مخفية" (H). الوحدات المرئية هي تلك التي تتلقى المعلومات من "البيئة"، أي أن مجموعة التدريب هي مجموعة من المتجهات الثنائية ضمن المجموعة V. ويُرمز إلى التوزيع على مجموعة التدريب بـP+(V){\displaystyle P^{+}(V)}.

يتقارب التوزيع على الحالات العالمية عندما تصل آلة بولتزمان إلى حالة التوازن الحراري . ونرمز إلى هذا التوزيع، بعد تهميشه على الوحدات المخفية، بـP-(V){\displaystyle P^{-}(V)}.

هدفنا هو تقريب التوزيع "الحقيقي".P+(V){\displaystyle P^{+}(V)}باستخدامP-(V){\displaystyle P^{-}(V)}يتم إنتاجها بواسطة الآلة. ويتم قياس تشابه التوزيعين بواسطة تباعد كولباك-لايبير .جي{\displaystyle G}:

جي=∑vP+(v)ln⁡(P+(v)P-(v)){\displaystyle G=\sum _{v}{P^{+}(v)\ln \left({\frac {P^{+}(v)}{P^{-}(v)}}\right)}}

حيث يكون المجموع على جميع الحالات الممكنة لـV{\displaystyle V}.جي{\displaystyle G}هي دالة للأوزان، لأنها تحدد طاقة الحالة، والطاقة تحددP-(v){\displaystyle P^{-}(v)}كما وعد توزيع بولتزمان. خوارزمية هبوط التدرج علىجي{\displaystyle G}تغيير وزن معين،wأناج{\displaystyle w_{ij}}، عن طريق طرح المشتقة الجزئية لـجي{\displaystyle G}فيما يتعلق بالوزن.

يتضمن تدريب آلة بولتزمان مرحلتين متناوبتين. الأولى هي المرحلة "الإيجابية" حيث يتم تثبيت حالات الوحدات المرئية على متجه حالة ثنائي معين يتم أخذه من مجموعة التدريب (وفقًا لـP+{\displaystyle P^{+}}أما المرحلة الأخرى فهي المرحلة "السلبية" حيث يُسمح للشبكة بالعمل بحرية، أي أن حالة عقد الإدخال فقط هي التي تُحدد بواسطة بيانات خارجية، بينما يُسمح لعقد الإخراج بالتحرك بحرية. ويُحسب التدرج بالنسبة لوزن مُحدد.wأناج{\displaystyle w_{ij}}، ويتم إعطاؤها بالمعادلة: [ 2 ]

∂جي∂wأناج=-1R[صأناج+-صأناج-]{\displaystyle {\frac {\partial {G}}{\partial {w_{ij}}}}=-{\frac {1}{R}}[p_{ij}^{+}-p_{ij}^{-}]}

أين:

  • صأناج+{\displaystyle p_{ij}^{+}}يمثل احتمال أن تكون الوحدتان i و j قيد التشغيل عندما تكون الآلة في حالة توازن على الطور الموجب.
  • صأناج-{\displaystyle p_{ij}^{-}}هي احتمالية أن تكون الوحدتان i و j قيد التشغيل عندما تكون الآلة في حالة توازن على الطور السالب.
  • R{\displaystyle R}يشير إلى معدل التعلم

تنتج هذه النتيجة من حقيقة أنه عند التوازن الحراري يكون الاحتمالP-(s){\displaystyle P^{-}(s)}من أي دولة عالميةs{\displaystyle s}عندما تكون الشبكة حرة التشغيل، يتم تحديد ذلك بواسطة توزيع بولتزمان.

تُعدّ قاعدة التعلّم هذه منطقية من الناحية البيولوجية، لأنّ المعلومات الوحيدة اللازمة لتغيير الأوزان تُوفّرها معلومات "محلية". أي أنّ الوصلة ( المشبك العصبي ، بيولوجيًا) لا تحتاج إلى معلومات عن أيّ شيء آخر غير الخليتين العصبيتين اللتين تربطهما. وهذا أكثر واقعية من الناحية البيولوجية من المعلومات التي تحتاجها الوصلة في العديد من خوارزميات تدريب الشبكات العصبية الأخرى، مثل خوارزمية الانتشار العكسي .

لا يستخدم تدريب آلة بولتزمان خوارزمية EM ، الشائعة الاستخدام في مجال تعلم الآلة . بتقليل تباعد كولباك-لايبير ، يُعادل ذلك تعظيم دالة الاحتمال اللوغاريتمي للبيانات. لذا، تُجري عملية التدريب صعود التدرج على دالة الاحتمال اللوغاريتمي للبيانات المرصودة. وهذا يختلف عن خوارزمية EM، حيث يجب حساب التوزيع الاحتمالي اللاحق للعقد المخفية قبل تعظيم القيمة المتوقعة لاحتمالية البيانات الكاملة خلال خطوة M.

تدريب التحيزات مشابه، ولكنه يستخدم نشاط عقدة واحدة فقط:

∂جي∂θأنا=-1R[صأنا+-صأنا-]{\displaystyle {\frac {\partial {G}}{\partial {\theta _{i}}}}=-{\frac {1}{R}}[p_{i}^{+}-p_{i}^{-}]}

مشاكل

نظرياً، تُعدّ آلة بولتزمان وسيلة حسابية عامة إلى حد ما. فعلى سبيل المثال، إذا تم تدريبها على الصور الفوتوغرافية، فإنها نظرياً ستُحاكي توزيع الصور، ويمكنها استخدام هذا النموذج، على سبيل المثال، لإكمال صورة فوتوغرافية جزئية.

لسوء الحظ، تواجه آلات بولتزمان مشكلة عملية خطيرة، وهي أنها تتوقف على ما يبدو عن التعلم بشكل صحيح عند تكبير حجمها إلى حجم أكبر من الحجم الصغير جدًا. ويعود ذلك إلى تأثيرات مهمة، وتحديدًا:

  • يزداد الوقت اللازم لجمع إحصاءات التوازن بشكل كبير مع حجم الآلة، ومع مقدار قوة الاتصال.
  • تكون قوة الاتصال أكثر مرونة عندما تكون احتمالات تنشيط الوحدات المتصلة متوسطة بين الصفر والواحد، مما يؤدي إلى ما يُسمى بفخ التباين. والنتيجة النهائية هي أن التشويش يتسبب في أن تتبع قوة الاتصال مسارًا عشوائيًا حتى تصل الأنشطة إلى حد التشبع.

الأنواع

آلة بولتزمان المقيدة

تمثيل بياني لآلة بولتزمان المقيدة كمثال
تمثيل بياني لآلة بولتزمان المقيدة. تمثل الوحدات الزرقاء الأربع الوحدات المخفية، بينما تمثل الوحدات الحمراء الثلاث الحالات المرئية. في آلات بولتزمان المقيدة، توجد روابط (تبعيات) بين الوحدات المخفية والمرئية فقط، ولا توجد روابط بين الوحدات من النوع نفسه (لا توجد روابط بين الوحدات المخفية، ولا بين الوحدات المرئية).

على الرغم من أن التعلم غير عملي في آلات بولتزمان عمومًا، إلا أنه يمكن جعله فعالًا للغاية في آلة بولتزمان المقيدة (RBM) التي لا تسمح بالاتصالات داخل الطبقة بين الوحدات المخفية والظاهرة، أي لا يوجد اتصال بين الوحدات الظاهرة والظاهرة أو بين الوحدات المخفية. بعد تدريب آلة بولتزمان مقيدة واحدة، يمكن اعتبار أنشطة وحداتها المخفية بيانات لتدريب آلة بولتزمان مقيدة ذات مستوى أعلى. تُمكّن هذه الطريقة من تكديس آلات بولتزمان المقيدة من تدريب العديد من طبقات الوحدات المخفية بكفاءة، وهي إحدى أكثر استراتيجيات التعلم العميق شيوعًا . ومع إضافة كل طبقة جديدة، يتحسن النموذج التوليدي.

يسمح امتداد لآلة بولتزمان المقيدة باستخدام بيانات ذات قيم حقيقية بدلاً من البيانات الثنائية. [ 6 ]

أحد الأمثلة على التطبيقات العملية لـ RBM هو التعرف على الكلام. [ 7 ]

آلة بولتزمان العميقة

آلة بولتزمان العميقة (DBM) هي نوع من حقول ماركوف العشوائية الثنائية ( نموذج بياني احتمالي غير موجه ) ذات طبقات متعددة من المتغيرات العشوائية المخفية . وهي عبارة عن شبكة من الوحدات الثنائية العشوائية المترابطة بشكل متناظر . وتتألف من مجموعة من الوحدات المرئية.ν∈{0،1}د{\displaystyle {\boldsymbol {\nu }}\in \{0,1\}^{D}}وطبقات من الوحدات المخفيةح(1)∈{0،1}F1،ح(2)∈{0،1}F2،...،ح(ل)∈{0،1}Fل{\displaystyle {\boldsymbol {h}}^{(1)}\in \{0,1\}^{F_{1}},{\boldsymbol {h}}^{(2)}\in \{0,1\}^{F_{2}},\ldots ,{\boldsymbol {h}}^{(L)}\in \{0,1\}^{F_{L}}}لا توجد روابط تربط وحدات الطبقة نفسها (مثل RBM ). بالنسبة لـ DBM ، فإن الاحتمالية المخصصة للمتجه ν هي

ص(ν)=1Z∑حهـ∑أناجدبليوأناج(1)νأناحج(1)+∑جلدبليوجل(2)حج(1)حل(2)+∑لمدبليولم(3)حل(2)حم(3)،{\displaystyle p({\boldsymbol {\nu }})={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{(1)}+\sum _{jl}W_{jl}^{(2)}h_{j}^{(1)}h_{l}^{(2)}+\sum _{lm}W_{lm}^{(3)}h_{l}^{(2)}h_{m}^{(3)}},}

أينح={ح(1)،ح(2)،ح(3)}{\displaystyle {\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}}هي مجموعة الوحدات المخفية، وθ={دبليو(1)،دبليو(2)،دبليو(3)}{\displaystyle \theta =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}}تمثل معلمات النموذج التفاعلات بين الطبقات المرئية والمخفية، وبين الطبقات المخفية نفسها. [ 8 ] في الشبكة العصبية العميقة (DBN) ، تشكل الطبقتان العلويتان فقط آلة بولتزمان مقيدة (وهي نموذج رسومي غير موجه )، بينما تشكل الطبقات السفلية نموذجًا توليديًا موجهًا. أما في نموذج بولتزمان الموجه (DBM)، فتكون جميع الطبقات متناظرة وغير موجهة.

على غرار الشبكات العصبية العميقة ، تستطيع نماذج البيانات العميقة تعلم تمثيلات داخلية معقدة ومجردة للمدخلات في مهام مثل التعرف على الأشياء أو الكلام ، وذلك باستخدام بيانات محدودة ومصنفة لضبط التمثيلات المبنية باستخدام مجموعة كبيرة من بيانات الإدخال الحسية غير المصنفة. مع ذلك، وعلى عكس الشبكات العصبية العميقة والشبكات العصبية الالتفافية العميقة ، فإنها تتبع إجراء الاستدلال والتدريب في كلا الاتجاهين، من الأسفل إلى الأعلى ومن الأعلى إلى الأسفل، مما يسمح لنموذج البيانات العميقة بالكشف بشكل أفضل عن تمثيلات هياكل الإدخال. [ 9 ] [ 10 ] [ 11 ]

مع ذلك، فإن بطء سرعة نماذج البيانات الأساسية (DBMs) يحد من أدائها ووظائفها. ولأن التعلم الدقيق لأقصى احتمال غير ممكن عمليًا في هذه النماذج، فإن التعلم التقريبي لأقصى احتمال هو الخيار الوحيد المتاح. وثمة خيار آخر يتمثل في استخدام استدلال المجال المتوسط ​​لتقدير التوقعات المعتمدة على البيانات وتقريب الإحصائيات الكافية المتوقعة باستخدام سلسلة ماركوف مونت كارلو (MCMC). [ 8 ] هذا الاستدلال التقريبي، الذي يجب إجراؤه لكل مدخل اختبار، أبطأ بنحو 25 إلى 50 مرة من عملية تمرير واحدة من الأسفل إلى الأعلى في نماذج البيانات الأساسية. وهذا يجعل التحسين المشترك غير عملي لمجموعات البيانات الكبيرة، ويقيد استخدام نماذج البيانات الأساسية في مهام مثل تمثيل الميزات.

نماذج RBM ذات المسامير والألواح

أدت الحاجة إلى التعلم العميق باستخدام مدخلات ذات قيم حقيقية ، كما هو الحال في نماذج بولتزمان المقيدة الغاوسية (RBM)، إلى ظهور نموذج بولتزمان المقيدة ذي النبضات والألواح ( ss RBM )، الذي يُنمذج المدخلات ذات القيم المستمرة باستخدام متغيرات كامنة ثنائية . [ 12 ] على غرار نماذج بولتزمان المقيدة الأساسية ومتغيراتها، فإن نموذج بولتزمان المقيدة ذي النبضات والألواح عبارة عن رسم بياني ثنائي الأجزاء ، بينما تكون الوحدات المرئية (المدخلات) ذات قيم حقيقية، كما هو الحال في نماذج بولتزمان المقيدة الغاوسية. يكمن الاختلاف في الطبقة المخفية، حيث تحتوي كل وحدة مخفية على متغير نبضة ثنائي ومتغير لوح ذي قيمة حقيقية. تمثل النبضة كتلة احتمالية منفصلة عند الصفر، بينما يمثل اللوح كثافة على مجال مستمر؛ [ 13 ] ويشكل مزيجهما توزيعًا احتماليًا أوليًا . [ 14 ]

يُوفر امتدادٌ لنموذج RBM ذي الحالة المفردة، يُسمى μ-ss RBM، قدرةً إضافيةً على النمذجة باستخدام حدودٍ إضافيةٍ في دالة الطاقة . يُتيح أحد هذه الحدود للنموذج تكوين توزيعٍ شرطيٍّ لمتغيرات الذروة عن طريق تهميش متغيرات الطبقة عند وجود مُشاهدةٍ مُعينة.

في الرياضيات

في سياق رياضي أعم، يُعرف توزيع بولتزمان أيضًا باسم مقياس جيبس . وفي الإحصاء والتعلم الآلي ، يُطلق عليه اسم النموذج اللوغاريتمي الخطي . أما في التعلم العميق، فيُستخدم توزيع بولتزمان في توزيع العينات للشبكات العصبية العشوائية، مثل آلة بولتزمان.

تاريخ

تعتمد آلة بولتزمان على نموذج شيرينغتون-كيركباتريك للزجاج المغزلي الذي وضعه ديفيد شيرينغتون وسكوت كيركباتريك . [ 15 ] وقد طبّق جون هوبفيلد في منشوره الرائد (1982) أساليب الميكانيكا الإحصائية، ولا سيما نظرية الزجاج المغزلي التي طُوّرت حديثًا (في سبعينيات القرن العشرين)، لدراسة الذاكرة الترابطية (التي سُمّيت لاحقًا "شبكة هوبفيلد"). [ 16 ]

ظهرت المساهمة الأصلية في تطبيق نماذج الطاقة هذه في العلوم المعرفية في أوراق بحثية لجيفري هينتون وتيري سيجنوفسكي . [ 17 ] [ 18 ] [ 19 ] في مقابلة أجريت عام 1995، ذكر هينتون أنه كان سيلقي محاضرة في فبراير أو مارس من عام 1983 حول التلدين المحاكي في شبكات هوبفيلد، لذا كان عليه تصميم خوارزمية تعلم لهذه المحاضرة، مما أدى إلى ابتكار خوارزمية بولتزمان للتعلم الآلي. [ 20 ]

استُخدمت فكرة تطبيق نموذج إيزينغ مع أخذ عينات جيبس ​​المُعالَج حرارياً في مشروع دوغلاس هوفستاتر " كوبي كات " (1984). [ 21 ] [ 22 ]

أدى التشبيه الصريح بين الميكانيكا الإحصائية وصياغة آلة بولتزمان إلى استخدام مصطلحات مستعارة من الفيزياء (مثل "الطاقة")، والتي أصبحت معيارية في هذا المجال. ولعلّ انتشار هذه المصطلحات على نطاق واسع قد شجّعه حقيقة أن استخدامها أدى إلى تبني مفاهيم وأساليب متنوعة من الميكانيكا الإحصائية. ويبدو أن المقترحات المختلفة لاستخدام التلدين المحاكي للاستدلال كانت مستقلة.

توجد أفكار مشابهة (مع تغيير في إشارة دالة الطاقة) في "نظرية التناغم" لبول سمولينسكي . [ 23 ] يمكن تعميم نماذج إيزينغ إلى حقول ماركوف العشوائية ، والتي تجد تطبيقات واسعة النطاق في اللغويات والروبوتات ورؤية الحاسوب والذكاء الاصطناعي .

في عام 2024، مُنح هوبفيلد وهينتون جائزة نوبل في الفيزياء لمساهماتهما الأساسية في مجال التعلم الآلي ، مثل آلة بولتزمان. [ 24 ]

انظر أيضاً

مراجع

  1. ↑ شيرينغتون، ديفيد؛ كيركباتريك، سكوت (1975)، "نموذج قابل للحل لزجاج الدوران"، رسائل المراجعة الفيزيائية ، 35 (35): 1792-1796 ، رمز Bibcode : 1975PhRvL..35.1792S ، doi : 10.1103/PhysRevLett.35.1792
  2. 1 2 3 أكلي، ديفيد هـ.؛ هينتون، جيفري إي.؛ سيجنوفسكي، تيرينس ج. (1985). "خوارزمية تعلم لآلات بولتزمان" (ملف PDF) . العلوم المعرفية . 9 (1): 147-169 . doi : 10.1207/s15516709cog0901_7 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 18 يوليو 2011.
  3. ↑ هينتون، جيفري إي. (24-05-2007). "آلة بولتزمان" . موسوعة سكولاربيديا . 2 (5): 1668. رمز Bibcode : 2007SchpJ...2.1668H . doi : 10.4249/scholarpedia.1668 . ISSN 1941-6016 . 
  4. ↑ أوزبورن، توماس ر. (1 يناير 1990). "التعليم السريع لآلات بولتزمان باستخدام التثبيط الموضعي" . المؤتمر الدولي للشبكات العصبية . سبرينغر هولندا . ص 785. doi : 10.1007/978-94-009-0643-3_76 . ISBN  978-0-7923-0831-7.
  5. ↑ نايكمب، إي.؛ هيل، إم. إي.؛ هان، تي. (2020)، "حول تشريح تعلم الاحتمالية القصوى القائم على سلسلة ماركوف مونت كارلو للنماذج القائمة على الطاقة" ، وقائع مؤتمر AAAI حول الذكاء الاصطناعي ، 4 (34): 5272-5280 ، arXiv : 1903.12370 ، doi : 10.1609/aaai.v34i04.5973
  6. ↑ التطورات الحديثة في التعلم العميق ، 22 مارس 2010، مؤرشف من الأصل في 22 ديسمبر 2021 ، تم الاطلاع عليه في 17 فبراير 2020
  7. ↑ يو، دونغ؛ دال، جورج؛ أسيرو، أليكس؛ دينغ، لي (2011). "شبكات عصبية عميقة مدربة مسبقًا تعتمد على السياق للتعرف على الكلام ذي المفردات الكبيرة" (ملف PDF) . مايكروسوفت للأبحاث . 20 .
  8. ١ ٢ هينتون، جيفري؛ سالاخوتدينوف، روسلان (٢٠١٢). "طريقة أفضل لتدريب آلات بولتزمان العميقة مسبقًا" (ملف PDF) . التقدم في الشبكات العصبية . ٣ : ١-٩ . مؤرشف من الأصل (ملف PDF) بتاريخ ١٣ أغسطس ٢٠١٧. تم الاسترجاع بتاريخ ١٨ أغسطس ٢٠١٧ .
  9. ↑ هينتون، جيفري؛ سالاخوتدينوف، روسلان (2009). "التعلم الفعال لآلات بولتزمان العميقة" (ملف PDF) . وقائع المؤتمر الدولي الثاني عشر حول الذكاء الاصطناعي والإحصاء . المجلد 3. الصفحات 448-455 . مؤرشف من الأصل (ملف PDF) بتاريخ 6 نوفمبر 2015. تم الاطلاع عليه بتاريخ 18 أغسطس 2017 .  
  10. ^ بنجيو ، يوشوا. ليكون، يان (2007). “توسيع نطاق خوارزميات التعلم نحو الذكاء الاصطناعي” (PDF) . جامعة مونتريال (طبعة أولية).
  11. ↑ لاروشيل، هوغو؛ سالاخوتدينوف، روسلان (2010). "التعلم الفعال لآلات بولتزمان العميقة" (ملف PDF) . وقائع المؤتمر الدولي الثالث عشر حول الذكاء الاصطناعي والإحصاء . الصفحات 693-700 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 14 أغسطس 2017. تم الاطلاع عليه بتاريخ 18 أغسطس 2017 . 
  12. ↑ كورفيل، آرون؛ بيرغسترا، جيمس؛ بينجيو، يوشوا (2011). "آلة بولتزمان المقيدة بالشوكة واللوح" (ملف PDF) . مجلة JMLR: وقائع ورش العمل والمؤتمرات . 15 : 233-241 . مؤرشف من الأصل (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .
  13. ↑ كورفيل، آرون؛ بيرغسترا، جيمس؛ بينجيو، يوشوا (2011). "نماذج غير خاضعة للإشراف للصور باستخدام نماذج بولتزمان المقيدة ذات البنية الشوكية واللوحية" (ملف PDF) . وقائع المؤتمر الدولي الثامن والعشرين للتعلم الآلي . المجلد 10. الصفحات 1-8 . مؤرشف من النسخة الأصلية (PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .  
  14. ↑ ميتشل، ت؛ بيوشامب، ج (1988). "اختيار المتغيرات البايزية في الانحدار الخطي" . مجلة الجمعية الإحصائية الأمريكية . 83 (404): 1023-1032 . doi : 10.1080/01621459.1988.10478694 .
  15. ↑ شيرينغتون، ديفيد؛ كيركباتريك، سكوت (29-12-1975). "نموذج قابل للحل لزجاج الدوران". رسائل المراجعة الفيزيائية . 35 (26): 1792-1796 . رمز Bibcode : 1975PhRvL..35.1792S . doi : 10.1103/physrevlett.35.1792 . ISSN 0031-9007 . 
  16. ↑ هوبفيلد، ج. ج. (1982). "الشبكات العصبية والأنظمة الفيزيائية ذات القدرات الحسابية الجماعية الناشئة" . وقائع الأكاديمية الوطنية للعلوم في الولايات المتحدة الأمريكية . 79 (8). [sn]: 2554–8 . Bibcode : 1982PNAS...79.2554H . doi : 10.1073 / pnas.79.8.2554 . OCLC 848771572. PMC 346238. PMID 6953413 .   
  17. ↑ هينتون، جيفري؛ سيجنوفسكي، تيرينس جيه. (مايو 1983). تحليل الحوسبة التعاونية . المؤتمر السنوي الخامس لجمعية العلوم المعرفية. روتشستر، نيويورك . تم الاطلاع عليه بتاريخ 17 فبراير 2020 .
  18. ↑ هينتون، جيفري إي.؛ سيجنوفسكي، تيرينس جيه. (يونيو 1983). الاستدلال الإدراكي الأمثل . مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط (CVPR). واشنطن العاصمة: جمعية IEEE للحاسوب. الصفحات 448-453 . 
  19. ↑ فاهلمان، إس. إي.، هينتون، جي. إي.، سيجنوفسكي، تي. جيه. بنى متوازية ضخمة للذكاء الاصطناعي: آلات NETL، وثيستل، وبولتزمان. في: جينسيريث، إم. آر.، محرر. AAAI-83. واشنطن العاصمة: AAAI؛ 1983. الصفحات 109-113
  20. ↑ الفصل 16. روزنفيلد، إدوارد، وجيمس أ. أندرسون، محرران. 2000. الشبكات الناطقة: تاريخ شفوي للشبكات العصبية . طبعة معاد طباعتها. مطبعة معهد ماساتشوستس للتكنولوجيا.
  21. ↑ هوفستاتر، د. ر. (يناير 1984). مشروع التقليد: تجربة في اللا حتمية والتشبيهات الإبداعية . مركز المعلومات التقنية للدفاع. OCLC 227617764 . 
  22. ↑ هوفستاتر، دوغلاس ر. (1988). "مقاربة غير حتمية للقياس، تتضمن نموذج إيزينغ للمغناطيسية الحديدية". في كايانيلو، إدواردو ر. (محرر). فيزياء العمليات المعرفية . تينيك، نيو جيرسي: وورلد ساينتيفيك. ISBN 9971-5-0255-0. OCLC 750950619 . 
  23. ↑ سمولينسكي، بول. "معالجة المعلومات في الأنظمة الديناميكية: أسس نظرية التناغم." (1986): 194-281.
  24. ↑ جونستون، هاميش (2024-10-08). "جون هوبفيلد وجيفري هينتون يتقاسمان جائزة نوبل في الفيزياء لعام 2024" . عالم الفيزياء . تم الاطلاع عليه بتاريخ 18-10-2024 .

للمزيد من القراءة