التعلم الجماعي

يمكن شرح التعلم الجماعي، بما في ذلك مهام الانحدار والتصنيف، باستخدام إطار هندسي. ^{[ 15 ]} ضمن هذا الإطار، يمكن اعتبار ناتج كل مصنف أو منحدر فردي لمجموعة البيانات بأكملها كنقطة في فضاء متعدد الأبعاد. بالإضافة إلى ذلك، تُمثل النتيجة المستهدفة أيضًا كنقطة في هذا الفضاء، تُعرف باسم "النقطة المثالية".

تُستخدم المسافة الإقليدية كمقياس لتقييم أداء كلٍّ من المصنف أو المُتنبئ الفردي (المسافة بين نقطته والنقطة المثالية) والاختلاف بين مصنفين أو مُتنبئين (المسافة بين نقطتيهما). هذا المنظور يحوّل التعلم الجماعي إلى مسألة حتمية.

على سبيل المثال، ضمن هذا الإطار الهندسي، يمكن إثبات أن حساب متوسط ​​مخرجات (درجات) جميع المصنفات أو نماذج الانحدار الأساسية قد يؤدي إلى نتائج مساوية أو أفضل من متوسط ​​جميع النماذج الفردية. كما يمكن إثبات أنه في حال استخدام نظام الترجيح الأمثل، فإن أسلوب المتوسط ​​المرجح يتفوق على أي من المصنفات أو نماذج الانحدار الفردية التي تشكل المجموعة، أو على الأقل يضاهي أفضل أداء لها.

يُعدّ مُصنِّف بايز الأمثل تقنية تصنيف، وهو عبارة عن مجموعة من جميع الفرضيات في فضاء الفرضيات. في المتوسط، لا تتفوق عليه أي مجموعة أخرى. ^{[ 18 ]} مُصنِّف بايز الساذج هو نسخة منه تفترض أن البيانات مستقلة شرطيًا عن الفئة، مما يجعل الحساب أكثر جدوى. تُمنح كل فرضية صوتًا يتناسب مع احتمالية أخذ عينة من مجموعة بيانات التدريب من النظام إذا كانت تلك الفرضية صحيحة. ولتسهيل تدريب البيانات ذات الحجم المحدود، يُضرب صوت كل فرضية أيضًا في الاحتمالية المسبقة لتلك الفرضية. يمكن التعبير عن مُصنِّف بايز الأمثل بالمعادلة التالية:

${\displaystyle y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(T|h_{i})P(h_{i})}}$

أين${\displaystyle y}$هي الفئة المتوقعة،${\displaystyle C}$هي مجموعة جميع الفئات الممكنة،${\displaystyle H}$هي فضاء الفرضيات،${\displaystyle P}$يشير إلى احتمال ، و${\displaystyle T}$تمثل بيانات التدريب. وباعتبارها مجموعة، فإن مصنف بايز الأمثل يمثل فرضية ليست بالضرورة في${\displaystyle H}$ومع ذلك، فإن الفرضية التي يمثلها المصنف الأمثل لـ Bayes هي الفرضية المثلى في فضاء التجميع (فضاء جميع التجميعات الممكنة التي تتكون فقط من فرضيات في${\displaystyle H}$).

يمكن إعادة صياغة هذه الصيغة باستخدام نظرية بايز ، التي تنص على أن الاحتمال اللاحق يتناسب مع الاحتمال مضروبًا في الاحتمال المسبق:

${\displaystyle P(h_{i}|T)\propto P(T|h_{i})P(h_{i})}$

لذلك،

${\displaystyle y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(h_{i}|T)}}$

تتضمن عملية التجميع باستخدام التمهيد ( التجميع المُعزز ) تدريب نموذج مُجمّع على مجموعات بيانات مُمهّدة . تُنشأ مجموعة التمهيد عن طريق اختيار عناصر من مجموعة بيانات التدريب الأصلية مع الإحلال. وبالتالي، قد تحتوي مجموعة التمهيد على مثال مُحدد صفرًا أو مرة واحدة أو عدة مرات. كما يمكن أن يكون لأعضاء النموذج المُجمّع قيود على الميزات (مثل عُقد شجرة القرار)، لتشجيع استكشاف ميزات متنوعة. ^{[ 19 ]} يُعزز تباين المعلومات المحلية في مجموعات التمهيد واعتبارات الميزات التنوع في النموذج المُجمّع، ويمكن أن يُقويه. ^{[ 20 ]} وللحد من التجاوز، يمكن التحقق من صحة عضو باستخدام مجموعة البيانات الخارجية (الأمثلة التي ليست ضمن مجموعة التمهيد الخاصة به). ^{[ 21 ]}

يتم الاستدلال عن طريق التصويت على تنبؤات أعضاء المجموعة، وهو ما يُسمى بالتجميع . يوضح الشكل أدناه مجموعة من أربع أشجار قرار. يتم تصنيف مثال الاستعلام بواسطة كل شجرة. ولأن ثلاثًا من الأشجار الأربع تتنبأ بالفئة الإيجابية ، فإن التصنيف الإجمالي للمجموعة هو إيجابي . تُعد الغابات العشوائية، مثل تلك الموضحة، تطبيقًا شائعًا لتقنية التجميع.

تتضمن عملية التعزيز تدريب نماذج متتالية من خلال التركيز على بيانات التدريب التي صُنفت بشكل خاطئ بواسطة النماذج السابقة. في البداية، تُعطى جميع البيانات (D1) وزنًا متساويًا وتُستخدم لتدريب نموذج أساسي M1. تُعطى الأمثلة التي صُنفت بشكل خاطئ بواسطة M1 وزنًا أكبر من الأمثلة المصنفة بشكل صحيح. تُستخدم هذه البيانات المُعززة (D2) لتدريب نموذج أساسي ثانٍ M2، وهكذا. يتم الاستدلال عن طريق التصويت.

في بعض الحالات، حقق التعزيز دقةً أفضل من التجميع، ولكنه يميل إلى الإفراط في التخصيص. يُعدّ Adaboost التطبيق الأكثر شيوعًا للتعزيز ، ولكن تشير التقارير إلى أن بعض الخوارزميات الأحدث تحقق نتائج أفضل.

تعتمد طريقة المتوسط ​​المرجح للنماذج البايزية (BMA) على حساب متوسط ​​تنبؤات النماذج المرجحة باحتمالاتها اللاحقة بناءً على البيانات. ^{[ 22 ]} ومن المعروف أن BMA تعطي عمومًا نتائج أفضل من نموذج واحد، يتم الحصول عليه، على سبيل المثال، عبر الانحدار التدريجي ، خاصةً عندما يكون أداء النماذج المختلفة متطابقًا تقريبًا في مجموعة التدريب، ولكنها قد تختلف اختلافًا كبيرًا في جوانب أخرى.

السؤال الذي يطرح نفسه عند استخدام نظرية بايز هو الاحتمال المسبق، أي الاحتمال (الذي قد يكون شخصيًا) بأن يكون كل نموذج هو الأفضل للاستخدام لغرض معين. من الناحية النظرية، يمكن استخدام تحليل الانحدار البايزي (BMA) مع أي احتمال مسبق. تستخدم حزم R البرمجية ensembleBMA ^{[ 23 ]} وBMA ^{[ 24 ]} الاحتمال المسبق المُستنتج من معيار معلومات بايز (BIC)، وفقًا لرافتر (1995). ^{[ 25 ]} تدعم حزمة R البرمجية BAS استخدام الاحتمالات المسبقة المُستنتجة من معيار معلومات أكايكي (AIC) ومعايير أخرى على النماذج البديلة، بالإضافة إلى الاحتمالات المسبقة على المعاملات. ^{[ 26 ]}

يكمن الفرق بين معيار معلومات بايز (BIC) ومعيار معلومات أكايكي (AIC) في قوة تفضيل البساطة. أما عقوبة معيار معلومات بايز (BIC) لتعقيد النموذج فهي${\displaystyle \ln(n)k}$بينما شركة AIC هي${\displaystyle 2k}$تُثبت نظرية التقارب للعينات الكبيرة أنه إذا وُجد نموذج أمثل، فمع ازدياد حجم العينة، يكون معيار معلومات بايز (BIC) متسقًا للغاية، أي أنه سيجده على الأرجح، بينما قد لا يجده معيار معلومات أكايكي (AIC)، لأن الأخير قد يستمر في وضع احتمالية خلفية مفرطة على نماذج أكثر تعقيدًا مما ينبغي. من ناحية أخرى، يُعد كل من معيار معلومات أكايكي (AIC) ومعيار معلومات أكايكي المصحح (AICc) "فعالين" تقاربيًا (أي، الحد الأدنى لمتوسط ​​مربع خطأ التنبؤ)، بينما لا يُعد معيار معلومات بايز (BIC) كذلك. ^{[ 27 ]}

أظهر هاوسلر وآخرون (1994) أنه عند استخدام متوسط ​​النماذج البايزية (BMA) للتصنيف، فإن خطأها المتوقع لا يتجاوز ضعف الخطأ المتوقع للمصنف الأمثل لبايز. ^{[ 28 ]} وقد أسهم بيرنهام وأندرسون (1998، 2002) إسهامًا كبيرًا في تعريف جمهور أوسع بالأفكار الأساسية لمتوسط ​​النماذج البايزية ونشر هذه المنهجية. ^{[ 29 ]} كما ساهم توفر البرامج، بما في ذلك حزم البرامج المجانية مفتوحة المصدر الأخرى للغة R بالإضافة إلى ما ذُكر أعلاه، في جعل هذه الأساليب متاحة لجمهور أوسع. ^{[ 30 ]}

يُعدّ دمج النماذج البايزية (BMC) تصحيحًا خوارزميًا لمتوسط ​​النماذج البايزية (BMA). فبدلًا من أخذ عينات من كل نموذج في المجموعة على حدة، يأخذ عينات من فضاء المجموعات الممكنة (مع أوزان النماذج المُختارة عشوائيًا من توزيع ديريشلي ذي معلمات منتظمة). يتغلب هذا التعديل على ميل BMA إلى التقارب نحو إعطاء كل الوزن لنموذج واحد. على الرغم من أن BMC أكثر تكلفة حسابيًا من BMA، إلا أنه يميل إلى تحقيق نتائج أفضل بشكل ملحوظ. وقد ثبت أن BMC أفضل في المتوسط ​​(بدلالة إحصائية) من BMA وتقنية التجميع (bagging). ^{[ 31 ]}

يتطلب استخدام قانون بايز لحساب أوزان النماذج حساب احتمالية البيانات لكل نموذج. عادةً، لا يُطابق أيٌّ من النماذج في المجموعة التوزيع الذي استُخلصت منه بيانات التدريب تمامًا، لذا تحصل جميعها على قيمة قريبة من الصفر لهذا الحد. قد ينجح هذا الأسلوب إذا كانت المجموعة كبيرة بما يكفي لتغطية فضاء النماذج بالكامل، لكن هذا نادرًا ما يكون ممكنًا. بالتالي، سيؤدي كل نمط في بيانات التدريب إلى تحوّل وزن المجموعة نحو النموذج الأقرب إلى توزيع بيانات التدريب. وهذا يُختزل في جوهره إلى طريقة معقدة بلا داعٍ لاختيار النموذج.

يمكن تصور الأوزان المحتملة لمجموعة من النماذج على شكل مُجَسَّم بسيط. عند كل رأس من رؤوس هذا المُجَسَّم، يُعطى الوزن بالكامل لنموذج واحد في المجموعة. يتقارب نموذج BMA نحو الرأس الأقرب إلى توزيع بيانات التدريب. في المقابل، يتقارب نموذج BMC نحو النقطة التي يُسقط عندها هذا التوزيع على المُجَسَّم البسيط. بعبارة أخرى، بدلاً من اختيار النموذج الأقرب إلى التوزيع الأصلي، يبحث عن توليفة النماذج الأقرب إلى هذا التوزيع.

يمكن تقريب نتائج BMA غالبًا باستخدام التحقق المتبادل لاختيار أفضل نموذج من مجموعة نماذج. وبالمثل، يمكن تقريب نتائج BMC باستخدام التحقق المتبادل لاختيار أفضل توليفة من عينة عشوائية من الأوزان الممكنة.

"مجموعة النماذج" هي تقنية تجميعية تُستخدم فيها خوارزمية لاختيار النموذج الأمثل لكل مشكلة. عند اختبارها على مشكلة واحدة فقط، قد لا تُحقق مجموعة النماذج نتائج أفضل من أفضل نموذج فيها، ولكن عند تقييمها على العديد من المشاكل، فإنها عادةً ما تُحقق نتائج أفضل بكثير، في المتوسط، من أي نموذج آخر في المجموعة.

أكثر الطرق شيوعًا لاختيار النموذج هي اختيار النموذج باستخدام التحقق المتبادل (ويُطلق عليه أحيانًا "مسابقة التذوق"). ويمكن وصفها باستخدام الشفرة الزائفة التالية:

لكل نموذج m في المجموعة: كرر العملية c مرة: (حيث 'c' ثابت ما) قسّم مجموعة بيانات التدريب عشوائياً إلى مجموعتين: أ و ب قم بتدريب m مع A اختبر m مع B اختر النموذج الذي يحقق أعلى متوسط ​​للدرجات

يمكن تلخيص عملية اختيار التحقق المتبادل على النحو التالي: "جربها جميعًا مع مجموعة التدريب، واختر الأفضل". ^{[ 32 ]}

تُعدّ عملية البوابات تعميمًا لاختيار التحقق المتقاطع. وهي تتضمن تدريب نموذج تعلّم آخر لتحديد أيّ من النماذج في المجموعة هو الأنسب لحلّ المشكلة. غالبًا ما يُستخدم نموذج البيرسيبترون في عملية البوابات. ويمكن استخدامه لاختيار النموذج "الأفضل"، أو لإعطاء وزن خطي للتنبؤات الصادرة من كل نموذج في المجموعة.

عند استخدام مجموعة من النماذج مع مجموعة كبيرة من المشكلات، قد يكون من المستحسن تجنب تدريب بعض النماذج التي تستغرق وقتًا طويلاً. يُعدّ تعلّم المعالم أحد أساليب التعلّم الفائق التي تسعى إلى حل هذه المشكلة. ويتضمن تدريب الخوارزميات السريعة (وإن كانت غير دقيقة) فقط في المجموعة، ثم استخدام أداء هذه الخوارزميات للمساعدة في تحديد أيّ خوارزمية بطيئة (وإن كانت دقيقة) هي الأنسب. ^{[ 33 ]}

يُعدّ استخدام دالة التكلفة للإنتروبيا المتقاطعة النهج الأكثر شيوعًا لتدريب المصنفات . مع ذلك، يُفضّل تدريب مجموعة من النماذج المتنوعة بحيث يُحقق دمجها أفضل النتائج. ^{[ 34 ] [ 35 ]} بافتراض استخدامنا لمجموعة بسيطة من المتوسطات${\displaystyle K}$المصنفات. ثم تكون تكلفة الإنتروبيا المتقاطعة المعدلة هي

${\displaystyle e^{k}=H(p,q^{k})-{\frac {\lambda }{K}}\sum _{j\neq k}H(q^{j},q^{k})}$

أين${\displaystyle e^{k}}$هي دالة التكلفة لـ${\displaystyle k^{th}}$المصنف،${\displaystyle q^{k}}$هو احتمال${\displaystyle k^{th}}$المصنف،${\displaystyle p}$هي الاحتمالية الحقيقية التي نحتاج إلى تقديرها و${\displaystyle \lambda }$هو مُعامل بين 0 و1 يُحدد التنوع الذي نرغب في تحقيقه. عندما${\displaystyle \lambda =0}$نريد أن يؤدي كل مصنف أفضل ما لديه بغض النظر عن المجموعة ومتى${\displaystyle \lambda =1}$نريد أن يكون المصنف متنوعًا قدر الإمكان.

تتضمن عملية التجميع (التي تُسمى أحيانًا التعميم المُكدس ) تدريب نموذج لدمج تنبؤات عدة خوارزميات تعلم أخرى. في البداية، تُدرَّب جميع الخوارزميات الأخرى باستخدام البيانات المتاحة، ثم تُدرَّب خوارزمية مُجمِّعة (مُقدِّر نهائي) لتقديم تنبؤ نهائي باستخدام جميع تنبؤات الخوارزميات الأخرى (المُقدِّرات الأساسية) كمدخلات إضافية، أو باستخدام تنبؤات مُتحقق منها من المُقدِّرات الأساسية، مما يمنع فرط التخصيص. ^{[ 36 ]} إذا استُخدمت خوارزمية مُجمِّعة عشوائية، فيمكن للتجميع نظريًا أن يُمثِّل أيًا من تقنيات التجميع الموصوفة في هذه المقالة، على الرغم من أنه عمليًا، غالبًا ما يُستخدم نموذج الانحدار اللوجستي كخوارزمية مُجمِّعة.

عادةً ما يحقق التجميع أداءً أفضل من أي نموذج مُدرَّب على حدة. ^{[ 37 ]} وقد استُخدم بنجاح في مهام التعلّم الخاضع للإشراف (الانحدار، ^{[ 38 ]} والتصنيف والتعلّم عن بُعد ^{[ 39 ]} ) والتعلّم غير الخاضع للإشراف (تقدير الكثافة). ^{[ 40 ]} كما استُخدم لتقدير معدل خطأ التجميع. ^{[ 3 ] [ 41 ]} وقد أُفيد بأنه يتفوق على متوسط ​​النماذج البايزي. ^{[ 42 ]} استخدم النموذجان الأفضل أداءً في مسابقة نتفليكس المزج، والذي يُمكن اعتباره شكلاً من أشكال التجميع. ^{[ 43 ]}

يُعمم التجميع التنبؤي البايزي فكرة التجميع من أدبيات التقدير الإحصائي إلى دمج التوزيعات التنبؤية اللاحقة. ^{[ 44 ]} وقد طُوّرت هذه الأفكار ودُرست أيضًا لنماذج العمليات الغاوسية، لا سيما لتحليل البيانات المكانية ^{[ 45 ]،} ويمكن استخدامها لبناء أطر تعلم النقل لمجموعات البيانات المكانية الضخمة. ^{[ 46 ]}

يُعد التصويت شكلاً آخر من أشكال التجميع. انظر على سبيل المثال خوارزمية الأغلبية المرجحة (التعلم الآلي) .

يُعد التعرف على الوجوه ، الذي أصبح مؤخراً أحد أكثر مجالات البحث شيوعاً في التعرف على الأنماط ، وسيلة لتحديد هوية الشخص أو التحقق منها من خلال صوره الرقمية . ^{[ 73 ]}

تُعدّ التجميعات الهرمية القائمة على مصنف غابور فيشر وتقنيات المعالجة المسبقة لتحليل المكونات المستقلة من أوائل التجميعات المستخدمة في هذا المجال. ^{[ 74 ] [ 75 ] [ 76 ]}

على الرغم من أن التعرف على الكلام يعتمد بشكل أساسي على التعلم العميق ، إذ تُشير معظم الشركات الرائدة في هذا المجال ، مثل جوجل ومايكروسوفت وآي بي إم، إلى أن تقنيتها الأساسية في التعرف على الكلام مبنية على هذا النهج، إلا أن التعرف على المشاعر من خلال الكلام يُمكن أن يُحقق أداءً مُرضيًا باستخدام التعلم الجماعي. ^{[ 77 ] [ 78 ]} كما يُستخدم بنجاح في التعرف على تعابير الوجه . ^{[ 79 ] [ 80 ] [ 81 ]}

يتناول مجال كشف الاحتيال تحديد عمليات الاحتيال المصرفي ، مثل غسل الأموال والاحتيال ببطاقات الائتمان والاحتيال في الاتصالات ، والتي تشمل مجالات بحثية وتطبيقية واسعة النطاق للتعلم الآلي . ونظرًا لأن التعلم الجماعي يُحسّن من متانة نمذجة السلوك الطبيعي، فقد اقتُرح كتقنية فعّالة لكشف حالات وأنشطة الاحتيال هذه في الأنظمة المصرفية وأنظمة بطاقات الائتمان. ^{[ 82 ] [ 83 ]}

أصبحت أساليب التعلم الجماعي شائعة الاستخدام في مجال التمويل، حيث تُستخدم في مهام مثل تقييم الجدارة الائتمانية ، والتنبؤ بالإفلاس ، وإدارة المخاطر . ومن خلال دمج نماذج أساسية متعددة، تستطيع هذه الأساليب استغلال العلاقات غير الخطية، والتعامل مع البيانات عالية الأبعاد والضوضائية، وغالبًا ما تُحقق أداءً أكثر استقرارًا خارج نطاق العينة مقارنةً بالنماذج الفردية أو الأساليب الإحصائية التقليدية مثل الانحدار اللوجستي ونماذج العوامل الخطية. ويتماشى هذا النهج مع التوجه الأوسع في مجال التعلم الآلي المالي الذي وصفه ماركوس لوبيز دي برادو ، الذي يرى أن دمج نماذج تعلم متنوعة يُحسّن من متانة النموذج، ويُقلل من مشكلة التخصيص الزائد، ويستخلص أنماطًا ثابتة من السلاسل الزمنية المالية الضوضائية. ^{[ 84 ]}

في مجال تقييم الجدارة الائتمانية للأفراد والشركات، تُستخدم مصنفات التجميع، مثل الغابات العشوائية وآلات تعزيز التدرج والنماذج المكدسة، بشكل متكرر لتقييم مخاطر التخلف عن السداد . وقد أشارت مراجعة منهجية حديثة للأدبيات المنشورة بين عامي 2018 و2024 حول دراسات تقييم الجدارة الائتمانية باستخدام التعلم الآلي، إلى أن التجميعات القائمة على الأشجار وطرق التعزيز تُعد من بين أكثر التقنيات شيوعًا، وعادةً ما تحقق دقة تنبؤية أعلى من بطاقات التقييم التقليدية أو المصنفات الفردية. ^{[ 85 ] [ 86 ]}

طُبقت أساليب التجميع أيضًا على التنبؤ بفشل الشركات وإفلاسها. وتشير الدراسات التي تقارن بين مختلف تركيبات التجميع (مثل التجميع ، والتعزيز ، ومجموعات المصنفات غير المتجانسة) إلى أن التجميعات المُحسَّنة جيدًا تميل إلى تحقيق دقة تصنيف أعلى وأداء أكثر استقرارًا عبر مختلف القطاعات مقارنةً بالنماذج الفردية. ^{[ 87 ]} تُعد دقة التنبؤ بفشل الشركات مسألة بالغة الأهمية في اتخاذ القرارات المالية. ولذلك، تم اقتراح مصنفات تجميعية مختلفة للتنبؤ بالأزمات المالية والضائقة المالية . ^{[ 88 ]} كذلك، في مشكلة التلاعب القائمة على التداول ، حيث يحاول المتداولون التلاعب بأسعار الأسهم من خلال عمليات البيع والشراء، تُعد المصنفات التجميعية ضرورية لتحليل التغيرات في بيانات سوق الأسهم والكشف عن أي مؤشرات مشبوهة للتلاعب بأسعار الأسهم . ^{[ 88 ]}

إن تطبيق التعلم الجماعي ليس فقط مع نماذج التعلم الآلي ولكن أيضًا مع الأطر الرياضية مثل نماذج ماركوف المخفية للتطبيقات في التداول، واكتشاف الأنظمة، وتسعير الأصول لا يزال مجالًا بحثيًا سريع التطور.

لقد تم تطبيق المصنفات الجماعية بنجاح في علم الأعصاب ، وعلم البروتينات، والتشخيص الطبي ، كما هو الحال في الكشف عن الاضطرابات العصبية الإدراكية (مثل مرض الزهايمر أو ضمور العضلات التوتري ) بناءً على مجموعات بيانات التصوير بالرنين المغناطيسي، ^{[ 89 ] [ 90 ] [ 91 ]} وتصنيف خلايا عنق الرحم. ^{[ 92 ] [ 93 ]}

إلى جانب ذلك، تم تطبيق المجموعات بنجاح في مهام التجزئة الطبية، على سبيل المثال تجزئة أورام الدماغ ^{[ 94 ] [ 95 ]} وتجزئة المناطق ذات الكثافة العالية. ^{[ 96 ]}