تجميع Bootstrap

التجميع باستخدام بوتستراب ، أو ما يُعرف أيضًا باسم التجميع (من بوتستراب ) أو بوتستراب ، هو خوارزمية تجميعية في مجال التعلم الآلي ، مصممة لتحسين استقرار ودقة خوارزميات التصنيف والانحدار في التعلم الآلي . كما أنها تقلل من التباين والتجاوز . على الرغم من أنها تُطبق عادةً على طرق شجرة القرار ، إلا أنه يمكن استخدامها مع أي نوع من الطرق. التجميع هو حالة خاصة من أسلوب المتوسط ​​التجميعي .

بالنظر إلى مجموعة تدريب قياسية${\displaystyle D}$من الحجم${\displaystyle n}$، ينتج عن التجميع${\displaystyle m}$مجموعات تدريب جديدة${\displaystyle D_{i}}$، كل منها بحجم${\displaystyle n'}$، عن طريق أخذ عينات من${\displaystyle D}$بشكل منتظم ومع الإحلال . من خلال أخذ العينات مع الإحلال، قد تتكرر بعض الملاحظات في كل${\displaystyle D_{i}}$. لو${\displaystyle n'=n}$ثم بالنسبة للأحجام الكبيرة${\displaystyle n}$المجموعة${\displaystyle D_{i}}$من المتوقع أن تشكل نسبة (1 - 1/ e ) (~63.2%) من العينات الفريدة لـ${\displaystyle D}$أما الباقي فهو نسخ مكررة. ^{[ 1 ]} يُعرف هذا النوع من العينات بعينة بوتستراب . يضمن أخذ العينات مع الإحلال أن تكون كل عينة بوتستراب مستقلة عن نظيراتها، لأنها لا تعتمد على العينات المختارة سابقًا عند أخذ العينات. ثم،${\displaystyle m}$يتم تركيب النماذج باستخدام عينات التمهيد المذكورة أعلاه ودمجها عن طريق حساب متوسط ​​المخرجات (للانحدار) أو التصويت (للتصنيف).

يؤدي التجميع إلى "تحسينات في الإجراءات غير المستقرة"، ^{[ 2 ]} والتي تشمل، على سبيل المثال، الشبكات العصبية الاصطناعية ، وأشجار التصنيف والانحدار ، واختيار المجموعات الفرعية في الانحدار الخطي . ^{[ 3 ]} وقد ثبت أن التجميع يحسن تعلم الصورة الأصلية. ^{[ 4 ] [ 5 ]} من ناحية أخرى، يمكن أن يؤدي إلى تدهور طفيف في أداء الطرق المستقرة مثل خوارزمية أقرب الجيران k . ^{[ 2 ]}

بينما تستخدم التقنيات المذكورة أعلاه الغابات العشوائية والتجميع (المعروف أيضًا باسم التمهيد )، توجد تقنيات معينة يمكن استخدامها لتحسين وقت التنفيذ والتصويت، ودقة التنبؤ، والأداء العام. فيما يلي الخطوات الرئيسية لإنشاء غابة عشوائية فعالة:

1. حدد أقصى عمق للأشجار: بدلاً من السماح للغابة العشوائية بالاستمرار حتى تصبح جميع العقد نقية، من الأفضل قطعها عند نقطة معينة لتقليل فرص التجاوز.
2. تقليص مجموعة البيانات: قد يؤدي استخدام مجموعة بيانات كبيرة للغاية إلى نتائج أقل دلالة على البيانات المقدمة مقارنة بمجموعة أصغر تمثل بدقة أكبر ما يتم التركيز عليه.
   • استمر في تقليم البيانات عند كل تقسيم للعقدة بدلاً من القيام بذلك فقط في عملية التجميع الأصلية.
3. حدد ما إذا كنت تفضل الدقة أم السرعة: بناءً على النتائج المرجوة، يمكن أن يساعد زيادة أو تقليل عدد الأشجار في الغابة. فزيادة عدد الأشجار توفر عمومًا نتائج أكثر دقة، بينما يؤدي تقليل عددها إلى نتائج أسرع.

لأغراض التصنيف، استخدم مجموعة تدريب${\displaystyle D}$المحفز${\displaystyle I}$وعدد عينات بوتستراب${\displaystyle m}$كمدخل. قم بإنشاء مصنف${\displaystyle C^{*}}$كناتج ^{[ 12 ]}

1. يخلق${\displaystyle m}$مجموعات تدريب جديدة ${\displaystyle D_{i}}$، من${\displaystyle D}$مع الاستبدال
2. المصنف${\displaystyle C_{i}}$يتم بناؤها من كل مجموعة${\displaystyle D_{i}}$استخدام${\displaystyle I}$لتحديد تصنيف المجموعة${\displaystyle D_{i}}$
3. المصنف النهائي${\displaystyle C^{*}}$يتم توليدها باستخدام مجموعة المصنفات التي تم إنشاؤها مسبقًا${\displaystyle C_{i}}$على مجموعة البيانات الأصلية${\displaystyle D}$التصنيف الذي تنبأت به المصنفات الفرعية في أغلب الأحيان${\displaystyle C_{i}}$هذا هو التصنيف النهائي

من أجل i = 1 إلى m { D' = عينة بوتستراب من D (عينة مع الإحلال) Ci = I(D') } C*(x) = argmax #{i:Ci(x)=y} (التصنيف الأكثر توقعًا y) y∈Y 

لتوضيح المبادئ الأساسية للتعبئة، فيما يلي تحليل للعلاقة بين الأوزون ودرجة الحرارة (البيانات من Rousseeuw و Leroy (1986)، تم إجراء التحليل في R ).

يبدو أن العلاقة بين درجة الحرارة والأوزون غير خطية في هذه المجموعة من البيانات، استنادًا إلى مخطط التشتت. لوصف هذه العلاقة رياضيًا، استُخدمت مُنعِّمات LOESS (بعرض نطاق 0.5). وبدلًا من إنشاء مُنعِّم واحد لمجموعة البيانات الكاملة، تم سحب 100 عينة بوتستراب . تتكون كل عينة من مجموعة فرعية عشوائية من البيانات الأصلية، وتحافظ على تشابه في توزيع وتباين المجموعة الرئيسية. لكل عينة بوتستراب، تم تركيب مُنعِّم LOESS. ثم تم إجراء تنبؤات من هذه المُنعِّمات المئة عبر نطاق البيانات. تمثل الخطوط السوداء هذه التنبؤات الأولية. تفتقر الخطوط إلى التوافق في تنبؤاتها، وتميل إلى المبالغة في ملاءمة نقاط البيانات، ويتضح ذلك من خلال التدفق المتذبذب للخطوط.

بأخذ متوسط ​​100 دالة تنعيم، كل منها يمثل مجموعة فرعية من مجموعة البيانات الأصلية، نحصل على مُتنبئ مُجمّع واحد (الخط الأحمر). يتميز تدفق الخط الأحمر بالاستقرار ولا يتقيد بشكل مفرط بأي نقطة بيانات.

المزايا:

• عادةً ما يتفوق أداء العديد من المتعلمين الضعفاء مجتمعين على أداء متعلم واحد على مستوى المجموعة بأكملها، ويكون لديهم فرط ملاءمة أقل.
• يقلل من التباين في المتعلم الضعيف ذي التباين العالي والتحيز المنخفض ، ^{[ 13 ]} مما يمكن أن يحسن الكفاءة (الإحصائيات).
• يمكن تنفيذ ذلك بالتوازي ، حيث يمكن معالجة كل عملية تمهيد منفصلة على حدة قبل التجميع. ^{[ 14 ]}

العيوب:

• بالنسبة للمتعلم الضعيف ذي التحيز العالي، فإن التجميع سيحمل أيضًا تحيزًا عاليًا في مجموعته ^{[ 13 ].}
• فقدان قابلية تفسير النموذج.
• قد يكون مكلفًا حسابيًا اعتمادًا على مجموعة البيانات.

يُستمد مفهوم تجميع بوتستراب من مفهوم بوتستراب الذي طوره برادلي إيفرون. ^{[ 15 ]} اقترح ليو بريمان تجميع بوتستراب ، وهو أيضًا من صاغ المصطلح المختصر "bagging" ( بوتستراب تجميع ) . طور بريمان مفهوم التجميع في عام 1994 لتحسين التصنيف من خلال دمج تصنيفات مجموعات التدريب المولدة عشوائيًا. جادل قائلًا: "إذا كان تغيير مجموعة التدريب يُحدث تغييرات كبيرة في المتنبئ المُنشأ، فإن التجميع يُحسّن الدقة". ^{[ 3 ]}

• تعزيز التعلم الآلي
• التمهيد الإحصائي
• التحقق المتبادل (الإحصاء)
• خطأ خارج الحقيبة
• الغابة العشوائية
• طريقة الفضاء الفرعي العشوائي (تجميع السمات)
• الحدود الفعالة المعاد تشكيلها
• التحليل التنبؤي: أشجار التصنيف والانحدار

• بريمان، ليو (1996). "تجميع المتنبئات". تعلم الآلة . 24 (2): 123-140 . CiteSeerX 10.1.1.32.9399 . doi : 10.1007/BF00058655 . S2CID 47328136 .  
• ألفارو، إي.، جاميز، إم. وغارسيا، إن. (2012). "adabag: حزمة R للتصنيف باستخدام AdaBoost.M1 وAdaBoost-SAMME وBaging" .{{cite journal}}يتطلب Cite journal |journal=( مساعدة ) صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
• كوتسيانتيس، سوتيريس (2014). "تجميع المتغيرات وتعزيزها لمعالجة مشاكل التصنيف: دراسة استقصائية". مجلة هندسة المعرفة . 29 (1): 78-100 . doi : 10.1017/S0269888913000313 . S2CID 27301684 . 
• بومكي، برادلي؛ غرينويل، براندون (2019). "التجميع". التعلم الآلي العملي باستخدام لغة R. تشابمان وهول. الصفحات 191-202 . ISBN  978-1-138-49568-5.