LightGBM

LightGBM ، اختصارًا لـ Light Gradient-Boosting Machine ، هو إطار عمل مجاني ومفتوح المصدر وموزع لتعزيز التدرج في مجال التعلم الآلي ، طُوِّر في الأصل بواسطة مايكروسوفت . ^{[ 4 ] [ 5 ]} يعتمد على خوارزميات شجرة القرار ويُستخدم في الترتيب والتصنيف ومهام التعلم الآلي الأخرى. ويركز التطوير على الأداء وقابلية التوسع.

يدعم إطار عمل LightGBM خوارزميات متنوعة، منها GBT و GBDT و GBRT و GBM و MART ^{[ 6 ] [ 7 ]} و RF ^{[ 8 ]} . يتميز LightGBM بالعديد من مزايا XGBoost ، بما في ذلك التحسين المتفرق، والتدريب المتوازي، ووظائف الخسارة المتعددة، والتنظيم، والتجميع، والتوقف المبكر. ويكمن الاختلاف الرئيسي بينهما في بناء الأشجار. لا يبني LightGBM الشجرة صفًا تلو الآخر - كما تفعل معظم التطبيقات الأخرى ^{[ 9 ]} ، بل يبنيها من الأوراق. ويختار الورقة ذات أعلى خسارة دلتا للنمو ^{[ 10 ]} . إضافةً إلى ذلك، لا يستخدم LightGBM خوارزمية تعلم شجرة القرار القائمة على الترتيب، والتي تبحث عن أفضل نقطة تقسيم بناءً على قيم الميزات المرتبة ^{[ 11 ]} ، كما تفعل XGBoost أو التطبيقات الأخرى. بدلاً من ذلك، يُطبّق LightGBM خوارزمية تعلم شجرة القرار القائمة على المدرج التكراري والمُحسّنة للغاية، مما يُحقق مزايا كبيرة في كلٍ من الكفاءة واستهلاك الذاكرة. ^{[ 12 ]} تستخدم خوارزمية LightGBM تقنيتين جديدتين تُسميان أخذ العينات أحادي الجانب القائم على التدرج (GOSS) وتجميع الميزات الحصرية (EFB)، مما يسمح للخوارزمية بالعمل بشكل أسرع مع الحفاظ على مستوى عالٍ من الدقة. ^{[ 13 ]}

يعمل برنامج LightGBM على أنظمة Linux و Windows و macOS ^، ويدعم ^{لغات البرمجة} C++ و Python و R و C# . ^{[ 14 ]} شفرة المصدر مرخصة بموجب ترخيص MIT ومتاحة على GitHub . ^{[ 16 ]}

عند استخدام خوارزمية التدرج الهبوطي ، يُنظر إلى فضاء التكوينات الممكنة للنموذج على أنه وادٍ، حيث يمثل الجزء الأدنى من هذا الوادي النموذج الأكثر تطابقًا مع البيانات. في هذا التشبيه، يسير المرء في اتجاهات مختلفة لمعرفة مدى انخفاض الوادي.

في خوارزمية التدرج الهبوطي، يُستخدم عادةً كامل مجموعة البيانات لحساب منحدرات الوادي. ومع ذلك، تفترض هذه الطريقة الشائعة الاستخدام أن كل نقطة بيانات تحمل نفس القدر من المعلومات.

على النقيض من ذلك، فإن أسلوب أخذ العينات أحادي الجانب القائم على التدرج (GOSS)، وهو أسلوب طُوِّر في الأصل لأشجار القرار المعززة بالتدرج ، لا يعتمد على افتراض أن جميع البيانات متساوية في المعلومات. بل يتعامل مع نقاط البيانات ذات التدرجات الأصغر (الميول الأقل حدة) على أنها أقل معلوماتية عن طريق حذفها عشوائيًا. ويهدف هذا إلى تصفية البيانات التي قد تكون تأثرت بالتشويش، مما يسمح للنموذج بنمذجة العلاقات الكامنة في البيانات بدقة أكبر. ^{[ 13 ]}

تجميع الميزات الحصرية (EFB) هو أسلوب شبه مثالي لتقليل عدد الميزات الفعّالة. في فضاء الميزات المتفرقة، تكون العديد من الميزات حصرية تقريبًا، مما يعني أنها نادرًا ما تأخذ قيمًا غير صفرية في الوقت نفسه. تُعدّ الميزات المشفرة بالترميز الأحادي الساخن مثالًا مثاليًا على الميزات الحصرية. يقوم تجميع الميزات الحصرية بتجميع هذه الميزات، مما يقلل الأبعاد لتحسين الكفاءة مع الحفاظ على مستوى عالٍ من الدقة. تُسمى حزمة الميزات الحصرية في ميزة واحدة بحزمة الميزات الحصرية. ^{[ 13 ]}

• TabPFN
• ML.NET
• تجميع البيانات
• كاتبوست
• مكتبة سايكيت ليرن
• مقارنة برامج التعلم الآلي

• جولين كه؛ تشي منغ؛ توماس فاينلي؛ تايفنغ وانغ؛ وي تشين؛ ويدونغ ما؛ تشيوي يي؛ تاي يان ليو (2017). "LightGBM: شجرة قرار عالية الكفاءة لتعزيز التدرج" (PDF) . نظام معالجة المعلومات العصبية .
• كوينتو، بوتش (2020). الجيل التالي من التعلم الآلي باستخدام سبارك - يغطي XGBoost وLightGBM وSpark NLP والتعلم العميق الموزع باستخدام Keras والمزيد . Apress . ISBN 978-1-4842-5668-8.
• فان ويك، أندريخ (2023). التعلم الآلي باستخدام LightGBM وPython . نشر الحزمة . رقم ISBN 978-1800564749.

• GitHub - microsoft/LightGBM
• لايت جي بي إم - أبحاث مايكروسوفت