بلوم (نموذج اللغة)

📅 آخر تحديث: ٣١ يوليو ٢٠٢٦
✍️ نُشر في: ٣١ يوليو ٢٠٢٦
الموسوعة الحرة

نموذج بلوم ( BLOOM )، وهو نموذج لغوي متعدد اللغات مفتوح المصدر من BigScience، هو نموذج لغوي كبير مفتوح المصدر (LLM) تم إصداره في عام 2022. [ 1 ] وقد تم إنشاؤه من خلال جهد بحثي تطوعي لتوفير بديل شفاف لنماذج الذكاء الاصطناعي الاحتكارية. [ 2 ]

يُعدّ BLOOM نموذجًا انحداريًا ذاتيًا قائمًا على المحولات ، ويحتوي على 176 مليار مُعامل، وهو مصمم لتوليد النصوص بـ 46 لغة طبيعية و13 لغة برمجة. ويتم توزيع النموذج بموجب "رخصة الذكاء الاصطناعي المسؤول" الخاصة بالمشروع. [ 3 ]

تطوير

يُعدّ BLOOM الناتج الرئيسي لمبادرة BigScience، وهي ورشة عمل بحثية استمرت لمدة عام. [ 2 ] تولّت Hugging Face تنسيق المشروع بتمويل من الحكومة الفرنسية، وشارك فيه مئات الباحثين والمهندسين المتطوعين من الأوساط الأكاديمية والقطاع الخاص. [ 2 ] تم تدريب النموذج بين مارس ويوليو 2022 على حاسوب Jean Zay العملاق العام في فرنسا، والذي تديره GENCI وIDRIS ( المركز الوطني الفرنسي للبحث العلمي ). [ 4 ] [ 5 ] على عكس GPT-3 ، تم تدريب BLOOM ليكون متعدد اللغات. [ 3 ] [ 6 ]

تم نشر شفرة المصدر بموجب ترخيص Apache 2.0 . أما معلمات النموذج، فقد نُشرت بموجب ترخيص "الذكاء الاصطناعي المسؤول" (RAIL) الخاص بشركة BigScience، والذي يمنح حق الوصول المفتوح وإعادة الاستخدام، ولكن مع بعض القيود على الاستخدام. [ 7 ] [ 8 ]

تم استخدام BLOOM في روبوتات الدردشة BLOOMChat و HuggingChat نظرًا لقدراتها متعددة اللغات. [ 6 ]

تجمع مجموعة بيانات التدريب الخاصة بنموذج BLOOM، والتي تحمل اسم ROOTS، بيانات مستخرجة من أحدث إصدار آنذاك من مجموعة بيانات OSCAR المتاحة على الإنترنت (38% من ROOTS) وبيانات جديدة جُمعت من قائمة مختارة وموثقة يدويًا لمصادر بيانات لغوية. إجمالًا، دُرِّب النموذج على ما يقارب 366 مليار رمز (1.6 تيرابايت). [ 9 ] [ 10 ] وقد طُوِّر باستخدام مكتبات DeepSpeed ​​Megatron مفتوحة المصدر . [ 3 ]

ثم أصدرت شركة BigScience مجموعة بيانات xP3، وهي مجموعة بيانات متعددة اللغات للتعلم الخاضع للإشراف في نموذج LLM . كما أصدرت أيضًا BLOOMZ، وهي نسخة معدلة من BLOOM تم ضبطها بدقة على xP3 لاتباع التعليمات. [ 11 ]

مراجع

  1. ↑ "نموذج لغة متعدد اللغات مفتوح الوصول واسع النطاق للعلوم المفتوحة من BigScience" . تم الاسترجاع في 1 أكتوبر 2022 .
  2. 1 2 3 هيكيلّا، ميليسا (12 يوليو 2022). "بلوم: نظرة على المشروع الجديد الجذري لإضفاء الطابع الديمقراطي على الذكاء الاصطناعي" . مجلة إم آي تي ​​للتكنولوجيا . تم الاطلاع عليه بتاريخ 26 ديسمبر 2023 .
  3. ١ ٢ ٣ "الذكاء الاصطناعي يدعم لغات متعددة مع تطبيق BLOOM من Hugging Face" . VentureBeat . ١٢ يوليو ٢٠٢٢. تاريخ الاطلاع: ١٢ مايو ٢٠٢٦ .
  4. ↑ ويغرز، كايل (12 يوليو 2022). "نموذج لغة الذكاء الاصطناعي من BigScience متاح الآن" . TechCrunch . تم الاطلاع عليه بتاريخ 12 مايو 2026 .
  5. ↑ "إصدار أكبر نموذج لغوي متعدد اللغات مُدرَّب على الإطلاق في مجال العلوم المفتوحة" . المركز الوطني الفرنسي للبحث العلمي . 12 يوليو 2022. تاريخ الاطلاع: 26 ديسمبر 2023 .
  6. 1 2 "أخيرًا، يتطور BLOOM ليصبح روبوت محادثة متعدد اللغات" . مجلة Analytics India . 24-05-2023 . تاريخ الاسترجاع: 12-05-2026 .
  7. ↑ لو سكاو تي، فان أ، أكيكي سي، بافليك إي، إليتش إس، هيسلو د، كاستاني آر، لوتشيوني أ، إيفون إف، جالي إم، تو جي، راش آم، بيدرمان إس، ويبسون أ، ساسانكا أمانمانشي بي، وانغ تي، ساجوت بي، مونيجوف إن، فيلانوفا ديل مورال أ، رواسي أو، باودن آر، بيكمان إس، ماكميلان الرائد أ، بيلتاجي الأول، نجوين إتش، سولنييه إل، تان إس، أورتيز سواريز بي، سانه الخامس، لورينسون إتش، جيرنيت واي، لوناي جي، ميتشل إم، رافيل سي، وآخرون . (2022). “بلوم: نموذج لغة متعدد اللغات مفتوح الوصول بمعلمة 176B”. أرخايف : 2211.05100 [ cs.CL ]. 
  8. ↑ "الترخيص - مساحة Hugging Face من تصميم bigscience" . huggingface.co . تم ​​الاطلاع عليه بتاريخ 12-05-2026 .
  9. ↑ Laurençon H، Saulnier L، Wang T، Akiki C، Villanova del Moral A، Le Scao T، Von Werra L، Mou C، González Ponferrada C، Nguyen H، Frohberg J، Šaško M، Lhoest Q، McMillan-Major A، Dupont G، Biderman S، Rogers A، Ben allal L، De Toni F، بيستيلي جي، نجوين أو، نيكبور إس، مسعود إم، كولومبو بي، دي لا روزا جي، فيليجاس بي، ثراش تي، لونجبري إس، ناجل إس، ويبر إل، مونيوز إم، تشو جي، فان سترين دي، أليافيي زي، المبارك ك، فو إم سي، غونزاليس ديوس الأول، سوروا أ، لو ك، داي إم، أورتيز سواريز بي، جوكاسلان أ، بوز إس، أديلاني د، فان إل، تران إتش، يو آي، باي إس، شيم جي، ليبيرك في، إليتش إس، ميتشل إم، لوتشيوني إس، جيرنيت واي (2022). “مجموعة جذور BigScience: مجموعة بيانات مركبة متعددة اللغات بسعة 1.6 تيرابايت”. أرخايف : 2303.03915 [ cs.CL ].
  10. ↑ هيكيلّا، ميليسا (2022-07-12). "بلوم: نظرة على المشروع الجديد الجذري لإضفاء الطابع الديمقراطي على الذكاء الاصطناعي" . مجلة إم آي تي ​​للتكنولوجيا . تم الاطلاع عليه بتاريخ 2023-12-26 .
  11. ↑ "التعميم عبر اللغات من خلال الضبط الدقيق متعدد المهام" . ACL . 2023. doi : 10.18653/v1/2023.acl-long.891 .