نخل

يُعدّ PaLM ( نموذج لغة المسارات ) نموذجًا لغويًا ضخمًا (LLM) قائمًا على مُفكِّك كثيف فقط، ويضم 540 مليار مُعامل، وقد طوّرته شركة جوجل للذكاء الاصطناعي . ^{[ 1 ]} كما قام الباحثون بتدريب نسخ أصغر من PaLM (بـ 8 و62 مليار مُعامل) لاختبار تأثير حجم النموذج. ^{[ 2 ]}

يتمتع نظام PaLM بقدرات واسعة النطاق، تشمل الاستدلال المنطقي ، والاستدلال الحسابي ، وشرح النكات ، وتوليد الشفرات ، والترجمة . ^{[ 2 ] [ 3 ] [ 4 ] [ 5 ]} وعند دمجه مع تقنية تسلسل الأفكار ، حقق PaLM أداءً أفضل بكثير على مجموعات البيانات التي تتطلب استدلالًا متعدد الخطوات، مثل المسائل اللفظية والأسئلة المنطقية . ^{[ 1 ] [ 2 ]}

أُعلن عن النموذج لأول مرة في أبريل 2022، وظلّ خاصًا حتى مارس 2023، عندما أطلقت جوجل واجهة برمجة تطبيقات (API) لـ PaLM والعديد من التقنيات الأخرى. ^{[ 6 ]} كانت واجهة برمجة التطبيقات متاحة في البداية لعدد محدود من المطورين الذين انضموا إلى قائمة انتظار قبل طرحها للجمهور. ^{[ 7 ]}

طوّرت جوجل وديب مايند نسخةً من PaLM 540B (بـ 540 مليار مُعامل) تُسمى Med-PaLM ، وهي مُحسّنة بدقة باستخدام البيانات الطبية، وتتفوق على النماذج السابقة في معايير الإجابة على الأسئلة الطبية . ^{[ 8 ] [ 9 ]} كان Med-PaLM أول نموذج يحصل على درجة النجاح في أسئلة الترخيص الطبي في الولايات المتحدة ، وبالإضافة إلى إجابته بدقة على أسئلة الاختيار من متعدد والأسئلة المفتوحة، فإنه يُقدّم تفسيراً منطقياً وقادر على تقييم إجاباته بنفسه. ^{[ 10 ]}

قامت جوجل أيضاً بتوسيع نطاق PaLM باستخدام محول الرؤية لإنشاء PaLM-E ، وهو نموذج لغة-رؤية يمكن استخدامه في التلاعب الروبوتي دون الحاجة إلى إعادة التدريب أو الضبط الدقيق . ^{[ 11 ] [ 12 ] [ 13 ]}

في مايو 2023، أعلنت جوجل عن PaLM 2 خلال كلمتها الرئيسية في مؤتمر جوجل السنوي I/O . ^{[ 14 ]} ويُذكر أن PaLM 2 نموذج يتكون من 340 مليار مُعامل، تم تدريبه على 3.6 تريليون رمز. ^{[ 15 ]}

في يونيو 2023، أعلنت جوجل عن AudioPaLM للترجمة من الكلام إلى الكلام، والتي تستخدم بنية PaLM-2 وتهيئتها. ^{[ 16 ]}

تم تدريب PaLM مسبقًا على مجموعة بيانات عالية الجودة تضم 780 مليار كلمة، تشمل مهامًا وحالات استخدام متنوعة في مجال اللغة الطبيعية . تتضمن هذه المجموعة صفحات ويب مُفلترة، وكتبًا، ومقالات من ويكيبيديا ، ومقالات إخبارية، وشفرة مصدرية مُستخرجة من مستودعات مفتوحة المصدر على GitHub ، ومحادثات من وسائل التواصل الاجتماعي . ^{[ 1 ] [ 2 ]} وهي مبنية على مجموعة البيانات المستخدمة لتدريب نموذج LaMDA من جوجل . ^{[ 2 ]} تُشكل محادثات وسائل التواصل الاجتماعي 50% من مجموعة البيانات، مما يُعزز قدرات النموذج في مجال المحادثات. ^{[ 2 ]}

تم تدريب نموذج PaLM 540B على وحدتي TPU v4، تحتوي كل وحدة على 3072 شريحة TPU v4، متصلة بـ 768 مضيفًا، باستخدام مزيج من التوازي في النموذج والبيانات ، وهو أكبر تكوين لوحدات TPU. ^{[ 2 ] [ 17 ]} وقد أتاح ذلك تدريبًا فعالًا على نطاق واسع، باستخدام 6144 شريحة، وسجل رقمًا قياسيًا لأعلى كفاءة تدريب تم تحقيقها لنماذج التعلم الآلي على هذا النطاق: استخدام وحدات FLOPs للأجهزة بنسبة 57.8%. ^{[ 3 ]}

• LaMDA ، سلف PaLM
• جيميني ، خليفة بالم
• الشنشيلة