GPT-2

نموذج GPT- 2 ( المحول التوليدي المدرب مسبقًا 2 ) هو نموذج لغوي ضخم (LLM) من تطوير OpenAI ، وهو الثاني في سلسلة نماذج GPT الأساسية . تم تدريب GPT-2 مسبقًا على مجموعة بيانات تضم 8 ملايين صفحة ويب. ^{[ 2 ]} تم إصداره جزئيًا في فبراير 2019، تلاه الإصدار الكامل للنموذج الذي يحتوي على 1.5 مليار مُعامل في 5 نوفمبر 2019. ^{[ 3 ] [ 4 ] [ 5 ]}

تم تطوير GPT-2 كنسخة مُحسّنة من GPT-1 ^{[ 6 ]} ، مع زيادة عشرة أضعاف في كلٍ من عدد مُعاملاته وحجم مجموعة بيانات التدريب الخاصة به. ^{[ 5 ]} وهو نموذج تعلّم عام، وقدرة هذا النموذج على أداء المهام المختلفة ناتجة عن قدرته العامة على التنبؤ بدقة بالعنصر التالي في التسلسل، ^{[ 2 ] [ 7 ]} مما مكّنه من ترجمة النصوص، والإجابة عن أسئلة حول موضوع ما من نص، وتلخيص فقرات من نص أطول، ^{[ 7 ]} وإنتاج نصوص بمستوى يصعب أحيانًا تمييزه عن مستوى البشر ؛ ومع ذلك، قد يصبح مُكررًا أو غير منطقي عند إنتاج فقرات طويلة. ^{[ 8 ]} وقد تم استبداله بنموذجي GPT-3 و GPT-4 ، اللذين لم يعودا مفتوحي المصدر .

يتميز GPT-2، مثل سابقه GPT-1 وخلفائه GPT-3 وGPT-4 وGPT-5، ببنية تحويلية توليدية مُدرَّبة مسبقًا ، تُطبِّق شبكة عصبية عميقة ، وتحديدًا نموذج تحويلي ، ^{[ 6 ]} يستخدم آلية الانتباه بدلًا من البنى القديمة القائمة على التكرار والالتفاف. ^{[ 9 ] [ 10 ]} تسمح آليات الانتباه للنموذج بالتركيز بشكل انتقائي على أجزاء النص المُدخل التي يتوقع أنها الأكثر صلة. ^{[ 11 ] [ 12 ]} يتيح هذا النموذج زيادة كبيرة في التوازي ، ويتفوق على المعايير السابقة للنماذج القائمة على RNN/CNN/LSTM. ^{[ 6 ]}

بما أن بنية المحولات مكّنت من المعالجة المتوازية الضخمة ، فقد أمكن تدريب نماذج GPT على مجموعات بيانات أكبر من تلك التي كانت تُدرّب عليها نماذج معالجة اللغة الطبيعية السابقة. وبينما أثبت نموذج GPT-1 جدوى هذا النهج، فقد سعى نموذج GPT-2 إلى استكشاف الخصائص الناشئة للشبكات المدربة على مجموعات بيانات ضخمة للغاية. تم النظر في استخدام CommonCrawl ، وهي مجموعة بيانات ضخمة ناتجة عن زحف الويب ، والتي سبق استخدامها في تدريب أنظمة معالجة اللغة الطبيعية، ^{[ 13 ]} نظرًا لحجمها الكبير، ولكن تم رفضها بعد أن كشفت مراجعة إضافية عن كميات كبيرة من المحتوى غير المفهوم. ^{[ 2 ] [ 13 ]} وبدلًا من ذلك، طورت OpenAI مجموعة بيانات جديدة تُعرف باسم WebText ؛ فبدلًا من استخراج المحتوى بشكل عشوائي من شبكة الويب العالمية ، تم إنشاء WebText عن طريق استخراج الصفحات المرتبطة فقط بمنشورات Reddit التي حصلت على 3 نقاط كارما على الأقل قبل ديسمبر 2017. ثم جرى تنظيف مجموعة البيانات لاحقًا. تم تحليل مستندات HTML إلى نص عادي، وتم حذف الصفحات المكررة، وإزالة صفحات ويكيبيديا (لأن وجودها في العديد من مجموعات البيانات الأخرى كان من الممكن أن يؤدي إلى فرط التخصيص ). ^{[ 2 ]}

المعلومات المتاحة حول تكلفة تدريب GPT-2 محدودة. ^{[ 14 ]} ووفقًا لتصريح حديث لأندريه كارباثي ، فقد تم تدريب GPT-2 بواسطة OpenAI على 32 شريحة TPU v3 لمدة 168 ساعة (7 أيام)، بتكلفة تقارب 8 دولارات أمريكية لكل شريحة TPU v3 في الساعة، ليصل إجمالي تكلفة الحوسبة المقدرة إلى حوالي 43000 دولار أمريكي. ^{[ 15 ]}

أشارت مصادر أخرى إلى أن تكلفة التدريب تبلغ حوالي 256 دولارًا أمريكيًا في الساعة. ^{[ 16 ] [ 17 ]} وقد تم توثيق تكاليف نماذج اللغة الكبيرة المماثلة التي تستخدم بنى المحولات بمزيد من التفصيل؛ حيث استهلكت عمليات تدريب BERT و XLNet موارد بقيمة 6912 دولارًا أمريكيًا و245000 دولارًا أمريكيًا على التوالي. ^{[ 17 ]}

تم الإعلان عن GPT-2 لأول مرة في 14 فبراير 2019. وذكر مقال نُشر في فبراير 2019 في موقع The Verge بقلم جيمس فينسنت أنه على الرغم من أن "الكتابة التي ينتجها عادة ما يسهل التعرف عليها على أنها غير بشرية"، إلا أنها لا تزال "واحدة من أكثر الأمثلة إثارة حتى الآن" لبرامج توليد اللغة: ^{[ 18 ]}

أعطه عنوانًا وهميًا، وسيكتب بقية المقال، بما في ذلك الاقتباسات والإحصائيات الوهمية. أعطه السطر الأول من قصة قصيرة، وسيخبرك بما سيحدث لشخصيتك لاحقًا. بل يمكنه حتى كتابة قصص خيالية مستوحاة من أحداث سابقة، إذا أُعطيَت له الفكرة المناسبة. ^{[ 18 ]}

وصفت صحيفة الغارديان هذا الناتج بأنه "نثر صحفي معقول"؛ ^{[ 8 ]} وقالت كيلسي بايبر من موقع فوكس : "قد يكون أحد أروع أنظمة الذكاء الاصطناعي التي رأيتها على الإطلاق هو النظام الذي سيُفقدني وظيفتي". ^{[ 19 ]} ووصف موقع ذا فيرج مرونة GPT-2 بأنها "مذهلة" ؛ وعلى وجه التحديد، لوحظت قدرته على ترجمة النصوص بين اللغات، وتلخيص المقالات الطويلة، والإجابة على أسئلة المعلومات العامة. ^{[ 18 ]}

تضمنت سلسلة GPT-2 أربعة نماذج، كما ورد في الورقة البحثية. لم يتم إصدارها دفعة واحدة، بل على مراحل.

القيود والإفراج الجزئي

بينما أُتيحت نماذج OpenAI السابقة للجمهور فورًا، رفضت OpenAI في البداية نشر شفرة المصدر لنموذج GPT-2 عند الإعلان عنه في فبراير، مُعللةً ذلك بخطر الاستخدام الخبيث؛ ^{[ 8 ] [ 5 ]} وسُمح بوصول محدود إلى النموذج (أي واجهة تسمح بإدخال البيانات وتُخرجها، وليس شفرة المصدر نفسها) لوسائل إعلام مُختارة عند الإعلان. ^{[ 8 ]} وكان أحد المبررات الشائعة هو أنه نظرًا لأن النص المُولّد عادةً ما يكون جديدًا تمامًا، فقد يستخدمه مُرسلو الرسائل المزعجة للتحايل على المرشحات الآلية ؛ وقد عرضت OpenAI نسخة من GPT-2 مُعدّلة بدقة "لتوليد عدد لا نهائي من التقييمات الإيجابية - أو السلبية - للمنتجات". ^{[ 8 ]}

كان من بين المبررات الأخرى أن نموذج GPT-2 يُمكن استخدامه لتوليد نصوص بذيئة أو عنصرية . وقد حذّر باحثون مثل جيريمي هوارد من أن "هذه التقنية ستملأ تويتر والبريد الإلكتروني والإنترنت بنصوص تبدو معقولة ومناسبة للسياق، مما سيطغى على جميع أنواع الكلام الأخرى ويستحيل فلترتها". ^{[ 18 ]} واستجابةً لنموذج GPT-2، أعلن معهد ألين للذكاء الاصطناعي عن أداة لكشف "الأخبار الكاذبة العصبية " . ^{[ 20 ]}

مع ذلك، انقسمت الآراء. فقد زعمت مقالة نُشرت في فبراير 2019 على موقع The Verge أن التهديد الذي يمثله GPT-2 مُبالغ فيه؛ ^{[ 21 ]} وقالت أنيما أناندكومار ، الأستاذة في معهد كاليفورنيا للتكنولوجيا ومديرة أبحاث التعلم الآلي في شركة Nvidia ، إنه لا يوجد دليل على أن GPT-2 يمتلك القدرات التي تُشكل التهديدات التي وصفتها OpenAI، وأن ما فعلوه هو "عكس الانفتاح"، واصفةً رفضهم نشر النموذج الكامل بأنه " هراء خبيث ". ^{[ 21 ]} ونشر موقع The Gradient رسالة مفتوحة إلى OpenAI يطالبها فيها بنشر النموذج علنًا، مُقارنًا التهديد الذي يُشكله الذكاء الاصطناعي لتوليد النصوص بالتهديد الذي تُشكله المطبعة ، ومُقدمًا برنامج Photoshop كمثال على "تقنية لم تُدمر المجتمع الحديث (لحسن الحظ) على الرغم من إمكانية إحداثها للفوضى": ^{[ 22 ]}

بعد مرور ثلاثين عامًا، خرج المجتمع سالمًا نسبيًا رغم سهولة استخدام برنامج فوتوشوب حتى من قبل طلاب المدارس الثانوية، وانتشاره الواسع لدرجة أنه أصبح له فعل خاص به. لماذا؟ ببساطة لأن الجميع يعرفون برنامج فوتوشوب. ^{[ 22 ]}

على الرغم من الإشادة العامة بقدرة GPT-2 على توليد نصوص منطقية بلغة طبيعية، فقد لوحظت أيضًا أوجه قصورها، لا سيما عند توليد نصوص أطول من فقرتين؛ إذ ذكر موقع Vox أن "الأسلوب ركيك، مع وجود بعض التناقضات، وتصبح المقالات أقل تماسكًا كلما طالت". ^{[ 19 ]} وبالمثل، لاحظ موقع The Verge أن عينات الكتابة الأطول من GPT-2 تميل إلى "الخروج عن الموضوع" وتفتقر إلى التماسك العام؛ ^{[ 18 ]} ورأى موقع The Register أن "القارئ البشري سيدرك، بعد فترة وجيزة، وجود خلل ما"، وأشار إلى أن "GPT-2 لا يجيب على الأسئلة بنفس كفاءة الأنظمة الأخرى التي تعتمد على الخوارزميات لاستخراج المعلومات واسترجاعها". ^{[ 16 ]}

يتطلب نشر GPT-2 موارد كثيرة؛ إذ يتجاوز حجم النسخة الكاملة من النموذج خمسة غيغابايت، مما يصعب تضمينها محليًا في التطبيقات، كما أنها تستهلك كميات كبيرة من ذاكرة الوصول العشوائي (RAM). إضافةً إلى ذلك، قد تستغرق عملية تنبؤ واحدة "100% من طاقة المعالج المركزي لعدة دقائق"، وحتى مع استخدام وحدة معالجة الرسومات (GPU) ، "قد تستغرق عملية التنبؤ الواحدة ثوانٍ". وللتخفيف من هذه المشكلات، طورت شركة Hugging Face نموذج DistilGPT2 ، مستخدمةً تقنية تقطير المعرفة لإنتاج نموذج أصغر حجمًا "يحقق نتائج أقل ببضع نقاط في بعض معايير الجودة"، ولكنه "أصغر بنسبة 33% وأسرع بمرتين".

حتى قبل إصدار النسخة الكاملة، استُخدم نموذج GPT-2 في تطبيقات وخدمات متنوعة، بالإضافة إلى استخدامه في الترفيه. في يونيو 2019، أُنشئ منتدى فرعي على موقع Reddit باسم r/SubSimulatorGPT2، حيث قامت نماذج GPT-2 مُدرَّبة على منتديات فرعية مختلفة بنشر منشورات والرد على تعليقات بعضها البعض، مما خلق وضعًا يُمكن فيه مشاهدة "تجسيد ذكاء اصطناعي لمنتدى r/Bitcoin وهو يتجادل مع روح r/ShittyFoodPorn المُستمدة من التعلّم الآلي"؛ ^{[ 25 ]} وبحلول يوليو من ذلك العام، وُصف برنامج قائم على GPT-2، مُصمَّم لإكمال أسطر التعليمات البرمجية تلقائيًا في لغات برمجة متنوعة، بأنه "نقلة نوعية". ^{[ 29 ]}

في عام ٢٠١٩، أُطلق موقع AI Dungeon ، الذي استخدم نموذج GPT-2 لإنشاء مغامرات نصية تفاعلية بناءً على مدخلات المستخدم. ^{[ ٣٠ ]} يوفر AI Dungeon الآن إمكانية الوصول إلى أكبر إصدار من واجهة برمجة تطبيقات GPT-3 كترقية مدفوعة اختيارية، بينما يستخدم الإصدار المجاني للموقع ثاني أكبر إصدار من GPT-3. ^{[ ٣١ ]} جمعت شركة Latitude، التي تأسست حول AI Dungeon، ٣.٣ مليون دولار أمريكي كتمويل تأسيسي في عام ٢٠٢١. ^{[ ٣٢ ]} تستضيف العديد من المواقع الإلكترونية عروضًا توضيحية تفاعلية لحالات مختلفة من GPT-2 ونماذج المحولات الأخرى. ^{[ ٣٣ ] [ ٣٤ ] [ ٣٥ ]}

أظهرت دراسة أجرتها جامعة أمستردام باستخدام اختبار تورينج المُعدَّل أن المشاركين، في بعض الحالات على الأقل، لم يتمكنوا من التمييز بين القصائد التي أنشأها نموذج GPT-2 وتلك التي كتبها البشر. ^{[ 36 ]} كما درس الباحثون قدرة GPT-2 على فهم النثر من خلال ضبطه بدقة على أعمال مؤلفين محددين. وأفاد إلكينز وتشون (2020) أن GPT-2 المضبوط بدقة استطاع محاكاة جوانب من أسلوب المؤلف في مقاطع قصيرة، مع أنه ظل عرضةً لإعادة إنتاج مواد التدريب حرفيًا. ^{[ 37 ]} وبالمثل، وجد ساويكي وآخرون (2022) أن GPT-2 المضبوط بدقة على شعر مؤلفين محددين من العصر الرومانسي استطاع تعلم الأنماط الأسلوبية، لكن الإفراط في التدريب أدى إلى تكرار أو إعادة ترتيب النص الأصلي بشكل متكرر بدلًا من التأليف الأصلي. ^{[ 38 ]}

في فبراير 2021، أعلن مركز أزمات للمراهقين المضطربين أنه سيبدأ باستخدام روبوت محادثة مشتق من GPT-2 للمساعدة في تدريب المستشارين من خلال السماح لهم بإجراء محادثات مع مراهقين افتراضيين (كان هذا الاستخدام لأغراض داخلية بحتة، ولم يتضمن تواصل GPT-2 مع المراهقين أنفسهم). ^{[ 39 ]}

في 9 مايو 2023، أصدرت OpenAI نسخة مُعدّلة من GPT-2. استخدمت OpenAI النموذج اللاحق، GPT-4 ، لرسم خريطة لكل عصبون من GPT-2 لتحديد وظائفها. ^{[ 40 ]}

أصبح نموذج GPT-2 قادراً على أداء مجموعة متنوعة من المهام تتجاوز مجرد إنتاج النصوص، وذلك بفضل اتساع نطاق بياناته وتقنيته: الإجابة على الأسئلة، والتلخيص، وحتى الترجمة بين اللغات في مجالات محددة متنوعة ، دون الحاجة إلى أي تعليمات تتجاوز كيفية التنبؤ بالكلمة التالية في سلسلة من النصوص. ^{[ 18 ] [ 19 ]}

من الأمثلة على التعلم المعمم قدرة GPT-2 على الترجمة الآلية بين الفرنسية والإنجليزية، وقد تم تقييم أداء GPT-2 في هذه المهمة باستخدام مهام ترجمة WMT-14. لم تتضمن مجموعة بيانات تدريب GPT-2 أي نصوص فرنسية تقريبًا؛ إذ تم حذف النصوص غير الإنجليزية عمدًا أثناء تنظيف مجموعة البيانات قبل التدريب، ونتيجة لذلك، لم يتوفر للنموذج سوى 10 ميجابايت من النصوص الفرنسية من أصل 40,000 ميجابايت المتبقية ليتعلم منها (معظمها من اقتباسات بلغات أجنبية في منشورات ومقالات إنجليزية). ^{[ 2 ]}

على الرغم من ذلك، حقق GPT-2 مستوى 5 في مقياس BLEU على مجموعة اختبار WMT-14 من الإنجليزية إلى الفرنسية (أقل بقليل من درجة الترجمة الحرفية). كما تفوق على العديد من نماذج الترجمة الآلية غير الخاضعة للإشراف المعاصرة (2017) على مجموعة اختبار الترجمة من الفرنسية إلى الإنجليزية، حيث حقق GPT-2 مستوى 11.5 في مقياس BLEU. ومع ذلك، بقي هذا المستوى أقل من أفضل نموذج غير خاضع للإشراف معاصر (2019)، الذي حقق مستوى 33.5 في مقياس BLEU. ^{[ 2 ]} إلا أن النماذج الأخرى استخدمت كميات كبيرة من النصوص الفرنسية لتحقيق هذه النتائج؛ بينما تشير التقديرات إلى أن GPT-2 استخدم مجموعة نصوص فرنسية أحادية اللغة بحجم يعادل 1/500 تقريبًا من حجم مجموعات النصوص المماثلة. ^{[ 2 ]}

كان من المقرر أن يتبع GPT-2 نموذج GPT-3 الذي يضم 175 مليار مُعامل ، ^{[ 42 ]} والذي تم الكشف عنه للجمهور في عام 2020 ^{[ 43 ]} (ولم يُنشر رمزه المصدري قط). ويُتاح الوصول إلى GPT-3 حصريًا عبر واجهات برمجة التطبيقات (APIs) التي تُقدمها شركتا OpenAI ومايكروسوفت . ^{[ 44 ]} ثم تبعه لاحقًا نموذج GPT-4 .

• قائمة نماذج اللغة الكبيرة