محول توليدي مدرب مسبقًا

المحوّل المُدرَّب مسبقًا التوليدي ( GPT ) هو نوع من نماذج اللغة الكبيرة (LLM) ^{[ 1 ] [ 2 ] [ 3 ]} ، ويُستخدم على نطاق واسع في روبوتات الدردشة القائمة على الذكاء الاصطناعي التوليدي . ^{[ 4 ] [ 5 ]} تعتمد نماذج GPT على بنية تعلّم عميق تُسمى المحوّل . يتم تدريبها مسبقًا على مجموعات بيانات ضخمة من المحتوى غير المصنّف، وهي قادرة على توليد محتوى جديد. ^{[ 2 ] [ 3 ]}

كانت OpenAI أول من طبق التدريب المسبق التوليدي على بنية المحول، حيث قدمت نموذج GPT-1 في عام 2018. ^{[ 6 ]} تم إصدار برنامج الدردشة ChatGPT في أواخر عام 2022 (باستخدام GPT-3.5 )، وتبعه العديد من برامج الدردشة المنافسة التي تستخدم محولاتها المدربة مسبقًا لتوليد النصوص، مثل Gemini و DeepSeek و Claude .

تُستخدم نماذج GPT بشكل أساسي لتوليد النصوص، ولكن يمكن تدريبها لتوليد أنواع أخرى من البيانات. تستطيع نماذج GPT متعددة الوسائط معالجة أو توليد أنواع متعددة من البيانات، مثل النصوص والصور والصوت. ولتحسين الأداء في المهام المعقدة، تُخصص نماذج GPT الاستدلالية وقتًا أطول للحساب لتحليل المشكلة قبل توليد المخرجات.

خلال العقد الثاني من القرن الحادي والعشرين، سمحت خوارزميات التعلم الآلي المحسنة وأجهزة الكمبيوتر الأكثر قوة وزيادة كمية المواد الرقمية بحدوث طفرة في الذكاء الاصطناعي . ^{[ 7 ]}

بشكل منفصل، يُعد مفهوم التدريب التوليدي المسبق (GP) تقنية راسخة في مجال تعلم الآلة. يُعتبر التدريب التوليدي المسبق شكلاً من أشكال التعلم الذاتي، حيث يتم تدريب النموذج أولاً على مجموعة بيانات كبيرة غير مصنفة (خطوة "التدريب المسبق") لتعلم توليد نقاط البيانات. ثم يتم تكييف هذا النموذج المدرب مسبقًا مع مهمة محددة باستخدام مجموعة بيانات مصنفة (خطوة " الضبط الدقيق "). ^{[ 8 ]}

تُعدّ بنية المحوّل للتعلم العميق التقنية الأساسية لنموذج التعلم الآلي العام (GPT). طُوّرت هذه البنية من قِبل باحثين في جوجل ، وقُدّمت في ورقة بحثية بعنوان " الانتباه هو كل ما تحتاجه "، نُشرت عام 2017. وقد حلّت بنية المحوّل العديد من مشكلات الأداء المرتبطة بتصاميم الشبكات العصبية المتكررة (RNN) القديمة لمعالجة اللغة الطبيعية (NLP). يسمح استخدام آلية الانتباه في هذه البنية للنماذج بمعالجة سلاسل نصية كاملة دفعة واحدة، مما يُتيح تدريب نماذج أكبر وأكثر تعقيدًا. ^{[ 9 ]} منذ عام 2017، أصبحت أنظمة معالجة اللغة الطبيعية القائمة على بنية المحوّل قادرة على معالجة النصوص واستخراج المعلومات منها وتنظيمها وربطها ومقارنتها وتلخيصها، بالإضافة إلى الإجابة عن الأسئلة من المدخلات النصية.

في 11 يونيو 2018، نشر باحثون ومهندسون من OpenAI ورقة بحثية بعنوان "تحسين فهم اللغة من خلال التدريب المسبق التوليدي"، والتي قدمت GPT-1 ، أول نموذج GPT. ^{[ 10 ]} صُمم هذا النموذج ليكون نموذجًا لغويًا ضخمًا قائمًا على بنية Transformer ، حيث استخدم التدريب المسبق التوليدي (GP) على BookCorpus ، وهي مجموعة نصوص متنوعة ، متبوعًا بضبط دقيق تمييزي للتركيز على مهام لغوية محددة. واعتُبر هذا النهج شبه الموجه إنجازًا هامًا. تستخدم نماذج GPT فقط جزء فك التشفير من بنية Transformer، المدرب مسبقًا للتنبؤ بالرمز التالي في التسلسل. ^{[ 11 ] [ 12 ]} سابقًا، كانت أفضل النماذج العصبية أداءً في معالجة اللغة الطبيعية (NLP) تستخدم عادةً التعلم الموجه من كميات كبيرة من البيانات المصنفة يدويًا - وكان تدريب نموذج لغوي ضخم باستخدام هذا النهج مكلفًا للغاية ويستغرق وقتًا طويلاً. ^{[ 10 ]} 

في 14 فبراير 2019، أطلقت OpenAI نموذج GPT-2 ، وهو نموذج أكبر قادر على توليد نصوص متماسكة. صُمم هذا النموذج كنسخة مُطوّرة من سابقه، حيث زاد عدد مُعاملاته وحجم مجموعة بياناته عشرة أضعاف. يحتوي GPT-2 على 1.5 مليار مُعامل، وقد دُرِّب على WebText، وهي مجموعة بيانات ضخمة بحجم 40 جيجابايت تضم 8 ملايين صفحة ويب . ^{[ 13 ] [ 11 ]} ونظرًا لمخاطر الاستخدام الضار، اختارت OpenAI إصدارًا تدريجيًا، حيث نشرت في البداية نسخًا أصغر من النموذج قبل إطلاق النموذج الكامل ذي الـ 1.5 مليار مُعامل في نوفمبر. ^{[ 14 ]}

في 10 فبراير 2020، كشفت مايكروسوفت عن نموذجها اللغوي "تورينغ"، الذي زعمت أنه "أكبر نموذج لغوي تم نشره على الإطلاق، حيث يحتوي على 17 مليار مُعامل". وقد تفوق هذا النموذج على جميع النماذج اللغوية السابقة في مجموعة متنوعة من المهام، بما في ذلك تلخيص النصوص والإجابة على الأسئلة . ^{[ 15 ]}

في 28 مايو 2020، أطلقت OpenAI نموذج GPT-3 ، وهو نموذج يحتوي على 175 مليار مُعامل، تم تدريبه على مجموعة بيانات أكبر مقارنةً بنموذج GPT-2. وقد مثّل هذا النموذج نقلة نوعية في قدرات التعلّم باستخدام عدد قليل من الأمثلة والتعلّم بدون أمثلة. فباستخدام عدد قليل من الأمثلة، استطاع أداء مهام متنوعة لم يتم تدريبه عليها بشكل صريح. ^{[ 16 ] [ 12 ]}

بعد إطلاق GPT-3، بدأت OpenAI باستخدام التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF) لمواءمة سلوك النماذج بشكل أدق مع تفضيلات المستخدمين. أدى ذلك إلى تطوير InstructGPT ، وهو نسخة مُحسّنة من GPT-3. ثمّ طوّرت OpenAI InstructGPT لإنشاء ChatGPT ، وهو المنتج الرائد لبرامج الدردشة الآلية (Chatbot) الذي أُطلق في 30 نوفمبر 2022. ^{[ 17 ]} استند ChatGPT في البداية إلى GPT-3.5 ، ولكن تمّ نقله لاحقًا إلى نموذج GPT-4 ، الذي أُطلق في 14 مارس 2023. ^{[ 18 ] [ 19 ]} كما تمّ دمج GPT-4 في أجزاء من العديد من التطبيقات، بما في ذلك Microsoft Copilot و GitHub Copilot و Snapchat و Khan Academy و Duolingo . ^{[ 20 ]}

أدى الانتشار الواسع لـ ChatGPT إلى تطوير أنظمة منافسة قائمة على GPT من قبل منظمات أخرى. أصدرت EleutherAI سلسلة من نماذج الأوزان المفتوحة ، بما في ذلك GPT-J في عام 2021. وفي وقت لاحق، طورت شركات تقنية كبرى أخرى نماذج GPT خاصة بها، مثل PaLM و Gemini من Google ، بالإضافة إلى Llama من Meta AI . ^{[ 21 ]}

تم تدريب العديد من نماذج GPT اللاحقة لتكون متعددة الوسائط (قادرة على معالجة أو توليد أنواع متعددة من البيانات). على سبيل المثال، يستطيع GPT-4o معالجة وتوليد النصوص والصور والصوت. ^{[ 22 ]} بالإضافة إلى ذلك، تم تدريب نماذج GPT مثل o3 و DeepSeek R1 باستخدام التعلم المعزز لتوليد سلسلة استدلالية متعددة الخطوات قبل تقديم الإجابة النهائية، مما يساعد على حل المشكلات المعقدة في مجالات مثل الرياضيات. ^{[ 23 ]}

النموذج الأساسي هو نموذج ذكاء اصطناعي مُدرَّب على بيانات واسعة النطاق، بحيث يمكن تكييفه مع مجموعة كبيرة من المهام اللاحقة. ^{[ 24 ] [ 25 ]} كما يمكن لنماذج GPT الأساسية استخدام وسائط أخرى غير النصوص للإدخال و/أو الإخراج. ^{[ 26 ]} وفيما يتعلق بالإخراج متعدد الوسائط ، تُستخدم بعض النماذج القائمة على المحولات التوليدية في تقنيات تحويل النصوص إلى صور ، مثل الانتشار ^{[ 27 ]} وفك التشفير المتوازي. ^{[ 28 ]} ويمكن أن تُستخدم هذه النماذج كنماذج أساسية بصرية (VFMs) لتطوير أنظمة لاحقة قادرة على التعامل مع الصور. ^{[ 29 ]}

تزداد متطلبات الحوسبة والذاكرة للنماذج القائمة على المحولات بشكل ملحوظ مع ازدياد حجمها وطول تسلسلات الإدخال. تتميز آلية الانتباه الذاتي القياسية بتعقيد تربيعي بالنسبة لطول تسلسل الإدخال، كما هو موضح في كتاب " الانتباه هو كل ما تحتاجه " . ^{[ 30 ]}

اقترح الباحثون عددًا من التحسينات على الكفاءة، مثل آليات الانتباه المتفرقة والبنى ذات الكفاءة العالية في استخدام الذاكرة، مما يقلل التكاليف الحسابية مع دعم فترات سياق أطول. ^{[ 31 ]} تُظهر نماذج مثل BigBird وReformer وFlashAttention أنماط انتباه منظمة أو حسابات مُحسَّنة لتحسين قابلية التوسع والكفاءة. ^{[ 32 ] [ 33 ] [ 34 ]}

وقد ساعد هذا نماذج اللغة الكبيرة على معالجة تسلسلات الإدخال الطويلة بكفاءة مع تقليل الذاكرة والحساب أثناء كل من التدريب والاستدلال.

تصف قوانين القياس العلاقات التجريبية بين أداء نماذج اللغة الكبيرة وعوامل مثل حجم النموذج، وحجم مجموعة البيانات، والموارد الحاسوبية. وقد وجدت الدراسات التجريبية أن الأداء يميل إلى اتباع علاقات تقريبية لقانون القوة مع زيادة هذه العوامل. ^{[ 35 ]}

تُحقق النماذج الأكبر حجماً، التي يتم تدريبها على بيانات أكثر، عموماً خسارة تدريب أقل وتعميماً أفضل. وتشير دراسات لاحقة إلى أن الأداء لا يتحدد بعدد المعلمات وحده، بل بكيفية تحقيق التوازن بين حجم النموذج والبيانات والحوسبة أثناء التدريب. ^{[ 36 ]}

وقد أثرت هذه الملاحظات على تطوير نماذج GPT المتعاقبة، لا سيما في القرارات المتعلقة بتصميم البنية، وتكوين مجموعة البيانات، واستراتيجيات التدريب.

تشير القدرات الناشئة إلى الإمكانيات التي تظهر في نماذج اللغة الكبيرة فقط عند بلوغها حجمًا معينًا، ولا توجد في النسخ الأصغر من النماذج نفسها. وتُعتبر هذه القدرات "ناشئة" لأنها تظهر مع ازدياد حجم النموذج وبيانات التدريب وقدرات الحوسبة. ^{[ 37 ] [ 38 ]}

تشمل أمثلة القدرات الناشئة التفكير متعدد الخطوات، والتعلم في السياق (القدرة على أداء المهام بناءً على الأمثلة المقدمة في المطالبات دون تدريب إضافي)، وتحسين الأداء في معايير اللغة المعقدة والتفكير.

تشير الأبحاث إلى أن هذه القدرات لا تتوسع بشكل خطي، بل تظهر بمجرد أن تتجاوز النماذج عتبات معينة في الحجم ونطاق التدريب. ^{[ 38 ]}

وقد أثرت هذه الظاهرة على تطوير نماذج GPT الأكبر حجماً وساهمت في زيادة فعاليتها عبر مجموعة واسعة من المهام.

أكدت شركة OpenAI ، التي ابتكرت أول نموذج تحويلي مُدرَّب مسبقًا (GPT) في عام 2018، في عام 2023 أن "GPT" يجب اعتبارها علامة تجارية خاصة بها. ^{[ 39 ]} وفي أبريل 2023، عدّلت OpenAI إرشادات العلامة التجارية في شروط الخدمة الخاصة بها، مشيرةً إلى أنه لن يُسمح للشركات الأخرى التي تستخدم واجهة برمجة التطبيقات (API) الخاصة بها لتشغيل خدمات الذكاء الاصطناعي الخاصة بها، باستخدام "GPT" في أسماء منتجاتها أو علاماتها التجارية. ^{[ 40 ]} وفي مايو 2023، استعانت OpenAI بخدمة إدارة العلامات التجارية لإخطار عملائها من مستخدمي واجهة برمجة التطبيقات بهذه السياسة، إلا أن هذه الإخطارات لم تصل إلى حدّ المطالبات القانونية الصريحة (مثل ادعاءات انتهاك العلامة التجارية أو مطالبات الكفّ عن ذلك ). ^{[ 39 ]} وحتى نوفمبر 2023، لا تزال OpenAI تمنع حاملي تراخيص واجهة برمجة التطبيقات الخاصة بها من تسمية منتجاتهم بـ "GPT"، ^{[ 41 ]} ولكنها بدأت في تمكين مشتركي ChatGPT Plus من إنشاء "إصدارات مخصصة من ChatGPT" تُسمى GPTs على موقع OpenAI. ^{[ 42 ]} تنص شروط خدمة OpenAI على أنه يجوز لمشتركيها استخدام "GPT" في أسماء هذه البرامج، على الرغم من أن ذلك "غير مستحب". ^{[ 41 ]}

وفي سياق متصل، تقدمت شركة OpenAI بطلب إلى مكتب براءات الاختراع والعلامات التجارية الأمريكي (USPTO) لتسجيل علامة تجارية محلية لمصطلح "GPT" في مجال الذكاء الاصطناعي. ^{[ 39 ]} سعت OpenAI إلى تسريع معالجة طلبها، إلا أن مكتب براءات الاختراع والعلامات التجارية الأمريكي رفض هذا الطلب في أبريل 2023. ^{[ 43 ]} وفي مايو 2023، رفض المكتب طلب OpenAI لتسجيل العلامة التجارية، معتبرًا أن مصطلح "GPT" وصفي وعام. ^{[ 44 ] [ 45 ] [ 46 ] [ 47 ]}

في الاتحاد الأوروبي ، سجل مكتب الاتحاد الأوروبي للملكية الفكرية علامة "GPT" التجارية لشركة OpenAI في ربيع عام 2023. إلا أن هذا التسجيل يواجه طعونًا منذ ربيع عام 2024، وهو قيد الإلغاء. ^{[ 48 ]} وفي سويسرا ، سجل المعهد الفيدرالي السويسري للملكية الفكرية علامة "GPT" التجارية لشركة OpenAI في ربيع عام 2023. ^{[ 49 ] [ 50 ]} ورفضت الإدارة الوطنية الصينية للملكية الفكرية طلبات OpenAI لتسجيل علامتي "GPT" و"ChatGPT" التجاريتين في عام 2024، وعلامة "GPT-5" في أغسطس 2025، وبعد ذلك قدمت OpenAI طعونًا. ^{[ 51 ]}

يتم تقييم نماذج المحولات المُدرَّبة مسبقًا باستخدام مجموعة من المعايير والمقاييس التي تهدف إلى تقييم أدائها عبر مهام مختلفة. تشمل الأساليب الشائعة الدقة على مجموعات البيانات القياسية، بالإضافة إلى ميزات أخرى مثل المتانة والتحيز والسمية. ^{[ 52 ]}

تُختبر هذه النماذج عادةً على مهام مثل فهم اللغة الطبيعية، والاستدلال، والإجابة على الاستفسارات، وتوليد التعليمات البرمجية. وفي بعض الأحيان، تجمع بين مهام متعددة لتوفير تقييم أشمل لأداء النموذج عبر مختلف المجالات. ^{[ 53 ]}

تُوسّع المناهج الحديثة هذه التقييمات لتشمل سمات أخرى مثل العدالة والكفاءة والشفافية، وذلك للحصول على تقييم أكثر دقة لهذه النماذج. ^{[ 52 ]}

لا يزال التقييم مجالاً نشطاً للبحث، حيث قد لا تعكس الاختبارات الحالية بدقة الأداء في العالم الحقيقي أو المخاطر المرتبطة بالنماذج التوليدية واسعة النطاق. ^{[ 52 ]}

أثارت نماذج المحولات المُدرَّبة مسبقًا والمولدة مجموعة من المخاوف الأخلاقية والاجتماعية، لا سيما فيما يتعلق بالتحيز والمعلومات المضللة والأثر البيئي. إذ يمكن لنماذج اللغة الكبيرة إعادة إنتاج وتضخيم الأنماط الموجودة في بيانات التدريب الخاصة بها، بما في ذلك التحيزات الاجتماعية، مما قد يؤدي إلى مخرجات غير عادلة أو مضللة. ^{[ 54 ] [ 55 ]}

وقد ارتبطت هذه النماذج أيضاً بتوليد معلومات غير دقيقة أو مضللة، إذ إنها مصممة لإنتاج نصوص سلسة بدلاً من التحقق من دقة الحقائق. وهذا يؤثر على استخدامها في تطبيقات مثل توليد المحتوى الآلي ونشر المعلومات. ^{[ 56 ]}

يتطلب تدريب النماذج واسعة النطاق موارد حاسوبية هائلة، مما يُسهم في زيادة استهلاك الطاقة والتكاليف البيئية. وقد أدت المخاوف بشأن الأثر البيئي لأنظمة الذكاء الاصطناعي الكبيرة إلى مطالبات بأساليب تدريب أكثر كفاءة وشفافية أكبر في الإبلاغ عن استخدام الموارد. ^{[ 57 ] [ 58 ]}

• محوّل الرؤية