GPT-3

📅 آخر تحديث: ١ أغسطس ٢٠٢٦
✍️ نُشر في: ١ أغسطس ٢٠٢٦
📷 يحتوي على 13 صور
الموسوعة الحرة

يُعدّ نموذج GPT-3 ( Generative Pre-trained Transformer 3 ) نموذجًا لغويًا ضخمًا أصدرته شركة OpenAI في عام 2020 كجزء من سلسلة نماذج GPT الخاصة بالشركة .

على غرار سابقه، GPT-2 ، يُعدّ GPT-3 نموذجًا مُحوِّلًا للشبكات العصبية العميقة يعتمد على وحدة فك التشفير فقط [ 2 ] ، ويتفوق على البنى القائمة على التكرار والالتفاف بتقنية تُعرف باسم " الانتباه " [ 3 ] . تسمح آلية الانتباه هذه للنموذج بالتركيز بشكل انتقائي على أجزاء النص المُدخل التي يتوقع أنها الأكثر صلة [ 4 ] . يحتوي GPT-3 على 175 مليار مُعامل [ 1 ] ، كل منها بدقة 16 بت، ويتطلب 350 جيجابايت من مساحة التخزين نظرًا لأن كل مُعامل يشغل بايتين. يبلغ حجم نافذة السياق 2048 رمزًا [ 1 ] : 43 ، وقد أظهر قدرات قوية في التعلم " بدون أمثلة " و" بأمثلة قليلة " في العديد من المهام [ 2 ] .

في 22 سبتمبر 2020، أعلنت مايكروسوفت أنها حصلت على ترخيص حصري لنموذج GPT-3. لا يزال بإمكان الآخرين الحصول على مخرجات من واجهة برمجة التطبيقات العامة الخاصة بها، لكن مايكروسوفت وحدها هي التي تملك حق الوصول إلى النموذج الأساسي. [ 5 ]

خلفية

بحسب مجلة الإيكونوميست ، ساهمت الخوارزميات المحسّنة، وأجهزة الكمبيوتر الأكثر قوة، والزيادة الأخيرة في كمية المواد الرقمية، في إحداث ثورة في مجال التعلّم الآلي . وقد أسفرت التقنيات الجديدة في العقد الثاني من الألفية الثانية عن "تحسينات سريعة في المهام"، بما في ذلك معالجة اللغة. [ 6 ]

تُدرَّب نماذج البرمجيات على التعلّم باستخدام آلاف أو ملايين الأمثلة ضمن "بنية  ... مستوحاة بشكل عام من البنية العصبية للدماغ". [ 6 ] إحدى البنى المستخدمة في معالجة اللغة الطبيعية (NLP) هي شبكة عصبية قائمة على نموذج التعلّم العميق الذي طُرح عام 2017، وهي بنية المحوّل . [ 7 ] يوجد عدد من أنظمة معالجة اللغة الطبيعية القادرة على معالجة المدخلات النصية واستخراج المعلومات منها وتنظيمها وربطها ومقارنتها، بالإضافة إلى الإجابة الصحيحة على الأسئلة. [ 8 ]

في 11 يونيو 2018، نشر باحثون ومهندسون من OpenAI ورقة بحثية تُقدّم أول نموذج مُولّد مُدرّب مُسبقًا (GPT) ، وهو نوع من نماذج اللغة التوليدية الضخمة التي تُدرّب مُسبقًا باستخدام مجموعة بيانات نصية هائلة ومتنوعة ، ثم تُجرى عليها عملية ضبط دقيق تمييزي للتركيز على مهمة مُحددة. تعتمد نماذج GPT على بنية شبكات عصبية للتعلم العميق قائمة على المُحوّلات. في السابق، كانت أفضل نماذج معالجة اللغة الطبيعية العصبية تستخدم عادةً التعلم الخاضع للإشراف من كميات كبيرة من البيانات المُصنّفة يدويًا، مما جعل تدريب نماذج اللغة الضخمة للغاية مكلفًا للغاية ويستغرق وقتًا طويلاً. [ 2 ] عُرف أول نموذج GPT باسم GPT-1 ، وتلاه GPT-2 في فبراير 2019. وقد صُمم GPT-2 كنسخة مُطوّرة مباشرة من سابقه، حيث زاد عدد معلماته وحجم مجموعة بياناته بمقدار 10 أضعاف. احتوى على 1.5 مليار معلمة، وتم تدريبه على مجموعة بيانات تضم 8 ملايين صفحة ويب. [ 9 ]

في فبراير 2020، قدمت مايكروسوفت نموذج توليد اللغة الطبيعية تورينج (T-NLG)، والذي زعموا أنه "أكبر نموذج لغوي تم نشره على الإطلاق بـ 17 مليار معلمة". [ 10 ] وقد تفوق أداؤه على أي نموذج لغوي آخر في مجموعة متنوعة من المهام، بما في ذلك تلخيص النصوص والإجابة على الأسئلة .

التدريب والقدرات

نموذج لمقال طالب حول علم التربية كتبه برنامج GPT-3

يُعدّ مفهوم "أنماط التعلّم" إشكاليًا لأنه لا يُفسّر العمليات التي تتشكّل من خلالها هذه الأنماط. قد يكتسب بعض الطلاب نمط تعلّم مُعيّنًا نتيجةً لتجارب مُحدّدة، بينما قد يكتسبه آخرون لمحاولتهم التكيّف مع بيئة تعلّم غير مُلائمة لاحتياجاتهم. في نهاية المطاف، نحتاج إلى فهم التفاعلات بين أنماط التعلّم والعوامل البيئية والشخصية، وكيف تُؤثّر هذه العوامل على أساليب تعلّمنا وأنواع التعلّم التي نخوضها.

— نص من إعداد مايك شاربلز [ 11 ]

في 28 مايو 2020، نشرت مجموعة من 31 مهندسًا وباحثًا في OpenAI ورقة بحثية أولية على موقع arXiv تصف إنجازات وتطوير GPT-3، وهو نموذج لغوي متطور من الجيل الثالث. [ 1 ] [ 12 ] وقد زاد الفريق من قدرة GPT-3 بأكثر من مئتي ضعف مقارنةً بسابقه GPT-2، [ 13 ] مما جعله أكبر نموذج لغوي غير متفرق في ذلك الوقت. [ 1 ] : [ 14 ] ونظرًا لتشابه GPT-3 بنيويًا مع سابقيه، [ 1 ] تُعزى دقته العالية إلى زيادة قدرته وعدد معاييره. [ 15 ] وتفوق قدرة GPT-3 قدرة نموذج Turing NLG من مايكروسوفت، ثاني أكبر نموذج لمعالجة اللغة الطبيعية معروف في ذلك الوقت بعشرة أضعاف. [ 12 ]

وقدّرت شركة Lambdalabs تكلفة افتراضية تبلغ حوالي 4.6 مليون دولار أمريكي و355 عامًا لتدريب GPT-3 على وحدة معالجة رسومات واحدة في عام 2020، [ 16 ] مع وقت تدريب فعلي أقل باستخدام المزيد من وحدات معالجة الرسومات بالتوازي.

ستون بالمئة من مجموعة بيانات التدريب المسبق الموزونة لنموذج GPT-3 تأتي من نسخة مُفلترة من Common Crawl ، تتألف من 410 مليارات رمز مُشفّر بأزواج البايت . استُخدمت تقنية إزالة التكرار الضبابي MinHash LSH من Apache Spark . [ 1 ] : 9 وتشمل المصادر الأخرى 19 مليار رمز من WebText2، ما يُمثل 22% من الإجمالي الموزون، و12 مليار رمز من Books1، ما يُمثل 8%، و55 مليار رمز من Books2، ما يُمثل 8%، و3 مليارات رمز من ويكيبيديا، ما يُمثل 3%. [ 1 ] : 9 تم تدريب GPT-3 على مئات المليارات من الكلمات، وهو قادر أيضًا على البرمجة بلغات CSS و JSX و Python ، وغيرها.

بيانات تدريب GPT-3 [ 1 ] : 9
مجموعة البياناترموزالنسبة ضمن التدريب
الزحف الشائع410 مليار60%
WebText219 مليار22%
الكتب 112 مليار8%
الكتب 255 مليار8%
ويكيبيديا3 مليارات3%

نظرًا لشمولية بيانات تدريب GPT-3، فإنه لا يحتاج إلى تدريب إضافي لمهام لغوية محددة. تحتوي بيانات التدريب أحيانًا على لغة مسيئة، وقد يُنتج GPT-3 لغة مسيئة أحيانًا نتيجةً لمحاكاته لبيانات التدريب. وجدت دراسة من جامعة واشنطن أن GPT-3 أنتج لغة مسيئة بمستوى سمية يُضاهي نماذج معالجة اللغة الطبيعية المماثلة GPT-2 وCTRL. طبّقت OpenAI عدة استراتيجيات للحد من كمية اللغة المسيئة التي يُنتجها GPT-3. ونتيجةً لذلك، أنتج GPT-3 لغة مسيئة أقل مقارنةً بنموذجه السابق GPT-1، على الرغم من أنه أنتج عددًا أكبر من الأجيال ومستوى سمية أعلى من اللغة المسيئة مقارنةً بنموذج CTRL Wiki، وهو نموذج لغوي مُدرّب بالكامل على بيانات ويكيبيديا. [ 17 ]

في 11 يونيو 2020، أعلنت OpenAI أنه بإمكان المستخدمين طلب الوصول إلى واجهة برمجة تطبيقات GPT-3 سهلة الاستخدام - وهي "مجموعة أدوات للتعلم الآلي" - لمساعدة OpenAI على "استكشاف نقاط القوة والحدود" لهذه التقنية الجديدة. [ 18 ] [ 19 ] وصف الإعلان كيف تتميز واجهة برمجة التطبيقات هذه بواجهة عامة "إدخال نص، إخراج نص" قادرة على إنجاز "أي مهمة باللغة الإنجليزية تقريبًا"، بدلًا من حالة الاستخدام الواحدة المعتادة. [ 18 ] ووفقًا لأحد المستخدمين، الذي أتيحت له فرصة الوصول إلى إصدار تجريبي خاص من واجهة برمجة تطبيقات OpenAI GPT-3، فقد كان GPT-3 "متقنًا بشكل لافت" في كتابة "نصوص متماسكة بشكل مذهل" ببضع توجيهات بسيطة فقط. [ 20 ] في تجربة أولية، طُلب من 80 مشاركًا أمريكيًا تحديد ما إذا كانت مقالات قصيرة (حوالي 200 كلمة) مكتوبة بواسطة بشر أم بواسطة GPT-3. وقد أصاب المشاركون في 52% من الحالات، متفوقين قليلًا على التخمين العشوائي. [ 1 ]

في 18 نوفمبر 2021، أعلنت OpenAI عن تطبيقها لتدابير وقائية كافية تتيح الوصول غير المقيد إلى واجهة برمجة التطبيقات (API) الخاصة بها. [ 21 ] ووفرت OpenAI للمطورين أداة لمراقبة المحتوى تساعدهم على الالتزام بسياسة المحتوى الخاصة بها. [ 22 ] وفي 27 يناير 2022، أعلنت OpenAI أن أحدث نماذج لغة GPT-3 (المشار إليها مجتمعةً باسم InstructGPT) أصبحت الآن نموذج اللغة الافتراضي المستخدم في واجهة برمجة التطبيقات الخاصة بها . ووفقًا لـ OpenAI، فإن InstructGPT ينتج محتوىً أكثر توافقًا مع نوايا المستخدمين من خلال اتباع التعليمات بدقة أكبر، وتقليل المعلومات المضللة، وإنتاج محتوى أقل ضررًا. [ 23 ]

نظرًا لقدرة GPT-3 على "توليد مقالات إخبارية يصعب على المُقيّمين البشريين تمييزها عن المقالات التي يكتبها البشر"، [ 12 ] فإن GPT-3 يمتلك "إمكانية تطوير التطبيقات المفيدة والضارة لنماذج اللغة". [ 1 ] : 34. في ورقتهم البحثية المنشورة في 28 مايو 2020، وصف الباحثون بالتفصيل "الآثار الضارة المحتملة لـ GPT-3" [ 12 ] والتي تشمل "المعلومات المضللة، والبريد العشوائي ، والتصيد الاحتيالي ، وإساءة استخدام الإجراءات القانونية والحكومية ، وكتابة المقالات الأكاديمية الاحتيالية ، والتظاهر بالهندسة الاجتماعية ". [ 1 ] ويلفت المؤلفون الانتباه إلى هذه المخاطر للدعوة إلى إجراء بحوث حول تخفيفها . [ 1 ] : 34

يتمتع GPT-3 بالقدرة على إجراء التعلم بدون أمثلة والتعلم باستخدام عدد قليل من الأمثلة (بما في ذلك مثال واحد). [ 1 ]

في يونيو 2022، كتبت ألميرا عثمانوفيتش ثونستروم أن GPT-3 كان المؤلف الرئيسي لمقال عنه، وأنهم قدموه للنشر، [ 24 ] وأنه تم نشره مسبقًا أثناء انتظار اكتمال مراجعته. [ 25 ]

نماذج GPT-3

توجد العديد من النماذج ضمن عائلة GPT-3، بعضها يخدم أغراضًا مختلفة عن غيرها. في الورقة البحثية الأولية التي نشرتها OpenAI، ذكروا 8 أحجام مختلفة لنموذج GPT-3 الرئيسي (الجدول 2.1):

خصائص GPT-3
اسم الطرازنالمعلمات{\displaystyle n_{\text{params}}}نطبقات{\displaystyle n_{\text{layers}}}دنموذج{\displaystyle d_{\text{model}}}نرؤوس{\displaystyle n_{\text{heads}}}درأس{\displaystyle d_{\text{head}}}حجم الدفعةمعدل التعلماسم واجهة برمجة التطبيقات
GPT-3 صغير125 مليون1276812640.5 مليون6.0×10-4{\displaystyle 6.0\times 10^{-4}}
متوسط ​​GPT-3350 مليون24102416640.5 مليون3.0×10-4{\displaystyle 3.0\times 10^{-4}}أدا
GPT-3 كبير760 مليون24153616960.5 مليون2.5×10-4{\displaystyle 2.5\times 10^{-4}}
GPT-3 XL1.3 مليار24204816128مليون2.0×10-4{\displaystyle 2.0\times 10^{-4}}ملفوف
GPT-3 2.7B2.7 مليار3225603280مليون1.6×10-4{\displaystyle 1.6\times 10^{-4}}
GPT-3 6.7B6.7 مليار324096321282 مليون1.2×10-4{\displaystyle 1.2\times 10^{-4}}كوري
GPT-3 13B13.0 مليار405120401282 مليون1.0×10-4{\displaystyle 1.0\times 10^{-4}}
GPT-3 175B175.0 مليار9612288961283.2 مليون0.6×10-4{\displaystyle 0.6\times 10^{-4}}دافنشي

يمكن الوصول إلى نصف النماذج عبر واجهة برمجة التطبيقات (API)، وهي GPT-3-medium وGPT-3-xl وGPT-3-6.7B وGPT-3-175b، والتي يُشار إليها على التوالي بأسماء ada وbabbage وcurie وdavinci. في حين لم تُفصح OpenAI في البداية عن حجم نماذج واجهة برمجة التطبيقات، أعلنت EleutherAI عن الربط بين أحجام النماذج وأسماء واجهة برمجة التطبيقات في مايو 2021. [ 26 ] وقد أكدت OpenAI هذه الأحجام لاحقًا، [ 27 ] لكن أحجام النماذج اللاحقة لم تُفصح عنها.

نموذجحدودوصفمسلسل
أدا350 مقادر على أداء مهام بسيطة للغاية، وعادة ما يكون أسرع طراز في سلسلة GPT-3، وأقل تكلفة.قاعدة GPT-3
ملفوف

باباج-002

1.3 بقادر على إنجاز المهام البسيطة، وسريع جداً، وبتكلفة أقل.قاعدة GPT-3
كوري6.7 ملياريتمتع بقدرات عالية، ولكنه أسرع وأقل تكلفة من دافنشي.قاعدة GPT-3
دافنشي

davinci-002

175 بأكثر نماذج GPT-3 كفاءة. يمكنه القيام بأي مهمة تستطيع النماذج الأخرى القيام بها، وغالبًا بجودة أعلى.قاعدة GPT-3
text-ada-001350 مقادر على أداء مهام بسيطة للغاية، وعادة ما يكون أسرع طراز في سلسلة GPT-3، وأقل تكلفة.InstructGPT
نص-باباج-0011.3 مليارقادر على إنجاز المهام البسيطة، وسريع جداً، وبتكلفة أقل.InstructGPT
نص-كوري-0016.7 ملياريتمتع بقدرات عالية، وهو أسرع وأقل تكلفة من دافنشي.InstructGPT
نص-دافنشي-001175بإصدار أقدم من أكثر نماذج سلسلة GPT-3 كفاءة. يستطيع أداء أي مهمة تستطيع نماذج GPT-3 الأخرى القيام بها، غالباً بمعلومات أقل.InstructGPT
نص-دافنشي-002

code-davinci-002

غير مُفصح عنهقدرات مشابهة، text-davinci-003ولكن تم تدريبها باستخدام الضبط الدقيق الخاضع للإشراف بدلاً من التعلم المعزز.GPT-3.5
نص-دافنشي-003غير مُفصح عنهيستطيع هذا البرنامج إنجاز أي مهمة لغوية بجودة أفضل، ومخرجات أطول، واتباع تعليمات أكثر اتساقًا من نماذج كوري، وباباج، وآدا. كما يدعم إدراج اقتراحات الإكمال داخل النص.GPT-3.5
gpt-3.5-turbo

gpt-3.5-turbo-instruct gpt-3.5-turbo-16k

غير مُفصح عنهنموذج GPT-3.5 الأكثر كفاءة وفعالية من حيث التكلفة (الأسرع) ومُحسَّن للمحادثة بتكلفة 1/10 من التكلفة text-davinci-003.GPT-3.5

GPT-3.5

يُعدّ نموذج GPT-3.5 ( GPT-3.5 ) فئة فرعية من نماذج GPT-3 التي أنشأتها OpenAI في عام 2022.

في 15 مارس 2022، أتاحت OpenAI إصدارات جديدة من GPT-3 و Codex في واجهة برمجة التطبيقات (API) الخاصة بها، مع إمكانية التعديل والإضافة، تحت اسمي "text-davinci-002" و "code-davinci-002". [ 28 ] وُصفت هذه النماذج بأنها أكثر كفاءة من الإصدارات السابقة، وتم تدريبها على بيانات حتى يونيو 2021. [ 29 ] في 28 نوفمبر 2022، قدمت OpenAI النموذج text-davinci-003. [ 30 ] في 30 نوفمبر 2022، بدأت OpenAI بالإشارة إلى هذه النماذج على أنها تنتمي إلى سلسلة "GPT-3.5"، [ 29 ] وأصدرت ChatGPT ، الذي تم ضبطه بدقة من نموذج في سلسلة GPT-3.5. [ 31 ] لا تُدرج OpenAI النموذج GPT-3.5 ضمن GPT-3. [ 32 ]

نماذج

هناك ثلاثة نماذج: [ 33 ]

  • محادثة
    • gpt-3.5-turbo
  • إكمال النص
    • نص-دافنشي-003
    • نص-دافنشي-002

GPT-3.5 مع التصفح

في 10 أبريل 2023، أطلقت OpenAI نسخةً جديدةً من نموذجها GPT-3.5، تُعرف باسم GPT-3.5 مع خاصية التصفح (ألفا). وُصِف هذا النموذج المُحدَّث بأنه مبنيٌّ على قدرات سابقيه "text-davinci-002" و"code-davinci-002". [ 34 ] وقد أضاف نموذج GPT-3.5 مع خاصية التصفح (ألفا) إمكانية الوصول إلى المعلومات عبر الإنترنت وتصفحها، مما أدى إلى استجابات أكثر دقةً وحداثةً لاستفسارات المستخدمين.

تم تدريب نموذج GPT-3.5 مع التصفح (ALPHA) على بيانات حتى سبتمبر 2021، مما يمنحه معلومات أكثر مقارنة بنماذج GPT-3.5 السابقة، التي تم تدريبها على بيانات حتى يونيو 2021. وقد سعى النموذج إلى تزويد المطورين والمستخدمين بأداة متقدمة لمعالجة اللغة الطبيعية يمكنها استرجاع المعلومات عبر الإنترنت وتوليفها بشكل فعال.

لتمكين إمكانيات التصفح، طبّقت OpenAI واجهة برمجة تطبيقات جديدة تسمح لنموذج GPT-3.5 مع خاصية التصفح (ألفا) بالوصول إلى موارد إلكترونية محددة أثناء التشغيل. [ 35 ] تتيح هذه الميزة للمستخدمين طرح الأسئلة أو طلب المعلومات، مع توقع أن يقدم النموذج إجابات محدّثة ودقيقة وذات صلة، استنادًا إلى أحدث المصادر الإلكترونية المتاحة له.

في 27 أبريل 2023، أتاحت OpenAI نموذج GPT-3.5 مع خاصية التصفح (ألفا) للجمهور لمستخدمي GPT Plus. وقد مكّن هذا المزيد من الأشخاص من الوصول إلى ميزاته الجديدة. [ 35 ]

InstructGPT

InstructGPT هو نسخة محسّنة من GPT-3.5 تم تدريبها على مجموعة بيانات من التعليمات المكتوبة بواسطة البشر. [ 36 ]

استقبال

التطبيقات

  • كان نموذج GPT-3، وتحديداً نموذج Codex ، أساساً لبرنامج GitHub Copilot ، وهو برنامج لإكمال وتوليد التعليمات البرمجية يمكن استخدامه في محررات التعليمات البرمجية وبيئات التطوير المتكاملة المختلفة. [ 37 ] [ 38 ]
  • يُستخدم GPT-3 في بعض منتجات مايكروسوفت لترجمة اللغة التقليدية إلى شفرة برمجية رسمية. [ 39 ] [ 40 ]
  • تم استخدام GPT-3 في CodexDB [ 41 ] لإنشاء رمز خاص بالاستعلام لمعالجة SQL .
  • استخدم جيسون روهر نموذج GPT-3 في مشروع روبوت محادثة ذي طابع كلاسيكي يُدعى "مشروع ديسمبر"، وهو متاح عبر الإنترنت ويتيح للمستخدمين التحدث مع العديد من أنظمة الذكاء الاصطناعي باستخدام تقنية GPT-3. [ 42 ]
  • استخدمت صحيفة الغارديان نموذج GPT-3 لكتابة مقال حول كون الذكاء الاصطناعي غير ضار بالبشر. تم تزويد النموذج ببعض الأفكار، فأنتج ثماني مقالات مختلفة، تم دمجها في النهاية في مقال واحد. [ 43 ]
  • استُخدم نموذج GPT-3 في لعبة AI Dungeon ، التي تُنشئ ألعاب مغامرات نصية. لاحقًا، استُبدل بنموذج منافس بعد أن غيّرت OpenAI سياستها المتعلقة بالمحتوى المُنشأ. [ 44 ] [ 45 ]
  • يُستخدم GPT-3 للمساعدة في كتابة النصوص التسويقية وغيرها من المواد التسويقية. [ 46 ]
  • أشارت دراسة أجريت عام 2022 من جامعة دريكسل إلى إمكانية استخدام الأنظمة القائمة على GPT-3 للكشف عن العلامات المبكرة لمرض الزهايمر . [ 47 ] [ 48 ]

التقييمات

  • في مراجعة نُشرت في صحيفة نيويورك تايمز في يوليو 2020 ، قال فرهاد مانجو إن قدرة GPT-3 على توليد شفرة برمجية وشعر ونثر ليست فقط "مذهلة" و"مخيفة" و"مُتواضعة"، بل هي أيضًا "مرعبة إلى حد ما". [ 49 ]
  • نشرت صحيفة ديلي نوس سلسلة مقالات لتسعة فلاسفة حول GPT-3. [ 50 ] وصف الفيلسوف الأسترالي ديفيد تشالمرز GPT-3 بأنه "أحد أكثر أنظمة الذكاء الاصطناعي إثارة للاهتمام وأهمية على الإطلاق". [ 51 ]
  • ذكرت مراجعة في مجلة Wired أن GPT-3 "يثير قشعريرة في جميع أنحاء وادي السيليكون ". [ 52 ]
  • ذكرت مجلة القانون الوطني أن GPT-3 يمثل "خطوة مثيرة للإعجاب في العملية الأوسع"، حيث وجدت OpenAI وغيرها "تطبيقات مفيدة لكل هذه القوة" مع الاستمرار في "العمل نحو ذكاء أكثر عمومية ". [ 53 ]
  • ذكرت مقالة في مجلة MIT Technology Review ، شارك في كتابتها الناقد المتخصص في التعلم العميق غاري ماركوس ، [ 54 ] أن فهم GPT-3 للعالم غالباً ما يكون خاطئاً بشكل خطير، مما يعني أنه لا يمكنك الوثوق بما يقوله أبداً. [ 55 ] ووفقاً للمؤلفين، فإن GPT-3 ينمذج العلاقات بين الكلمات دون فهم المعنى الكامن وراء كل كلمة.
  • قال جيروم بيسينتي، رئيس مختبر الذكاء الاصطناعي في فيسبوك، إن GPT-3 "غير آمن"، مشيراً إلى اللغة المتحيزة جنسياً والعنصرية وغيرها من اللغة السلبية التي أنتجها النظام عندما طُلب منه مناقشة اليهود والنساء والسود والمحرقة . [ 56 ]
  • اختبرت شركة نابلا، وهي شركة فرنسية ناشئة متخصصة في تكنولوجيا الرعاية الصحية، نموذج GPT-3 كبرنامج دردشة طبي ، على الرغم من تحذير شركة OpenAI نفسها من استخدامه. وكما كان متوقعًا، أظهر GPT-3 العديد من القيود. فعلى سبيل المثال، أثناء اختبار استجابات GPT-3 حول مشاكل الصحة النفسية، نصح الذكاء الاصطناعي مريضًا افتراضيًا بالانتحار. [ 57 ]
  • أعرب نعوم تشومسكي عن تشكيكه في القيمة العلمية لنموذج GPT-3 قائلاً: "إنه ليس نموذجًا لغويًا. فهو يعمل بكفاءة مع اللغات المستحيلة تمامًا كما يعمل مع اللغات الحقيقية. ولذلك، إذا كان المقصود منه أن يكون نموذجًا لغويًا، فإنه يُرفض وفقًا للمعايير العلمية المعتادة. [...] ربما يكون مفيدًا لغرض ما، ولكنه لا يبدو أنه يُخبرنا بشيء عن اللغة أو الإدراك بشكل عام." [ 58 ]
  • سلط لوتشيانو فلوريدي وماسيمو شيرياتي الضوء على خطر "الإنتاج الرخيص للمنتجات الدلالية الجيدة". [ 59 ]
  • انتقد سام ألتمان من شركة OpenAI نفسه ما أسماه "الضجة الإعلامية حول GPT-3"، معترفًا بأن GPT-3 "لديه نقاط ضعف خطيرة ويرتكب أحيانًا أخطاء سخيفة للغاية... سيغير الذكاء الاصطناعي العالم، لكن GPT-3 ليس سوى لمحة مبكرة جدًا." [ 60 ]

نقد

تأسست شركة OpenAI ، مطورة GPT-3 ، في البداية كمنظمة غير ربحية عام 2015. [ 61 ] وفي عام 2019، خالفت OpenAI معاييرها المعتادة للمصادر المفتوحة بعدم نشرها GPT-2 ، النموذج السابق لـ GPT-3، علنًا، مُعللةً ذلك بمخاوف من أن يُسهّل النموذج نشر الأخبار الكاذبة. وأصدرت OpenAI لاحقًا نسخةً بحجم 8% من حجم النموذج الأصلي. [ 62 ] وفي العام نفسه، أعادت OpenAI هيكلة نفسها لتصبح شركة ربحية. [ 63 ] وفي عام 2020، أعلنت مايكروسوفت حصولها على ترخيص حصري لـ GPT-3 لمنتجاتها وخدماتها بعد استثمارها مليارات الدولارات في OpenAI. ويسمح هذا الاتفاق لـ OpenAI بتقديم واجهة برمجة تطبيقات (API) عامة تُمكّن المستخدمين من إرسال نصوص إلى GPT-3 لتلقي مخرجات النموذج، ولكن مايكروسوفت وحدها هي من ستتمكن من الوصول إلى شفرة المصدر الخاصة بـ GPT-3. [ 5 ]

تعرضت نماذج اللغة الكبيرة، مثل GPT-3، لانتقادات من قبل عدد قليل من باحثي أخلاقيات الذكاء الاصطناعي في جوجل بسبب التأثير البيئي لتدريب وتخزين النماذج، وهو ما تم تفصيله في ورقة بحثية شارك في تأليفها تيمنيت جبرو وإميلي إم. بيندر في عام 2021. [ 64 ]

أدى الاستخدام المتزايد لتقنيات الكتابة الآلية القائمة على GPT-3 ومولدات اللغة الأخرى إلى إثارة مخاوف بشأن النزاهة الأكاديمية [ 65 ] ، ورفع من أهمية كيفية تقييم الجامعات والمدارس لما يشكل سوء سلوك أكاديمي مثل الانتحال. [ 66 ]

بُنيت سلسلة نماذج GPT من OpenAI باستخدام بيانات من مجموعة بيانات Common Crawl ، وهي عبارة عن مجموعة من المقالات والمنشورات وصفحات الويب والكتب المحمية بحقوق الطبع والنشر، والتي جُمعت من 60 مليون نطاق على مدار 12 عامًا. وذكر موقع TechCrunch أن بيانات التدريب هذه تتضمن مواد محمية بحقوق الطبع والنشر من BBC ونيويورك تايمز وريديت والنصوص الكاملة للكتب الإلكترونية، وغيرها. [ 67 ] وفي ردها على طلب التعليقات لعام 2019 بشأن حماية الملكية الفكرية لابتكارات الذكاء الاصطناعي من مكتب براءات الاختراع والعلامات التجارية الأمريكي (USPTO)، جادلت OpenAI بأن "تدريب أنظمة الذكاء الاصطناعي [مثل نماذج GPT الخاصة بها] يُعد استخدامًا عادلًا بموجب القانون الحالي "، ولكن "نظرًا لعدم وجود سوابق قضائية في هذا الشأن، فإن OpenAI ومطوري الذكاء الاصطناعي الآخرين مثلنا يواجهون حالة من عدم اليقين القانوني وتكاليف امتثال باهظة". [ 68 ]

انظر أيضاً

مراجع

  1. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 براون، توم ب.؛ مان، بنجامين؛ رايدر، نيك؛ سوبيا، ميلاني؛ كابلان، جاريد؛ داريوال، برافولا ؛ نيلاكانتان، أرفيند؛ شيام، براناف؛ ساستري، جيريش؛ أسكيل، أماندا؛ أغاروال، سانديني؛ هربرت-فوس، أرييل؛ كروجر، جريتشن؛ هينيغان، توم؛ تشايلد، ريون؛ راميش، أديتيا؛ زيغلر، دانيال م.؛ وو، جيفري؛ وينتر، كليمنس؛ هيس، كريستوفر؛ تشين، مارك؛ سيغلر، إريك؛ ليتوين، ماتيوس؛ غراي، سكوت؛ تشيس، بنجامين؛ كلارك، جاك؛ بيرنر، كريستوفر؛ ماكاندليش، سام؛ رادفورد، أليك؛ سوتسكيفر، إيليا؛ أمودي، داريو (28 مايو 2020). "نماذج اللغة هي متعلمون بأمثلة قليلة". arXiv : 2005.14165 [ cs.CL ].
  2. رادفورد ، أليك؛ ناراسيمهان، كارتيك؛ ساليمانس، تيم؛ سوتسكيفر، إيليا (11 يونيو 2018). "تحسين فهم اللغة من خلال التدريب التوليدي المسبق" (ملف PDF) . ص 12. مؤرشف (ملف PDF) من الأصل في 26 يناير 2021. تم الاطلاع عليه في 31 يوليو 2020 . 
  3. ^ فاسواني، اشيش ؛ شازير، نعوم؛ بارمار، نيكي؛ أوسزكوريت، جاكوب؛ جونز، ليون؛ الأماكن القريبة : كايزر، لوكاس؛ بولوسوخين، إيليا (2017). "الانتباه هو كل ما تحتاجه" (PDF) . التقدم في أنظمة معالجة المعلومات العصبية . 30 . شركة كوران أسوشيتس
  4. ↑ باهدانو، ديمتري؛ تشو، كيونغ هيون؛ بينجيو، يوشوا (1 سبتمبر 2014). "الترجمة الآلية العصبية من خلال التعلم المشترك للمحاذاة والترجمة". arXiv : 1409.0473 [ cs.CL ].
  5. هاو ، كارين (23 سبتمبر 2020). "OpenAI تمنح مايكروسوفت حق الوصول الحصري إلى نموذج اللغة GPT-3" . مجلة MIT Technology Review . مؤرشف من الأصل في 5 فبراير 2021. تم الاطلاع عليه في 25 سبتمبر 2020. وتقول الشركتان إن OpenAI ستواصل تقديم واجهة برمجة التطبيقات (API) العامة ، والتي تتيح لمستخدمين محددين إرسال نصوص إلى GPT-3 أو نماذج OpenAI الأخرى واستلام مخرجاتها. مع ذلك، ستكون مايكروسوفت وحدها هي من تملك حق الوصول إلى الكود البرمجي الأساسي لـ GPT-3، مما يسمح لها بتضمين النموذج وإعادة استخدامه وتعديله حسب رغبتها.
  6. ١ ٢ "بدأ فهم حدود الذكاء الاصطناعي يترسخ" . مجلة الإيكونوميست . ١١ يونيو ٢٠٢٠. ISSN ٠٠١٣-٠٦١٣ . مؤرشف من الأصل في ٣١ يوليو ٢٠٢٠. تم الاطلاع عليه في ٣١ يوليو ٢٠٢٠ . 
  7. ^ بولوسوخين، إيليا؛ كايزر، لوكاس؛ جوميز، ايدان N.؛ جونز، ليون؛ أوسزكوريت، جاكوب؛ بارمار، نيكي؛ شازير، نعوم؛ فاسواني ، اشيش (12 يونيو 2017). " الاهتمام هو كل ما تحتاجه ". أرخايف : 1706.03762 [ cs.CL ].
  8. ↑ "معالجة اللغة الطبيعية" . مؤرشف من الأصل في 22 أغسطس 2020. تم الاطلاع عليه في 31 يوليو 2020 .
  9. ↑ "نسخة مؤرشفة" (PDF) . مؤرشفة (PDF) من الأصل بتاريخ 6 فبراير 2021. تم الاطلاع عليها بتاريخ 28 أبريل 2023 .{{cite web}}: CS1 maint: archived copy as title ( link )
  10. ↑ ستيرلينغ، بروس (13 فبراير 2020). "دلالات الويب: مشروع تورينغ من مايكروسوفت يُقدّم تقنية توليد اللغة الطبيعية تورينغ (T-NLG)" . مجلة وايرد . الرقم الدولي الموحد للدوريات 1059-1028 . مؤرشف من الأصل في 4 نوفمبر 2020. تم الاطلاع عليه في 31 يوليو 2020 . 
  11. ↑ مارش، ستيفن (6 ديسمبر 2022). "مقال القبول الجامعي قد انتهى" . مجلة ذا أتلانتيك . مؤرشف من الأصل في 24 يناير 2023. تم الاطلاع عليه في 8 ديسمبر 2022 .
  12. ١ ٢ ٣ ٤ ساجار، رام (٣ يونيو ٢٠٢٠). "أوبن إيه آي تُصدر GPT-3، أكبر نموذج حتى الآن" . مجلة أناليتكس إنديا . مؤرشف من الأصل في ٤ أغسطس ٢٠٢٠. تم الاطلاع عليه في ٣١ يوليو ٢٠٢٠ .
  13. ↑ "نماذج اللغة هي متعلمون متعددون المهام غير خاضعين للإشراف" (ملف PDF) . openai.com . مؤرشف (PDF) من الأصل في 12 ديسمبر 2019. تم الاطلاع عليه في 4 ديسمبر 2019. GPT-2، هو نموذج تحويلي ذو 1.5 مليار مُعامل .
  14. ↑ شيد، سام (23 يوليو/تموز 2020). "لماذا يتحدث الجميع عن مولد النصوص المدعوم بالذكاء الاصطناعي الذي أصدره مختبر مدعوم من إيلون ماسك؟" . سي إن بي سي . مؤرشف من الأصل في 30 يوليو/تموز 2020. تم الاطلاع عليه في 31 يوليو/تموز 2020 .تم إصدار أربع نسخ أولية بين 28 مايو و22 يوليو 2020.
  15. ↑ راي، تيرنان (1 يونيو 2020). "نموذج GPT-3 الضخم من OpenAI يُشير إلى حدود نماذج اللغة في الذكاء الاصطناعي" . ZDNet . مؤرشف من الأصل في 1 يونيو 2020. تم الاطلاع عليه في 31 يوليو 2020 .
  16. ↑ لي، تشوان (3 يونيو 2020)، نموذج لغة GPT-3 من OpenAI: نظرة عامة تقنية ، مؤرشف من الأصل في 27 مارس 2023 ، تم استرجاعه في 27 مارس 2023
  17. ↑ جيهمان، صموئيل؛ جورورانجان، سوشين؛ ساب، مارتن؛ تشوي، ييجين؛ سميث، نوح أ. (16-20 نوفمبر 2020)، REALTOXICITYPROMPTS: تقييم التدهور العصبي السام في نماذج اللغة ، رابطة اللغويات الحاسوبية، ص 3356-3369 ، arXiv : 2009.11462 
  18. 1 2 "واجهة برمجة تطبيقات OpenAI" . OpenAI . 11 يونيو 2020. مؤرشف من الأصل في 11 يونيو 2020. تم الاسترجاع في 31 يوليو 2020 .
  19. ↑ كولدوي، ديفين (11 يونيو 2020). "أوبن إيه آي تُطلق واجهة برمجة تطبيقات شاملة لقدراتها في مجال الذكاء الاصطناعي النصي" . تيك كرانش . مؤرشف من الأصل في 27 أكتوبر 2021. تم الاطلاع عليه في 31 يوليو 2020. إذا كنت ترغب في تجربة مجموعة أدوات التعلم الآلي المتميزة من أوبن إيه آي، فقد أصبح الأمر أسهل بكثير. أطلقت الشركة واجهة برمجة تطبيقات تُمكّن المطورين من استخدام أدوات الذكاء الاصطناعي الخاصة بها في "أي مهمة باللغة الإنجليزية تقريبًا".
  20. ↑ أرام (9 يوليو 2020). "GPT-3: ذكاء اصطناعي بارع بشكل غريب في كتابة أي شيء تقريبًا" . أرام سابيتي . مؤرشف من الأصل في 20 يوليو 2020. تم الاطلاع عليه في 31 يوليو 2020 .
  21. ↑ "واجهة برمجة تطبيقات OpenAI متاحة الآن بدون قائمة انتظار" . OpenAI . ١٨ نوفمبر ٢٠٢١. مؤرشف من الأصل في ٥ نوفمبر ٢٠٢٢. تم الاطلاع عليه في ٥ نوفمبر ٢٠٢٢ .
  22. ↑ "واجهة برمجة تطبيقات OpenAI" . beta.openai.com . مؤرشف من الأصل في 23 ديسمبر 2022. تم الاطلاع عليه في 5 نوفمبر 2022 .
  23. ↑ "مواءمة نماذج اللغة لاتباع التعليمات" . OpenAI . 27 يناير 2022. مؤرشف من الأصل في 5 نوفمبر 2022. تم الاطلاع عليه في 5 نوفمبر 2022 .
  24. ↑ ثونستروم، ألميرا عثمانوفيتش (30 يونيو 2022). "طلبنا من GPT-3 كتابة ورقة بحثية أكاديمية عن نفسه - ثم حاولنا نشرها" . مجلة ساينتفك أمريكان . مؤرشف من الأصل في 30 يونيو 2022. تم الاطلاع عليه في 30 يونيو 2022 .
  25. ↑ Transformer، GPT Generative Pretrained؛ ثونستروم، ألميرا عثمانوفيتش؛ شتاينغريمسون، شتاين (21 يونيو 2022). "هل يستطيع GPT-3 كتابة ورقة بحثية أكاديمية عن نفسه، بأقل قدر من التدخل البشري؟" . أرشيف HAL ​​المفتوح (بالفرنسية). مؤرشف من الأصل في 30 يونيو 2022. تم الاسترجاع في 30 يونيو 2022 .
  26. ↑ غاو، ليو (24 مايو 2021). "حول أحجام نماذج واجهة برمجة تطبيقات OpenAI" . مدونة EleutherAI . EleutherAI . تم الاطلاع عليه في 23 نوفمبر 2023 .
  27. ↑ "مؤشر النماذج للباحثين" . OpenAI . تم الاطلاع عليه بتاريخ 23 نوفمبر 2023 .{{cite web}}: CS1 maint: deprecated archiveal service ( link )
  28. ↑ "قدرات جديدة لـ GPT-3: التحرير والإدراج" . OpenAI . 15 مارس 2022. مؤرشف من الأصل في 13 يناير 2023. تم الاطلاع عليه في 13 يناير 2023 .
  29. 1 2 "واجهة برمجة تطبيقات OpenAI" . platform.openai.com . مؤرشف من الأصل في 20 مارس 2023. تم الاطلاع عليه في 15 مارس 2023 .
  30. ↑ «ألقِ نظرة على نموذج text-davinci-003 الجديد من OpenAI! نفس النموذج الأساسي لـ text-davinci-002، لكنه أكثر توافقًا. يسعدنا تلقّي ملاحظاتكم عليه! / تويتر» . مؤرشف من الأصل بتاريخ 15 مارس 2023. تم الاطلاع عليه بتاريخ 6 مايو 2023 .
  31. ↑ "ChatGPT: تحسين نماذج اللغة للحوار" . OpenAI . 30 نوفمبر 2022. مؤرشف من الأصل في 30 نوفمبر 2022. تم الاطلاع عليه في 13 يناير 2023 .
  32. ↑ "واجهة برمجة تطبيقات OpenAI" . مؤرشف من الأصل في 17 مارس 2023. تم الاطلاع عليه في 6 مايو 2023 .
  33. ↑ "واجهة برمجة تطبيقات OpenAI" . مؤرشف من الأصل في 6 مايو 2023. تم الاطلاع عليه في 6 مايو 2023 .
  34. ↑ "تقديم سلسلة GPT-3.5: نموذجا text-davinci-002 و code-davinci-002" . OPEN AI . 15 مارس 2022. مؤرشف من الأصل في 20 مارس 2023. تم الاطلاع عليه في 27 أبريل 2023 .
  35. ١ ٢ "GPT-3.5 مع خاصية التصفح (ألفا) متوفر الآن لمستخدمي GPT Plus" . OPEN AI . ٢٧ أبريل ٢٠٢٣. مؤرشف من الأصل في ٢٠ مارس ٢٠٢٣. تم الاطلاع عليه في ٢٧ أبريل ٢٠٢٣ .
  36. ↑ جيلسون أ، سافرانيك سي دبليو، هوانغ تي، سقراط في، تشي إل، تايلور آر إيه، تشارتش دي (فبراير 2023). "كيف يؤدي برنامج ChatGPT في امتحان الترخيص الطبي الأمريكي (USMLE)؟ آثار نماذج اللغة الكبيرة على التعليم الطبي وتقييم المعرفة" . مجلة JMIR للتعليم الطبي . 9 e45312. doi : 10.2196/45312 . PMC 9947764. PMID 36753318 .  
  37. ↑ "مدونة OpenAI" . OpenAI . 10 أغسطس 2021. مؤرشف من الأصل في 3 فبراير 2023. تم الاطلاع عليه في 23 ديسمبر 2022 .
  38. ↑ تومسون، كلايف (15 مارس 2022). "كيف أصبح الذكاء الاصطناعي بمثابة جني كتابة الشفرات البرمجية" . مجلة وايرد . مؤرشف من الأصل في 23 ديسمبر 2022. تم الاطلاع عليه في 23 ديسمبر 2022 .
  39. ↑ أعلنت مايكروسوفت عن أولى ميزات منتجاتها الموجهة للعملاء والمدعومة بتقنية GPT-3 وخدمة Azure . مدونة الذكاء الاصطناعي . 25 مايو 2021. مؤرشف من الأصل في 26 مايو 2021. تم الاطلاع عليه في 26 مايو 2021 .
  40. ↑ فينسنت، جيمس (25 مايو 2021). "مايكروسوفت تُطوّر ميزة إكمال تلقائي للرموز البرمجية مدعومة بالذكاء الاصطناعي باستخدام GPT-3" . ذا فيرج . مؤرشف من الأصل في 23 ديسمبر 2022. تم الاطلاع عليه في 23 ديسمبر 2022 .
  41. ↑ "CodexDB - معالجة SQL مدعومة بتقنية GPT-3" . CodexDB - معالجة SQL مدعومة بتقنية GPT-3 . مؤرشف من الأصل في 7 ديسمبر 2022. تم الاطلاع عليه في 7 ديسمبر 2022 .
  42. ↑ فاجون، جيسون (23 يوليو 2021). "محاكاة جيسيكا: الحب والفقد في عصر الذكاء الاصطناعي" . صحيفة سان فرانسيسكو كرونيكل . مؤرشف من الأصل في 28 يوليو 2021. تم الاطلاع عليه في 29 يوليو 2021 .
  43. ↑ GPT-3 (8 سبتمبر 2020). "كتب روبوت هذا المقال بأكمله. هل تشعر بالخوف الآن أيها الإنسان؟ | GPT-3" . صحيفة الغارديان . ISSN 0261-3077 . مؤرشف من الأصل في 8 سبتمبر 2020. تم الاطلاع عليه في 15 سبتمبر 2020 . {{cite news}}: صيانة CS1: الأسماء الرقمية: قائمة المؤلفين ( رابط )
  44. ↑ "تحديث: نماذج اللغة وبرنامج دراغون" . مدونة لاتيتيود . 8 ديسمبر 2021. مؤرشف من الأصل في 25 أبريل 2022. تم الاطلاع عليه في 22 مارس 2022 .
  45. ↑ «هذا الكتاب الغامض شارك في تأليفه ذكاء اصطناعي واقعي بشكل مثير للقلق» . Vice.com . 2022. مؤرشف من الأصل في 23 ديسمبر 2022. تم الاطلاع عليه في 23 ديسمبر 2022 .
  46. ↑ GPT-3 (24 فبراير 2023). "38 مثالًا على التعليمات في 10 فئات مختلفة | GPT-3" . دردشة GiPiTi . مؤرشف من الأصل في 8 أبريل 2023. تم الاسترجاع في 24 فبراير 2023 .{{cite news}}: صيانة CS1: الأسماء الرقمية: قائمة المؤلفين ( رابط )
  47. ↑ "هل يستطيع روبوت الدردشة ChatGPT المدعوم بالذكاء الاصطناعي اكتشاف المراحل المبكرة لمرض الزهايمر؟ - دراسة" . صحيفة جيروزاليم بوست . 2022. مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 10 فبراير 2023 .
  48. ↑ أغبافور، فيليكس؛ ليانغ، هوالو (22 ديسمبر 2022). "التنبؤ بالخرف من الكلام التلقائي باستخدام نماذج لغوية كبيرة" . مجلة PLOS للصحة الرقمية . 1 (12) e0000168. doi : 10.1371/journal.pdig.0000168 . PMC 9931366. PMID 36812634. S2CID 255029590 .   
  49. ↑ مانجو، فرهاد (29 يوليو/تموز 2020). "كيف تعرف أن إنسانًا كتب هذا؟" . صحيفة نيويورك تايمز . الرقم الدولي الموحد للدوريات 0362-4331 . مؤرشف من الأصل في 29 أكتوبر/تشرين الأول 2020. تم الاطلاع عليه في 4 أغسطس/آب 2020 . 
  50. ↑ واينبرغ، جاستن، محرر. (30 يوليو 2020). "فلاسفة حول GPT-3 (مُحدَّث بردود GPT-3)" . ديلي نوس . مؤرشف من الأصل في 30 أكتوبر 2020. تم الاطلاع عليه في 31 يوليو 2020 .
  51. ↑ تشالمرز، ديفيد (30 يوليو 2020). واينبرغ، جاستن (محرر). "GPT-3 والذكاء العام" . ديلي نوس . فلاسفة حول GPT-3 (مُحدَّث بردود GPT-3). مؤرشف من الأصل في 4 أغسطس 2020. تم الاسترجاع في 4 أغسطس 2020 .
  52. ↑ سيمونايت، توم (22 يوليو/تموز 2020). "هل كتب شخص هذا العنوان أم آلة؟" . مجلة وايرد . الرقم الدولي الموحد للدوريات 1059-1028 . مؤرشف من الأصل في 1 نوفمبر/تشرين الثاني 2020. تم الاطلاع عليه في 31 يوليو/تموز 2020 . 
  53. ↑ كلايبول، ثيودور (30 يوليو/تموز 2020). "أداة الذكاء الاصطناعي الجديدة GPT-3 ترتقي إلى مستويات جديدة، لكنها تُثبت مدى بُعدنا عن تحقيق المزيد" . مجلة القانون الوطني . مؤرشف من الأصل في 30 أكتوبر/تشرين الأول 2020. تم الاطلاع عليه في 4 أغسطس/آب 2020 .
  54. ↑ ماركوس، غاري (1 ديسمبر 2018). "أعمق مشكلة في التعلم العميق" . ميديوم . مؤرشف من الأصل في 1 أغسطس 2019. تم الاطلاع عليه في 29 سبتمبر 2020 .
  55. ↑ ماركوس، غاري؛ ديفيس، إرنست (22 أغسطس/آب 2020). "GPT-3، بلوفياتور: مولد اللغة من OpenAI لا يفهم ما يقوله" . مجلة MIT Technology Review . مؤرشف من الأصل في 23 أغسطس/آب 2020. تم الاطلاع عليه في 23 أغسطس/آب 2020 .
  56. ↑ ميتز، كيد (24 نوفمبر 2020). "تعرّف على GPT-3. لقد تعلّم البرمجة (والتدوين والجدال)" . صحيفة نيويورك تايمز . ISSN 0362-4331 . مؤرشف من الأصل في 6 ديسمبر 2020. تم الاطلاع عليه في 24 نوفمبر 2020 . 
  57. ↑ «روبوت محادثة طبي يستخدم نموذج GPT-3 من OpenAI يطلب من مريض وهمي الانتحار» . أخبار الذكاء الاصطناعي . ٢٨ أكتوبر ٢٠٢٠. مؤرشف من الأصل في ١٠ يناير ٢٠٢١. تم الاطلاع عليه في ٨ يناير ٢٠٢١ .
  58. ↑ تشومسكي يتحدث عن تيرينس ماكينا، وسام هاريس، وGPT3، والعملات المشفرة، وكيركغارد، ونيورالينك، وهوفستادتر . 24 مارس 2021. يبدأ الحدث في الساعة 1:11:44. مؤرشف من الأصل في 29 أبريل 2021. تم الاطلاع عليه في 29 أبريل 2021 .
  59. ↑ فلوريدي، لوتشيانو؛ شيرياتي، ماسيمو (1 نوفمبر 2020). "GPT-3: طبيعته، ونطاقه، وحدوده، وعواقبه" . العقول والآلات . 30 (4): 681-694 . doi : 10.1007/s11023-020-09548-1 . S2CID 228954221 . 
  60. ↑ فينسنت، جيمس (30 يوليو 2020). "أحدث إنجازات OpenAI مذهلة وقوية، لكنها لا تزال تعاني من عيوبها" . ذا فيرج . مؤرشف من الأصل في 30 يوليو 2020. تم الاطلاع عليه في 9 نوفمبر 2022 .
  61. ↑ أولانوف، درو (11 ديسمبر 2015). "إطلاق منظمة OpenAI غير الربحية للذكاء الاصطناعي بدعم من إيلون ماسك وسام ألتمان" . تيك كرانش. مؤرشف من الأصل في 20 أكتوبر 2022. تم الاطلاع عليه في 31 مايو 2021 .
  62. ↑ هاو، كارين (29 أغسطس/آب 2019). "أصدرت OpenAI أكبر نسخة حتى الآن من نظام الذكاء الاصطناعي الخاص بها لنشر الأخبار الكاذبة" . مجلة MIT Technology Review. مؤرشف من الأصل في 9 مايو/أيار 2021. تم الاطلاع عليه في 31 مايو/أيار 2021 .
  63. ↑ كولدوي، ديفين (11 مارس 2019). "OpenAI تتحول من مؤسسة غير ربحية إلى مؤسسة ذات ربح محدود لجذب رأس المال" . تيك كرانش. مؤرشف من الأصل في 4 يناير 2023. تم الاطلاع عليه في 31 مايو 2021 .
  64. ↑ بيندر، إميلي م.؛ جبرو، تيمنيت؛ ماكميلان-ماجور، أنجلينا؛ شميتشل، شمارغريت (3 مارس 2021). حول مخاطر الببغاوات العشوائية: هل يمكن أن تكون نماذج اللغة كبيرة جدًا؟ . وقائع مؤتمر ACM لعام 2021 حول العدالة والمساءلة والشفافية. الصفحات 610-623 . doi : 10.1145/3442188.3445922 . 
  65. ↑ ميندزاك، مايكل؛ إيتون، سارة إيلين. "الذكاء الاصطناعي يتحسن في الكتابة، وعلى الجامعات أن تقلق بشأن الانتحال" . ذا كونفرسيشن . مؤرشف من الأصل في 7 نوفمبر 2021. تم الاطلاع عليه في 6 نوفمبر 2021 .
  66. ↑ روجرسون، آن م.؛ مكارثي، غريس (ديسمبر 2017). "استخدام أدوات إعادة الصياغة عبر الإنترنت: عمل أصلي، أم ترقيع، أم انتحال مُيسَّر؟" . المجلة الدولية للنزاهة التعليمية . 13 (1) 2: 1-15 . doi : 10.1007/s40979-016-0013-y . ISSN 1833-2595 . S2CID 9473217 .  
  67. ↑ إليك بعض الطرق التي قد يخطئ بها GPT-3 . TechCrunch . مؤرشف من الأصل في 26 نوفمبر 2021. تم الاطلاع عليه في 26 نوفمبر 2021 .
  68. ↑ تعليق بخصوص طلب التعليقات على حماية الملكية الفكرية لابتكارات الذكاء الاصطناعي (ملف PDF) . مكتب براءات الاختراع والعلامات التجارية الأمريكي. مؤرشف (ملف PDF) من الأصل بتاريخ 16 أكتوبر 2021. تم الاطلاع عليه بتاريخ 30 نوفمبر 2021 .