تاريخ معالجة اللغة الطبيعية

📅 آخر تحديث: ٢٨ يوليو ٢٠٢٦
✍️ نُشر في: ٢٨ يوليو ٢٠٢٦
📷 يحتوي على 1 صور
الموسوعة الحرة

يصف تاريخ معالجة اللغة الطبيعية التطورات التي شهدتها هذه التقنية . وهناك بعض التداخل بين هذا التاريخ وتاريخ الترجمة الآلية ، وتاريخ التعرف على الكلام ، وتاريخ الذكاء الاصطناعي .

التاريخ المبكر

يعود تاريخ الترجمة الآلية إلى القرن السابع عشر، عندما طرح فلاسفة مثل لايبنتز وديكارت مقترحات لرموز تربط الكلمات بين اللغات. بقيت جميع هذه المقترحات نظرية، ولم يُفضِ أي منها إلى تطوير آلة فعلية .

قُدِّمت أولى طلبات براءات الاختراع لـ"آلات الترجمة" في منتصف ثلاثينيات القرن العشرين. كان أحد المقترحات، الذي قدمه جورج أرتسروني ، عبارة عن قاموس ثنائي اللغة آلي يستخدم شريطًا ورقيًا . أما المقترح الآخر، الذي قدمه بيتر ترويانسكي ، وهو روسي، فكان أكثر تفصيلًا. تضمن اقتراح ترويانسكي القاموس ثنائي اللغة وطريقة للتعامل مع الأدوار النحوية بين اللغات، استنادًا إلى لغة الإسبرانتو . [ 1 ] [ 2 ]

الفترة المنطقية

في عام 1950، نشر آلان تورينج مقالته الشهيرة " آلات الحوسبة والذكاء "، والتي اقترح فيها ما يُعرف الآن باختبار تورينج كمعيار للذكاء. يعتمد هذا المعيار على قدرة برنامج حاسوبي على محاكاة إنسان في محادثة كتابية فورية مع مُقيِّم بشري، بحيث يعجز المُقيِّم عن التمييز بشكل موثوق  - بالاعتماد على محتوى المحادثة فقط  - بين البرنامج والإنسان الحقيقي.

في عام 1957، أحدث كتاب "البنى النحوية" لنعوم تشومسكي ثورة في علم اللغة من خلال " النحو العالمي "، وهو نظام قائم على القواعد للبنى النحوية. [ 3 ]

شملت تجربة جامعة جورجتاون عام 1954 ترجمةً آليةً كاملةً لأكثر من ستين جملة روسية إلى الإنجليزية. زعم الباحثون أن الترجمة الآلية ستُحلّ في غضون ثلاث إلى خمس سنوات. [ 4 ] إلا أن التقدم الفعلي كان أبطأ بكثير، وبعد تقرير لجنة تقييم الترجمة الآلية (ALPAC) عام 1966، الذي خلص إلى أن عشر سنوات من البحث لم تُحقق التوقعات، خُفِّض تمويل الترجمة الآلية بشكلٍ كبير. ولم تُجرَ سوى أبحاث قليلة في مجال الترجمة الآلية حتى أواخر ثمانينيات القرن العشرين، حين طُوِّرت أولى أنظمة الترجمة الآلية الإحصائية .

من بين أنظمة معالجة اللغة الطبيعية الناجحة بشكل ملحوظ والتي تم تطويرها في الستينيات نظام SHRDLU ، وهو نظام لغة طبيعية يعمل في " عوالم كتل " مقيدة بمفردات مقيدة.

في عام 1969، قدم روجر شانك نظرية التبعية المفاهيمية لفهم اللغة الطبيعية. [ 5 ] وقد استخدم طلاب شانك في جامعة ييل ، مثل روبرت ويلينسكي وويندي لينرت وجانيت كولودنر ، هذا النموذج، الذي تأثر جزئياً بعمل سيدني لامب ، على نطاق واسع .

في عام 1970، قدّم ويليام أ. وودز شبكة الانتقال المُعززة (ATN) لتمثيل مدخلات اللغة الطبيعية. [ 6 ] وبدلاً من قواعد بنية العبارات ، استخدمت شبكات الانتقال المُعززة مجموعة مكافئة من آلات الحالة المحدودة التي يتم استدعاؤها بشكل متكرر. استمر استخدام شبكات الانتقال المُعززة وشكلها الأكثر عمومية المسمى "شبكات الانتقال المُعززة المُعممة" لعدة سنوات. خلال سبعينيات القرن العشرين، بدأ العديد من المبرمجين بكتابة "أنطولوجيات مفاهيمية"، والتي قامت بتنظيم معلومات العالم الحقيقي في بيانات قابلة للفهم بواسطة الحاسوب. ومن الأمثلة على ذلك: MARGIE (شانك، 1975)، وSAM (كولينغفورد، 1978)، وPAM (ويلينسكي، 1978)، وTaleSpin (ميهان، 1976)، وQUALM (لينرت، 1977)، وPolitics (كاربونيل، 1979)، وPlot Units (لينرت، 1981). خلال هذه الفترة، تم كتابة العديد من برامج الدردشة الآلية بما في ذلك PARRY و Racter و Jabberwacky .

الفترة الإحصائية

حتى ثمانينيات القرن العشرين، كانت معظم أنظمة معالجة اللغة الطبيعية تعتمد على مجموعات معقدة من القواعد المكتوبة بخط اليد. إلا أنه ابتداءً من أواخر الثمانينيات، شهدت معالجة اللغة الطبيعية ثورةً مع ظهور خوارزميات التعلم الآلي . ويعود ذلك إلى الزيادة المطردة في القدرة الحاسوبية الناتجة عن قانون مور ، وإلى التراجع التدريجي لهيمنة نظريات تشومسكي اللغوية (مثل القواعد التحويلية )، التي كانت أسسها النظرية تُثبط استخدام منهج لغويات المدونات الذي يقوم عليه نهج التعلم الآلي في معالجة اللغة. [ 7 ] وقد أنتجت بعض خوارزميات التعلم الآلي الأولى، مثل أشجار القرار ، أنظمةً من قواعد "إذا-ثم" الصارمة المشابهة للقواعد المكتوبة بخط اليد. ومع ذلك، تركز الأبحاث بشكل متزايد على النماذج الإحصائية ، التي تتخذ قرارات احتمالية مرنة بناءً على إسناد أوزان حقيقية إلى خصائص بيانات الإدخال. تُعدّ نماذج لغة التخزين المؤقت، التي تعتمد عليها العديد من أنظمة التعرف على الكلام حاليًا، أمثلةً على هذه النماذج الإحصائية. وتتميز هذه النماذج عمومًا بمتانتها عند إدخال بيانات غير مألوفة، لا سيما البيانات التي تحتوي على أخطاء (كما هو شائع جدًا في البيانات الواقعية)، وتُنتج نتائج أكثر موثوقية عند دمجها في نظام أكبر يتألف من مهام فرعية متعددة.

مجموعات البيانات

ساهم كل من ازدياد القدرة الحاسوبية وتوفر مجموعات البيانات الضخمة في ظهور المناهج الإحصائية. في ذلك الوقت، بدأت تظهر مدونات لغوية متعددة اللغات ضخمة. ومن الجدير بالذكر أن بعضها أُنتج من قبل البرلمان الكندي والاتحاد الأوروبي نتيجة لقوانين تنص على ترجمة جميع الإجراءات الحكومية إلى جميع اللغات الرسمية لأنظمة الحكم المعنية.

تحققت العديد من النجاحات المبكرة البارزة في مجال الترجمة الآلية . ففي عام ١٩٩٣، استُخدمت نماذج محاذاة IBM في الترجمة الآلية الإحصائية . [ ٨ ] وبالمقارنة مع أنظمة الترجمة الآلية السابقة، التي كانت أنظمة رمزية تُبرمج يدويًا بواسطة اللغويين الحاسوبيين، كانت هذه الأنظمة إحصائية، مما سمح لها بالتعلم تلقائيًا من مجموعات نصوص ضخمة . ومع ذلك، لا تعمل هذه الأنظمة بكفاءة في الحالات التي تتوفر فيها مجموعات نصوص صغيرة فقط، لذا لا تزال الأساليب الفعالة من حيث البيانات مجالًا للبحث والتطوير.

في عام 2001، تم استخدام مجموعة نصوص ضخمة تضم مليار كلمة، تم جمعها من الإنترنت، والتي أشير إليها في ذلك الوقت بأنها "ضخمة للغاية"، لإزالة الغموض عن الكلمات . [ 9 ]

للاستفادة من مجموعات البيانات الكبيرة غير المصنفة، طُوّرت خوارزميات للتعلم غير الخاضع للإشراف والتعلم الذاتي الخاضع للإشراف . عمومًا، تُعدّ هذه المهمة أصعب بكثير من التعلم الخاضع للإشراف ، وعادةً ما تُنتج نتائج أقل دقة لكمية معينة من بيانات الإدخال. مع ذلك، يتوفر قدر هائل من البيانات غير المصنفة (بما في ذلك، على سبيل المثال لا الحصر، محتوى شبكة الإنترنت العالمية بأكمله )، والتي غالبًا ما تُعوّض عن النتائج الأقل دقة.

الفترة العصبية

الجدول الزمني لنماذج معالجة اللغة الطبيعية

طُوِّرت نماذج اللغة العصبية في تسعينيات القرن العشرين. ففي عام ١٩٩٠، استخدمت شبكة إلمان ، وهي شبكة عصبية متكررة ، ترميز كل كلمة في مجموعة التدريب كمتجه، يُسمى تضمين الكلمات ، والمفردات بأكملها كقاعدة بيانات متجهة ، مما مكّنها من أداء مهام مثل التنبؤ بالتسلسلات، وهي مهام تتجاوز قدرة الشبكة العصبية متعددة الطبقات البسيطة . ومن عيوب التضمينات الثابتة أنها لم تُميّز بين المعاني المتعددة للكلمات المتجانسة . [ ١٠ ]

قام يوشوا بنجيو بتطوير أول نموذج لغوي احتمالي عصبي في عام 2000. [ 11 ] وقد أتاحت الخوارزميات الجديدة وتوافر مجموعات البيانات الأكبر وقوة المعالجة الأعلى إمكانية تدريب نماذج لغوية أكبر فأكبر.

طُرحت آلية الانتباه بواسطة باهدانو وآخرون في عام 2014. [ 12 ] وقد أرست هذه الدراسة الأسس للورقة البحثية الشهيرة "الانتباه هو كل ما تحتاجه" [ 13 ] التي قدمت بنية Transformer في عام 2017. ظهر مفهوم نموذج اللغة الكبير (LLM) في أواخر العقد الثاني من الألفية الثانية. نموذج اللغة الكبير هو نموذج لغوي يُدرَّب باستخدام التعلم الذاتي على كميات هائلة من النصوص. احتوت نماذج اللغة الكبيرة العامة الأولى على مئات الملايين من المعاملات [ 14 ] ، لكن هذا العدد سرعان ما ارتفع إلى مليارات، بل وحتى تريليونات. [ 15 ]

في السنوات الأخيرة، أدت التطورات في مجال التعلم العميق ونماذج اللغة الكبيرة إلى تحسين قدرات معالجة اللغة الطبيعية بشكل كبير، مما أدى إلى تطبيقات واسعة النطاق في مجالات مثل الرعاية الصحية وخدمة العملاء وإنشاء المحتوى. [ 16 ]

برمجة

برمجةسنةالخالقوصفالمرجع.
تجربة جورج تاون1954جامعة جورجتاون وشركة آي بي إمتضمنت العملية ترجمة آلية كاملة لأكثر من ستين جملة روسية إلى اللغة الإنجليزية.
طالب1964دانيال بوبرويمكنه حل مسائل الجبر اللفظية في المرحلة الثانوية. [ 17 ]
إليزا1964جوزيف وايزنباوممحاكاة لمعالج نفسي روجرزي ، يعيد صياغة ردها باستخدام بعض قواعد النحو. [ 18 ]
شردلو1970تيري وينوغرادنظام معالجة اللغة الطبيعية الذي يعمل في " عوالم كتل " محدودة بمفردات محدودة، يعمل بشكل جيد للغاية
باري1972كينيث كولبيروبوت محادثة
KL-ONE1974سوندهايمر وآخروننظام تمثيل معرفي على غرار الشبكات الدلالية والإطارات؛ إنها لغة إطارية .
مارجي1975روجر شانك
برنامج تيل سبين1976ميهان
وخز الضميرلينرت
عامل مدى الحياة/سلم1978هندريكسواجهة لغة طبيعية لقاعدة بيانات تحتوي على معلومات حول سفن البحرية الأمريكية.
سام (برنامج)1978كولينجفورد
برنامج إدارة الأصول العامة (PAM)1978روبرت ويلينسكي
السياسة (البرمجيات)1979كاربونيل
وحدات الرسم (برنامج)1981لينرت
جابرواكي1982رولو كاربنتربرنامج دردشة آلي يهدف إلى "محاكاة المحادثة البشرية الطبيعية بطريقة شيقة ومسلية وفكاهية".
مامبل (برنامج)1982ماكدونالد
راكتر1983ويليام تشامبرلين وتوماس إيتربرنامج دردشة آلي يقوم بتوليد نصوص نثرية باللغة الإنجليزية بشكل عشوائي.
موبترانس [ 19 ]1984ليتينين
كودياك (برنامج)1986ويلينسكي
الغياب (برنامج)1987هيرست
الدكتور سبايتسو1991مختبرات الإبداع
آي بي إم واتسون2006شركة آي بي إمنظام للإجابة على الأسئلة فاز بمسابقة Jeopardy!، متغلبًا على أفضل اللاعبين البشريين في فبراير 2011.
سيري2011تفاحةمساعد افتراضي طورته شركة آبل.
كورتانا2014مايكروسوفتمساعد افتراضي طورته شركة مايكروسوفت.
أمازون أليكسا2014أمازونمساعد افتراضي طورته شركة أمازون.
مساعد جوجل2016جوجلمساعد افتراضي طورته شركة جوجل.
ChatGPT2022أوبن إيه آيروبوت محادثة توليدي.

مراجع

  1. ↑ "جورج أرتسروني" . machinetranslate.org . تم الاطلاع عليه في 10 يوليو 2025 .
  2. ↑ هاتشينز، جون؛ لوفتسكي، يفغيني (2000)، بيتر بتروفيتش ترويانسكي (1894-1950): رائد منسي في الترجمة الآلية ، الترجمة الآلية{{citation}}: CS1 maint: موقع الناشر مفقود ( رابط )
  3. ↑ "SEM1A5 - الجزء 1 - تاريخ موجز للبرمجة اللغوية العصبية" . تم الاطلاع عليه بتاريخ 25-06-2010 .
  4. ↑ هاتشينز، ج. (2005)
  5. ↑ روجر شانك ، 1969، محلل التبعية المفاهيمية للغة الطبيعية، وقائع مؤتمر 1969 حول اللغويات الحاسوبية، سانغ سابي، السويد، الصفحات 1-3
  6. ↑Woods, William A (1970). "Transition Network Grammars for Natural Language Analysis". Communications of the ACM 13 (10): 591–606
  7. ↑Chomskyan linguistics encourages the investigation of "corner cases" that stress the limits of its theoretical models (comparable to pathological phenomena in mathematics), typically created using thought experiments, rather than the systematic investigation of typical phenomena that occur in real-world data, as is the case in corpus linguistics. The creation and use of such corpora of real-world data is a fundamental part of machine-learning algorithms for NLP. In addition, theoretical underpinnings of Chomskyan linguistics such as the so-called "poverty of the stimulus" argument entail that general learning algorithms, as are typically used in machine learning, cannot be successful in language processing. As a result, the Chomskyan paradigm discouraged the application of such models to language processing.
  8. ↑Brown, Peter F. (1993). "The mathematics of statistical machine translation: Parameter estimation". Computational Linguistics (19): 263–311.
  9. ↑Banko, Michele; Brill, Eric (2001). "Scaling to very very large corpora for natural language disambiguation". Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01. Morristown, NJ, USA: Association for Computational Linguistics: 26–33. doi:10.3115/1073012.1073017. S2CID 6645623.
  10. ↑Elman, Jeffrey L. (March 1990). "Finding Structure in Time". Cognitive Science. 14 (2): 179–211. doi:10.1207/s15516709cog1402_1. S2CID 2763403.
  11. ↑Bengio, Yoshua (2003), A Neural Probabilistic Language Model, —, vol. 3 (— ed.), Montreal, Canada: Journal of Machine Learning Research, p. 1137–1155, doi:10.1162/153244303322533223
  12. ↑Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014). "Neural Machine Translation by Jointly Learning to Align and Translate". ICLR. arXiv:1409.0473.
  13. ↑ فاسواني، أشيش ؛ شازير، نوام؛ بارمار، نيكي؛ أوزكوريت، جاكوب؛ جونز، ليون؛ غوميز، أيدان ن ؛ كايزر، لوكاس؛ بولوسوكين، إيليا (2017). "الانتباه هو كل ما تحتاجه" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . 30. كوران أسوشيتس، إنك. مؤرشف (ملف PDF) من الأصل في 21 فبراير 2024. تم الاسترجاع في 21 يناير 2024 .
  14. ↑ براون، توم ب.؛ مان، بنجامين؛ رايدر، نيك؛ سوبيا، ميلاني؛ كابلان، جاريد؛ داريوال، برافولا؛ نيلاكانتان، أرفيند؛ شيام، براناف؛ ساستري، جيريش؛ أسكيل، أماندا؛ أغاروال، سانديني؛ هربرت-فوس، أرييل؛ كروجر، جريتشن؛ هينيغان، توم؛ تشايلد، ريون؛ راميش، أديتيا؛ زيغلر، دانيال م.؛ وو، جيفري؛ وينتر، كليمنس؛ هيس، كريستوفر؛ تشين، مارك؛ سيغلر، إريك؛ ليتوين، ماتيوس؛ غراي، سكوت؛ تشيس، بنجامين؛ كلارك، جاك؛ بيرنر، كريستوفر؛ ماكاندليش، سام؛ رادفورد، أليك؛ سوتسكيفر، إيليا؛ أمودي، داريو (ديسمبر 2020). لاروشيل، هـ.؛ رانزاتو، م.؛ هادسيل، ر.؛ بالكان، إم إف؛ لين، إتش (محرران). "نماذج اللغة هي متعلمون بعدد قليل من الأمثلة" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . 33. كوران أسوشيتس، إنك.: 1877-1901 . arXiv : 2005.14165 . مؤرشف (ملف PDF) من الأصل بتاريخ 17 نوفمبر 2023. تم الاطلاع عليه بتاريخ 14 مارس 2023 .
  15. ↑ داي، أندرو م؛ دو، نان (9 ديسمبر 2021). "تعلم أكثر كفاءة في السياق باستخدام GLaM" . ai.googleblog.com . مؤرشف من الأصل في 12 مارس 2023. تم الاطلاع عليه في 9 مارس 2023 .
  16. ↑ غروتزماخر، روس (19 أبريل 2022). "قوة معالجة اللغة الطبيعية" . مجلة هارفارد للأعمال . الرقم الدولي الموحد للدوريات 0017-8012 . تاريخ الاسترجاع: 7 ديسمبر 2024 . 
  17. ↑ مكوردوك 2004 ، ص 286 ، كريفييه 1993 ، ص 76-79 ، راسل ونورفيج 2003 ، ص 19   
  18. ↑ مكوردوك 2004 ، الصفحات 291-296 ، كريفييه 1993 ، الصفحات 134-139  
  19. ↑ جانيت ل. كولودنر، كريستوفر ك. ريسبك؛ الخبرة والذاكرة والاستدلال ؛ دار النشر النفسية؛ طبعة 2014

فهرس