فهم اللغة الطبيعية

يُعدّ فهم اللغة الطبيعية ( NLU ) أو تفسير اللغة الطبيعية ( NLI ) ^{[ 1 ]} فرعًا من فروع معالجة اللغة الطبيعية في الذكاء الاصطناعي ، ويتناول فهم القراءة الآلية . وقد اعتُبر فهم اللغة الطبيعية مشكلةً صعبةً في مجال الذكاء الاصطناعي . ^{[ 2 ]}

هناك اهتمام تجاري كبير في هذا المجال بسبب تطبيقه على الاستدلال الآلي ، ^{[ 3 ]} والترجمة الآلية ، ^{[ 4 ]} والإجابة على الأسئلة ، ^{[ 5 ]} وجمع الأخبار، وتصنيف النصوص ، والتنشيط الصوتي ، والأرشفة، وتحليل المحتوى على نطاق واسع .

يُعدّ برنامج STUDENT ، الذي كتبه دانيال بوبرو عام 1964 لأطروحته للدكتوراه في معهد ماساتشوستس للتكنولوجيا ، من أوائل المحاولات المعروفة لفهم اللغة الطبيعية بواسطة الحاسوب. ^{[ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ]} بعد ثماني سنوات من صياغة جون مكارثي لمصطلح الذكاء الاصطناعي ، أوضحت أطروحة بوبرو (بعنوان " إدخال اللغة الطبيعية لنظام حل المشكلات الحاسوبي ") كيف يمكن للحاسوب فهم مدخلات اللغة الطبيعية البسيطة لحل مسائل الجبر اللفظية.

بعد عام، في عام 1965، كتب جوزيف وايزنباوم في معهد ماساتشوستس للتكنولوجيا برنامج إليزا ، وهو برنامج تفاعلي يُجري حوارًا باللغة الإنجليزية حول أي موضوع، وكان العلاج النفسي الأكثر شيوعًا. اعتمد إليزا على تحليل بسيط واستبدال الكلمات الرئيسية بعبارات جاهزة، متجاوزًا بذلك مشكلة تزويد البرنامج بقاعدة بيانات من المعرفة الواقعية أو معجم غني . ومع ذلك، حقق إليزا شعبية مفاجئة كمشروع ترفيهي، ويمكن اعتباره سلفًا مبكرًا جدًا للأنظمة التجارية الحالية، مثل تلك المستخدمة في موقع Ask.com . ^{[ 11 ]}

في عام 1969، قدم روجر شانك في جامعة ستانفورد نظرية التبعية المفاهيمية لفهم اللغة الطبيعية. ^{[ 12 ]} وقد تم استخدام هذا النموذج، الذي تأثر جزئيًا بعمل سيدني لامب ، على نطاق واسع من قبل طلاب شانك في جامعة ييل ، مثل روبرت ويلينسكي وويندي لينرت وجانيت كولودنر .

في عام 1970، قدّم ويليام أ. وودز شبكة الانتقال المعززة (ATN) لتمثيل مدخلات اللغة الطبيعية. ^{[ 13 ]} وبدلاً من قواعد بنية العبارة ، استخدمت شبكات الانتقال المعززة مجموعة مكافئة من الأوتوماتا ذات الحالات المحدودة التي يتم استدعاؤها بشكل متكرر. واستمر استخدام شبكات الانتقال المعززة وشكلها الأكثر عمومية المسمى "شبكات الانتقال المعززة المعممة" لعدة سنوات.

في عام ١٩٧١، أنهى تيري وينوغراد كتابة برنامج SHRDLU لأطروحته للدكتوراه في معهد ماساتشوستس للتكنولوجيا. كان برنامج SHRDLU قادرًا على فهم جمل إنجليزية بسيطة في بيئة محدودة من مكعبات الأطفال، لتوجيه ذراع آلية لتحريك الأشياء. وقد شكّل العرض الناجح لبرنامج SHRDLU زخمًا كبيرًا لمواصلة البحث في هذا المجال. ^{[ ١٤ ] [ ١٥ ]} واستمر وينوغراد في التأثير بشكل كبير في هذا المجال من خلال نشر كتابه " اللغة كعملية معرفية" . ^{[ ١٦ ]} وفي جامعة ستانفورد، قدّم وينوغراد لاحقًا استشاراته للاري بيج ، أحد مؤسسي جوجل .

في سبعينيات وثمانينيات القرن العشرين، واصل فريق معالجة اللغات الطبيعية في معهد ستانفورد للأبحاث (SRI International) أبحاثه وتطويره في هذا المجال. وقد بُذلت جهود تجارية عديدة استنادًا إلى هذه الأبحاث، فعلى سبيل المثال ، أسس غاري هندريكس شركة سيمانتك عام ١٩٨٢، والتي كانت في الأصل شركة لتطوير واجهة لغة طبيعية للاستعلامات عن قواعد البيانات على الحواسيب الشخصية. إلا أنه مع ظهور واجهات المستخدم الرسومية التي تعمل بالماوس ، غيّرت سيمانتك مسارها. وفي نفس الفترة تقريبًا، بدأت جهود تجارية أخرى، منها جهود لاري ر. هاريس في شركة الذكاء الاصطناعي، وروجر شانك وطلابه في شركة الأنظمة المعرفية. ^{[ ١٧ ] [ ١٨ ]} وفي عام ١٩٨٣، طوّر مايكل داير نظام بوريس في جامعة ييل، والذي تشابه في بعض جوانبه مع عمل روجر شانك و دبليو جي لينرت. ^{[ ١٩ ]}

شهد الألفية الثالثة ظهور أنظمة تستخدم التعلم الآلي لتصنيف النصوص، مثل نظام IBM Watson . ومع ذلك، يختلف الخبراء حول مدى "الفهم" الذي تُظهره هذه الأنظمة؛ فعلى سبيل المثال ، وفقًا لجون سيرل ، لم يفهم Watson حتى الأسئلة المطروحة. ^{[ 20 ]}

خلال العقد الثاني من الألفية الثانية، ازداد استخدام أنظمة فهم اللغة الطبيعية لتضمين الكلمات ، بما في ذلك نموذج word2vec ، الذي يُمثل الكلمات كمتجهات كثيفة مُستخلصة من مجموعات نصية ضخمة، ويستطيع استيعاب العلاقات النحوية والدلالية بين الكلمات. ^{[ 21 ]} وفي وقت لاحق، استخدمت نماذج قائمة على المحولات، مثل BERT، تدريبًا مسبقًا واسع النطاق متبوعًا بضبط دقيق، مما حسّن الأداء في مهام فهم اللغة الطبيعية، مثل الإجابة على الأسئلة واستنتاج اللغة الطبيعية. ^{[ 22 ]}

يؤيد جون بول ، عالم الإدراك ومبتكر نظرية باتوم ، هذا التقييم. لقد حققت معالجة اللغة الطبيعية تقدماً ملحوظاً في تطبيقات دعم الإنتاجية البشرية في قطاعي الخدمات والتجارة الإلكترونية، ولكن هذا التقدم تحقق إلى حد كبير من خلال تضييق نطاق التطبيق. فهناك آلاف الطرق لطلب شيء ما بلغة بشرية، ومع ذلك لا تزال هذه الطرق تتحدى معالجة اللغة الطبيعية التقليدية. ووفقاً لويبي واغمانز، "لا يمكن إجراء محادثة ذات معنى مع الآلات إلا عندما نربط كل كلمة بالمعنى الصحيح بناءً على معاني الكلمات الأخرى في الجملة - تماماً كما يفعل طفل في الثالثة من عمره دون تخمين." ^{[ 23 ]}

يمكن تطبيق مصطلح "فهم اللغة الطبيعية" الشامل على مجموعة متنوعة من تطبيقات الحاسوب، بدءًا من المهام الصغيرة والبسيطة نسبيًا، مثل الأوامر القصيرة الموجهة للروبوتات ، وصولًا إلى المساعي المعقدة للغاية، مثل الفهم الكامل لمقالات الصحف أو مقاطع الشعر. تقع العديد من التطبيقات العملية بين هذين النقيضين، فعلى سبيل المثال، لا يتطلب تصنيف النصوص للتحليل التلقائي لرسائل البريد الإلكتروني وتوجيهها إلى القسم المختص في الشركة فهمًا معمقًا للنص، ^{[ 24 ]} ولكنه يحتاج إلى التعامل مع مفردات أوسع بكثير وبنية نحوية أكثر تنوعًا من إدارة الاستعلامات البسيطة لجداول قواعد البيانات ذات المخططات الثابتة.

على مر السنين ، جرت محاولات عديدة لمعالجة اللغة الطبيعية أو الجمل الشبيهة باللغة الإنجليزية المقدمة للحواسيب، بدرجات متفاوتة من التعقيد. لم تُفضِ بعض هذه المحاولات إلى أنظمة ذات فهم عميق، لكنها ساهمت في تحسين سهولة استخدام النظام بشكل عام. على سبيل المثال، طوّر واين راتليف في الأصل برنامج فولكان بصيغة شبيهة باللغة الإنجليزية لمحاكاة الحاسوب الناطق بالإنجليزية في مسلسل ستار تريك . أصبح فولكان لاحقًا نظام dBase الذي ساهمت صيغته سهلة الاستخدام في إطلاق صناعة قواعد بيانات الحواسيب الشخصية. ^{[ 25 ] [ 26 ]} مع ذلك، تختلف الأنظمة ذات الصيغة سهلة الاستخدام أو الشبيهة باللغة الإنجليزية اختلافًا كبيرًا عن الأنظمة التي تستخدم معجمًا غنيًا وتتضمن تمثيلًا داخليًا (غالبًا كمنطق من الدرجة الأولى ) لدلالات جمل اللغة الطبيعية.

لذا، فإن اتساع وعمق "الفهم" الذي يسعى النظام إلى تحقيقه يحددان مدى تعقيد النظام (وما يترتب عليه من تحديات) وأنواع التطبيقات التي يمكنه التعامل معها. يُقاس "اتساع" النظام بحجم مفرداته وقواعده النحوية، بينما يُقاس "عمقه" بمدى اقتراب فهمه من فهم متحدث أصلي متقن للغة. في أضيق نطاق وأبسطه، تتطلب مترجمات الأوامر الشبيهة باللغة الإنجليزية الحد الأدنى من التعقيد، ولكن نطاق تطبيقاتها محدود. تستكشف الأنظمة الضيقة ولكن العميقة آليات الفهم وتُحاكيها، ^{[ 27 ]} ولكن تطبيقاتها لا تزال محدودة. أما الأنظمة التي تحاول فهم محتوى وثيقة ما، مثل بيان صحفي، بما يتجاوز مجرد مطابقة الكلمات المفتاحية، وتقييم مدى ملاءمتها للمستخدم، فهي أوسع نطاقًا وتتطلب تعقيدًا كبيرًا، ^{[ 28 ]} ولكنها لا تزال سطحية إلى حد ما. أما الأنظمة التي تجمع بين الاتساع والعمق الشديدين، فهي تتجاوز أحدث التقنيات المتاحة.

بغض النظر عن المنهجية المستخدمة، تشترك معظم أنظمة فهم اللغة الطبيعية في بعض المكونات الأساسية. يحتاج النظام إلى معجم للغة، ومحلل نحوي ، وقواعد نحوية لتقسيم الجمل إلى تمثيل داخلي. يتطلب بناء معجم غني ذي أنطولوجيا مناسبة جهدًا كبيرًا، فعلى سبيل المثال ، استغرق بناء معجم Wordnet سنوات عديدة من العمل. ^{[ 29 ]}

يحتاج النظام أيضًا إلى نظرية من علم الدلالة لتوجيه عملية الفهم. وتعتمد قدرات نظام فهم اللغة على النظرية الدلالية التي يستخدمها. وتختلف النظريات الدلالية المتنافسة للغة فيما بينها من حيث ملاءمتها كأساس للتفسير الدلالي الآلي. ^{[ 30 ]} وتتراوح هذه النظريات بين الدلالة البسيطة أو التحليل الدلالي الاحتمالي، وصولًا إلى استخدام البراغماتية لاستخلاص المعنى من السياق. ^{[ 31 ] [ 32 ] [ 33 ]} وتقوم المحللات الدلالية بتحويل نصوص اللغة الطبيعية إلى تمثيلات دلالية رسمية. ^{[ 34 ]}

تسعى التطبيقات المتقدمة لفهم اللغة الطبيعية (NLU) أيضًا إلى دمج الاستدلال المنطقي ضمن إطار عملها. ويتحقق ذلك عادةً من خلال ربط المعنى المستنتج بمجموعة من التأكيدات في منطق المسند ، ثم استخدام الاستدلال المنطقي للوصول إلى النتائج. لذلك، تحتاج الأنظمة القائمة على لغات وظيفية مثل لغة ليسب إلى تضمين نظام فرعي لتمثيل التأكيدات المنطقية، بينما تعتمد الأنظمة المنطقية، مثل تلك التي تستخدم لغة برولوج، عمومًا على امتداد لإطار التمثيل المنطقي المدمج. ^{[ 35 ] [ 36 ]}

قد تُشكّل إدارة السياق في فهم اللغة الطبيعية تحديات خاصة. وقد أسفرت مجموعة كبيرة ومتنوعة من الأمثلة والأمثلة المضادة عن مناهج متعددة للنمذجة الرسمية للسياق، لكل منها نقاط قوة وضعف محددة. ^{[ 37 ] [ 38 ]}