ليبور

LEPOR ( عقوبة الطول، الدقة ، عقوبة اختلاف موضع n -gram والاستدعاء ) هو مقياس تقييم الترجمة الآلية التلقائية المستقلة عن اللغة مع معلمات قابلة للتعديل وعوامل معززة.

منذ أن اقترحت شركة IBM نظام BLEU ^{[ 1 ]} وطبقته كمقياس آلي لتقييم الترجمة الآلية [2]، ^{تم اقتراح العديد من} الطرق الأخرى لتنقيحه أو تحسينه، مثل TER و METEOR [ ^{3 ]} وغيرها. ومع ذلك، توجد بعض المشكلات في مقاييس التقييم الآلي التقليدية . فبعض المقاييس تُحقق أداءً جيدًا على لغات معينة، بينما يكون أداؤها ضعيفًا على لغات أخرى، وهو ما يُعرف عادةً بمشكلة التحيز اللغوي. كما أن بعض المقاييس تعتمد على الكثير من خصائص اللغة أو المعلومات اللغوية، مما يُصعّب على الباحثين الآخرين تكرار التجارب. يُعدّ LEPOR مقياس تقييم آليًا يسعى إلى معالجة بعض المشكلات القائمة ^{[ 4 ]} . صُمم LEPOR بعوامل مُعززة ومعاملات قابلة للتعديل لمعالجة مشكلة التحيز اللغوي. علاوة على ذلك، في النسخة المُحسّنة من LEPOR، أي hLEPOR ^{[ 5 ]،} يتم استخدام الخصائص اللغوية المُحسّنة المُستخرجة من قواعد بيانات الأشجار . يُعدّ مقياس nLEPOR نسخةً متطورةً أخرى من مقياس LEPOR، ^{[ 6 ]} حيث يُضيف خصائص n-gram إلى العوامل السابقة. وقد تم تطوير مقياس LEPOR حتى الآن إلى سلسلة LEPOR. ^{[ 7 ] [ 8 ]}

لقد خضعت مقاييس LEPOR للدراسة والتحليل من قبل العديد من الباحثين في مختلف المجالات، مثل الترجمة الآلية ^{[ 9 ]} ، وتوليد اللغة الطبيعية ^{[ 10 ]} ، والبحث ^{[ 11 ]} ، وغيرها. وتحظى مقاييس LEPOR باهتمام متزايد من الباحثين العلميين في مجال معالجة اللغة الطبيعية .

صُمم نظام LEPOR ^{[ 4 ]} بعوامل تشمل عقوبة الطول المُحسّنة، والدقة ، وعقوبة ترتيب الكلمات في النماذج اللغوية (n-gram)، والاستدعاء . تضمن عقوبة الطول المُحسّنة معاقبة الترجمة الافتراضية، التي تُترجم عادةً بواسطة أنظمة الترجمة الآلية، إذا كانت أطول أو أقصر من الترجمة المرجعية. تعكس درجة الدقة مدى دقة الترجمة الافتراضية. وتعكس درجة الاستدعاء مدى التزام الترجمة الافتراضية بالترجمة المرجعية أو لغة المصدر. صُمم عامل عقوبة ترتيب الكلمات في النماذج اللغوية (n-gram) لمراعاة اختلاف ترتيب المواضع بين الترجمة الافتراضية والترجمة المرجعية. وقد أثبت العديد من الباحثين، مثل وونغ وكيت (2008)، فائدة عامل عقوبة ترتيب الكلمات. ^{[ 12 ]}

نظراً لانتقادات مقاييس مطابقة السلاسل النصية السطحية بسبب افتقارها إلى الوعي النحوي والدلالي، فإن مقياس LEPOR المُطوَّر (hLEPOR) يبحث في دمج السمات اللغوية، مثل أجزاء الكلام (POS). ^{[ 5 ] [ 8 ]} يُعرَّف جزء الكلام بأنه وظيفة معينة من الناحيتين النحوية والدلالية، فعلى سبيل المثال، إذا كانت إحدى كلمات الجملة الناتجة فعلاً بينما يُتوقع أن تكون اسماً، فسيتم خصم نقاط؛ كذلك، إذا كان جزء الكلام متطابقاً ولكن الكلمة نفسها مختلفة، مثلاً good و nice، فسيتم منح هذا المرشح نقاطاً إضافية. تُحسب النتيجة الإجمالية لـ hLEPOR بدمج نتيجة مستوى الكلمة ونتيجة مستوى جزء الكلام مع مجموعة أوزان. كما يتم استكشاف معرفة n-gram المستوحاة من نمذجة اللغة بشكل موسع في nLEPOR. ^{[ 6 ] [ 8 ]} بالإضافة إلى معرفة النماذج النحوية (n-gram) لحساب عقوبة اختلاف موضع النماذج النحوية، تُطبَّق النماذج النحوية أيضًا على دقة النماذج النحوية واستدعائها في nLEPOR، والمعامل n هو عامل قابل للتعديل. وبالإضافة إلى معرفة أجزاء الكلام في hLEPOR، تُضمَّن بنية العبارة من معلومات التحليل في متغير جديد HPPR. ^{[ 13 ]} في نمذجة تقييم HPPR، تُؤخذ مجموعة بنية العبارة، مثل العبارة الاسمية ، والعبارة الفعلية ، والعبارة الجرية، والعبارة الظرفية، في الاعتبار أثناء المطابقة من النص المرشح إلى النص المرجعي.

تم تنفيذ مقاييس LEPOR في الأصل بلغة برمجة Perl، ^{[ 14 ]} ومؤخراً أصبح إصدار Python ^{[ 15 ]} متاحًا من قبل باحثين ومهندسين آخرين، ^{[ 16 ]} مع بيان صحفي ^{[ 17 ]} من شركة Logrus Global Language Service.

أظهرت سلسلة LEPOR أداءً متميزًا في ورشة العمل الدولية السنوية للترجمة الآلية الإحصائية التابعة للجمعية الدولية للغويات الحاسوبية ( ACL-WMT، مؤرشفة في 26 أبريل 2021 على موقع Wayback Machine ). تُعقد ورشة ACL-WMT من قِبل مجموعة الاهتمام الخاصة بالترجمة الآلية (SIGMT) التابعة للجمعية الدولية للغويات الحاسوبية (ACL). في ورشة ACL-WMT 2013، ^{[ 18 ]} ، يوجد مساران للترجمة والتقييم: من الإنجليزية إلى لغات أخرى، ومن لغات أخرى إلى الإنجليزية. تشمل اللغات "الأخرى" الإسبانية والفرنسية والألمانية والتشيكية والروسية . في اتجاه الترجمة من الإنجليزية إلى لغات أخرى، حقق مقياس nLEPOR أعلى درجة ارتباط على مستوى النظام مع الأحكام البشرية باستخدام معامل ارتباط بيرسون، وثاني أعلى درجة ارتباط على مستوى النظام مع الأحكام البشرية باستخدام معامل ارتباط رتبة سبيرمان . في اتجاه اللغة الإنجليزية، يؤدي nLEPOR أداءً متوسطًا ويحقق METEOR أعلى درجة ارتباط مع الأحكام البشرية، ويعود ذلك إلى حقيقة أن nLEPOR يستخدم فقط الميزة اللغوية الموجزة، ومعلومات أجزاء الكلام، باستثناء بيانات التدريب المقدمة رسميًا؛ ومع ذلك، فقد استخدم METEOR العديد من الموارد الخارجية الأخرى، مثل قواميس المرادفات ، وإعادة الصياغة ، والتجذير ، وما إلى ذلك .

تم وصف عمل موسع ومقدمة حول أداء LEPOR في ظل ظروف مختلفة بما في ذلك شكل سطح الكلمة البحت، وميزات أجزاء الكلام ، وميزات علامات العبارات، في أطروحة من جامعة ماكاو . ^{[ 8 ]}

يوجد تحليل إحصائي معمق لأداء مقياسي hLEPOR و nLEPOR في WMT13، والذي يُظهر أنهما كانا من أفضل المقاييس "في كلٍ من تقييم أزواج اللغات الفردية من الإسبانية إلى الإنجليزية، ومجموعة أزواج اللغات التسعة المُجمّعة"، انظر الورقة البحثية (التقييم الدقيق لمقاييس الترجمة الآلية على مستوى المقاطع) " https://www.aclweb.org/anthology/N15-1124 " غراهام وآخرون، 2015، NAACL ( https://github.com/ygraham/segment-mteval )

في عرض تقديمي لمسار مستخدمي الترجمة الآلية في قمة الترجمة الآلية 2021، أظهر باحثون من https://www.welocalize.com/ أن مقياس hLEPOR له علاقة بالأداء البشري على أزواج لغات متعددة تم اختبارها بما في ذلك الألمانية والهندية (لا يوجد نموذج لـ Prism) والإيطالية والروسية والصينية المبسطة (الصفحة 459 https://aclanthology.org/attachments/2021.mtsummit-up.29.Presentation.pdf ).

تم تطبيق سلسلة مقاييس LEPOR الآلية واستخدامها من قبل العديد من الباحثين في مختلف مجالات معالجة اللغات الطبيعية . على سبيل المثال، في الترجمة الآلية القياسية والترجمة الآلية العصبية. ^{[ 19 ]} كما تم تطبيق LEPOR خارج نطاق مجتمع الترجمة الآلية، على سبيل المثال، ^{[ 11 ] في تقييم البحث؛ [ 20 ]} أشارت إلى تطبيق LEPOR في تقييم توليد الشفرة (لغة البرمجة)؛ ^{[ 10 ]} بحثت في التقييم الآلي لتوليد اللغة الطبيعية ^{[ 21 ]} باستخدام مقاييس تتضمن LEPOR، وأكدت أن المقاييس الآلية يمكن أن تساعد في تقييمات مستوى النظام؛ كما تم تطبيق LEPOR في تقييم وصف الصور. ^{[ 22 ]}

• تقييم الترجمة الآلية
• الترجمة الآلية
• دراسات الترجمة
• تكنولوجيا اللغة
• معالجة اللغة الطبيعية
• اللغويات الحاسوبية
• توليد اللغة الطبيعية
• فهم اللغة الطبيعية
• الذكاء الاصطناعي

• رمز جوجل الخاص بـ LEPOR
• LEPOR و hLEPOR على Git
• هليبور
• إيبلو
• HPPR
• بلو
• مقياس F
• نيزك
• تير