إعادة الصياغة (علم اللغة الحاسوبي)

اقترح بارزيلاي ولي ^{[ 5 ]} طريقةً لتوليد إعادة صياغة باستخدام مدونات متوازية أحادية اللغة ، وتحديدًا مقالات إخبارية تغطي الحدث نفسه في اليوم نفسه. يتضمن التدريب استخدام محاذاة متعددة التسلسلات لتوليد إعادة صياغة على مستوى الجملة من مدونة غير مُعَلَّمة. ويتم ذلك بواسطة

• إيجاد أنماط متكررة في كل مجموعة بيانات على حدة، أي " X (مصاب/جريح) Y أشخاص، Z إصاباتهم خطيرة" حيث X وY وZ متغيرات
• إيجاد أزواج بين هذه الأنماط التي تمثل إعادة صياغة، أي " X (أصيب/جرح) Y أشخاص، Z بشكل خطير" و " Y كانوا (جرحى/مصابين) بواسطة X ، ومن بينهم Z كانوا في حالة خطيرة".

يتحقق ذلك أولاً بتجميع الجمل المتشابهة باستخدام تداخل النماذج النحوية (n-gram) . تُكتشف الأنماط المتكررة داخل المجموعات باستخدام محاذاة التسلسلات المتعددة. ثم يُحدد موضع كلمات الحجة من خلال إيجاد مناطق التباين العالي داخل كل مجموعة، أي بين الكلمات المشتركة بين أكثر من 50% من جمل المجموعة. بعد ذلك، تُكتشف الأزواج بين الأنماط بمقارنة الكلمات المتغيرة المتشابهة بين مجموعات نصوص مختلفة. وأخيرًا، يمكن توليد عبارات إعادة صياغة جديدة باختيار مجموعة مطابقة لجملة المصدر، ثم استبدال حجة جملة المصدر في أي عدد من الأنماط في المجموعة.

يمكن أيضًا توليد إعادة الصياغة باستخدام الترجمة القائمة على العبارات، كما اقترح بانارد وكاليسون-بيرش. ^{[ 6 ]} وتتلخص الفكرة الرئيسية في مواءمة العبارات في لغة وسيطة لإنتاج إعادة صياغة محتملة في اللغة الأصلية. على سبيل المثال، تتم مواءمة عبارة "under control" في جملة إنجليزية مع عبارة "unter kontrolle" في نظيرتها الألمانية. ثم تُوجد عبارة "unter kontrolle" في جملة ألمانية أخرى، حيث تكون العبارة الإنجليزية المواءمة هي "in check"، وهي إعادة صياغة لعبارة "under control".

يمكن نمذجة التوزيع الاحتمالي على النحو التالي${\displaystyle \Pr(e_{2}|e_{1})}$عبارة الاحتمالية${\displaystyle e_{2}}$هي إعادة صياغة لـ${\displaystyle e_{1}}$وهو ما يعادل${\displaystyle \Pr(e_{2}|f)\Pr(f|e_{1})}$مجموع كل شيء${\displaystyle f}$، ترجمة محتملة للعبارة في اللغة المحورية. بالإضافة إلى ذلك، الجملة${\displaystyle e_{1}}$تُضاف هذه العبارة كسابقة لإضفاء سياق على إعادة الصياغة. وبالتالي، فإن إعادة الصياغة المثلى هي:${\displaystyle {\hat {e_{2}}}}$يمكن نمذجتها على النحو التالي:

${\displaystyle {\hat {e_{2}}}={\text{arg}}\max _{e_{2}\neq e_{1}}\Pr(e_{2}|e_{1},S)={\text{arg}}\max _{e_{2}\neq e_{1}}\sum _{f}\Pr(e_{2}|f,S)\Pr(f|e_{1},S)}$

${\displaystyle \Pr(e_{2}|f)}$و${\displaystyle \Pr(f|e_{1})}$يمكن تقريبها ببساطة عن طريق أخذ تردداتها. إضافة${\displaystyle S}$يتم نمذجة التوزيع الاحتمالي المسبق عن طريق حساب احتمالية تكوين${\displaystyle S}$متى${\displaystyle e_{1}}$يتم استبدالها بـ${\displaystyle e_{2}}$.

لقد حققت نماذج الذاكرة طويلة المدى (LSTM) نجاحًا في توليد إعادة الصياغة. ^{[ 7 ]} باختصار، يتكون النموذج من مُشفِّر ومُفكِّك، وكلاهما مُنفَّذ باستخدام صيغ مختلفة من نموذج LSTM المُكدَّس المتبقي . أولًا، يأخذ مُشفِّر LSTM ترميزًا أحاديًا ساخنًا لجميع كلمات الجملة كمدخل، ويُنتج متجهًا مخفيًا نهائيًا يُمثِّل الجملة المُدخلة. يأخذ مُفكِّك LSTM المتجه المخفي كمدخل، ويُولِّد جملة جديدة تنتهي برمز نهاية الجملة. يتم تدريب المُشفِّر والمُفكِّك على أخذ عبارة وإعادة إنتاج التوزيع الأحادي الساخن لإعادة الصياغة المُقابلة عن طريق تقليل التعقيد باستخدام خوارزمية التدرج العشوائي البسيطة . يتم توليد إعادة الصياغة الجديدة عن طريق إدخال عبارة جديدة إلى المُشفِّر وتمرير الناتج إلى المُفكِّك.

مع ظهور نماذج Transformer ، تحسّنت أساليب توليد إعادة الصياغة من قدرتها على توليد النصوص عبر تعديل معلمات الشبكة العصبية وتكثيف التدريب المتوازي من خلال طبقات التغذية الأمامية . ^{[ 8 ]} تتميز هذه النماذج بقدرتها الفائقة على توليد النصوص لدرجة أن الخبراء البشريين يعجزون عن التمييز بين النصوص المكتوبة يدويًا وتلك المولدة آليًا. ^{[ 9 ]} يعتمد توليد إعادة الصياغة باستخدام نماذج Transformer على أساليب الترميز التلقائي ، والانحدار التلقائي ، والتسلسل إلى التسلسل . تتنبأ نماذج الترميز التلقائي ببدائل الكلمات باستخدام توزيع أحادي ساخن على المفردات، بينما تولد نماذج الانحدار التلقائي والتسلسل إلى التسلسل نصًا جديدًا بناءً على المصدر، متنبئةً بكلمة واحدة في كل مرة. ^{[ 10 ] [ 11 ]} كما توجد جهود أكثر تطورًا لجعل إعادة الصياغة قابلة للتحكم وفقًا لأبعاد جودة محددة مسبقًا، مثل الحفاظ على المعنى أو التنوع المعجمي. ^{[ 12 ]} تعتمد العديد من أساليب توليد إعادة الصياغة باستخدام نماذج Transformer على التعلم غير الخاضع للإشراف للاستفادة من كميات كبيرة من بيانات التدريب وتوسيع نطاق أساليبها. ^{[ 13 ] [ 14 ]}

حاول سوشر وآخرون ^{[ 1 ]} التعرف على إعادة الصياغة باستخدام المشفرات التلقائية المتكررة . وتتلخص الفكرة الرئيسية في إنتاج تمثيل متجهي للجملة ومكوناتها باستخدام مشفر تلقائي بشكل متكرر. يجب أن تتشابه التمثيلات المتجهة لإعادة الصياغة؛ حيث تتم معالجتها، ثم تُغذى كمدخلات إلى شبكة عصبية للتصنيف.

بالنظر إلى جملة${\displaystyle W}$مع${\displaystyle m}$بكلمات أخرى، تم تصميم المشفر التلقائي ليأخذ 2${\displaystyle n}$تمثيلات الكلمات ذات الأبعاد n كمدخلات وإنتاج${\displaystyle n}$يتم إخراج متجه ذي أبعاد n. ويتم تطبيق نفس المشفر التلقائي على كل زوج من الكلمات في${\displaystyle S}$لإنتاج${\displaystyle \lfloor m/2\rfloor }$يتم تطبيق المشفر التلقائي بشكل متكرر مع المتجهات الجديدة كمدخلات حتى يتم إنتاج متجه واحد. عند وجود عدد فردي من المدخلات، يتم تمرير المتجه الأول كما هو إلى المستوى التالي من التكرار. يتم تدريب المشفر التلقائي على إعادة إنتاج كل متجه في شجرة التكرار الكاملة، بما في ذلك تضمينات الكلمات الأولية.

معطى جملتين${\displaystyle W_{1}}$و${\displaystyle W_{2}}$بطول 4 و3 على التوالي، ستنتج المشفرات التلقائية 7 و5 تمثيلات متجهة تتضمن تضمينات الكلمات الأولية. ثم تُحسب المسافة الإقليدية بين كل تركيبة من المتجهات في${\displaystyle W_{1}}$و${\displaystyle W_{2}}$لإنتاج مصفوفة تشابه${\displaystyle S\in \mathbb {R} ^{7\times 5}}$.${\displaystyle S}$ثم تخضع لطبقة تجميع ديناميكي لإنتاج حجم ثابت${\displaystyle n_{p}\times n_{p}}$المصفوفة. بما أن${\displaystyle S}$لا تتساوى جميع الجمل المحتملة في الحجم،${\displaystyle S}$ينقسم إلى${\displaystyle n_{p}}$يتم تقسيم البيانات إلى أقسام متساوية تقريبًا. ثم تُعاد معايرة المخرجات بحيث يكون متوسطها صفرًا وانحرافها المعياري واحدًا، وتُغذى إلى طبقة متصلة بالكامل ذات مخرج دالة softmax . يتم تدريب نموذج التجميع الديناميكي لدالة softmax باستخدام أزواج من العبارات المعروفة.

تُعدّ متجهات التفكير المتقطع محاولةً لإنشاء تمثيل متجهي للمعنى الدلالي للجملة، على غرار نموذج سكيب غرام . ^{[ 15 ]} تُنتَج متجهات التفكير المتقطع باستخدام نموذج تفكير متقطع يتكون من ثلاثة مكونات رئيسية: مُشفِّر ومُفكِّكان. عند إدخال مجموعة من الوثائق، يُدرَّب نموذج التفكير المتقطع على أخذ جملة كمدخل وتشفيرها إلى متجه تفكير متقطع. يُستخدم متجه التفكير المتقطع كمدخل لكلا المُفكِّكين؛ يحاول أحدهما إعادة إنتاج الجملة السابقة، بينما يحاول الآخر إعادة إنتاج الجملة التالية كاملةً. يمكن تنفيذ المُشفِّر والمُفكِّك باستخدام شبكة عصبية متكررة (RNN) أو شبكة ذاكرة طويلة المدى (LSTM ).

بما أن إعادة الصياغة تحمل نفس المعنى الدلالي فيما بينها، فمن المفترض أن يكون لها متجهات تخطي أفكار متشابهة. وبالتالي، يمكن تدريب نموذج انحدار لوجستي بسيط لتحقيق أداء جيد باستخدام الفرق المطلق وحاصل ضرب مكونات متجهي تخطي الأفكار كمدخلات.

على غرار تأثير نماذج Transformer على توليد إعادة الصياغة، حقق تطبيقها في تحديد إعادة الصياغة نجاحًا باهرًا. يمكن تكييف نماذج مثل BERT بإضافة طبقة تصنيف ثنائية وتدريبها بشكل شامل على مهام التحديد. ^{[ 16 ] [ 17 ]} تحقق نماذج Transformer نتائج قوية عند الانتقال بين المجالات وتقنيات إعادة الصياغة مقارنةً بأساليب التعلم الآلي التقليدية مثل الانحدار اللوجستي . تشمل الأساليب الناجحة الأخرى القائمة على بنية Transformer استخدام التعلم التنافسي والتعلم الفائق . ^{[ 18 ] [ 19 ]}