هيكلة المستندات

يُعدّ تنظيم بنية المستند مهمة فرعية من مهام توليد اللغة الطبيعية ، ويتضمن تحديد ترتيب وتجميع الجمل في النص المُولّد (على سبيل المثال، في فقرات). وهو يرتبط ارتباطًا وثيقًا بمهمة تحديد المحتوى في توليد اللغة الطبيعية.

لنفترض أن لدينا أربع جمل نريد تضمينها في نص مُولّد

1. ستمطر يوم السبت
2. سيكون الجو مشمساً يوم الأحد
3. ستبلغ درجة الحرارة القصوى 10  درجات مئوية يوم السبت
4. ستبلغ درجة الحرارة العظمى 15  درجة مئوية يوم الأحد

يوجد 24 (4!) ترتيبًا لهذه الرسائل، بما في ذلك

• (1234) ستمطر يوم السبت. سيكون الجو مشمساً يوم الأحد. ستبلغ درجة الحرارة العظمى 10  درجات مئوية يوم السبت. وستبلغ درجة الحرارة العظمى 15  درجة مئوية يوم الأحد.
• (2341) سيكون الطقس مشمسًا يوم الأحد. ستصل درجة الحرارة العظمى إلى 10  درجات مئوية يوم السبت. ستصل درجة الحرارة العظمى إلى 15  درجة مئوية يوم الأحد. من المتوقع هطول أمطار يوم السبت.
• (4321) ستصل درجة الحرارة العظمى إلى 15  درجة مئوية يوم الأحد. وستصل إلى 10  درجات مئوية يوم السبت. سيكون الطقس مشمسًا يوم الأحد. وسيهطل المطر يوم السبت.

بعض هذه الترتيبات أفضل من غيرها. على سبيل المثال، من بين النصوص الموضحة أعلاه، يفضل القراء البشريون الترتيب (1234) على الترتيبين (2314) و(4321).

بغض النظر عن الترتيب، توجد أيضًا طرق عديدة لتجميع الجمل في فقرات وهياكل ذات مستوى أعلى مثل الأقسام. على سبيل المثال، هناك 8 (2**3) طريقة لتجميع الجمل في (1234) في فقرات، بما في ذلك

• (12)(34)

ستمطر يوم السبت. وسيكون الجو مشمساً يوم الأحد.

ستبلغ درجة الحرارة العظمى 10  درجات مئوية يوم السبت، و15  درجة مئوية يوم الأحد.

• (1)(23)(4)

ستمطر يوم السبت.

سيكون الطقس مشمساً يوم الأحد. وستبلغ درجة الحرارة العظمى 10  درجات مئوية يوم السبت.

ستبلغ درجة الحرارة القصوى 15  درجة مئوية يوم الأحد.

كما هو الحال مع الترتيب، يفضل القراء البشريون بعض المجموعات على غيرها؛ على سبيل المثال، يفضل (12)(34) على (1)(23)(4).

تتمثل مهمة هيكلة المستند في اختيار ترتيب وتجميع الجمل مما ينتج عنه نص متماسك ومنظم جيدًا من وجهة نظر القارئ.

هناك ثلاثة مناهج أساسية لهيكلة المستندات: المخططات، والمناهج القائمة على المجموعات، والمناهج الاستدلالية .

المخططات ^{[ 1 ]} هي قوالب تحدد بوضوح ترتيب الجمل وتجميعها في المستند (بالإضافة إلى معلومات تحديد المحتوى ). عادةً ما تُنشأ هذه المخططات من خلال تحليل يدوي لمجموعة من النصوص المكتوبة يدويًا في النوع المستهدف، واستخراج قالب المستند من هذه النصوص. تُجدي المخططات نفعًا عمليًا مع النصوص القصيرة (خمس جمل أو أقل) و/أو ذات البنية المعيارية، ولكنها تواجه صعوبة في توليد نصوص أطول ذات بنية غير ثابتة.

تستخدم تقنيات هيكلة النصوص القائمة على المدونات اللغوية أساليب تحليل المدونات الإحصائية لبناء نماذج الترتيب و/أو التجميع تلقائيًا. وتُعدّ هذه التقنيات شائعة في التلخيص التلقائي ، حيث يقوم برنامج حاسوبي بإنشاء ملخص تلقائيًا لوثيقة نصية. ^{[ 2 ]} من حيث المبدأ، يمكن تطبيقها على النصوص المُولّدة من بيانات غير لغوية، إلا أن هذا العمل لا يزال في مراحله الأولى؛ ويكمن جزء من التحدي في أن النصوص التي تُولّدها أنظمة توليد اللغة الطبيعية يُتوقع منها عمومًا أن تكون ذات جودة عالية نسبيًا، وهو ما لا ينطبق دائمًا على النصوص التي تُولّدها أنظمة التلخيص التلقائي.

النهج الأخير هو البناء الهيكلي القائم على الاستدلال. تُنفّذ هذه الخوارزميات مهمة البناء الهيكلي استنادًا إلى قواعد استدلالية، قد تُستمد من نظريات البلاغة، ^{[ 3 ] أو} النماذج النفسية اللغوية، ^{[ 4 ]} أو مزيج من الحدس وردود الفعل من التجارب الأولية مع المستخدمين المحتملين. ^{[ 5 ]} يُعدّ البناء الهيكلي القائم على الاستدلال جذابًا من الناحية الفكرية، لكن قد يصعب تطبيقه عمليًا، ويعود ذلك جزئيًا إلى أن الاستدلالات غالبًا ما تعتمد على المعلومات الدلالية (كيفية ترابط الجمل) التي لا تكون متاحة دائمًا. ^{[ 6 ]} من ناحية أخرى، يمكن للقواعد الاستدلالية أن تُركّز على ما هو الأفضل لقارئ النص، بينما تُركّز المناهج الأخرى على محاكاة المؤلفين (والعديد من النصوص التي يكتبها البشر ليست مُهيكلة جيدًا).

غالباً ما تتعامل المناهج الحديثة القائمة على التعلم العميق ونماذج اللغة الضخمة مع هيكلة المستندات كجزء من عملية توليد النصوص العصبية الشاملة، حيث تتعلم الترتيب والتجميع ضمنياً من مجموعات بيانات تدريبية ضخمة. ومع ذلك، قد لا تزال هذه الأنظمة تعاني من مشاكل في التماسك وتنظيم الخطاب. ^{[ 7 ] [ 8 ]}

لعلّ التحدي الأكبر في هيكلة الوثائق هو صياغة سرد جيد ، أي نص يبدأ بتمهيد المشهد وتقديم مقدمة/نظرة عامة، ثم يصف مجموعة من الأحداث بوضوح ليسهل على القراء فهم ترابطها، ويختتم بملخص/خاتمة. تجدر الإشارة إلى أن السرد بهذا المعنى ينطبق على النصوص الواقعية والقصصية على حد سواء. لا تُجيد أنظمة توليد اللغة الطبيعية الحالية صياغة السرد، وهذا ما يُعدّ مصدرًا رئيسيًا لانتقادات المستخدمين. ^{[ 9 ]}

إن توليد روايات جيدة يمثل تحديًا لجميع جوانب توليد اللغة الطبيعية، ولكن التحدي الأكثر جوهرية ربما يكمن في هيكلة المستندات.