نموذج كاتز للتراجع

نموذج كاتز للتراجع هو نموذج لغوي توليدي يعتمد على نماذج n -gram ، ويُقدّر الاحتمالية الشرطية لكلمة ما بناءً على تاريخها في n -gram. ويُنجز هذا التقدير بالتراجع تدريجيًا عبر نماذج تاريخية أقصر في ظل شروط معينة. ^{[ 1 ]} وبذلك، يُستخدم النموذج الذي يحتوي على المعلومات الأكثر موثوقية حول تاريخ مُحدد، مما يُؤدي إلى نتائج أفضل.

تم تقديم هذا النموذج في عام 1987 بواسطة سلافا م. كاتز. قبل ذلك، تم بناء نماذج اللغة n-gram عن طريق تدريب نماذج فردية لترتيبات n-gram المختلفة باستخدام تقدير الاحتمال الأقصى ثم استيفائها معًا.

معادلة نموذج كاتز للتراجع هي: ^{[ 2 ]}

${\displaystyle {\begin{aligned}&P_{bo}(w_{i}\mid w_{i-n+1}\cdots w_{i-1})\\[4pt]={}&{\begin{cases}d_{w_{i-n+1}\cdots w_{i}}{\dfrac {C(w_{i-n+1}\cdots w_{i-1}w_{i})}{C(w_{i-n+1}\cdots w_{i-1})}}&{\text{if }}C(w_{i-n+1}\cdots w_{i})>k\\[10pt]\alpha _{w_{i-n+1}\cdots w_{i-1}}P_{bo}(w_{i}\mid w_{i-n+2}\cdots w_{i-1})&{\text{otherwise}}\end{cases}}\end{aligned}}}$

أين

C ( x ) = عدد مرات ظهور x في التدريب

w _i = الكلمة رقم i في السياق المحدد

باختصار، هذا يعني أنه إذا ظهرت مجموعة الكلمات (n -gram) أكثر من k مرة في التدريب، فإن الاحتمال الشرطي لكلمة ما، بالنظر إلى تاريخ ظهورها، يتناسب مع تقدير الاحتمال الأقصى لتلك المجموعة . وإلا، فإن الاحتمال الشرطي يساوي الاحتمال الشرطي للتراجع لمجموعة الكلمات ( n - 1).  

الجزء الأكثر صعوبة هو تحديد قيم k و d و α . 

${\displaystyle k}$يُعدّ هذا المعامل الأقل أهمية، وعادةً ما يُختار بقيمة صفر. مع ذلك، قد تُظهر الاختبارات التجريبية قيماً أفضل لـ k.

${\displaystyle d}$عادةً ما تكون قيمة الخصم هي القيمة التي يتم الحصول عليها من خلال تقدير جود-تورينج . بعبارة أخرى، إذا كانت تقديرات جود-تورينج${\displaystyle C}$مثل${\displaystyle C^{*}}$، ثم${\displaystyle d={\frac {C^{*}}{C}}}$

لحساب${\displaystyle \alpha }$، من المفيد أولاً تعريف الكمية β، وهي كتلة الاحتمال المتبقية للغرام ( n − 1):  

${\displaystyle \beta _{w_{i-n+1}\cdots w_{i-1}}=1-\sum _{\{w_{i}:C(w_{i-n+1}\cdots w_{i})>k\}}d_{w_{i-n+1}\cdots w_{i}}{\frac {C(w_{i-n+1}\cdots w_{i-1}w_{i})}{C(w_{i-n+1}\cdots w_{i-1})}}}$

ثم يتم حساب وزن التراجع، α، على النحو التالي:

${\displaystyle \alpha _{w_{i-n+1}\cdots w_{i-1}}={\frac {\beta _{w_{i-n+1}\cdots w_{i-1}}}{\sum _{\{w_{i}:C(w_{i-n+1}\cdots w_{i})\leq k\}}P_{bo}(w_{i}\mid w_{i-n+2}\cdots w_{i-1})}}}$

لا تنطبق الصيغة المذكورة أعلاه إلا إذا توفرت بيانات لـ "( n - 1)-gram". وإلا، فإن الخوارزمية تتخطى n-1 بالكامل وتستخدم تقدير كاتز لـ n-2. (وهكذا حتى يتم العثور على n-gram مع بيانات).  

يعمل هذا النموذج بشكل عام جيدًا في التطبيق العملي، ولكنه يفشل في بعض الحالات. على سبيل المثال، لنفترض أن الثنائي "أ ب" والحرف "ج" شائعان جدًا، بينما الثلاثي "أب ج" غير موجود أبدًا. نظرًا لشيوع "أ ب" و"ج"، فقد يكون عدم ظهور "أب ج" أمرًا ذا دلالة (أي ليس محض صدفة). ربما لا تسمح قواعد اللغة بذلك. بدلًا من إسناد قيمة صفرية أكثر ملاءمة، ستعود الطريقة إلى الثنائي وتقدر احتمال ( ج  | ب )، والذي قد يكون مرتفعًا جدًا. ^{[ 3 ]}