tf–idf

في مجال استرجاع المعلومات ، يُعدّ مقياس tf-idf ( تردد المصطلح - تردد المستند العكسي ، أو TF*IDF ، أو TFIDF ، أو TF-IDF ، أو Tf-idf ) مقياسًا لأهمية كلمة ما في مستند ضمن مجموعة أو مدونة ، مع مراعاة أن بعض الكلمات تظهر بشكل متكرر أكثر من غيرها. ^{[ 1 ]} وكما هو الحال في نموذج "حقيبة الكلمات" ، يُصوّر هذا المقياس المستند كمجموعة متعددة من الكلمات، دون مراعاة ترتيبها . وهو يُعدّ تحسينًا لنموذج "حقيبة الكلمات" البسيط، إذ يسمح لوزن الكلمات بالاعتماد على بقية المدونة.

كثيراً ما استُخدمت هذه التقنية كعامل ترجيح في عمليات البحث عن المعلومات، واستخراج البيانات النصية ، ونمذجة المستخدمين . وأظهر استطلاع أُجري عام ٢٠١٥ أن ٨٣٪ من أنظمة التوصية النصية في المكتبات الرقمية تستخدم تقنية TF-IDF. ^{[ ٢ ]} كما استخدمت محركات البحث صيغاً مختلفة من نظام ترجيح TF-IDF كأداة أساسية في تقييم وتصنيف مدى ملاءمة المستند لاستعلام المستخدم .

إحدى أبسط وظائف الترتيب يتم حسابها عن طريق جمع قيم tf-idf لكل مصطلح استعلام؛ والعديد من وظائف الترتيب الأكثر تعقيدًا هي متغيرات لهذا النموذج البسيط.

ابتكرت كارين سبارك جونز (1972) تفسيرًا إحصائيًا لخصوصية المصطلح يسمى تردد المستند العكسي (idf)، والذي أصبح حجر الزاوية في ترجيح المصطلح: ^{[ 3 ]}

يمكن تحديد مدى خصوصية المصطلح كميًا كدالة عكسية لعدد المستندات التي يظهر فيها.

على سبيل المثال، يمكن تمثيل قيم df (تكرار المستند) و idf لبعض الكلمات في مسرحيات شكسبير الـ 37 على النحو التالي:

نلاحظ أن كلمات " روميو " و" فالستاف " و"سلطة" تظهر في عدد قليل جدًا من المسرحيات، لذا فإن رؤية هذه الكلمات قد تُعطي فكرة جيدة عن المسرحية المقصودة. في المقابل، تظهر كلمتا "جيد" و"حلو" في كل مسرحية، وهما لا تُقدمان أي معلومات تُذكر عن المسرحية المقصودة.

1. يمثل معامل tf-idf حاصل ضرب إحصائيتين: تردد المصطلح وتردد المستند العكسي . وهناك طرق متعددة لتحديد القيم الدقيقة لكلتا الإحصائيتين.
2. صيغة تهدف إلى تحديد أهمية كلمة مفتاحية أو عبارة داخل مستند أو صفحة ويب.

أنواع وزن تكرار المصطلح (tf)

نظام الترجيح	وزن tf
ثنائي	${\displaystyle {0,1}}$
العد الخام	${\displaystyle f_{t,d}}$
تكرار المصطلح	${\displaystyle f_{t,d}{\Bigg واصل\sum _{t'\in d}{f_{t',d}}}}$
التسوية اللوغاريتمية	${\displaystyle \log(1+f_{t,d})}$
التطبيع المزدوج 0.5	${\displaystyle 0.5+0.5\cdot {\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$
التطبيع المزدوج K	${\displaystyle K+(1-K){\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$

تردد المستند العكسي

أنواع مختلفة من وزن تردد المستند العكسي (idf)

نظام الترجيح	وزن idf (${\displaystyle n_{t}=|\{d\in D:t\in d\}|}$)
أحادي	1
تردد المستندات العكسي	${\displaystyle \log {\frac {N}{n_{t}}}=-\log {\frac {n_{t}}{N}}}$
تدرج تردد المستندات العكسي	${\displaystyle \log \left({\frac {N}{1+n_{t}}}\right)+1}$
الحد الأقصى لتردد المستند العكسي	${\displaystyle \log \left({\frac {\max _{\{t'\in d\}}n_{t'}}{1+n_{t}}}\right)}$
التردد العكسي الاحتمالي للمستندات	${\displaystyle \log {\frac {N-n_{t}}{n_{t}}}}$

يُعدّ تردد الكلمة العكسي في المستندات مقياسًا لكمية المعلومات التي توفرها الكلمة، أي مدى شيوعها أو ندرتها في جميع المستندات. وهو عبارة عن النسبة العكسية للمستندات التي تحتوي على الكلمة ، مُقاسةً بمقياس لوغاريتمي (يتم الحصول عليها بقسمة العدد الإجمالي للمستندات على عدد المستندات التي تحتوي على المصطلح، ثم أخذ لوغاريتم الناتج).

${\displaystyle \mathrm {idf} (t,D)=\log {\frac {N}{n_{t}}}}$

مع

• ${\displaystyle D}$: هي مجموعة جميع الوثائق في المدونة
• ${\displaystyle N={|D|}}$: إجمالي عدد الوثائق في المجموعة
• ${\displaystyle n_{t}=|\{d\in D:t\in d\}|}$ عدد المستندات التي تحتوي على المصطلح${\displaystyle t}$يظهر (أي،${\displaystyle \mathrm {tf} (t,d)\neq 0}$إذا لم يكن المصطلح موجودًا في المدونة، فسيؤدي ذلك إلى القسمة على صفر. لذلك، من الشائع تعديل البسط إلى${\displaystyle 1+N}$والمقام إلى${\displaystyle 1+n_{t}}$.

تردد المصطلح – تردد المستند العكسي

أنواع مختلفة من أوزان تردد المصطلح - تردد المستند العكسي (tf-idf)

نظام الترجيح	tf-idf
عد-idf	${\displaystyle f_{t,d}\cdot \log {\frac {N}{n_{t}}}}$
التطبيع المزدوج-idf	${\displaystyle \left(0.5+0.5{\frac {f_{t,q}}{\max _{t}f_{t,q}}}\right)\cdot \log {\frac {N}{n_{t}}}}$
التطبيع اللوغاريتمي-idf	${\displaystyle (1+\log f_{t,d})\cdot \log {\frac {N}{n_{t}}}}$

ثم يتم حساب tf–idf على النحو التالي

${\displaystyle \mathrm {tfidf} (t,d,D)=\mathrm {tf} (t,d)\cdot \mathrm {idf} (t,D)}$

يُحقق وزنٌ عالٍ في مقياس tf–idf عندما يكون تكرار المصطلح مرتفعًا (في المستند المُحدد) وتكراره منخفضًا في مجموعة المستندات ككل؛ وبالتالي، تميل الأوزان إلى استبعاد المصطلحات الشائعة. ولأن النسبة داخل دالة اللوغاريتم في idf تكون دائمًا أكبر من أو تساوي 1، فإن قيمة idf (و tf–idf) تكون أكبر من أو تساوي 0. ومع ازدياد عدد المستندات التي يظهر فيها المصطلح، تقترب النسبة داخل اللوغاريتم من 1، مما يجعل قيمتي idf و tf–idf أقرب إلى الصفر.

تم تقديم مفهوم Idf تحت مسمى "تحديد المصطلح" من قبل كارين سبارك جونز في ورقة بحثية عام 1972. وعلى الرغم من أنه أثبت فعاليته كأداة استدلالية ، إلا أن أسسه النظرية ظلت مثيرة للجدل لثلاثة عقود على الأقل بعد ذلك، حيث سعى العديد من الباحثين إلى إيجاد مبررات نظرية معلوماتية له. ^{[ 6 ]}

لم يقدم تفسير سبارك جونز نفسه الكثير من النظرية، باستثناء ربطه بقانون زيبف . ^{[ 6 ]} وقد بُذلت محاولات لوضع idf على أساس احتمالي ، ^{[ 7 ]} من خلال تقدير احتمال احتواء مستند معين d على مصطلح t باعتباره التردد النسبي للمستند.

${\displaystyle P(t|D)={\frac {|\{d\in D:t\in d\}|}{N}},}$

حتى نتمكن من تعريف idf على النحو التالي

${\displaystyle {\begin{aligned}\mathrm {idf} &=-\log P(t|D)\\&=\log {\frac {1}{P(t|D)}}\\&=\log {\frac {N}{|\{d\in D:t\in d\}|}}\end{aligned}}}$

وبعبارة أخرى، فإن تردد المستند العكسي هو لوغاريتم تردد المستند النسبي "العكسي".

يتخذ هذا التفسير الاحتمالي بدوره نفس شكل تفسير المعلومات الذاتية . ومع ذلك، فإن تطبيق هذه المفاهيم النظرية للمعلومات على مشاكل استرجاع المعلومات يؤدي إلى مشاكل عند محاولة تحديد فضاءات الأحداث المناسبة لتوزيعات الاحتمالات المطلوبة : لا يقتصر الأمر على ضرورة مراعاة المستندات فحسب، بل يشمل أيضًا الاستعلامات والمصطلحات. ^{[ 6 ]}

يمكن صياغة كل من تردد المصطلح وتردد المستند العكسي باستخدام نظرية المعلومات ؛ مما يساعد على فهم سبب أهمية حاصل ضربهما من حيث المحتوى المعلوماتي المشترك للمستند. وهناك افتراض مميز حول التوزيع.${\displaystyle p(d,t)}$وهو ذلك:

${\displaystyle p(d|t)={\frac {1}{|\{d\in D:t\in d\}|}}}$

هذا الافتراض وآثاره، وفقًا لأيزاوا: "يمثل الأسلوب الاستدلالي الذي يستخدمه tf-idf." ^{[ 8 ]}

الإنتروبيا الشرطية لوثيقة "مختارة عشوائياً" في مجموعة النصوص${\displaystyle D}$، بشرط أن يحتوي على مصطلح محدد${\displaystyle t}$(وبافتراض أن جميع المستندات لها احتمالية متساوية للاختيار) هو:

${\displaystyle H({\cal {D}}|{\cal {T}}=t)=-\sum _{d}p_{d|t}\log p_{d|t}=-\log {\frac {1}{|\{d\in D:t\in d\}|}}=\log {\frac {|\{d\in D:t\in d\}|}{|D|}}+\log |D|=-\mathrm {idf} (t)+\log |D|}$

من حيث التدوين،${\displaystyle {\cal {D}}}$و${\displaystyle {\cal {T}}}$هي "متغيرات عشوائية" تُقابل على التوالي رسم مستند أو مصطلح. ويمكن التعبير عن المعلومات المتبادلة على النحو التالي:

${\displaystyle M({\cal {T}};{\cal {D}})=H({\cal {D}})-H({\cal {D}}|{\cal {T}})=\sum _{t}p_{t}\cdot (H({\cal {D}})-H({\cal {D}}|W=t))=\sum _{t}p_{t}\cdot \mathrm {idf} (t)}$

الخطوة الأخيرة هي التوسع${\displaystyle p_{t}}$، الاحتمال غير المشروط لسحب مصطلح، فيما يتعلق بالاختيار (العشوائي) لمستند، للحصول على:

${\displaystyle M({\cal {T}};{\cal {D}})=\sum _{t,d}p_{t|d}\cdot p_{d}\cdot \mathrm {idf} (t)=\sum _{t,d}\mathrm {tf} (t,d)\cdot {\frac {1}{|D|}}\cdot \mathrm {idf} (t)={\frac {1}{|D|}}\sum _{t,d}\mathrm {tf} (t,d)\cdot \mathrm {idf} (t).}$

يُبيّن هذا التعبير أن جمع قيم Tf-idf لجميع المصطلحات والوثائق الممكنة يُعيد المعلومات المتبادلة بين الوثائق والمصطلحات، مع مراعاة جميع خصائص توزيعها المشترك. ^{[ 8 ]} وبالتالي، تحمل كل قيمة Tf-idf "بتة المعلومات" المرتبطة بزوج المصطلح والوثيقة.

يرتبط مقياس tf-idf ارتباطًا وثيقًا بقيمة p المحولة لوغاريتميًا السالبة من صيغة أحادية الطرف لاختبار فيشر الدقيق ، وذلك عندما تستوفي وثائق المدونة الأساسية افتراضات مثالية معينة. ^{[ 9 ]} ومؤخرًا، تبين أن متغيرات tf-idf تظهر كمكونات في إحصائية اختبار نسبة الاحتمال المعاقب لتكرار الكلمات بناءً على نموذج إحصائي لغوي بيتا-ذو الحدين. ^{[ 10 ]} في هذا الإطار، تُنمذج الفرضية الصفرية تكرار المصطلحات باستخدام توزيع ذي الحدين ، بينما تُنمذج الفرضية البديلة تكرار الكلمات باستخدام توزيع بيتا-ذو الحدين مع حد جزاء موزع غاما موضوع على معامل دقة بيتا-ذو الحدين. تحتوي إحصائية الاختبار الناتجة على متغيرات tf–idf، وهي تردد المصطلح الثنائي - تردد المستند العكسي (btf–idf) وتردد المصطلح - تردد المجموعة العكسي (tf–icf)، مما يؤدي إلى إنشاء صلة مباشرة بين مخططات ترجيح المصطلحات لعائلة tf–idf واختبار الفرضيات الإحصائية . ^{[ 10 ]}

لنفترض أن لدينا جداول عدد المصطلحات لمجموعة بيانات تتكون من وثيقتين فقط:

"هذه عينة أ."

"هذا مثال آخر، مثال آخر، مثال."

الوثيقة 1 (${\displaystyle d_{1}}$)

شرط	عدد الولايات
هذا	1
يكون	1
أ	2
عينة	1

الوثيقة 2 (${\displaystyle d_{2}}$)

شرط	عدد الولايات
هذا	1
يكون	1
آخر	2
مثال	3

يتم حساب قيمة tf–idf للمصطلح "this" على النحو التالي:

في شكلها الخام، تمثل tf تكرار كلمة "this" في كل مستند. تظهر كلمة "this" مرة واحدة في كل مستند؛ ولكن نظرًا لأن المستند الثاني يحتوي على عدد أكبر من الكلمات، فإن تكرارها النسبي أقل.

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{1})={\frac {1}{5}}=0.2}$

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{2})={\frac {1}{7}}\approx 0.14}$

قيمة idf ثابتة لكل مجموعة نصوص، وتمثل نسبة المستندات التي تتضمن كلمة "this". في هذه الحالة، لدينا مجموعة نصوص مكونة من مستندين، وكلها تتضمن كلمة "this".

${\displaystyle \mathrm {idf} ({\mathsf {''this''}},D)=\log \left({\frac {2}{2}}\right)=0}$

لذا فإن قيمة tf–idf تساوي صفرًا بالنسبة للكلمة "this"، مما يعني أن الكلمة ليست مفيدة للغاية لأنها تظهر في جميع المستندات.

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{1},D)=0.2\times 0=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{2},D)=0.14\times 0=0}$

كلمة "مثال" أكثر إثارة للاهتمام - فهي تظهر ثلاث مرات، ولكن فقط في الوثيقة الثانية:

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{1})={\frac {0}{5}}=0}$

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{2})={\frac {3}{7}}\approx 0.429}$

${\displaystyle \mathrm {idf} ({\mathsf {''example''}},D)=\log \left({\frac {2}{1}}\right)=0.301}$

أخيراً،

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{1},D)=\mathrm {tf} ({\mathsf {''example''}},d_{1})\times \mathrm {idf} ({\mathsf {''example''}},D)=0\times 0.301=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{2},D)=\mathrm {tf} ({\mathsf {''example''}},d_{2})\times \mathrm {idf} ({\mathsf {''example''}},D)=0.429\times 0.301\approx 0.129}$

(باستخدام اللوغاريتم ذي الأساس 10 ).

لا تقتصر فكرة tf-idf على المصطلحات فقط، بل تشمل كيانات أخرى أيضًا. ففي عام ١٩٩٨، طُبِّق مفهوم idf على الاستشهادات. ^{[ ١١ ]} جادل الباحثون بأنه "إذا كان هناك استشهاد نادر جدًا مشترك بين وثيقتين، فينبغي ترجيحه أكثر من الاستشهاد الوارد في عدد كبير من الوثائق". إضافةً إلى ذلك، طُبِّق tf-idf على "الكلمات المرئية" بهدف مطابقة العناصر في مقاطع الفيديو، ^{[ ١٢ ]} وعلى الجمل الكاملة. ^{[ ١٣ ]} مع ذلك، لم يُثبت مفهوم tf-idf فعاليته في جميع الحالات مقارنةً بنظام tf البسيط (بدون idf). فعند تطبيق tf-idf على الاستشهادات، لم يجد الباحثون أي تحسن مقارنةً بترجيح عدد الاستشهادات البسيط الذي لا يتضمن عنصر idf. ^{[ ١٤ ]}

انبثقت عدة طرق لترجيح المصطلحات من مقياس TF-IDF. إحداها هي TF-PDF (تردد المصطلح × تردد المستند النسبي). ^{[ 15 ]} طُرح مقياس TF-PDF عام 2001 في سياق تحديد المواضيع الناشئة في وسائل الإعلام. يقيس مُكوّن PDF الفرق في عدد مرات ظهور مصطلح ما في مجالات مختلفة. وهناك مشتق آخر هو TF-IDuF. في TF-IDuF، ^{[ 16 ]} لا يُحسب idf بناءً على مجموعة المستندات المراد البحث فيها أو التوصية بها، بل يُحسب على مجموعات المستندات الشخصية للمستخدمين. ويشير الباحثون إلى أن TF-IDuF كان بنفس فعالية TF-IDF، ولكنه قابل للتطبيق أيضًا في حالات، مثل عدم امتلاك نظام نمذجة المستخدم إمكانية الوصول إلى مجموعة مستندات عالمية. يستخدم مشتق DELTA TF-IDF ^{[ 17 ]} الفرق في أهمية مصطلح ما عبر فئتين محددتين، مثل المشاعر الإيجابية والسلبية. على سبيل المثال، يمكنه منح درجة عالية لكلمة مثل "ممتاز" في التقييمات الإيجابية، ودرجة منخفضة لنفس الكلمة في التقييمات السلبية. يساعد هذا في تحديد الكلمات التي تشير بقوة إلى مشاعر النص، مما قد يؤدي إلى تحسين دقة تصنيف النصوص.

• سالتون، جي ؛ ماكجيل، إم جيه (1986). مقدمة في استرجاع المعلومات الحديث . ماكجرو هيل . ISBN 978-0-07-054484-0.
• سالتون، ج .؛ فوكس، إي. أ.؛ وو، هـ. (1983). "استرجاع المعلومات المنطقية الموسعة". اتصالات رابطة مكائن ​​الحوسبة . 26 (11): 1022-1036 . doi : 10.1145/182.358466 . hdl : 1813/6351 . S2CID 207180535 . 
• سالتون، ج .؛ باكلي، س. (1988). "أساليب ترجيح المصطلحات في استرجاع النصوص الآلي" (ملف PDF) . معالجة المعلومات وإدارتها . 24 (5): 513-523 . doi : 10.1016/0306-4573(88)90021-0 . hdl : 1813/6721 . S2CID 7725217 . 
• وو، إتش سي؛ لوك، آر دبليو بي؛ وونغ، كيه إف؛ كوك، كيه إل (2008). "تفسير أوزان مصطلحات TF-IDF على أنها قرارات تتعلق بالملاءمة". معاملات ACM في نظم المعلومات . 26 (3): 1. doi : 10.1145/1361684.1361686 . hdl : 10397/10130 . S2CID 18303048 . 

• Gensim هي مكتبة بايثون لنمذجة الفضاء المتجهي وتتضمن ترجيح tf-idf.
• تشريح محرك بحث ( مؤرشف بتاريخ 10 مارس 2009 في أرشيف الإنترنت)
• تعريفات tf-idf والتعريفات ذات الصلة المستخدمة في Lucene
• محول Tfidf في مكتبة scikit-learn
• مجموعة أدوات MATLAB المسماة Text to Matrix Generator (TMG) تُستخدم في مهام متنوعة ضمن مجال استخراج البيانات النصية، وتحديدًا: 1) الفهرسة، 2) الاسترجاع، 3) تقليل الأبعاد ، 4) التجميع، 5) التصنيف. تتيح خطوة الفهرسة للمستخدم إمكانية تطبيق أساليب الترجيح المحلية والعالمية، بما في ذلك tf-idf.
• شرح مفهوم تكرار المصطلحات