ملاحظات حول مدى ملاءمة المنتج

تُعدّ خاصية تقييم الصلة ميزةً في بعض أنظمة استرجاع المعلومات والتوصية . تقوم فكرة هذه الخاصية على أخذ النتائج الأولية المُسترجعة من استعلام مُحدد، وجمع آراء المستخدمين ، واستخدام هذه المعلومات لتحديد مدى صلة تلك النتائج بالموضوع لإجراء استعلام جديد. يُمكننا التمييز بين ثلاثة أنواع من التقييم: التقييم الصريح، والتقييم الضمني، والتقييم المُبهم أو "الظاهري".

يتم الحصول على ملاحظات صريحة من مُقيّمي الملاءمة، تُشير إلى مدى ملاءمة المستند المُسترجع للاستعلام. ويُعتبر هذا النوع من الملاحظات صريحًا فقط عندما يعلم المُقيّمون (أو مستخدمو النظام الآخرون) أن الملاحظات المُقدّمة تُفسّر على أنها أحكام بشأن الملاءمة .

يمكن للمستخدمين تحديد مدى ملاءمة النتائج بشكل صريح باستخدام نظام ثنائي أو نظام تصنيفي . يشير التقييم الثنائي إلى أن المستند إما ذو صلة أو غير ذي صلة باستعلام معين. أما التقييم التصنيفي فيشير إلى مدى صلة المستند بالاستعلام على مقياس باستخدام الأرقام أو الأحرف أو الأوصاف (مثل "غير ذي صلة"، "ذي صلة إلى حد ما"، "ذي صلة"، أو "ذي صلة كبيرة"). قد يتخذ التقييم التصنيفي أيضًا شكل ترتيب تصاعدي للمستندات يُنشئه المُقيِّم؛ أي أن المُقيِّم يضع مستندات مجموعة النتائج حسب ترتيب صلتها (عادةً تنازليًا). ومن الأمثلة على ذلك ميزة SearchWiki التي أضافتها جوجل إلى موقعها الإلكتروني للبحث.

يجب دمج معلومات التغذية الراجعة المتعلقة بالملاءمة مع الاستعلام الأصلي لتحسين أداء الاسترجاع، مثل خوارزمية روكيو المعروفة .

يُعدّ المكسب التراكمي المخفّض المعياري أحد مقاييس الأداء التي شاعت حوالي عام 2005 لقياس مدى فائدة خوارزمية الترتيب القائمة على التغذية الراجعة الصريحة للصلة . وتشمل المقاييس الأخرى الدقة عند k ومتوسط ​​الدقة .

يُستدل على التغذية الراجعة الضمنية من سلوك المستخدم، مثل ملاحظة المستندات التي يختارها والتي لا يختارها للعرض، ومدة قضائه في عرض مستند ما، أو إجراءات تصفح الصفحات أو التمرير. ^{[ 1 ] [ 2 ]} توجد العديد من الإشارات أثناء عملية البحث التي يمكن استخدامها للتغذية الراجعة الضمنية وأنواع المعلومات التي يجب تقديمها استجابةً لها. ^{[ 3 ] [ 4 ]}

تشمل الاختلافات الرئيسية بين التغذية الراجعة الضمنية المتعلقة بالملاءمة والتغذية الراجعة الصريحة ما يلي: ^{[ 5 ]}

1. لا يقوم المستخدم بتقييم مدى ملاءمة المعلومات لنظام الأشعة تحت الحمراء، بل يلبي احتياجاته الخاصة فقط.
2. لا يتم إبلاغ المستخدم بالضرورة بأن سلوكه (المستندات المختارة) سيُستخدم كتقييم للملاءمة

ومن الأمثلة على ذلك مدة التصفح ، وهي مقياس للوقت الذي يقضيه المستخدم في مشاهدة الصفحة المرتبطة في نتائج البحث. وهي مؤشر على مدى ملاءمة نتيجة البحث لغرض المستخدم، وتُستخدم كآلية لجمع الملاحظات لتحسين نتائج البحث.

تُوفّر خاصية التقييم شبه المباشر للصلة، والمعروفة أيضًا بالتقييم غير المباشر للصلة، طريقةً للتحليل المحلي التلقائي. فهي تُؤتمت الجزء اليدوي من عملية التقييم المباشر للصلة، مما يُحسّن أداء استرجاع البيانات للمستخدم دون الحاجة إلى تفاعل مُطوّل. وتتلخص هذه الطريقة في إجراء استرجاع عادي للعثور على مجموعة أولية من أكثر المستندات صلةً، ثم افتراض أن أفضل "k" مستند مُصنّف هي ذات صلة، وأخيرًا إجراء التقييم المباشر للصلة كما في السابق بناءً على هذا الافتراض. الإجراء هو:

1. اعتبر النتائج التي تم إرجاعها بواسطة الاستعلام الأولي نتائج ذات صلة (أفضل k فقط حيث يكون k بين 10 و 50 في معظم التجارب).
2. حدد أفضل 20-30 مصطلحًا (عدد تقريبي) من هذه المستندات باستخدام أوزان tf-idf على سبيل المثال.
3. قم بتوسيع الاستعلام ، وأضف هذه المصطلحات إلى الاستعلام، ثم قم بمطابقة المستندات التي تم إرجاعها لهذا الاستعلام، وأخيراً قم بإرجاع المستندات الأكثر صلة.

تُظهر بعض التجارب، مثل نتائج نظام كورنيل SMART المنشورة في (باكلي وآخرون 1995)، تحسنًا في أداء أنظمة الاسترجاع باستخدام التغذية الراجعة ذات الصلة الزائفة في سياق تجارب TREC 4.

تُحقق هذه التقنية الآلية نتائج جيدة في أغلب الأحيان، وتشير الأدلة إلى أنها تتفوق على التحليل الشامل. ^{[ 6 ]} ومن خلال توسيع نطاق الاستعلام، يُمكن استرجاع بعض الوثائق ذات الصلة التي لم تُكتشف في الجولة الأولى، مما يُحسّن الأداء العام. ومن الواضح أن فعالية هذه الطريقة تعتمد بشكل كبير على جودة مصطلحات التوسيع المُختارة. وقد وُجد أنها تُحسّن الأداء في مهمة TREC المخصصة . إلا أنها لا تخلو من مخاطر العمليات الآلية. فعلى سبيل المثال، إذا كان الاستعلام يدور حول مناجم النحاس، وكانت الوثائق الأولى جميعها تتحدث عن مناجم في تشيلي، فقد ينحرف الاستعلام نحو الوثائق المتعلقة بتشيلي. إضافةً إلى ذلك، إذا كانت الكلمات المُضافة إلى الاستعلام الأصلي غير ذات صلة بموضوع الاستعلام، فمن المُرجّح أن تتدهور جودة الاسترجاع، لا سيما في البحث عبر الإنترنت، حيث تُغطي وثائق الويب غالبًا مواضيع مُتعددة ومُختلفة. لتحسين جودة الكلمات الإضافية في التغذية الراجعة ذات الصلة الزائفة، تم اقتراح نموذج للتغذية الراجعة ذات الصلة الموضعية، حيث يتم اختيار الكلمات التي تركز على موضوع الاستعلام من بين مستندات التغذية الراجعة، وذلك بناءً على مواقع الكلمات في هذه المستندات. ^{[ 7 ]} وبالتحديد، يُعطي نموذج الصلة الموضعية أوزاناً أكبر للكلمات الأقرب إلى كلمات الاستعلام، انطلاقاً من فرضية أن الكلمات الأقرب إلى كلمات الاستعلام غالباً ما تكون مرتبطة بموضوع الاستعلام.

تعمل خاصية التقييم الأعمى على أتمتة الجزء اليدوي من تقييم مدى الصلة، ولها ميزة عدم الحاجة إلى وجود مقيمين.

تُستخدم معلومات الصلة من خلال محتوى المستندات ذات الصلة إما لتعديل أوزان المصطلحات في الاستعلام الأصلي، أو لإضافة كلمات جديدة إليه. وغالبًا ما تُطبَّق هذه المعلومات باستخدام خوارزمية روكيو .

• ملاحظات محاضرة حول أهمية الموضوع - ملاحظات محاضرة جيمي لين، مقتبسة من ملاحظات دوغ أورد
• مؤرشف بتاريخ 16 يوليو 2007 في موقع Wayback Machine - فصل من كتاب استرجاع المعلومات الحديثة
• ستيفان بوتشر، تشارلز إل إيه كلارك، وغوردون في كورماك. استرجاع المعلومات: تنفيذ وتقييم محركات البحث. مؤرشف بتاريخ 5 أكتوبر 2020 على موقع Wayback Machine . مطبعة معهد ماساتشوستس للتكنولوجيا، كامبريدج، ماساتشوستس، 2010.