بحث المؤسسات

عادةً ما يكون نموذج جمع المحتوى (أو "الوعي بالمحتوى") إما نموذج دفع أو نموذج سحب. في نموذج الدفع، يتم دمج نظام المصدر مع محرك البحث بحيث يتصل به ويدفع المحتوى الجديد مباشرةً إلى واجهات برمجة التطبيقات الخاصة به . يُستخدم هذا النموذج عندما يكون الفهرسة في الوقت الفعلي أمرًا بالغ الأهمية. أما في نموذج السحب، فيجمع البرنامج المحتوى من المصادر باستخدام موصل مثل برنامج زحف الويب أو موصل قاعدة البيانات . يقوم هذا الموصل عادةً باستطلاع المصدر على فترات زمنية محددة للبحث عن محتوى جديد أو مُحدَّث أو محذوف. ^{[ 6 ]}

قد تتخذ المحتويات الواردة من مصادر مختلفة تنسيقات أو أنواع مستندات متعددة، مثل XML وHTML وتنسيقات مستندات Office أو النصوص العادية. تقوم مرحلة معالجة المحتوى بتحويل المستندات الواردة إلى نصوص عادية باستخدام مرشحات المستندات. كما يُعدّ توحيد المحتوى ضروريًا في كثير من الأحيان لتحسين الاسترجاع أو الدقة ، وقد يشمل ذلك التجريد ، والتحليل الصرفي ، وتوسيع المرادفات ، واستخراج الكيانات ، وتحديد أجزاء الكلام .

كجزء من عملية المعالجة والتحليل، تُستخدم عملية التجزئة لتقسيم المحتوى إلى رموز ، وهي وحدة المطابقة الأساسية. ومن الشائع أيضًا تحويل الرموز إلى أحرف صغيرة لتوفير بحث غير حساس لحالة الأحرف، بالإضافة إلى توحيد علامات التشكيل لتحسين الاسترجاع.

يُخزَّن النص الناتج في فهرس مُحسَّن لعمليات البحث السريعة دون الحاجة إلى تخزين النص الكامل للمستند. قد يحتوي الفهرس على قاموس بجميع الكلمات الفريدة في المجموعة، بالإضافة إلى معلومات حول ترتيب الكلمات وتكرارها .

باستخدام صفحة ويب، يُصدر المستخدم استعلامًا إلى النظام. يتكون الاستعلام من أي مصطلحات يُدخلها المستخدم بالإضافة إلى إجراءات التنقل مثل تصفية المعلومات وتقسيمها إلى صفحات.

ثم تُقارن الاستعلامات المُعالجة بالفهرس المُخزّن، ويُعيد نظام البحث نتائج (أو "مطابقات") تُشير إلى المستندات المصدرية المُطابقة. وتستطيع بعض الأنظمة عرض المستند كما تم فهرسته.