برنامج زحف الويب

📅 آخر تحديث: ٢١ يوليو ٢٠٢٦
✍️ نُشر في: ٢١ يوليو ٢٠٢٦
📷 يحتوي على 4 صور
الموسوعة الحرة

بنية برنامج زحف الويب

برنامج زحف الويب ، والذي يُطلق عليه أحيانًا اسم العنكبوت أو روبوت العنكبوت ، ويُختصر غالبًا إلى زاحف ، هو برنامج آلي على الإنترنت يتصفح شبكة الويب العالمية بشكل منهجي ، ويتم تشغيله عادةً بواسطة محركات البحث لغرض فهرسة الويب ( زحف الويب ). [ 1 ]

تستخدم محركات البحث على الإنترنت وبعض المواقع الإلكترونية الأخرى برامج الزحف على الويب لتحديث محتواها أو فهارس محتوى المواقع الأخرى. تقوم برامج الزحف بنسخ الصفحات لمعالجتها بواسطة محرك البحث، الذي يقوم بدوره بفهرسة الصفحات التي تم تنزيلها لتمكين المستخدمين من البحث بكفاءة أكبر.

تستهلك برامج الزحف موارد الأنظمة التي تتم زيارتها، وغالبًا ما تزور المواقع دون طلب مسبق. وتبرز مسائل الجدولة والحمل و"السلوك اللائق" عند الوصول إلى مجموعات كبيرة من الصفحات. توجد آليات تُمكّن المواقع العامة التي لا ترغب في أن يتم الزحف إليها من إبلاغ برنامج الزحف بذلك. على سبيل المثال، robots.txtيمكن تضمين ملف لطلب فهرسة أجزاء محددة من موقع الويب فقط، أو عدم فهرسته على الإطلاق.

عدد صفحات الويب هائل للغاية، ولا تقوم محركات البحث بفهرسة جميع محتويات الويب. وقد وجدت دراسات أجريت على محركات البحث في أواخر التسعينيات أن كل محرك منها لم يفهرس سوى جزء ضئيل من الويب القابل للفهرسة آنذاك. [ 2 ] [ 3 ] تستخدم محركات البحث الحديثة أنظمة الزحف والفهرسة والتصنيف لعرض نتائج ذات صلة بسرعة، مع العلم أنه لا يتم الزحف إلى جميع الصفحات أو فهرستها أو عرضها. [ 4 ]

يمكن لبرامج الزحف التحقق من صحة الروابط التشعبية ورموز HTML . كما يمكن استخدامها في استخراج البيانات من مواقع الويب والبرمجة القائمة على البيانات .

التسمية

يُعرف برنامج زحف الويب أيضًا باسم العنكبوت ، [ 5 ] أو النملة ، أو الفهرس التلقائي ، [ 6 ] أو (في سياق برنامج FOAF ) برنامج تقطيع الويب . [ 7 ]

ملخص

يبدأ برنامج زحف الويب بقائمة عناوين URL لزيارتها. تُسمى هذه العناوين الأولى " البذور" . أثناء زيارة البرنامج لهذه العناوين، ومن خلال التواصل مع خوادم الويب التي تستجيب لها، يُحدد جميع الروابط التشعبية في صفحات الويب المُسترجعة ويُضيفها إلى قائمة عناوين URL المراد زيارتها، والتي تُسمى " حدود الزحف" . تتم زيارة عناوين URL من "الحدود" بشكل متكرر وفقًا لمجموعة من السياسات. إذا كان البرنامج يقوم بأرشفة مواقع الويب (أو أرشفة الويب )، فإنه ينسخ المعلومات ويحفظها أثناء عمله. عادةً ما تُخزن الأرشيفات بطريقة تُمكّن من عرضها وقراءتها والتنقل فيها كما لو كانت على الويب المباشر، ولكنها تُحفظ على شكل "لقطات". [ 8 ]

يشير حجم البيانات الكبير إلى أن برنامج الزحف لا يستطيع تنزيل سوى عدد محدود من صفحات الويب خلال فترة زمنية محددة، لذا فهو بحاجة إلى تحديد أولويات التنزيلات. وقد يشير معدل التغيير المرتفع إلى أن الصفحات ربما تكون قد تم تحديثها أو حتى حذفها.

أدى العدد الهائل من عناوين URL التي يُنشئها برنامج الخادم إلى صعوبة تجنب برامج الزحف على الويب لاسترجاع المحتوى المكرر . توجد توليفات لا حصر لها من معلمات HTTP GET (المستندة إلى عنوان URL)، ولا يُعيد منها سوى عدد قليل محتوىً فريدًا. على سبيل المثال، قد يُقدّم معرض صور بسيط على الإنترنت ثلاثة خيارات للمستخدمين، كما هو مُحدد من خلال معلمات HTTP GET في عنوان URL. إذا كانت هناك أربع طرق لفرز الصور، وثلاثة خيارات لحجم الصور المصغرة ، وتنسيقان للملفات، وخيار لتعطيل المحتوى الذي يُضيفه المستخدم، فإنه يُمكن الوصول إلى نفس مجموعة المحتوى باستخدام 48 عنوان URL مختلفًا، جميعها قد تكون مرتبطة بالموقع. تُشكّل هذه التوليفات الرياضية مشكلة لبرامج الزحف، إذ يتعين عليها فرز توليفات لا حصر لها من التغييرات البرمجية البسيطة نسبيًا لاسترجاع المحتوى الفريد.

كما أشار إدواردز وآخرون ، "بالنظر إلى أن عرض النطاق الترددي لإجراء عمليات الزحف ليس غير محدود ولا مجاني، فإنه أصبح من الضروري زحف الويب ليس فقط بطريقة قابلة للتوسع، ولكن أيضًا بطريقة فعالة، إذا أردنا الحفاظ على قدر معقول من الجودة أو الحداثة." [ 9 ] يجب على برنامج الزحف أن يختار بعناية في كل خطوة الصفحات التي سيزورها بعد ذلك.

سياسة الزحف

إن سلوك برنامج زحف الويب هو نتيجة لمجموعة من السياسات: [ 10 ]

  • سياسة اختيار تحدد الصفحات المراد تنزيلها
  • سياسة إعادة الزيارة التي تحدد متى يتم التحقق من وجود تغييرات في الصفحات
  • سياسة أدب توضح كيفية تجنب إثقال المواقع الإلكترونية.
  • سياسة التوازي التي تحدد كيفية تنسيق برامج زحف الويب الموزعة

سياسة الاختيار

بالنظر إلى حجم الإنترنت الحالي، فإن محركات البحث الكبيرة لا تغطي سوى جزء من المحتوى المتاح للعموم. فقد أظهرت دراسة أجريت عام ٢٠٠٩ أن محركات البحث واسعة النطاق لا تفهرس أكثر من ٤٠-٧٠٪ من صفحات الإنترنت القابلة للفهرسة؛ [ ١١ ] كما أظهرت دراسة سابقة أجراها ستيف لورانس ولي جايلز أن أي محرك بحث لم يفهرس أكثر من ١٦٪ من الإنترنت عام ١٩٩٩. [ ١٢ ] ولأن برامج الزحف لا تُنزّل إلا جزءًا صغيرًا من صفحات الإنترنت ، فمن المستحسن أن يحتوي هذا الجزء المُنزّل على الصفحات الأكثر صلةً بالموضوع، وليس مجرد عينة عشوائية من الإنترنت.

يتطلب هذا معيارًا للأهمية لتحديد أولويات صفحات الويب. وتعتمد أهمية الصفحة على جودتها الجوهرية ، وشعبيتها من حيث الروابط أو الزيارات، وحتى على عنوان URL الخاص بها (وهذا الأخير ينطبق على محركات البحث المتخصصة التي تقتصر على نطاق رئيسي واحد ، أو محركات البحث التي تقتصر على موقع ويب ثابت). ويواجه تصميم سياسة اختيار جيدة صعوبة إضافية، إذ يجب أن تعمل بمعلومات جزئية، لأن مجموعة صفحات الويب الكاملة غير معروفة أثناء عملية الزحف.

أجرى جونغ هو تشو وزملاؤه أول دراسة حول سياسات جدولة الزحف. شملت بياناتهم زحفًا لـ 180,000 صفحة من stanford.eduنطاق معين، حيث تم إجراء محاكاة للزحف باستخدام استراتيجيات مختلفة. [ 13 ] تضمنت مقاييس الترتيب التي تم اختبارها: البحث بالعرض أولًا ، وعدد الروابط الخلفية ، وحسابات PageRank الجزئية . كان من بين الاستنتاجات أنه إذا أراد برنامج الزحف تنزيل الصفحات ذات PageRank العالية في وقت مبكر من عملية الزحف، فإن استراتيجية PageRank الجزئية هي الأفضل، تليها البحث بالعرض أولًا، ثم عدد الروابط الخلفية. مع ذلك، فإن هذه النتائج خاصة بنطاق واحد فقط. كما كتب تشو أطروحته للدكتوراه في جامعة ستانفورد حول زحف الويب. [ 14 ]

أجرى مارك ناجورك وجانيت وينر عملية زحف فعلية على 328 مليون صفحة، باستخدام خوارزمية البحث بالعرض أولاً. [ 15 ] ووجدا أن خوارزمية البحث بالعرض أولاً تلتقط الصفحات ذات ترتيب الصفحات العالي في وقت مبكر من عملية الزحف (لكنهما لم يقارنا هذه الاستراتيجية باستراتيجيات أخرى). ويُعزى هذا إلى أن "أهم الصفحات تحتوي على العديد من الروابط من مواقع استضافة متعددة، وسيتم العثور على هذه الروابط مبكراً، بغض النظر عن موقع الاستضافة أو الصفحة التي يبدأ منها الزحف".

صمّم أبيتبول استراتيجية زحف تعتمد على خوارزمية تُسمى OPIC (حساب أهمية الصفحة على الإنترنت). [ 16 ] في OPIC، تُمنح كل صفحة مبلغًا أوليًا من "القيمة" يُوزّع بالتساوي بين الصفحات التي تُشير إليها. وهي تُشبه حساب PageRank، لكنها أسرع وتُنفّذ في خطوة واحدة فقط. يقوم برنامج الزحف المُعتمد على OPIC بتحميل الصفحات ذات القيمة الأعلى أولًا في حدود الزحف. أُجريت التجارب على رسم بياني اصطناعي مُكوّن من 100,000 صفحة بتوزيع أسي للروابط الواردة. مع ذلك، لم تُجرَ أي مقارنة مع استراتيجيات أخرى أو تجارب على الويب الحقيقي.

استخدم بولدي وزملاؤه المحاكاة على مجموعات فرعية من الويب تضم 40 مليون صفحة من .itالنطاق و100 مليون صفحة من قاعدة بيانات WebBase، لاختبار خوارزمية البحث بالعرض أولاً مقابل البحث بالعمق أولاً، والترتيب العشوائي، واستراتيجية التصفح الشامل. استندت المقارنة إلى مدى دقة حساب PageRank على جزء من الزحف في تقريب قيمة PageRank الحقيقية. بعض الزيارات التي تُراكم PageRank بسرعة كبيرة (وأبرزها البحث بالعرض أولاً والزيارة الشاملة) تُقدم تقريبات تدريجية ضعيفة للغاية. [ 17 ] [ 18 ]

استخدم بايزا-ياتس وآخرون المحاكاة على مجموعتين فرعيتين من الويب تضم كل منهما 3 ملايين صفحة من .grنطاقي [19] و[19] .cl، لاختبار عدة استراتيجيات للزحف. [ 19 ] وأظهروا أن كلاً من استراتيجية OPIC واستراتيجية تستخدم طول قوائم الانتظار لكل موقع أفضل من الزحف بالعرض أولاً ، وأن استخدام عملية زحف سابقة، عند توفرها، لتوجيه عملية الزحف الحالية فعال للغاية أيضاً.

قام دانيشباجوه وآخرون بتصميم خوارزمية مجتمعية لاكتشاف البذور الجيدة. [ 20 ] تقوم طريقتهم بفهرسة صفحات الويب ذات ترتيب الصفحات العالي من مجتمعات مختلفة بعدد أقل من التكرارات مقارنةً بالفهرسة التي تبدأ من بذور عشوائية. يمكن استخراج بذور جيدة من رسم بياني للويب تم فهرسته مسبقًا باستخدام هذه الطريقة الجديدة. وباستخدام هذه البذور، يمكن أن تكون عملية الفهرسة الجديدة فعالة للغاية.

قد يرغب برنامج الزحف في البحث عن صفحات HTML فقط وتجنب جميع أنواع MIME الأخرى . ولطلب موارد HTML فقط، قد يُرسل برنامج الزحف طلب HTTP HEAD لتحديد نوع MIME لمورد الويب قبل طلب المورد بالكامل باستخدام طلب GET. ولتجنب إرسال العديد من طلبات HEAD، قد يفحص برنامج الزحف عنوان URL ويطلب المورد فقط إذا انتهى عنوان URL بأحرف معينة مثل .html، .htm، .asp، .aspx، .php، .jsp، .jspx أو شرطة مائلة. قد تؤدي هذه الاستراتيجية إلى تخطي العديد من موارد الويب HTML دون قصد.

قد تتجنب بعض برامج الزحف طلب أي موارد تحتوي على علامة استفهام (؟) (أي يتم إنشاؤها ديناميكيًا) لتجنب الوقوع في فخاخ الزحف التي قد تتسبب في تنزيل عدد لا نهائي من عناوين URL من موقع ويب. لكن هذه الاستراتيجية غير موثوقة إذا كان الموقع يستخدم إعادة كتابة عناوين URL لتبسيطها.

يمكن لأصحاب المواقع الإلكترونية توجيه برامج الزحف بشأن الموارد المسموح لها والممنوعة من طلبها باستخدام ملف robots.txt . وبذلك، تستطيع برامج الزحف استخدام هذه المعلومات لاختيار الروابط التي يجب تتبعها وتلك التي يجب تجنبها.

توحيد عناوين URL

تُجري برامج الزحف عادةً نوعًا من توحيد عناوين URL لتجنب الزحف إلى المورد نفسه أكثر من مرة. يُشير مصطلح توحيد عناوين URL ، أو ما يُسمى أيضًا بتوحيد عناوين URL ، إلى عملية تعديل عنوان URL وتوحيده بطريقة متسقة. هناك عدة أنواع من التوحيد التي يُمكن إجراؤها، بما في ذلك تحويل عناوين URL إلى أحرف صغيرة، وإزالة مقاطع "." و ".."، وإضافة شرطات مائلة في نهاية مسار الرابط غير الفارغ. [ 21 ]

الزحف الصاعد على طول المسار

تهدف بعض برامج الزحف إلى تنزيل/تحميل أكبر قدر ممكن من الموارد من موقع ويب معين. لذا، تم استحداث برنامج زحف تصاعدي المسار ، والذي يتتبع كل مسار في كل عنوان URL ينوي الزحف إليه. [ 22 ] على سبيل المثال، عند إعطائه عنوان URL أوليًا مثل http://llama.org/hamster/monkey/page.html ، سيحاول الزحف إلى /hamster/monkey/ و/hamster/ و/. وقد وجد الباحثون أن برنامج الزحف التصاعدي المسار فعال للغاية في العثور على الموارد المعزولة، أو الموارد التي لا يمكن العثور على أي رابط وارد لها في الزحف العادي.

الزحف المركز

يمكن التعبير عن أهمية صفحة ما بالنسبة لبرنامج الزحف كدالة لمدى تشابهها مع استعلام معين. تُسمى برامج زحف الويب التي تحاول تنزيل صفحات متشابهة ببرامج الزحف المركزة أو برامج الزحف الموضوعية . وقد طُرح مفهوما الزحف الموضوعي والمركز لأول مرة من قِبل فيليبو مينتزر [ 23 ] [ 24 ] وسومين تشاكرابارتي وآخرون [ 25 ].

تكمن المشكلة الرئيسية في الزحف المُركّز في أننا، في سياق برنامج زحف الويب، نرغب في التنبؤ بمدى تشابه نص صفحة معينة مع الاستعلام قبل تنزيل الصفحة فعليًا. يُعدّ نص الرابط أحد المؤشرات الممكنة؛ وهو النهج الذي اتبعه بينكرتون [ 26 ] في أول برنامج زحف ويب في بدايات الإنترنت. يقترح ديليجنتي وآخرون [ 27 ] استخدام المحتوى الكامل للصفحات التي تمت زيارتها بالفعل لاستنتاج مدى التشابه بين الاستعلام الأساسي والصفحات التي لم تتم زيارتها بعد. يعتمد أداء الزحف المُركّز بشكل أساسي على وفرة الروابط المتعلقة بالموضوع المحدد الذي يتم البحث عنه، وعادةً ما يعتمد على محرك بحث ويب عام لتوفير نقاط البداية.

زاحف أكاديمي التركيز

من أمثلة برامج الزحف المتخصصة برامج الزحف الأكاديمية، التي تزحف إلى الوثائق الأكاديمية المتاحة مجانًا، مثل برنامج CiteSeerXbot ، وهو برنامج الزحف الخاص بمحرك البحث CiteSeer X. ومن محركات البحث الأكاديمية الأخرى Google Scholar و Microsoft Academic Search . ولأن معظم الأوراق الأكاديمية تُنشر بصيغة PDF ، فإن هذا النوع من برامج الزحف يهتم بشكل خاص بزحف ملفات PDF و PostScript و Microsoft Word ، بما في ذلك ملفاتها المضغوطة . ولهذا السبب، يجب تخصيص برامج الزحف العامة مفتوحة المصدر، مثل Heritrix ، لتصفية أنواع MIME الأخرى ، أو استخدام برنامج وسيط لاستخراج هذه الوثائق واستيرادها إلى قاعدة بيانات الزحف المتخصصة ومستودعها. [ 28 ] يُعد تحديد ما إذا كانت هذه الوثائق أكاديمية أم لا أمرًا صعبًا، وقد يُضيف عبئًا كبيرًا على عملية الزحف، لذا يتم ذلك كعملية لاحقة باستخدام خوارزميات التعلم الآلي أو التعبيرات النمطية . وعادةً ما تُستقى هذه الوثائق الأكاديمية من الصفحات الرئيسية لأعضاء هيئة التدريس والطلاب، أو من صفحات منشورات معاهد البحوث. نظرًا لأن الوثائق الأكاديمية لا تشكل سوى نسبة ضئيلة من صفحات الويب، فإن اختيار البذور المناسبة يُعدّ أمرًا بالغ الأهمية لتعزيز كفاءة برامج زحف الويب. [ 29 ] قد تقوم برامج زحف أكاديمية أخرى بتنزيل ملفات نصية عادية وملفات HTML تحتوي على بيانات وصفية للأوراق الأكاديمية، مثل العناوين والأوراق والمُلخصات. وهذا يزيد من العدد الإجمالي للأوراق، ولكن قد لا يُتيح جزء كبير منها تنزيل ملفات PDF مجانًا.

برنامج زحف يركز على الدلالات

يُعدّ الزاحف الدلالي نوعًا آخر من الزواحف المتخصصة، إذ يستخدم أنطولوجيات المجال لتمثيل الخرائط الموضوعية وربط صفحات الويب بالمفاهيم الأنطولوجية ذات الصلة لأغراض الاختيار والتصنيف. [ 30 ] إضافةً إلى ذلك، يمكن تحديث الأنطولوجيات تلقائيًا أثناء عملية الزحف. وقد قدّم دونغ وآخرون [ 31 ] زاحفًا قائمًا على تعلّم الأنطولوجيا باستخدام آلة المتجهات الداعمة لتحديث محتوى المفاهيم الأنطولوجية عند زحف صفحات الويب.

إعادة النظر في السياسة

يتميز الإنترنت بطبيعته الديناميكية للغاية، وقد يستغرق مسح جزء صغير منه أسابيع أو شهورًا. وبحلول الوقت الذي ينتهي فيه برنامج زحف الويب من عملية المسح، قد تكون العديد من الأحداث قد وقعت، بما في ذلك عمليات الإنشاء والتحديث والحذف.

من وجهة نظر محرك البحث، ثمة تكلفة مرتبطة بعدم اكتشاف حدث ما، وبالتالي وجود نسخة قديمة من المورد. وأكثر دوال التكلفة استخداماً هي الحداثة والقدم. [ 32 ]

الحداثة : هذا مقياس ثنائي يشير إلى ما إذا كانت النسخة المحلية دقيقة أم لا. تُعرَّف حداثة الصفحة p في المستودع في الوقت t على النحو التالي:

Fص(ت)={1أناو ص  أناs هـquأل تo تحهـ لoجأل جoصy أت تأنامهـ ت0oتحهـرwأناsهـ{\displaystyle F_{p}(t)={\begin{cases}1&{\rm {if}}~p~{\rm {~is~equal~to~the~local~copy~at~time}}~t\\0&{\rm {otherwise}}\end{cases}}}

العمر : هو مقياس يشير إلى مدى تقادم النسخة المحلية. يُعرَّف عمر الصفحة p في المستودع، في الوقت t، على النحو التالي:

أص(ت)={0أناو ص  أناs نoت مoدأناوأناهـد أت تأنامهـ تت-مoدأناوأناجأتأناoن تأنامهـ oو صoتحهـرwأناsهـ{\displaystyle A_{p}(t)={\begin{cases}0&{\rm {if}}~p~{\rm {~is~not~modified~at~time}}~t\\t-{\rm {modification~time~of}}~p&{\rm {otherwise}}\end{cases}}}

عمل كوفمان وزملاؤه على تعريف لهدف برنامج زحف الويب يُعادل مفهوم التحديث، ولكن بصياغة مختلفة: إذ يقترحون أن يُقلل برنامج الزحف من نسبة الوقت الذي تبقى فيه الصفحات قديمة. كما لاحظوا أن مشكلة زحف الويب يُمكن نمذجتها كنظام استطلاع متعدد الطوابير بخادم واحد، حيث يُمثل برنامج الزحف الخادم، ومواقع الويب الطوابير. وتُمثل تعديلات الصفحات وصول الزوار، بينما تُمثل أوقات التبديل الفاصل الزمني بين الوصول إلى صفحة واحدة في موقع ويب واحد. وبموجب هذا النموذج، يُعادل متوسط ​​وقت انتظار الزائر في نظام الاستطلاع متوسط ​​عمر برنامج زحف الويب. [ 33 ]

يهدف برنامج الزحف إلى الحفاظ على أعلى معدل حداثة ممكن للصفحات في مجموعته، أو إلى تقليل متوسط ​​عمر الصفحات قدر الإمكان. هذان الهدفان ليسا متطابقين: ففي الحالة الأولى، يهتم برنامج الزحف بعدد الصفحات القديمة فقط، بينما في الحالة الثانية، يهتم بعمر النسخ المحلية للصفحات.

تطور مفهومي النضارة والعمر في برامج زحف الويب

تمت دراسة سياستين بسيطتين لإعادة النظر من قبل تشو وغارسيا مولينا: [ 34 ]

  • سياسة موحدة: وهذا يتضمن إعادة زيارة جميع الصفحات في المجموعة بنفس التواتر، بغض النظر عن معدلات التغيير فيها.
  • سياسة التناسب: تتضمن هذه السياسة إعادة زيارة الصفحات التي تتغير بوتيرة أسرع. تتناسب وتيرة الزيارة طرديًا مع وتيرة التغيير (المُقدَّرة).

في كلتا الحالتين، يمكن إجراء ترتيب الزحف المتكرر للصفحات إما بترتيب عشوائي أو بترتيب ثابت.

أثبت تشو وغارسيا-مولينا نتيجةً مفاجئةً مفادها أن السياسة الموحدة تتفوق على السياسة النسبية من حيث متوسط ​​حداثة المحتوى، وذلك في كلٍّ من بيئة الويب المحاكاة وبيئة الويب الحقيقية. ويُعزى ذلك، بشكلٍ بديهي، إلى أن برامج زحف الويب محدودةٌ في عدد الصفحات التي يمكنها زحفها خلال فترة زمنية محددة، مما يؤدي إلى: (1) تخصيص عددٍ كبيرٍ من عمليات الزحف الجديدة للصفحات سريعة التغير على حساب الصفحات الأقل تحديثًا، و(2) أن حداثة الصفحات سريعة التغير تدوم لفترةٍ أقصر من حداثة الصفحات الأقل تحديثًا. وبعبارةٍ أخرى، تُخصص السياسة النسبية مواردَ أكثر لزحف الصفحات التي تُحدَّث باستمرار، ولكنها تُقلل من مدة حداثة المحتوى الإجمالية لهذه الصفحات.

لتحسين حداثة المحتوى، ينبغي على برنامج الزحف معاقبة العناصر التي تتغير بشكل متكرر. [ 35 ] إن سياسة إعادة الزيارة المثلى ليست السياسة الموحدة ولا السياسة النسبية. تتضمن الطريقة المثلى للحفاظ على متوسط ​​حداثة مرتفع تجاهل الصفحات التي تتغير بشكل متكرر، بينما تتمثل الطريقة المثلى للحفاظ على متوسط ​​عمر منخفض في استخدام ترددات وصول تزداد بشكل رتيب (وشبه خطي) مع معدل تغير كل صفحة. في كلتا الحالتين، تكون الطريقة المثلى أقرب إلى السياسة الموحدة منها إلى السياسة النسبية: كما يشير كوفمان وآخرون ، "لتقليل وقت التقادم المتوقع، يجب أن تكون عمليات الوصول إلى أي صفحة معينة متباعدة بشكل متساوٍ قدر الإمكان". [ 33 ] لا يمكن الحصول على صيغ صريحة لسياسة إعادة الزيارة بشكل عام، ولكن يتم الحصول عليها عدديًا، لأنها تعتمد على توزيع تغييرات الصفحات. يوضح تشو وغارسيا-مولينا أن التوزيع الأسي مناسب لوصف تغييرات الصفحات، [ 35 ] بينما يوضح إيبيروتيس وآخرون... بيّن كيفية استخدام الأدوات الإحصائية لاكتشاف المعايير التي تؤثر على هذا التوزيع. [ 36 ] تعتبر سياسات إعادة الزيارة المذكورة هنا جميع الصفحات متجانسة من حيث الجودة ("جميع صفحات الويب متساوية القيمة")، وهو أمر غير واقعي، لذا ينبغي تضمين معلومات إضافية حول جودة صفحات الويب لتحقيق سياسة زحف أفضل.

سياسة اللباقة

تستطيع برامج الزحف استرجاع البيانات بسرعة أكبر وعمق أوسع من الباحثين البشريين، مما قد يؤثر سلبًا على أداء الموقع. فإذا كان برنامج زحف واحد يُجري عدة طلبات في الثانية الواحدة و/أو يُنزّل ملفات كبيرة، فقد يواجه الخادم صعوبة في تلبية طلبات برامج الزحف المتعددة.

كما أشار كوستر، فإن استخدام برامج زحف الويب مفيد لعدد من المهام، ولكنه يأتي بتكلفة على المجتمع العلمي عمومًا. [ 37 ] تشمل تكاليف استخدام برامج زحف الويب ما يلي:

  • موارد الشبكة، حيث تتطلب برامج الزحف نطاقًا تردديًا كبيرًا وتعمل بدرجة عالية من التوازي خلال فترة زمنية طويلة؛
  • زيادة تحميل الخادم، خاصة إذا كان معدل الوصول إلى خادم معين مرتفعًا للغاية؛
  • برامج الزحف المصممة بشكل سيئ، والتي قد تتسبب في تعطل الخوادم أو أجهزة التوجيه، أو التي تقوم بتنزيل صفحات لا يمكنها التعامل معها؛ و
  • برامج الزحف الشخصية التي، إذا تم نشرها من قبل عدد كبير جدًا من المستخدمين، يمكن أن تعطل الشبكات وخوادم الويب.

يُعدّ بروتوكول استبعاد الروبوتات ، المعروف أيضًا ببروتوكول robots.txt، حلاً جزئيًا لهذه المشاكل، وهو معيارٌ يُتيح للمسؤولين تحديد أجزاء خوادم الويب التي لا ينبغي لبرامج الزحف الوصول إليها. [ 38 ] لا يتضمن هذا المعيار اقتراحًا بشأن الفترة الزمنية بين زيارات الخادم نفسه، على الرغم من أن هذه الفترة هي الطريقة الأكثر فعالية لتجنب تحميل الخادم فوق طاقته. مؤخرًا، أصبحت محركات البحث التجارية مثل جوجل ، وآسك جيفز ، وإم إس إن، وياهو! سيرش، قادرة على استخدام مُعامل إضافي "Crawl-delay:" في ملف robots.txt لتحديد عدد الثواني التي يجب تأخيرها بين الطلبات .

كان الفاصل الزمني المقترح الأول بين تحميل الصفحات المتتالية 60 ثانية. [ 39 ] ومع ذلك، إذا تم تنزيل الصفحات بهذا المعدل من موقع ويب يحتوي على أكثر من 100,000 صفحة عبر اتصال مثالي بدون زمن استجابة ونطاق ترددي غير محدود، فسيستغرق تنزيل هذا الموقع بأكمله أكثر من شهرين؛ كما سيتم استخدام جزء صغير فقط من موارد خادم الويب هذا.

يستخدم تشو فاصلًا زمنيًا قدره 10 ثوانٍ للوصول، [ 34 ] ويستخدم برنامج WIRE للزحف 15 ثانية كقيمة افتراضية. [ 40 ] يتبع برنامج MercatorWeb للزحف سياسة أدب تكيفية: إذا استغرق تنزيل مستند من خادم معين t ثانية، ينتظر البرنامج 10t ثانية قبل تنزيل الصفحة التالية. [ 41 ] يستخدم ديل وآخرون ثانية واحدة. [ 42 ]

بالنسبة لمن يستخدمون برامج زحف الويب لأغراض البحث، يلزم إجراء تحليل أكثر تفصيلاً للتكلفة والفوائد، وينبغي مراعاة الاعتبارات الأخلاقية عند تحديد أماكن الزحف وسرعته. [ 43 ]

تشير الأدلة غير الرسمية المستقاة من سجلات الوصول إلى أن فترات الوصول من برامج الزحف المعروفة تتراوح بين 20 ثانية و3-4 دقائق. ومن الجدير بالذكر أنه حتى مع اتباع أقصى درجات اللباقة واتخاذ جميع التدابير الوقائية لتجنب إرهاق خوادم الويب، لا تزال بعض الشكاوى ترد من مديري خوادم الويب. وقد أشار سيرجي برين ولاري بيج في عام 1998 إلى أن "تشغيل برنامج زحف يتصل بأكثر من نصف مليون خادم ... يُولّد كمية لا بأس بها من رسائل البريد الإلكتروني والمكالمات الهاتفية. ونظرًا للعدد الهائل من مستخدمي الإنترنت، يوجد دائمًا من لا يعرفون ما هو برنامج الزحف، لأنه أول برنامج من نوعه يرونه." [ 44 ]

سياسة التوازي

الزاحف المتوازي هو برنامج زحف يُشغّل عدة عمليات بالتوازي. والهدف منه هو زيادة سرعة التنزيل إلى أقصى حد مع تقليل الحمل الزائد الناتج عن التوازي، وتجنب تنزيل الصفحة نفسها أكثر من مرة. ولتجنب تنزيل الصفحة نفسها أكثر من مرة، يتطلب نظام الزحف سياسةً لتخصيص عناوين URL الجديدة المكتشفة أثناء عملية الزحف، إذ قد يعثر برنامجان مختلفان على عنوان URL نفسه.

الهندسة المعمارية

بنية عالية المستوى لبرنامج زحف الويب القياسي

لا يجب أن يمتلك برنامج الزحف استراتيجية زحف جيدة فحسب، كما هو مذكور في الأقسام السابقة، بل يجب أن يمتلك أيضًا بنية محسّنة للغاية.

وأشار شكابينيوك وسويل إلى ما يلي: [ 45 ]

في حين أنه من السهل إلى حد ما بناء برنامج زحف بطيء يقوم بتنزيل بضع صفحات في الثانية لفترة قصيرة من الزمن، فإن بناء نظام عالي الأداء يمكنه تنزيل مئات الملايين من الصفحات على مدى عدة أسابيع يطرح عددًا من التحديات في تصميم النظام، وكفاءة الإدخال/الإخراج والشبكة، والمتانة والإدارة.

تُعدّ برامج زحف الويب جزءًا أساسيًا من محركات البحث، وتُعتبر تفاصيل خوارزمياتها وبنيتها من أسرار العمل. عند نشر تصميمات هذه البرامج، غالبًا ما يكون هناك نقص كبير في التفاصيل، مما يمنع الآخرين من إعادة إنتاج العمل. كما تبرز مخاوف متزايدة بشأن " البريد العشوائي لمحركات البحث "، مما يمنع محركات البحث الرئيسية من نشر خوارزميات ترتيب نتائج البحث الخاصة بها.

حماية

في حين أن معظم أصحاب المواقع الإلكترونية حريصون على فهرسة صفحاتهم على أوسع نطاق ممكن للحصول على حضور قوي في محركات البحث ، إلا أن الزحف على الويب يمكن أن يكون له عواقب غير مقصودة ويؤدي إلى اختراق أو خرق للبيانات إذا قام محرك البحث بفهرسة موارد لا ينبغي أن تكون متاحة للجمهور، أو صفحات تكشف عن إصدارات برامج يحتمل أن تكون عرضة للاختراق.

بصرف النظر عن توصيات أمان تطبيقات الويب القياسية ، يمكن لأصحاب المواقع الإلكترونية تقليل تعرضهم للاختراق الانتهازي من خلال السماح لمحركات البحث بفهرسة الأجزاء العامة من مواقعهم الإلكترونية فقط (باستخدام robots.txt ) ومنعها صراحة من فهرسة الأجزاء المتعلقة بالمعاملات (صفحات تسجيل الدخول، والصفحات الخاصة، وما إلى ذلك).

تحديد هوية الزاحف

تُعرّف برامج زحف الويب نفسها عادةً لخادم الويب باستخدام حقل "وكيل المستخدم" في طلب HTTP . ويقوم مديرو مواقع الويب عادةً بفحص سجلات خوادمهم ، مستخدمين حقل "وكيل المستخدم" لتحديد برامج الزحف التي زارت الخادم وعدد مرات الزيارة. وقد يتضمن حقل "وكيل المستخدم" عنوان URL يُمكن من خلاله لمدير الموقع الحصول على مزيد من المعلومات حول برنامج الزحف. ونظرًا لأن فحص سجلات خادم الويب مهمة شاقة، يستخدم بعض المديرين أدوات لتحديد برامج زحف الويب وتتبعها والتحقق منها. ومن غير المرجح أن تضع برامج البريد العشوائي (Spampbots) وغيرها من برامج زحف الويب الخبيثة معلومات تعريفية في حقل "وكيل المستخدم"، أو قد تُخفي هويتها كمتصفح أو برنامج زحف معروف.

يفضل مديرو المواقع الإلكترونية أن تُعرّف برامج الزحف نفسها حتى يتمكنوا من التواصل مع مالك الموقع عند الحاجة. في بعض الحالات، قد تقع برامج الزحف عن طريق الخطأ في فخّ الزحف ، أو قد تُثقل خادم الويب بطلبات كثيرة، مما يستدعي إيقافها. كما يُفيد تعريف البرنامج المديرين الراغبين في معرفة موعد فهرسة صفحات مواقعهم بواسطة محرك بحث مُحدد .

الزحف في الشبكة العميقة

يوجد عدد هائل من صفحات الويب في الويب العميق أو غير المرئي . [ 46 ] لا يمكن الوصول إلى هذه الصفحات عادةً إلا من خلال إرسال استعلامات إلى قاعدة بيانات، ولا تستطيع برامج الزحف العادية العثور عليها إذا لم تكن هناك روابط تشير إليها. يهدف بروتوكول خرائط المواقع من جوجل و modoai [ 47 ] إلى تمكين اكتشاف موارد الويب العميق هذه .

يؤدي الزحف العميق للويب إلى زيادة عدد الروابط التي يتم الزحف إليها. بعض برامج الزحف لا تأخذ سوى بعض عناوين URL . في بعض الحالات، مثل Googlebot ، يتم الزحف على جميع النصوص الموجودة داخل محتوى النص التشعبي أو الوسوم أو النصوص.<a href="URL">

يمكن اتباع مناهج استراتيجية لاستهداف محتوى الويب العميق. باستخدام تقنية تُسمى " استخراج البيانات من الشاشة" ، يُمكن تخصيص برامج متخصصة للاستعلام تلقائيًا وبشكل متكرر عن نموذج ويب معين بهدف تجميع البيانات الناتجة. يُمكن استخدام هذه البرامج لربط نماذج ويب متعددة عبر مواقع ويب مختلفة. يُمكن أخذ البيانات المستخرجة من نتائج إرسال نموذج ويب واحد وتطبيقها كمدخلات لنموذج ويب آخر، مما يُرسي استمرارية عبر الويب العميق بطريقة غير ممكنة باستخدام برامج زحف الويب التقليدية. [ 48 ]

تُعدّ الصفحات المبنية بتقنية AJAX من بين الصفحات التي تُسبّب مشاكل لبرامج زحف الويب. وقد اقترحت جوجل صيغةً لطلبات AJAX يمكن لبرنامجها الآلي التعرّف عليها وفهرستها. [ 49 ]

برامج الزحف المرئية مقابل برامج الزحف البرمجية

تتوفر على الإنترنت العديد من منتجات "الزحف المرئي" التي تقوم بفهرسة الصفحات وتنظيم البيانات في أعمدة وصفوف بناءً على متطلبات المستخدم. أحد الفروق الرئيسية بين الزحف التقليدي والزحف المرئي هو مستوى مهارات البرمجة المطلوبة لإعداد الزحف. يُغني الجيل الأحدث من "الزحف المرئي" عن معظم مهارات البرمجة اللازمة لبرمجة عملية الزحف وبدء استخراج بيانات الويب.

تعتمد طريقة الزحف المرئي على قيام المستخدم بتدريب برنامج زحف، والذي بدوره يتبع أنماطًا في مصادر البيانات شبه المهيكلة. وتتمثل الطريقة الشائعة لتدريب برنامج الزحف المرئي في تحديد البيانات في المتصفح وتدريب الأعمدة والصفوف. ورغم أن هذه التقنية ليست جديدة، فقد كانت أساسًا لمنصة Needlebase التي استحوذت عليها جوجل (كجزء من صفقة استحواذ أكبر على ITA Labs [ 50 ] )، إلا أن هناك نموًا مستمرًا واستثمارات متزايدة في هذا المجال من قبل المستثمرين والمستخدمين النهائيين.

قائمة برامج زحف الويب

فيما يلي قائمة بهياكل برامج الزحف المنشورة لبرامج الزحف العامة (باستثناء برامج الزحف المتخصصة)، مع وصف موجز يتضمن الأسماء المعطاة للمكونات المختلفة والميزات البارزة:

برامج زحف الويب التاريخية

  • كان WolfBot عبارة عن زاحف متعدد الخيوط بشكل هائل تم بناؤه في عام 2001 بواسطة ماني سينغ، وهو خريج هندسة مدنية من جامعة كاليفورنيا في ديفيس.
  • كان برنامج World Wide Web Worm عبارة عن برنامج زحف يُستخدم لإنشاء فهرس بسيط لعناوين المستندات وعناوين URL. ويمكن البحث في هذا الفهرس باستخدام أمر grepUnix .
  • كان اسم برنامج الزحف على الويب الخاص بـ Yahoo! هو Slurp حتى تعاقدت Yahoo! مع Microsoft لاستخدام Bingbot بدلاً من ذلك.

برامج زحف الويب الداخلية

  • Applebot هو برنامج زحف الويب الخاص بشركة Apple . وهو يدعم Siri ومنتجات أخرى. [ 51 ]
  • Bingbot هو اسم برنامج زحف الويب Bing التابع لشركة مايكروسوفت . وقد حل محل Msnbot .
  • بايدو سبايدر هو برنامج زحف الويب الخاص بشركة بايدو .
  • DuckDuckBot هو برنامج زحف الويب الخاص بمحرك بحث DuckDuckGo .
  • يُشرح برنامج Googlebot بتفصيلٍ ما، لكن المرجع يقتصر على نسخةٍ مبكرةٍ من بنيته، والتي كُتبت بلغة C++ وبايثون . دُمج برنامج الزحف مع عملية الفهرسة، إذ كان تحليل النصوص يُستخدم لفهرسة النصوص الكاملة واستخراج عناوين URL. يوجد خادم عناوين URL يُرسل قوائم عناوين URL ليتم جلبها بواسطة عدة عمليات زحف. أثناء التحليل، تُمرر عناوين URL التي تم العثور عليها إلى خادم عناوين URL الذي يتحقق مما إذا كان قد تم عرضها مسبقًا. إذا لم يكن الأمر كذلك، يُضاف عنوان URL إلى قائمة انتظار خادم عناوين URL.
  • استُخدم برنامج WebCrawler لإنشاء أول فهرس نصي كامل متاح للعموم لمجموعة فرعية من الويب. وقد اعتمد على مكتبة lib-WWW لتحميل الصفحات، وبرنامج آخر لتحليل وترتيب عناوين URL لاستكشاف الويب باستخدام منهجية البحث العرضي. كما تضمن البرنامج زاحفًا فوريًا يتتبع الروابط بناءً على تشابه نص الرابط مع الاستعلام المُدخل.
  • WebFountain هو برنامج زحف معياري موزع يشبه Mercator ولكنه مكتوب بلغة C++.
  • زينون هو برنامج زحف ويب تستخدمه سلطات الضرائب الحكومية للكشف عن الاحتيال. [ 52 ] [ 53 ]

برامج زحف الويب التجارية

تتوفر برامج زحف الويب التالية، مقابل رسوم:

  • Diffbot – برنامج زحف ويب عام قابل للبرمجة، متوفر كواجهة برمجة تطبيقات (API).
  • SortSite – برنامج زحف لتحليل مواقع الويب، متوفر لأنظمة التشغيل Windows و Mac OS
  • Swiftbot – برنامج زحف الويب من Swiftype ، متوفر كبرنامج كخدمة
  • أليف سيرش – برنامج زحف ويب يسمح بجمع كميات هائلة من البيانات مع قابلية توسع عالية

برامج الزحف مفتوحة المصدر

انظر أيضاً

مراجع

  1. ↑ "برامج زحف الويب: تصفح الويب" . مؤرشف من الأصل في 6 ديسمبر 2021.
  2. ↑ لورانس، ستيف؛ جايلز، سي. لي (1998). "البحث في شبكة الإنترنت العالمية". مجلة ساينس . 280 (5360): 98-100 . doi : 10.1126/science.280.5360.98 .
  3. ↑ لورانس، ستيف؛ جايلز، سي. لي (1999). "إمكانية الوصول إلى المعلومات على الويب". مجلة نيتشر . 400 (6740): 107-109 . doi : 10.1038/21987 .
  4. ↑ "دليل شامل لكيفية عمل بحث جوجل" . مركز بحث جوجل . جوجل . تم الاطلاع عليه بتاريخ 11 يونيو 2026 .
  5. ↑ سبيتكا، سكوت. "روبوت TkWWW: ما وراء التصفح" . المركز الوطني لعلوم وتكنولوجيا الحاسوب . مؤرشف من الأصل في 3 سبتمبر 2004. تم الاطلاع عليه في 21 نوفمبر 2010 .
  6. ↑ كوباياشي، م. وتاكيدا، ك. (2000). "استرجاع المعلومات على الويب". مجلة ACM Computing Surveys . 32 (2): 144–173 . CiteSeerX 10.1.1.126.6094 . doi : 10.1145/358923.358934 . S2CID 3710903 .  
  7. ↑ انظر تعريف كلمة scutter على ويكي مشروع FOAF. مؤرشف بتاريخ 13 ديسمبر 2009 في Wayback Machine
  8. ↑ ماسانيس، جوليان (15 فبراير 2007). أرشفة الويب . سبرينغر. ص 1. ISBN  978-3-54046332-0تم الاطلاع عليه بتاريخ 24 أبريل 2014 .
  9. ↑ إدواردز، ج.؛ ماكيرلي، ك.س.؛ وتوملين، ج.أ. (2001). "نموذج تكيفي لتحسين أداء برنامج زحف الويب التزايدي". وقائع المؤتمر الدولي العاشر حول شبكة الويب العالمية . الصفحات 106-113 . CiteSeerX 10.1.1.1018.1506 . doi : 10.1145/371920.371960 . ISBN   978-1581133486S2CID 10316730. مؤرشف من الأصل بتاريخ 25 يونيو 2014. تم الاطلاع عليه بتاريخ 25 يناير 2007 . {{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  10. ↑ كاستيلو، كارلوس (2004). الزحف الفعال على الويب (أطروحة دكتوراه). جامعة تشيلي . تم الاطلاع عليه في 3 أغسطس 2010 .
  11. ↑ غولز، أ.؛ أ. سينيوري (2005). "الويب القابل للفهرسة يتجاوز 11.5 مليار صفحة". مسارات الاهتمام الخاصة وملصقات المؤتمر الدولي الرابع عشر حول شبكة الويب العالمية . مطبعة ACM. الصفحات 902-903 . doi : 10.1145/1062745.1062789 . 
  12. ↑ لورانس، ستيف؛ سي . لي جايلز (8 يوليو 1999). "إمكانية الوصول إلى المعلومات على الإنترنت" . مجلة نيتشر . 400 (6740): 107-109 . Bibcode : 1999Natur.400..107L . doi : 10.1038/21987 . PMID 10428673. S2CID 4347646 .  
  13. ↑ تشو، ج.؛ غارسيا-مولينا، هـ.؛ بيج، ل. (أبريل 1998). "قياس السعرات الحرارية في فيزياء الطاقة العالية" . المؤتمر الدولي السابع للويب العالمي . بريسبان، أستراليا. doi : 10.1142/3725 . ISBN 978-981-02-3400-3تم الاطلاع عليه بتاريخ 23 مارس 2009 .
  14. ↑ تشو، جونغهو، "الزحف على الويب: اكتشاف وصيانة بيانات الويب واسعة النطاق" مؤرشف في 21 ديسمبر 2012 في Wayback Machine ، أطروحة دكتوراه، قسم علوم الحاسوب، جامعة ستانفورد، نوفمبر 2001.
  15. ↑ ناجورك، مارك وجانيت ل. وينر. "الزحف بالعرض أولاً ينتج صفحات عالية الجودة". مؤرشف في 24 ديسمبر 2017 في Wayback Machine. في: وقائع المؤتمر العاشر حول شبكة الويب العالمية ، الصفحات 114-118، هونغ كونغ، مايو 2001. إلسيفير ساينس.
  16. ↑ أبيتبول، سيرج؛ ميهاي بريدا؛ غريغوري كوبينا (2003). "حساب أهمية صفحات الإنترنت التكيفي" . وقائع المؤتمر الدولي الثاني عشر حول شبكة الويب العالمية . بودابست، المجر: ACM. ص 280-290 . doi : 10.1145/775152.775192 . ISBN  1-58113-680-3أُرشف من المصدر الأصلي في 20 مارس 2008. تم الاطلاع عليه في 22 مارس 2009 .
  17. ↑ بولدي، باولو؛ برونو كودينوتي؛ ماسيمو سانتيني؛ سيباستيانو فيجنا (2004). "UbiCrawler: برنامج زحف ويب قابل للتوسع وموزع بالكامل" (ملف PDF) . البرمجيات: الممارسة والخبرة . 34 (8): 711-726 . CiteSeerX 10.1.1.2.5538 . doi : 10.1002/spe.587 . S2CID 325714. مؤرشف من النسخة الأصلية (PDF) في 20 مارس 2009. تم الاطلاع عليه في 23 مارس 2009 .  
  18. ↑ بولدي، باولو؛ ماسيمو سانتيني؛ سيباستيانو فيجنا (2004). "ابذل قصارى جهدك لتحقيق الأفضل: التأثيرات المتناقضة في حسابات PageRank التزايدية" (ملف PDF) . الخوارزميات والنماذج لرسم بياني الويب . سلسلة محاضرات في علوم الحاسوب. المجلد 3243. الصفحات 168-180 . doi : 10.1007/978-3-540-30216-2_14 . ISBN   978-3-540-23427-2تمت أرشفة هذا الملف من النسخة الأصلية (PDF) في 1 أكتوبر 2005. تم الاطلاع عليه في 23 مارس 2009 .
  19. ↑ بايزا-ياتس، ر.؛ كاستيلو، س.؛ مارين، م.؛ ورودريغيز، أ. (2005). "زحف دولة: استراتيجيات أفضل من البحث بالعرض أولاً لترتيب صفحات الويب". في: وقائع مسار الخبرة الصناعية والعملية للمؤتمر الرابع عشر حول شبكة الويب العالمية ، الصفحات 864-872، تشيبا، اليابان. مطبعة ACM.
  20. ↑ شيرفين دانيشباجوه، مجتبى محمدي ناصري، محمد قدسي، خوارزمية سريعة قائمة على المجتمع لتوليد مجموعة بذور الزاحف . في: وقائع المؤتمر الدولي الرابع لأنظمة وتقنيات معلومات الويب ( Webist -2008)، فونشال، البرتغال، مايو 2008.
  21. ↑ بانت، غوتام؛ سرينيفاسان، بادماني؛ مينتزر، فيليبو (2004). "زحف الويب" (ملف PDF) . في: ليفين، مارك؛ بولوفاسيليس، ألكسندرا (محرران). ديناميكيات الويب: التكيف مع التغير في المحتوى والحجم والبنية والاستخدام . سبرينغر. الصفحات 153-178 . ISBN  978-3-540-40676-1تمت أرشفة هذا الملف من النسخة الأصلية (PDF) بتاريخ 20 مارس 2009. تم الاطلاع عليه بتاريخ 9 مايو 2006 .
  22. ↑ كوثي، فيف (2004). "موثوقية زحف الويب" (ملف PDF) . مجلة الجمعية الأمريكية لعلوم وتكنولوجيا المعلومات . 55 (14): 1228-1238 . CiteSeerX 10.1.1.117.185 . doi : 10.1002/asi.20078 . مؤرشف من الأصل (ملف PDF) في 22 سبتمبر 2017. تم الاطلاع عليه في 26 أكتوبر 2017 . 
  23. ↑ مينتزر، ف. (1997). أراكنيد: وكلاء استرجاع تكيفيون يختارون الجوار الاستدلالي لاكتشاف المعلومات. مؤرشف في 21 ديسمبر 2012 على موقع Wayback Machine . في: د. فيشر (محرر)، تعلم الآلة: وقائع المؤتمر الدولي الرابع عشر (ICML97). مورغان كوفمان
  24. ↑ مينتزر، ف. وبيليو، ر. ك. (1998). وكلاء المعلومات التكيفيون في بيئات نصية موزعة. مؤرشف في 21 ديسمبر 2012 على موقع Wayback Machine . في: ك. سيكارا وم. وولدريدج (محرران)، وقائع المؤتمر الدولي الثاني حول الوكلاء المستقلين (Agents '98). مطبعة ACM
  25. ↑ تشاكرابارتي، سومين؛ فان دن بيرغ، مارتن؛ دوم، بايرون (1999). "الزحف المُركّز: منهج جديد لاكتشاف موارد الويب المُخصصة لموضوعات مُحددة" (ملف PDF) . شبكات الحاسوب . 31 ( 11-16 ): 1623-1640 . doi : 10.1016/s1389-1286(99)00052-3 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 17 مارس 2004.
  26. ↑ بينكرتون، ب. (1994). إيجاد ما يريده الناس: تجارب مع برنامج WebCrawler . في وقائع المؤتمر العالمي الأول للويب، جنيف، سويسرا.
  27. ↑ ديلجينتي، م.، كوتزي، ف.، لورانس، س.، جايلز، سي إل، وغوري، م. (2000). الزحف المركز باستخدام الرسوم البيانية السياقية . في وقائع المؤتمر الدولي السادس والعشرين لقواعد البيانات الضخمة جدًا (VLDB)، الصفحات 527-534، القاهرة، مصر.
  28. ↑ وو، جيان؛ تيريجودا، براديب؛ خابسا، ماديان؛ كارمان، ستيفن؛ جوردان، دوغلاس؛ سان بيدرو واندلمر، خوسيه؛ لو، شين؛ ميترا، براسينجيت؛ جايلز، سي. لي (2012). "برمجيات وسيطة لزحف الويب لمكتبات محركات البحث الرقمية". وقائع ورشة العمل الدولية الثانية عشرة حول إدارة معلومات وبيانات الويب - WIDM '12 . ص 57. doi : 10.1145/2389936.2389949 . ISBN  9781450317207. S2CID 18513666 . 
  29. ↑ وو، جيان؛ تيريجودا، براديب؛ راميريز، خوان بابلو فرنانديز؛ ميترا، براسينجيت؛ تشنغ، شويي؛ جايلز، سي. لي (2012). "تطور استراتيجية الزحف لمحرك بحث عن الوثائق الأكاديمية". وقائع المؤتمر السنوي الثالث لعلوم الويب التابع لجمعية ACM - Web Sci '12 . الصفحات 340-343 . doi : 10.1145/2380718.2380762 . ISBN  9781450312288. S2CID 16718130 . 
  30. ↑ دونغ، هاي؛ حسين، فاروق خضير؛ تشانغ، إليزابيث (2009). "أحدث ما توصلت إليه تقنيات الزحف المرتكزة على الدلالات" . علوم الحاسوب وتطبيقاتها - المؤتمر الدولي لعلوم الحاسوب وتطبيقاتها 2009. سلسلة محاضرات في علوم الحاسوب. المجلد 5593. الصفحات 910-924 . doi : 10.1007/978-3-642-02457-3_74 . hdl : 20.500.11937/48288 . ISBN   978-3-642-02456-6.
  31. ↑ دونغ، هاي؛ حسين، فاروق خضير (2013). "SOF: زاحف مركز قائم على تعلم الأنطولوجيا شبه الخاضع للإشراف" . التزامن والحوسبة: الممارسة والتجربة . 25 (12): 1755-1770 . doi : 10.1002/cpe.2980 . S2CID 205690364 . 
  32. ↑ جونغ هو تشو؛ هيكتور غارسيا مولينا (2000). "مزامنة قاعدة البيانات لتحسين تحديثها" (ملف PDF) . وقائع مؤتمر ACM SIGMOD الدولي لإدارة البيانات لعام 2000. دالاس، تكساس، الولايات المتحدة الأمريكية: ACM. الصفحات 117-128 . doi : 10.1145/342009.335391 . ISBN  1-58113-217-4تم الاطلاع عليه بتاريخ 23 مارس 2009 .
  33. 1 2 إي. جي. كوفمان الابن؛ زين ليو؛ ريتشارد ر. ويبر (1998). "الجدولة المثلى للروبوتات لمحركات البحث على الويب". مجلة الجدولة . 1 (1): 15-29 . CiteSeerX 10.1.1.36.6087 . doi : 10.1002/(SICI)1099-1425(199806)1:1 < 15::AID-JOS3 > 3.0.CO ; 2-K . 
  34. 1 2 تشو، جونغ هو؛ غارسيا-مولينا، هيكتور (2003). "سياسات تحديث الصفحات الفعّالة لبرامج زحف الويب". معاملات ACM لأنظمة قواعد البيانات . 28 (4): 390-426 . doi : 10.1145/958942.958945 . S2CID 147958 . 
  35. 1 2 جونغ هو تشو؛ هيكتور غارسيا مولينا (2003). "تقدير معدل التغيير". معاملات ACM في تكنولوجيا الإنترنت . 3 (3): 256-290 . CiteSeerX 10.1.1.59.5877 . doi : 10.1145/857166.857170 . S2CID 9362566 .  
  36. ↑ إيبيروتيس، ب.، نتولاس، أ.، تشو، ج.، غرافانو، ل. (2005) نمذجة وإدارة تغييرات المحتوى في قواعد البيانات النصية. مؤرشف في 5 سبتمبر 2005 على موقع Wayback Machine . في وقائع المؤتمر الدولي الحادي والعشرين لهندسة البيانات التابع لمعهد مهندسي الكهرباء والإلكترونيات، الصفحات 606-617، أبريل 2005، طوكيو.
  37. ↑ كوستر، م. (1995). الروبوتات في الشبكة: تهديد أم فائدة؟ كونيكشنز، 9(4).
  38. ↑ كوستر، م. (1996). معيار لاستبعاد الروبوتات. مؤرشف في 7 نوفمبر 2007 في آلة Wayback .
  39. ↑ كوستر، م. (1993). إرشادات لكتاب الروبوتات. مؤرشف في 22 أبريل 2005 في آلة Wayback .
  40. ↑ بايزا-ياتس، ر. وكاستيلو، س. (2002). موازنة الحجم والجودة والحداثة في زحف الويب . في أنظمة الحوسبة المرنة - التصميم والإدارة والتطبيقات، الصفحات 565-572، سانتياغو، تشيلي. دار نشر IOS أمستردام.
  41. ↑ هيدون، آلان؛ ناجورك، مارك (26 يونيو 1999). "ميركاتور: برنامج زحف ويب قابل للتطوير والتوسيع" (ملف PDF) . مؤرشف من الأصل (ملف PDF) في 19 فبراير 2006. تم الاطلاع عليه في 22 مارس 2009 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  42. ↑ ديل، س.؛ كومار، ر.؛ ماكورلي، ك.س.؛ راجاغوبالان، س.؛ سيفاكومار، د.؛ تومكينز، أ. (2002). "التشابه الذاتي في الويب" (ملف PDF) . معاملات ACM في تكنولوجيا الإنترنت . 2 (3): 205-223 . doi : 10.1145/572326.572328 . S2CID 6416041 . 
  43. ↑ م. ثيلوال؛ د. ستيوارت (2006). "إعادة النظر في أخلاقيات الزحف على الويب: التكلفة والخصوصية وحرمان الخدمة" . مجلة الجمعية الأمريكية لعلوم وتكنولوجيا المعلومات . 57 (13): 1771-1779 . doi : 10.1002/asi.20388 . مؤرشف من الأصل في 7 مارس 2008. تم الاطلاع عليه في 28 يناير 2008 .
  44. ↑ برين، سيرجي؛ بيج، لورانس (1998). "تشريح محرك بحث ويب نصي فائق واسع النطاق" . شبكات الحاسوب وأنظمة ISDN . 30 ( 1-7 ): 107-117 . doi : 10.1016/s0169-7552(98)00110-x . S2CID 7587743 . 
  45. ↑ شكابينيوك، ف. وسويل، ت. (2002). تصميم وتنفيذ برنامج زحف ويب موزع عالي الأداء. مؤرشف في 1 أكتوبر 2005 على موقع Wayback Machine . في وقائع المؤتمر الدولي الثامن عشر لهندسة البيانات (ICDE)، الصفحات 357-368، سان خوسيه، كاليفورنيا. مطبعة IEEE CS.
  46. ↑ شيستاكوف، دينيس (2008). واجهات البحث على الويب: الاستعلام والوصف. مؤرشف في 6 يوليو 2014 على موقع Wayback Machine . أطروحات الدكتوراه رقم 104، جامعة توركو.
  47. ↑ مايكل ل. نيلسون؛ هربرت فان دي سومبل؛ شياومينغ ليو؛ تيري ل. هاريسون؛ ناثان مكفارلاند (24 مارس 2005). "mod_oai: وحدة أباتشي لجمع البيانات الوصفية": cs/0503069. arXiv : cs/0503069 . Bibcode : 2005cs........3069N .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  48. ↑ شيستاكوف، دينيس؛ بهوميك، سوراف س.؛ ليم، إي-بينغ (2005). "DEQUE: الاستعلام عن الويب العميق" (ملف PDF) . هندسة البيانات والمعرفة . 52 (3): 273-311 . doi : 10.1016/s0169-023x(04)00107-7 .
  49. ↑ "زحف AJAX: دليل لمشرفي المواقع والمطورين" . مؤرشف من الأصل في 6 مارس 2013. تم الاطلاع عليه في 17 مارس 2013 .
  50. ↑ مختبرات ITA "استحواذ مختبرات ITA" مؤرشف في 18 مارس 2014 على موقع Wayback Machine بتاريخ 20 أبريل 2011 الساعة 1:28 صباحًا
  51. ↑ "حول Applebot" . شركة Apple Inc. تم الاطلاع عليه بتاريخ 18 أكتوبر 2021 .
  52. ↑ نورتون، كوين (25 يناير 2007). "جامعو الضرائب يرسلون العناكب" . أعمال. وايرد . مؤرشف من الأصل في 22 ديسمبر 2016. تم الاسترجاع في 13 أكتوبر 2017 .
  53. ↑ «مبادرة زينون لزحف الويب: ملخص تقييم أثر الخصوصية» . أوتاوا: حكومة كندا. ١١ أبريل ٢٠١٧. مؤرشف من الأصل في ٢٥ سبتمبر ٢٠١٧. تم الاطلاع عليه في ١٣ أكتوبر ٢٠١٧ .

للمزيد من القراءة