الهرطقة

📅 آخر تحديث: ١ أغسطس ٢٠٢٦
✍️ نُشر في: ١ أغسطس ٢٠٢٦
الموسوعة الحرة

هيريتريكس هو برنامج زحف ويب مصمم لأرشفة الويب . كُتب في الأصل بالتعاون بين أرشيف الإنترنت والمكتبة الوطنية النرويجية والمكتبة الوطنية الأيسلندية . [ 2 ] يتوفر هيريتريكس بموجب ترخيص برمجيات حرة ومكتوب بلغة جافا . يمكن الوصول إلى واجهته الرئيسية باستخدام متصفح ويب ، كما توجد أداة سطر أوامر يمكن استخدامها اختيارياً لبدء عمليات الزحف.

تم تطوير برنامج Heritrix بشكل مشترك من قبل أرشيف الإنترنت والمكتبات الوطنية الإسكندنافية بناءً على مواصفات كُتبت في أوائل عام 2003. وكان الإصدار الرسمي الأول في يناير 2004، وقد تم تحسينه باستمرار من قبل موظفي أرشيف الإنترنت والجهات المهتمة الأخرى.

لسنوات عديدة، لم يكن برنامج Heritrix هو برنامج الزحف الرئيسي المستخدم لجمع محتوى مجموعة الويب الخاصة بأرشيف الإنترنت. [ 3 ] واعتبارًا من عام 2011، كان أكبر مساهم في المجموعة هو Alexa Internet . [ 3 ] يزحف Alexa على الويب لأغراضه الخاصة، [ 3 ] باستخدام برنامج زحف يُسمى ia_archiver . ثم يتبرع Alexa بالمواد إلى أرشيف الإنترنت. [ 3 ] وقد قام أرشيف الإنترنت نفسه ببعض عمليات الزحف الخاصة به باستخدام Heritrix، ولكن على نطاق أضيق. [ 3 ]

ابتداءً من عام 2008، بدأ أرشيف الإنترنت بتحسين الأداء للقيام بعملية الزحف واسعة النطاق الخاصة به، وهو الآن يجمع معظم محتواه. [ 4 ]

مشاريع تستخدم هيريتريكس

يستخدم عدد من المنظمات والمكتبات الوطنية برنامج هيريتريكس، ومن بينها:

ملفات Arc

كانت الإصدارات القديمة من برنامج Heritrix تخزن موارد الويب التي يزحف إليها افتراضيًا في ملف Arc. هذا التنسيق مختلف تمامًا عن تنسيق ARC (تنسيق الملف) . وقد استخدم أرشيف الإنترنت هذا التنسيق منذ عام 1996 لتخزين أرشيفاته على الويب. ومؤخرًا، أصبح يحفظ افتراضيًا بتنسيق ملف WARC ، وهو مشابه لتنسيق ARC ولكنه أكثر دقة ومرونة. كما يمكن تهيئة Heritrix لتخزين الملفات بتنسيق دليل مشابه لبرنامج Wget الذي يستخدم عنوان URL لتسمية الدليل واسم الملف لكل مورد.

يخزن ملف Arc موارد مؤرشفة متعددة في ملف واحد لتجنب إدارة عدد كبير من الملفات الصغيرة. يتكون الملف من سلسلة من سجلات عناوين URL، يحتوي كل منها على رأس يتضمن بيانات وصفية حول كيفية طلب المورد، متبوعًا برأس HTTP والاستجابة.

مثال:

filedesc://IA-2006062.arc 0.0.0.0 20060622190110 text/plain 76 1 1 InternetArchive URL IP-address Archive-date Content-type Archive-lengthhttp://foo.edu:80/hello.html 127.10.100.2 19961104142103 text/html 187 HTTP / 1.1 200 OK التاريخ : الخميس، 22 يونيو 2006 19:01:15 بتوقيت غرينتش الخادم : أباتشي آخر تعديل : السبت، 10 يونيو 2006 22:33:11 بتوقيت غرينتش طول المحتوى : 30 نوع المحتوى : نص/html< html > مرحبا بالعالم!!! </html>​​

أدوات لمعالجة ملفات Arc

يتضمن برنامج Heritrix أداة سطر أوامر تُسمى arcreader ، والتي يمكن استخدامها لاستخراج محتويات ملف Arc. يعرض الأمر التالي جميع عناوين URL والبيانات الوصفية المخزنة في ملف Arc المحدد (بتنسيق CDX ):

arcreader IA-2006062.arc

يستخرج الأمر التالي ملف hello.html من المثال أعلاه بافتراض أن السجل يبدأ عند الإزاحة 140:

arcreader -o 140 -f dump IA-2006062.arc

أدوات أخرى:

أدوات سطر الأوامر

يأتي برنامج Heritrix مزودًا بالعديد من أدوات سطر الأوامر:

  • أداة استخراج HTML - تعرض الروابط التي يستخرجها برنامج Heritrix لعنوان URL معين
  • hoppath.pl – يعيد إنشاء مسار القفز (مسار الروابط) إلى عنوان URL المحدد من عملية زحف مكتملة
  • manifest_bundle.pl – يجمع جميع الموارد المشار إليها بواسطة ملف بيان الزحف في ملف tar مضغوط أو غير مضغوط
  • cmdline-jmxclient – ​​يُمكّن التحكم في Heritrix عبر سطر الأوامر
  • برنامج arcreader – يستخرج محتويات ملفات ARC (انظر أعلاه)

تتوفر أدوات إضافية كجزء من مشروع warctools التابع لأرشيف الإنترنت. [ 7 ]

انظر أيضاً

مراجع

اعتبارًا من تاريخ هذا التعديل ، تستخدم هذه المقالة محتوى من مقالة "ردًا على: التحكم في أرشيف الإنترنت إلى جانب "حظر /"؟" ، المرخصة بموجب رخصة المشاع الإبداعي نَسب المُصنَّف - الترخيص بالمثل 3.0 غير المُعدَّلة ، ولكن ليس بموجب رخصة جنو للوثائق الحرة . يجب الالتزام بجميع الشروط ذات الصلة.

  1. ↑ "الإصدار 3.16.0" . 3 يوليو 2026. تم الاطلاع عليه في 3 يوليو 2026 .
  2. ↑ "ويكي زاحف الأرشيف: أعضاء الفريق" . crawler.archive.org . مؤرشف من الأصل بتاريخ 11-12-2003 . تم الاطلاع عليه بتاريخ 08-09-2025 .
  3. 1 2 3 4 5 كريس (6 سبتمبر 2011). "ردًا على: التحكم في أرشيف الإنترنت بخلاف مجرد 'منع /'؟" . موقع Pro Webmasters Stack Exchange . شركة Stack Exchange . تم الاطلاع عليه في 7 يناير 2013 .
  4. ↑ "آلة Wayback: الآن مع 240,000,000,000 رابط URL - مدونات أرشيف الإنترنت" . blog.archive.org . تم الاطلاع عليه بتاريخ 11 سبتمبر 2017 .{{cite web}}يستخدم Cite عنوانًا عامًا ( مساعدة )
  5. ↑ "نبذة عن - أرشفة الويب (مكتبة الكونغرس)" . www.loc.gov . تاريخ الاسترجاع: 29-10-2017 .
  6. ^ "الجوانب الفنية لأرشفة الويب - مكتبة كونينكليكي" . www.kb.nl . تم الاسترجاع في 11 سبتمبر 2017 .
  7. ↑ "warctools" . 25 أغسطس 2017. تم الاسترجاع في 11 سبتمبر 2017 – عبر GitHub.
  1. بيرنر، م. (1997). "الزحف نحو الخلود - بناء أرشيف للشبكة العنكبوتية العالمية" . تقنيات الويب . 2 (5). مؤرشف من الأصل في 1 يناير 2008.
  2. موهر، ج.، كيمبتون، م.، ستاك، م.، رانيتوفيتش، إ. (2004). "مقدمة إلى هيريتريكس، برنامج زحف ويب عالي الجودة للأرشفة" (ملف PDF) . وقائع ورشة العمل الدولية الرابعة لأرشفة الويب (IWAW'04) . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 12 يونيو 2011. تاريخ الاسترجاع: 9 مارس 2007 .{{cite conference}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  3. سيغوردسون، ك. (2005). "الزحف التدريجي باستخدام هيريتريكس" (ملف PDF) . وقائع ورشة العمل الدولية الخامسة لأرشفة الويب (IWAW'05) . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 12 يونيو 2011. تاريخ الاسترجاع: 23 يونيو 2006 .

أدوات من أرشيف الإنترنت