أباتشي نوتش
أباتشي نوتش هو مشروع برمجي مفتوح المصدر لزحف الويب يتميز بقابلية عالية للتوسيع والتوسع .
سمات
تمت برمجة Nutch بالكامل بلغة جافا ، لكن البيانات تُكتب بتنسيقات مستقلة عن اللغة. يتميز ببنية معيارية عالية، مما يسمح للمطورين بإنشاء إضافات لتحليل أنواع الوسائط، واسترجاع البيانات، والاستعلام عنها، وتجميعها.
تمت كتابة برنامج جلب البيانات ("الروبوت" أو " برنامج زحف الويب ") من الصفر خصيصًا لهذا المشروع.
تاريخ
نشأت Nutch على يد دوغ كاتينغ ، مبتكر كل من Lucene و Hadoop ، ومايك كافاريلا .
في يونيو 2003، تم تطوير نظام تجريبي ناجح بسعة 100 مليون صفحة. ولتلبية احتياجات المعالجة متعددة الأجهزة لمهام الزحف والفهرسة، قام مشروع نوتش أيضًا بتنفيذ مشروع ماب ريديوس ونظام ملفات موزع . وقد تم فصل المشروعين ليصبحا مشروعًا فرعيًا مستقلًا يُسمى هادوب .
في يناير 2005، انضم مشروع نوتش إلى حاضنة أباتشي، ومن ثم أصبح مشروعًا فرعيًا من مشروع لوسين في يونيو من العام نفسه. ومنذ أبريل 2010، يُعتبر نوتش مشروعًا مستقلاً من المستوى الأعلى لمؤسسة برمجيات أباتشي . [ 2 ]
في فبراير 2014، اعتمد مشروع Common Crawl برنامج Nutch لعملية الزحف على الويب المفتوحة واسعة النطاق. [ 3 ]
سجل الإصدارات
| 1.x فرع | 2.x فرع | تاريخ الافراج عنه | وصف |
|---|---|---|---|
| 1.1 | 2010-06-06 | يتضمن هذا الإصدار العديد من التحسينات الرئيسية للمكتبات الحالية (Hadoop، Solr، Tika، إلخ) التي يعتمد عليها Nutch. كما تم تضمين العديد من إصلاحات الأخطاء وتحسينات السرعة (على سبيل المثال، إلى Fetcher2). | |
| 1.2 | 24-10-2010 | يتضمن هذا الإصدار العديد من التحسينات (إضافة parse-html كمحلل قابل للتحديد مرة أخرى، وفهرسة قابلة للتكوين لكل حقل)، وميزات جديدة (بما في ذلك إضافة معلومات التوقيت إلى جميع فئات الأدوات، وتنفيذ مهلات المحلل)، وإصلاحات الأخطاء (إصلاح خطأ NPE في البحث الموزع، وإصلاح مشكلات تنسيق XML لكل حقل من حقول المستند). | |
| 1.3 | 2011-06-07 | يتضمن هذا الإصدار العديد من التحسينات (تحسين دعم تحليل RSS، وتكامل أوثق مع Apache Tika، ودعم التحليل الخارجي، وتحسين تحديد اللغة، وحجم ملف مضغوط أصغر بمقدار عشرة أضعاف - حوالي 2 ميجابايت فقط). | |
| 1.4 | 2011-11-26 | يتضمن هذا الإصدار العديد من التحسينات بما في ذلك السماح للمحللات بإعلان دعمها لأنواع MIME متعددة، وعمق قائمة انتظار الجلب القابل للتكوين، وتحسينات سرعة الجلب، وتكامل Tika أكثر إحكامًا، ودعم مصادقة HTTP في فهرسة Solr. | |
| 1.5 | 2012-06-07 | يتضمن هذا الإصدار العديد من التحسينات بما في ذلك ترقيات للعديد من المكونات الرئيسية بما في ذلك Tika 1.1 و Hadoop 1.0.0، وتحسينات لعناصر LinkRank و WebGraph بالإضافة إلى عدد من المكونات الإضافية الجديدة التي تغطي القوائم السوداء والتصفية والتحليل على سبيل المثال لا الحصر. | |
| 2.0 | 2012-07-07 | يقدم هذا الإصدار للمستخدمين نسخة تركز على الزحف على نطاق واسع وتعتمد على تجريد التخزين (عبر Apache Gora) لمخازن البيانات الضخمة مثل Apache Accumulo و Apache Avro و Apache Cassandra و Apache HBase و HDFS ومخزن بيانات في الذاكرة والعديد من مخازن SQL عالية المستوى. | |
| 1.5.1 | 2012-07-10 | هذا الإصدار هو إصدار صيانة للإصدار الرئيسي الشائع 1.5.X من Nutch والذي تم اعتماده على نطاق واسع داخل المجتمع. | |
| 2.1 | 2012-10-05 | يُواصل هذا الإصدار تزويد مستخدمي Nutch بتوزيعة Nutch مُبسّطة، مُستندًا إلى تطوير الإصدار 2.x الذي يزداد رواجًا بين المُستخدمين. بالإضافة إلى معالجة حوالي 20 خطأً، يُقدّم هذا الإصدار أيضًا خصائص مُحسّنة لتكوين Solr بشكل أفضل، وتحديثات لمختلف تبعيات Gora، وإضافة خيار إنشاء الفهارس في Elastic Search. | |
| 1.6 | 2012-12-06 | يتضمن هذا الإصدار أكثر من 20 إصلاحًا للأخطاء، ومثلها من التحسينات، بالإضافة إلى وظائف جديدة تشمل مُوحِّد المضيف الجديد، وإمكانية ضبط فاصل جلب البيانات ديناميكيًا حسب نوع MIME، وتحسينات وظيفية لواجهة برمجة تطبيقات الفهرسة، بما في ذلك توحيد عناوين URL وحذف مستندات robots noIndex. وتشمل التحسينات البارزة الأخرى ترقية التبعيات الرئيسية إلى Tika 1.2 وAutomaton 1.11-8. | |
| 2.2 | 2013-06-08 | يتضمن هذا الإصدار أكثر من 30 إصلاحًا للأخطاء وأكثر من 25 تحسينًا، وهو الإصدار الثالث من سلسلة Nutch 2.x التي تزداد شعبيتها. ويشمل هذا الإصدار إضافة Crawler-Commons التي يستخدمها Nutch الآن لتحسين تحليل ملف robots.txt، بالإضافة إلى ترقيات للمكتبات إلى Apache Hadoop 1.1.1 وApache Gora 0.3 وApache Tika 1.2 وAutomaton 1.11-8. | |
| 1.7 | 2013-06-24 | يتضمن هذا الإصدار أكثر من 20 إصلاحًا للأخطاء، بالإضافة إلى العديد من التحسينات؛ أبرزها بنية فهرسة جديدة قابلة للتوصيل تدعم حاليًا Apache Solr وElastic Search. وتماشيًا مع إصدار Nutch 2.2 الأخير، تم تفويض تحليل ملف Robots.txt إلى Crawler-Commons. كما تم إجراء ترقيات أساسية للمكتبات إلى Apache Hadoop 1.2.0 وApache Tika 1.3. | |
| 2.2.1 | 2013-07-02 | يتضمن هذا الإصدار ترقيات للمكتبة إلى Apache Hadoop 1.2.0 و Apache Tika 1.3، وهو في الأساس إصلاح للخطأ NUTCH-1591 - التحويل غير الصحيح لـ ByteBuffer إلى String. | |
| 1.8 | 2014-03-17 | على الرغم من أن هذا الإصدار يتضمن ترقيات للمكتبة إلى Crawler Commons 0.3 و Apache Tika 1.5، إلا أنه يوفر أيضًا أكثر من 30 إصلاحًا للأخطاء بالإضافة إلى 18 تحسينًا. | |
| 2.3 | 2015-01-22 | يأتي إصدار Nutch 2.3 الآن مزودًا بتطبيق ويب مستقل قائم على Apache Wicket. تم إيقاف دعم قاعدة بيانات SQL الخلفية لـ Gora. [ 4 ] | |
| 1.10 | 2015-05-06 | يتضمن هذا الإصدار ترقيات للمكتبة إلى Tika 1.6، كما يوفر أكثر من 46 إصلاحًا للأخطاء بالإضافة إلى 37 تحسينًا و12 ميزة جديدة. [ 5 ] | |
| 1.11 | 2015-12-07 | يتضمن هذا الإصدار ترقيات للمكتبات إلى Hadoop 2.X وTika 1.11، كما يوفر أكثر من 32 إصلاحًا للأخطاء بالإضافة إلى 35 تحسينًا و14 ميزة جديدة. [ 6 ] | |
| 2.3.1 | 2016-01-21 | يحتوي هذا الإصدار الخاص بإصلاح الأخطاء على معالجة حوالي 40 مشكلة. | |
| 1.12 | 2016-06-18 | ||
| 1.13 | 2017-04-02 | ||
| 1.14 | 2017-12-23 | ||
| 1.15 | 2018-08-09 | ||
| 1.16 | 2019-10-11 | ||
| 2.4 | 2019-10-11 | من المتوقع أن يكون هذا الإصدار الأخير من سلسلة 2.X، حيث "لا يوجد أي مطور يعمل عليه حاليًا". [ 7 ] | |
| 1.17 | 2020-07-02 | ||
| 1.18 | 2021-01-24 | ||
| 1.19 | 2022-08-22 | ||
| 1.20 | 2024-04-09 | ||
| 1.21 | 2025-07-20 |
قابلية التوسع
أجرت شركة IBM Research دراسة حول أداء نظام Nutch/Lucene [ 8 ] كجزء من مشروعها للتوسع التجاري (CSO). [ 9 ] وخلصت الدراسة إلى أن نظام التوسع ، مثل Nutch/Lucene، يمكنه تحقيق مستوى أداء على مجموعة من الخوادم الشفرية لا يمكن تحقيقه على أي حاسوب قابل للتوسع الرأسي مثل POWER5 .
تم جمع مجموعة بيانات ClueWeb09 (المستخدمة في TREC على سبيل المثال ) باستخدام Nutch، بمتوسط سرعة 755.31 مستندًا في الثانية. [ 10 ]
مشاريع ذات صلة
- هادوب – إطار عمل جافا يدعم التطبيقات الموزعة التي تعمل على مجموعات كبيرة.
محركات بحث مبنية باستخدام Nutch
- Common Crawl – عمليات زحف متاحة للجمهور على مستوى الإنترنت، بدأت باستخدام Nutch في عام 2014. [ 3 ]
- محرك بحث Creative Commons – وهو تطبيق لبرنامج Nutch، تم استخدامه في الفترة من 2004 إلى 2006. [ 11 ] [ 12 ] [ 13 ]
- DiscoverEd – نموذج أولي للبحث عن موارد تعليمية مفتوحة تم تطويره بواسطة Creative Commons
- يستخدم Krugle برنامج Nutch لزحف صفحات الويب بحثًا عن التعليمات البرمجية والأرشيفات والمحتوى ذي الأهمية التقنية.
- mozDex (غير نشط)
- محرك بحث ويكيا - تم إطلاقه عام 2008، وأغلق عام 2009 [ 14 ] [ 15 ]
انظر أيضاً
مراجع
- 1 2 "Apache Nutch™ - التنزيلات" . تم الاطلاع عليه بتاريخ 17 أغسطس 2025 .
- ↑ "Apache Nutch -" . nutch.apache.org .
- 1 2 "انتقال Common Crawl إلى Nutch - Common Crawl - مدونة" . blog.commoncrawl.org . تم الاطلاع عليه بتاريخ 14-10-2015 .
- ↑ "إصدار نوتش 2.3" . أخبار أباتشي نوتش . مؤسسة برمجيات أباتشي. 22 يناير 2015. تم الاطلاع عليه بتاريخ 18 يناير 2016 .
- ↑ "ملاحظات إصدار Nutch 1.10" . ASF JIRA . مؤسسة برمجيات أباتشي. 6 مايو 2015. تم الاطلاع عليه بتاريخ 18 يناير 2016 .
- ↑ "ملاحظات إصدار Nutch 1.11" . ASF JIRA . مؤسسة برمجيات أباتشي. 7 ديسمبر 2015. تم الاطلاع عليه بتاريخ 18 يناير 2016 .
- ↑ "إصدار نوتش 2.4" . أخبار أباتشي نوتش . مؤسسة برمجيات أباتشي. 11 أكتوبر 2019. تم الاطلاع عليه بتاريخ 20 مايو 2022 .
- ↑ "قابلية التوسع لمحرك بحث Nutch" (ملف PDF) .
- ↑ "توفير نظام التشغيل الأساسي وتشغيله لحاسوب عملاق تجاري" (ملف PDF) . مؤرشف من الأصل (ملف PDF) في 3 ديسمبر 2008.
- ↑ إحصائيات زحف الويب Sapphire . Boston.lti.cs.cmu.edu (2008-10-01). تاريخ الاسترجاع: 2013-07-21.
- ↑ "بحثنا المُحدَّث" . المشاع الإبداعي. 2004-09-03.
- ↑ "أداة بحث فريدة من نوعها من Creative Commons مدمجة الآن في Firefox 1.0" . Creative Commons. 2004-11-22. مؤرشف من الأصل في 2010-01-07.
- ↑ "واجهة مستخدم جديدة للبحث في CC" . رخصة المشاع الإبداعي. 2006-08-02.
- ↑ "أين يمكنني الحصول على شفرة المصدر لمحرك بحث ويكيا؟" . مؤرشف من الأصل بتاريخ 4 نوفمبر 2011. تم الاطلاع عليه بتاريخ 12 فبراير 2010 .
- ↑ "تحديث على ويكيا - القيام بالمزيد مما ينجح | جيمي ويلز" . 31 مارس 2009.
فهرس
- شوبيرغ، ج. (26 أكتوبر 2006). بناء تطبيقات البحث باستخدام لوسين ونوتش ( الطبعة الأولى). أبريس . ص 350. ISBN 978-1-59059-687-6أُرشف من المصدر الأصلي في 2 ديسمبر 2009. تم الاطلاع عليه في 15 أغسطس 2009 .
روابط خارجية
فئات :
- مشاريع مؤسسة برمجيات أباتشي
- محركات البحث على الإنترنت
- برنامج محرك بحث مجاني
- مكتبات لغة البرمجة جافا
- برامج مجانية متعددة المنصات
- برامج زحف الويب المجانية