الإنترنت العميق

الويب العميق ، ^{[ 1 ]} المعروف أيضًا بالويب الخفي ^{، [ 2 ]} أو الويب المخفي ، ^{[ 3 ]} هو أجزاء من شبكة الويب العالمية التي لا تُفهرس محتوياتها بواسطة برامج محركات البحث القياسية . ^{[ 4 ]} وهذا على عكس الويب السطحي ، الذي يمكن لأي شخص الوصول إليه باستخدام الإنترنت. ^{[ 5 ]} يُنسب إلى عالم الحاسوب مايكل ك.  بيرغمان ابتكار هذا المصطلح في عام 2001 كمصطلح لفهرسة البحث. ^{[ 6 ]}

يمكن الوصول إلى مواقع الويب العميقة عبر عنوان URL مباشر أو عنوان IP ، ولكن قد يتطلب الوصول إلى المحتوى إدخال كلمة مرور أو معلومات أمنية أخرى. ^{[ 7 ] [ 8 ]} تشمل استخدامات مواقع الويب العميقة البريد الإلكتروني ، والخدمات المصرفية عبر الإنترنت ، والتخزين السحابي ، وصفحات وملفات تعريف وسائل التواصل الاجتماعي ذات الوصول المحدود ، ومنتديات الويب التي تتطلب التسجيل لعرض المحتوى. كما تشمل خدمات مدفوعة مثل خدمة الفيديو حسب الطلب وبعض المجلات والصحف الإلكترونية.

ظهر أول استخدام مشترك لمصطلحي "الويب العميق" و" الويب المظلم " خلال عام 2009، عندما نُوقشت مصطلحات البحث في الويب العميق جنبًا إلى جنب مع الأنشطة غير القانونية التي تحدث على الإنترنت المجاني والإنترنت المظلم . ^{[ 9 ]} تشمل هذه الأنشطة الإجرامية تجارة كلمات المرور الشخصية ، ووثائق الهوية المزورة ، والمخدرات ، والقتل ، والتعذيب ، والمواد الإباحية المتعلقة بالاغتصاب ، والأسلحة النارية ، والمواد الإباحية المتعلقة بالأطفال . ^{[ 10 ]}

منذ ذلك الحين، وبعد استخدام مصطلح "الويب العميق" في تغطية وسائل الإعلام لموقع " طريق الحرير" الإلكتروني ، دأبت وسائل الإعلام على استخدامه كمرادف لمصطلح " الويب المظلم " أو "الشبكة المظلمة " ، وهو تشبيه يرفضه البعض لعدم دقته ^{[ 11 ]} ، مما أدى إلى استمرار الالتباس [12]. ^{ويوصي مراسلا مجلة} " وايرد" ، كيم زيتر ^{[ 13 ]} وآندي غرينبيرغ ^{[ 14 ]} ، باستخدام المصطلحين بشكل منفصل. فبينما يشير مصطلح "الويب العميق" إلى أي موقع لا يمكن الوصول إليه عبر محركات البحث التقليدية، فإن "الويب المظلم" هو جزء من الويب العميق تم إخفاؤه عمدًا ولا يمكن الوصول إليه عبر المتصفحات والأساليب القياسية ^{[ 15 ] [ 16 ] .}

ذكر بيرغمان، في ورقة بحثية حول الإنترنت العميق نُشرت في مجلة النشر الإلكتروني ، أن جيل إلسورث استخدمت مصطلح " الإنترنت الخفي" عام 1994 للإشارة إلى المواقع الإلكترونية غير المسجلة في أي محرك بحث. ^{[ 17 ]} واستشهد بيرغمان بمقال لفرانك غارسيا نُشر في يناير 1996: ^{[ 18 ]}

قد يكون موقعًا مصممًا بشكل معقول، لكنهم لم يكلفوا أنفسهم عناء تسجيله في أي من محركات البحث. لذا، لا أحد يستطيع العثور عليهم! أنت مخفي. أسمي هذا الويب الخفي.

ومن بين الاستخدامات المبكرة الأخرى لمصطلح "الويب الخفي" ما قام به بروس ماونت وماثيو ب.  كول من شركة "بيرسونال لايبراري سوفتوير" ، في وصف لبرنامج  "الويب العميق رقم 1" الذي ورد في بيان صحفي صدر في ديسمبر 1996. ^{[ 19 ]}

أول استخدام لمصطلح " الويب العميق" المحدد ، والذي أصبح الآن مقبولاً بشكل عام، ظهر في دراسة بيرغمان المذكورة أعلاه لعام 2001. ^{[ 17 ]}

يمكن تصنيف الطرق التي تمنع فهرسة صفحات الويب بواسطة محركات البحث التقليدية إلى واحد أو أكثر مما يلي:

1. الويب السياقي : صفحات ذات محتوى متغير لسياقات الوصول المختلفة (مثل نطاقات عناوين IP الخاصة بالعميل أو تسلسل التنقل السابق).
2. المحتوى الديناميكي : الصفحات الديناميكية التي يتم إرجاعها استجابةً لاستعلام مُرسل أو يتم الوصول إليها فقط من خلال نموذج، خاصةً إذا تم استخدام عناصر إدخال المجال المفتوح (مثل حقول النص)؛ يصعب التنقل في هذه الحقول بدون معرفة المجال .
3. المحتوى ذو الوصول المحدود : المواقع التي تحد من الوصول إلى صفحاتها بطريقة تقنية (مثل استخدام معيار استبعاد الروبوتات أو اختبارات CAPTCHA ، أو توجيه منع التخزين، الذي يمنع محركات البحث من تصفحها وإنشاء نسخ مخزنة مؤقتًا ). ^{[ 20 ]} قد تحتوي المواقع على محرك بحث داخلي لاستكشاف هذه الصفحات. ^{[ 21 ] [ 22 ]}
4. المحتوى غير النصي/غير HTML : المحتوى النصي المشفر في ملفات الوسائط المتعددة (الصور أو الفيديو) أو تنسيقات ملفات محددة لا تتعرف عليها محركات البحث.
5. المواقع الإلكترونية الخاصة : المواقع التي تتطلب التسجيل وتسجيل الدخول (الموارد المحمية بكلمة مرور).
6. المحتوى المكتوب برمجياً : الصفحات التي لا يمكن الوصول إليها إلا من خلال الروابط التي تنتجها جافا سكريبت بالإضافة إلى المحتوى الذي يتم تنزيله ديناميكيًا من خوادم الويب عبر حلول فلاش أو أجاكس .
7. البرمجيات : يتم إخفاء بعض المحتوى عمدًا عن الإنترنت العادي، ولا يمكن الوصول إليه إلا باستخدام برامج خاصة، مثل Tor أو I2P أو غيرها من برامج الشبكة المظلمة. على سبيل المثال، يسمح Tor للمستخدمين بالوصول إلى مواقع الويب باستخدام عنوان خادم .onion بشكل مجهول، مما يخفي عنوان IP الخاص بهم.
8. المحتوى غير المرتبط : هو الصفحات التي لا ترتبط بها صفحات أخرى، مما قد يمنع برامج زحف الويب من الوصول إلى محتواها. يُشار إلى هذا المحتوى بالصفحات التي لا تحتوي على روابط خارجية (وتُعرف أيضًا بالروابط الداخلية). كما أن محركات البحث لا تكتشف دائمًا جميع الروابط الخارجية من صفحات الويب التي يتم البحث عنها.
9. أرشيفات الويب : تُمكّن خدمات أرشفة الويب، مثل Wayback Machine، المستخدمين من الاطلاع على نسخ مؤرشفة من صفحات الويب عبر الزمن، بما في ذلك المواقع التي أصبحت غير متاحة وغير مفهرسة بواسطة محركات البحث مثل جوجل. ^{[ 6 ]} يُمكن اعتبار Wayback Machine برنامجًا لعرض الويب العميق، حيث لا يُمكن فهرسة أرشيفات الويب التي لا تعود إلى الوقت الحاضر، إذ يستحيل الوصول إلى الإصدارات السابقة من المواقع عبر البحث. تُحدَّث جميع المواقع الإلكترونية في وقت ما، ولذلك تُعتبر أرشيفات الويب جزءًا من محتوى الويب العميق. ^{[ 23 ]}

على الرغم من أنه ليس من الممكن دائمًا اكتشاف محتوى خادم ويب معين بشكل مباشر بحيث يمكن فهرسته، إلا أنه من المحتمل الوصول إلى موقع ما بشكل غير مباشر (بسبب ثغرات الكمبيوتر ).

لاكتشاف المحتوى على الإنترنت، تستخدم محركات البحث برامج زحف الويب التي تتبع الروابط التشعبية عبر أرقام منافذ افتراضية معروفة للبروتوكولات . تُعد هذه التقنية مثالية لاكتشاف المحتوى على الويب السطحي، لكنها غالبًا ما تكون غير فعالة في العثور على محتوى الويب العميق. على سبيل المثال، لا تحاول هذه البرامج العثور على الصفحات الديناميكية الناتجة عن استعلامات قواعد البيانات نظرًا للعدد غير المحدد من الاستعلامات الممكنة. ^{[ 6 ]} وقد لوحظ أنه يمكن التغلب على هذه المشكلة (جزئيًا) من خلال توفير روابط لنتائج الاستعلام، ولكن هذا قد يؤدي دون قصد إلى تضخيم شعبية موقع ما على الويب العميق.

تُعدّ محركات البحث DeepPeep و Intute و Aleph Open Search و Deep Web Technologies و Scirus و Ahmia.fi من بين محركات البحث التي وصلت إلى الإنترنت العميق. وقد نفد تمويل Intute وأصبح الآن أرشيفًا ثابتًا مؤقتًا اعتبارًا من يوليو 2011. ^{[ 24 ]} وتوقف Scirus عن العمل قرب نهاية يناير 2013. ^{[ 25 ]}

يستكشف الباحثون كيفية زحف الويب العميق تلقائيًا، بما في ذلك المحتوى الذي لا يمكن الوصول إليه إلا بواسطة برامج خاصة مثل تور . في عام ٢٠٠١، قدم سريرام راغافان وهيكتور غارسيا مولينا (قسم علوم الحاسوب، جامعة ستانفورد) ^{[ ٢٦ ] [ ٢٧ ]} نموذجًا معماريًا لزاحف الويب الخفي، يستخدم مصطلحات مهمة يقدمها المستخدمون أو يتم جمعها من واجهات الاستعلام للاستعلام عن نموذج ويب وزحف محتوى الويب العميق. أنشأ ألكسندروس نتولاس، وبتروس زيرفوس، وجونغهو تشو من جامعة كاليفورنيا في لوس أنجلوس زاحفًا للويب الخفي يُولّد تلقائيًا استعلامات ذات معنى لإصدارها على نماذج البحث. ^{[ ٢٨ ]} تم اقتراح العديد من لغات استعلام النماذج (مثل DEQUEL ^{[ ٢٩ ]} )، والتي، بالإضافة إلى إصدار الاستعلام، تسمح أيضًا باستخراج البيانات المنظمة من صفحات النتائج. ومن الجهود الأخرى مشروع DeepPeep، وهو مشروع تابع لجامعة يوتا برعاية المؤسسة الوطنية للعلوم ، والذي جمع مصادر الويب المخفية (نماذج الويب) في مجالات مختلفة بالاعتماد على تقنيات زحف مركزة مبتكرة. ^{[ 30 ] [ 31 ]}

بدأت محركات البحث التجارية باستكشاف طرق بديلة لفهرسة الويب العميق. يُعدّ بروتوكول خريطة الموقع (الذي طورته جوجل لأول مرة عام ٢٠٠٥) وبروتوكول OAI-PMH آليتين تُمكّنان محركات البحث والجهات المعنية الأخرى من اكتشاف موارد الويب العميق على خوادم ويب محددة. تسمح كلتا الآليتين لخوادم الويب بالإعلان عن عناوين URL المتاحة عليها، مما يُتيح الاكتشاف التلقائي للموارد غير المرتبطة مباشرةً بالويب السطحي. يقوم نظام جوجل لعرض الويب العميق بحساب عدد الطلبات المُرسلة لكل نموذج HTML، ويُضيف صفحات HTML الناتجة إلى فهرس محرك بحث جوجل. تُمثل النتائج المعروضة ألف استعلام في الثانية لمحتوى الويب العميق. ^{[ ٣٢ ]} في هذا النظام، تتم عملية الحساب المُسبق للطلبات المُرسلة باستخدام ثلاث خوارزميات:

1. تحديد قيم الإدخال لحقول البحث النصي التي تقبل الكلمات المفتاحية،
2. تحديد المدخلات التي تقبل فقط قيمًا من نوع محدد (مثل التاريخ) و
3. اختيار عدد قليل من مجموعات الإدخال التي تولد عناوين URL مناسبة لإدراجها في فهرس البحث على الويب.

في عام 2008، ولتسهيل وصول مستخدمي خدمات Tor المخفية إلى نطاق .onion المخفي والبحث عنه، صمم آرون شوارتز تطبيق Tor2web ، وهو تطبيق وسيط يوفر الوصول عبر متصفحات الويب الشائعة. ^{[ 33 ]} باستخدام هذا التطبيق، تظهر روابط الويب العميق كسلسلة عشوائية من الأحرف متبوعة بنطاق المستوى الأعلى .onion .

• الإنترنت المفتوح (الشبكات)
• برنامج ميمكس التابع لداربا
• الربط العميق
• تقنيات الويب العميق
• شبكة الإنترنت المظلمة الفكرية
• سوق الإنترنت المظلم
• الشبكة المظلمة
• الإنترنت المظلم
• تور (شبكة)
• قائمة خدمات تور أونيون

• الوسائط المتعلقة بالويب العميق على ويكيميديا ​​كومنز