تدريب أباتشي

أباتشي دريل هو إطار عمل برمجي مفتوح المصدر يدعم التطبيقات الموزعة كثيفة البيانات لتحليل مجموعات البيانات الضخمة بشكل تفاعلي. بُني دريل بشكل رئيسي بمساهمات من مطوري MapR ، ^{[ 1 ] [ 2 ]} وهو مستوحى من نظام دريميل من جوجل . ^{[ 3 ]} دريل هو مشروع رئيسي تابع لمؤسسة أباتشي. ^{[ 4 ]}

يدعم Drill مجموعة متنوعة من قواعد بيانات NoSQL وأنظمة الملفات، بما في ذلك Alluxio و HBase و MongoDB و MapR -DB و HDFS و MapR-FS و Amazon S3 و Azure Blob Storage و Google Cloud Storage و Swift و NAS والملفات المحلية. ويمكن لاستعلام واحد دمج البيانات من مخازن بيانات متعددة.

يقوم مُحسِّن Drill المُدرك لمخازن البيانات بإعادة هيكلة خطة الاستعلام تلقائيًا للاستفادة من قدرات المعالجة الداخلية لمخزن البيانات. بالإضافة إلى ذلك، يدعم Drill خاصية تجاور البيانات ، إذا كان Drill ومخزن البيانات موجودين على نفس العقد. ^{[ 5 ]}

توم شيران هو مؤسس مشروع أباتشي دريل. ^{[ 6 ]} وقد تم تصنيفه كمشروع رئيسي لمؤسسة برمجيات أباتشي في ديسمبر 2016. ^{[ 7 ]}

أحد أهداف التصميم المعلنة صراحةً هو أن يكون Drill قادراً على التوسع إلى 10000 خادم أو أكثر، وأن يكون قادراً على معالجة بيتابايت من البيانات وتريليونات من السجلات في ثوانٍ. ^{[ 8 ]}

• نموذج مستند JSON بدون مخطط، مشابه لـ MongoDB و Elasticsearch ، دون الحاجة إلى تعريف مخطط رسمي.
• واجهات برمجة التطبيقات القياسية في الصناعة: ANSI SQL ، ODBC/JDBC، واجهات برمجة تطبيقات RESTful
• سهل الاستخدام للغاية للمستخدمين والمطورين
• تتيح البنية القابلة للتوصيل إمكانية الاتصال بمخازن بيانات متعددة
• أضاف الإصدار 1.9 وظائف ديناميكية معرفة من قبل المستخدم
• أضاف الإصدار 1.11 وظائف متعلقة بالتشفير ودعم تنسيق ملفات PCAP

يركز Drill بشكل أساسي على قواعد البيانات غير العلائقية، بما في ذلك ملفات Apache Hadoop النصية، وقواعد بيانات NoSQL ، والتخزين السحابي. ومن أبرز ميزاته أيضًا إمكانية الاستعلام المباشر عن ملفات JSON وApache Parquet المحلية. كما يدعم Drill أنواعًا أخرى من قواعد البيانات، منها:

• جميع توزيعات Hadoop (HDFS API 2.3+)، بما في ذلك Apache Hadoop وMapR وCDH وAmazon EMR
• قواعد بيانات NoSQL: MongoDB ، Apache HBase ، Apache Cassandra
• المعالجة التحليلية عبر الإنترنت: أباتشي كودو ، أباتشي درويد ، أوبن تي إس دي بي
• التخزين السحابي: Amazon S3 ، Google Cloud Storage ، Azure Blob Storage، Swift، IBM Cloud Object Storage
• تنسيقات بيانات متنوعة، بما في ذلك Apache Avro و Apache Parquet و JSON
• إضافات تخزين قواعد البيانات العلائقية (باستخدام JDBC للاتصال بـ MySQL و PostgreSQL وغيرها)

يمكن إضافة مخزن بيانات جديد عن طريق تطوير إضافة تخزين. يُمكّن نموذج بيانات JSON "غير المرتبط بمخطط" الخاص بـ Drill من الاستعلام عن مخازن البيانات غير العلائقية في مكانها. ^{[ 9 ]}

يمكن الاستعلام عن برنامج Drill نفسه عبر JDBC أو ODBC أو REST باستخدام مجموعة متنوعة من الطرق واللغات، بما في ذلك Python وJava. يتضمن التثبيت الافتراضي واجهة ويب تتيح للمستخدمين تنفيذ أوامر ANSI SQL مباشرةً وتصدير جداول البيانات كملفات CSV دون الحاجة إلى أي برمجة.

تُعد مكتبة لوحة المعلومات، Apache Superset ، ^{[ 10 ]} مناسبة بشكل خاص لتصور البيانات التي تم الاستعلام عنها باستخدام Drill.

• الحوسبة السحابية
• البيانات الضخمة
• الحوسبة كثيفة البيانات

أثرت بعض الأوراق البحثية في ولادة وتصميم هذا المنتج. إليكم قائمة جزئية منها:

• في كتاب "2005 من قواعد البيانات إلى مساحات البيانات: تجريد جديد لإدارة المعلومات" ، يسلط المؤلفون الضوء على الحاجة إلى أن تقبل أنظمة التخزين جميع تنسيقات البيانات وأن توفر واجهات برمجة التطبيقات للوصول إلى البيانات التي تتطور بناءً على فهم نظام التخزين للبيانات.
• دريميل 2010 : التحليل التفاعلي لمجموعات البيانات على نطاق الويب

• الموقع الرسمي
• أباتشي دريل: تتبع تاريخها كمجتمع مفتوح المصدر
• SQL و Hadoop: الأمر معقد