بحيرة البيانات

بحيرة البيانات هي نظام أو مستودع للبيانات المخزنة بصيغتها الأصلية الخام، ^{[ 1 ]} وعادةً ما تكون على شكل كائنات ثنائية أو ملفات. تُعدّ بحيرة البيانات عادةً مخزنًا واحدًا للبيانات، بما في ذلك نسخ خام من بيانات النظام المصدر، وبيانات المستشعرات، وبيانات وسائل التواصل الاجتماعي، وما إلى ذلك، ^{[ 2 ]} بالإضافة إلى البيانات المُحوّلة المستخدمة في مهام مثل إعداد التقارير ، والتصور ، والتحليلات المتقدمة ، والتعلم الآلي . يمكن أن تشمل بحيرة البيانات بيانات مُهيكلة من قواعد البيانات العلائقية (صفوف وأعمدة)، وبيانات شبه مُهيكلة ( ملفات CSV ، والسجلات، و XML ، وJSON )، وبيانات غير مُهيكلة ( رسائل البريد الإلكتروني ، والمستندات، وملفات PDF )، وبيانات ثنائية (صور، وملفات صوتية ، وفيديوهات). ^{[ 3 ]} يمكن إنشاء بحيرة البيانات محليًا (داخل مراكز بيانات المؤسسة) أو في السحابة (باستخدام خدمات الحوسبة السحابية ).

صاغ جيمس ديكسون، كبير مسؤولي التكنولوجيا في بنتاهو آنذاك ، مصطلح "بحيرات البيانات" بحلول عام 2011 ^{[ 4 ]} لمقارنته بمستودع البيانات (Data mart) ، وهو مستودع أصغر للسمات المهمة المستمدة من البيانات الخام. ^{[ 5 ]} وفي معرض ترويجه لبحيرات البيانات، جادل بأن مستودعات البيانات تعاني من عدة مشاكل متأصلة، مثل عزل المعلومات . وقالت شركة برايس ووترهاوس كوبرز (PwC) إن بحيرات البيانات قادرة على "القضاء على عزل البيانات". ^{[ 6 ]} وفي دراستهم حول بحيرات البيانات، لاحظوا أن المؤسسات "بدأت في استخراج البيانات ووضعها لأغراض التحليل في مستودع واحد قائم على هادوب ".

تستخدم العديد من الشركات خدمات التخزين السحابي مثل Google Cloud Storage و Amazon S3 ، أو أنظمة الملفات الموزعة مثل نظام Apache Hadoop الموزع (HDFS). ^{[ 7 ]} ويتزايد الاهتمام الأكاديمي بمفهوم بحيرات البيانات. فعلى سبيل المثال، تُعدّ Personal DataLake في جامعة كارديف نوعًا جديدًا من بحيرات البيانات، يهدف إلى إدارة البيانات الضخمة للمستخدمين الأفراد من خلال توفير نقطة مركزية لجمع البيانات الشخصية وتنظيمها ومشاركتها. ^{[ 8 ]}

كانت بحيرات البيانات المبكرة، مثل Hadoop 1.0، ذات قدرات محدودة لأنها كانت تدعم فقط المعالجة الموجهة نحو الدفعات ( MapReduce ). وكان التفاعل معها يتطلب خبرة في Java وMapReduce وأدوات عالية المستوى مثل Apache Pig و Apache Spark و Apache Hive (التي كانت موجهة نحو الدفعات في الأصل).

وقد أطلق على بحيرات البيانات سيئة الإدارة اسم مستنقعات البيانات على سبيل المزاح. ^{[ 9 ]}

في يونيو 2015، وصف ديفيد نيدل ما يُسمى بـ"بحيرات البيانات" بأنها "إحدى أكثر الطرق إثارةً للجدل لإدارة البيانات الضخمة ". ^{[ 10 ]} كما حرصت شركة برايس ووترهاوس كوبرز (PwC) على الإشارة في بحثها إلى أن مبادرات بحيرات البيانات لا تُكلل جميعها بالنجاح. ونقلوا عن شون مارتن، المدير التقني لشركة كامبريدج سيمانتكس ، قوله:

نرى عملاءً يُنشئون مستودعات بيانات ضخمة، حيث يُخزّنون كل شيء في نظام ملفات هادوب الموزع (HDFS) على أمل الاستفادة منها لاحقًا. لكنهم ببساطة يفقدون السيطرة على ما يوجد هناك. التحدي الرئيسي ليس في إنشاء مستودع بيانات ضخم، بل في استغلال الفرص التي يُتيحها. ^{[ 6 ]}

يصفون الشركات التي تبني بحيرات بيانات ناجحة بأنها تعمل على تطوير بحيراتها تدريجياً بينما تكتشف البيانات والبيانات الوصفية المهمة للمؤسسة.

ومن الانتقادات الأخرى أن مصطلح " بحيرة البيانات" يُستخدم بمعانٍ متعددة. ^{[ 11 ]} فقد يُستخدم للإشارة، على سبيل المثال: إلى أي أدوات أو ممارسات لإدارة البيانات لا تُعدّ مستودعات بيانات ؛ أو إلى تقنية معينة للتنفيذ؛ أو إلى خزان بيانات خام؛ أو إلى مركز لتفريغ عمليات استخراج البيانات وتحويلها وتحميلها (ETL) ؛ أو إلى مركز رئيسي لتحليلات الخدمة الذاتية.

مع أن الانتقادات الموجهة إلى بحيرات البيانات مبررة، إلا أنها في كثير من الأحيان تنطبق على مشاريع البيانات الأخرى أيضاً. ^{[ 12 ]} فعلى سبيل المثال، تعريف مستودع البيانات قابل للتغيير، ولم تكن جميع الجهود المبذولة في هذا المجال ناجحة. ورداً على مختلف الانتقادات، أشارت شركة ماكينزي ^{[ 13 ]} إلى أنه ينبغي النظر إلى بحيرة البيانات كنموذج خدمة لتقديم قيمة تجارية داخل المؤسسة، وليس كنتيجة تقنية.

تُعد بحيرات البيانات نهجًا هجينًا يمكنه استيعاب مجموعة متنوعة من تنسيقات البيانات الأولية مثل بحيرة البيانات، مع توفير معاملات ACID وجودة بيانات مفروضة مثل مستودع البيانات . ^{[ 14 ]}

• بحيرة بيانات Azure