نظام إدارة تدفق البيانات

تعتمد تقنيات الضغط على الاحتفاظ بملخص للبيانات فقط، وليس جميع نقاط البيانات (الخام) في تدفق البيانات. تتراوح الخوارزميات بين اختيار نقاط بيانات عشوائية (المعاينة) والتلخيص باستخدام المدرجات التكرارية أو الموجات أو الرسم التخطيطي. أحد الأمثلة البسيطة على الضغط هو الحساب المستمر للمتوسط. فبدلاً من حفظ كل نقطة بيانات على حدة، يحتوي الملخص على المجموع وعدد العناصر فقط. ويمكن حساب المتوسط ​​بقسمة المجموع على العدد. مع ذلك، تجدر الإشارة إلى أن الملخصات لا تعكس البيانات بدقة. لذا، قد ينتج عن المعالجة القائمة على الملخصات نتائج غير دقيقة.

بدلاً من استخدام الملخصات لضغط خصائص تدفقات البيانات الكاملة، تركز تقنيات النوافذ على جزء منها فقط. يستند هذا النهج إلى فكرة أن البيانات الأحدث فقط هي ذات الصلة. لذلك، تقوم النافذة باستمرار بحذف جزء من تدفق البيانات، مثل آخر عشرة عناصر، وتأخذ هذه العناصر فقط في الاعتبار أثناء المعالجة. توجد أنواع مختلفة من هذه النوافذ، مثل النوافذ المنزلقة التي تشبه قوائم FIFO ، أو النوافذ المتداخلة التي تحذف أجزاءً منفصلة. علاوة على ذلك، يمكن تصنيف النوافذ إلى نوافذ قائمة على العناصر، مثلاً لمعالجة آخر عشرة عناصر، أو نوافذ قائمة على الوقت، مثلاً لمعالجة آخر عشر ثوانٍ من البيانات. كما توجد طرق مختلفة لتنفيذ النوافذ. على سبيل المثال، هناك طرق تستخدم الطوابع الزمنية أو الفترات الزمنية للنوافذ على مستوى النظام، أو نوافذ قائمة على المخزن المؤقت لكل خطوة معالجة. تُعد معالجة الاستعلامات باستخدام النوافذ المنزلقة مناسبة أيضاً للتنفيذ في المعالجات المتوازية من خلال استغلال التوازي بين النوافذ المختلفة و/أو داخل كل نافذة. ^{[ 1 ]}

تُصاغ الاستعلامات في الغالب باستخدام لغات وصفية مثل SQL في أنظمة إدارة قواعد البيانات. ونظرًا لعدم وجود لغات استعلام موحدة للتعبير عن الاستعلامات المستمرة، توجد العديد من اللغات والاختلافات. مع ذلك، يعتمد معظمها على SQL ، مثل لغة الاستعلام المستمر (CQL) و StreamSQL و ESP . كما توجد أيضًا أساليب بيانية حيث تُمثل كل خطوة معالجة بمربع، ويُعبر عن مسار المعالجة بأسهم بين المربعات.

تعتمد اللغة بشكل كبير على نموذج المعالجة. على سبيل المثال، إذا تم استخدام النوافذ للمعالجة، فيجب تحديد تعريف النافذة. في StreamSQL ، يبدو الاستعلام الذي يستخدم نافذة منزلقة لآخر 10 عناصر كما يلي:

حدد متوسط ​​( السعر ) من جدول examplestream [ حجم 10 ، تقدم 1 صفوف ] حيث القيمة > 100.0

يقوم هذا التدفق بحساب متوسط ​​قيمة "السعر" لآخر 10 صفوف، ولكنه لا يأخذ في الاعتبار سوى الصفوف التي تزيد أسعارها عن 100.0.

في الخطوة التالية، يُترجم الاستعلام التصريحي إلى خطة استعلام منطقية . خطة الاستعلام عبارة عن رسم بياني موجه، حيث تمثل العقد عوامل التشغيل، وتصف الحواف مسار المعالجة. يجسد كل عامل تشغيل في خطة الاستعلام دلالة عملية محددة، مثل التصفية أو التجميع. في أنظمة إدارة تدفقات البيانات العلائقية، تكون عوامل التشغيل مساوية أو مشابهة لعوامل التشغيل في الجبر العلائقي ، بحيث توجد عوامل تشغيل للاختيار والإسقاط والربط وعمليات المجموعات. يتيح مفهوم عوامل التشغيل هذا معالجة مرنة ومتعددة الاستخدامات لأنظمة إدارة تدفقات البيانات.

يمكن تحسين خطة الاستعلام المنطقية، وهو ما يعتمد بشكل كبير على نموذج التدفق. تتشابه المفاهيم الأساسية لتحسين الاستعلامات المستمرة مع تلك المستخدمة في أنظمة قواعد البيانات . في حال وجود تدفقات بيانات علائقية، وكانت خطة الاستعلام المنطقية مبنية على عوامل علائقية من الجبر العلائقي ، يمكن لمُحسِّن الاستعلام استخدام المكافئات الجبرية لتحسين الخطة. قد يكون ذلك، على سبيل المثال، لنقل عوامل الاختيار إلى مصادر البيانات، لأنها أقل استهلاكًا للموارد الحاسوبية من عوامل الربط.

علاوة على ذلك، توجد تقنيات تحسين قائمة على التكلفة، كما هو الحال في أنظمة إدارة قواعد البيانات، حيث يتم اختيار خطة الاستعلام الأقل تكلفة من بين خطط استعلام متكافئة. ومن الأمثلة على ذلك اختيار ترتيب عاملي الربط المتتاليين. في أنظمة إدارة قواعد البيانات، يُتخذ هذا القرار غالبًا بناءً على إحصائيات معينة لقواعد البيانات المعنية. ولكن، نظرًا لأن بيانات تدفق البيانات غير معروفة مسبقًا، فلا توجد مثل هذه الإحصائيات في أنظمة إدارة تدفق البيانات. مع ذلك، من الممكن مراقبة تدفق البيانات لفترة زمنية محددة للحصول على بعض الإحصائيات. وباستخدام هذه الإحصائيات، يمكن تحسين الاستعلام لاحقًا. لذا، وعلى عكس أنظمة إدارة قواعد البيانات، تسمح بعض أنظمة إدارة تدفق البيانات بتحسين الاستعلام حتى أثناء التشغيل. لذلك، تحتاج أنظمة إدارة تدفق البيانات إلى استراتيجيات لترحيل خطط الاستعلام لاستبدال خطة الاستعلام الحالية بخطة جديدة.

بما أن العامل المنطقي مسؤول فقط عن دلالات العملية ولا يتضمن أي خوارزميات، يجب تحويل خطة الاستعلام المنطقية إلى نظير قابل للتنفيذ، وتُسمى هذه الخطة بخطة الاستعلام الفيزيائية. يتيح التمييز بين خطة العامل المنطقية وخطة العامل الفيزيائية إمكانية تنفيذ العامل المنطقي نفسه بأكثر من طريقة. على سبيل المثال، عملية الربط (join) متطابقة منطقيًا، على الرغم من إمكانية تنفيذها بخوارزميات مختلفة مثل الربط الحلقي المتداخل أو الربط بالفرز والدمج . تجدر الإشارة إلى أن هذه الخوارزميات تعتمد بشكل كبير على نوع التدفق ونموذج المعالجة المستخدمين. أخيرًا، يصبح الاستعلام متاحًا كخطة استعلام فيزيائية.

بما أن خطة الاستعلام الفيزيائية تتكون من خوارزميات قابلة للتنفيذ، فيمكن تنفيذها مباشرةً. ولتحقيق ذلك، تُثبّت خطة الاستعلام الفيزيائية في النظام. يرتبط الجزء السفلي من الرسم البياني (لخطة الاستعلام) بمصادر البيانات الواردة، والتي قد تشمل أي شيء مثل الموصلات الخاصة بأجهزة الاستشعار. أما الجزء العلوي من الرسم البياني فيرتبط بمخارج البيانات الصادرة، والتي قد تكون، على سبيل المثال، واجهة عرض مرئية. ولأن معظم أنظمة إدارة البيانات تعتمد على البيانات، يُنفّذ الاستعلام عن طريق دفع عناصر البيانات الواردة من المصدر عبر خطة الاستعلام إلى المخرج. في كل مرة يمر فيها عنصر بيانات عبر مُشغّل، يُنفّذ المُشغّل عمليته الخاصة على عنصر البيانات، ثم يُرسل النتيجة إلى جميع المُشغّلات اللاحقة.