راسدامان

rasdaman (" مدير بيانات الصور النقطية ") هو نظام إدارة قواعد بيانات للمصفوفات ، أي: نظام إدارة قواعد بيانات يضيف إمكانيات لتخزين واسترجاع المصفوفات الضخمة متعددة الأبعاد ، مثل بيانات المستشعرات والصور والمحاكاة والإحصاءات. [ 3 ]

يُستخدم مصطلح " بيانات نقطية" كمرادف شائع للمصفوفات ، كما هو الحال في الرسومات النقطية ثنائية الأبعاد ؛ وهذا ما ألهم تسمية "راسدامان" . مع ذلك، لا يقتصر استخدام "راسدامان" على عدد محدد من الأبعاد، إذ يمكن استخدامه، على سبيل المثال، مع بيانات القياس أحادية البعد، وصور الأقمار الصناعية ثنائية الأبعاد، وسلاسل الصور الزمنية ثلاثية الأبعاد (س/ص/ط)، وبيانات الاستكشاف (س/ص/ع)، وبيانات المحيطات والمناخ رباعية الأبعاد، بل ويتجاوز ذلك ليشمل أبعادًا مكانية وزمانية أخرى. [ 3 ]

تاريخ

في عام ١٩٨٩، بدأ بيتر باومان أبحاثه حول دعم قواعد البيانات للصور، وكان يعمل آنذاك في معهد فراونهوفر لرسومات الحاسوب . بعد دراسة معمقة حول صياغة بيانات الصور النقطية في مجال التصوير، ولا سيما جبر الصور AFATL، وضع نموذجًا لقاعدة بيانات المصفوفات متعددة الأبعاد، يتضمن نموذج بيانات ولغة استعلام تصريحية . [ ٤ ] وبذلك، كان رائدًا في مجال قواعد بيانات المصفوفات . تُعرف المصفوفات متعددة الأبعاد اليوم أيضًا باسم مكعبات البيانات . [ ٥ ]

في جامعة ميونخ التقنية ، ضمن مشروع البحث الأساسي RasDaMan الممول من الاتحاد الأوروبي ، تم إنشاء نموذج أولي باستخدام نظام إدارة قواعد البيانات O2 الموجه للكائنات ، وجرى اختباره في تطبيقات علوم الأرض والحياة. [ 6 ] وفي مشاريع أخرى ممولة من الاتحاد الأوروبي، اكتمل هذا النظام ووُسِّع لدعم أنظمة إدارة قواعد البيانات العلائقية. وتم تأسيس شركة rasdaman GmbH، وهي شركة بحثية متخصصة، [ 7 ] لتقديم الدعم التجاري بالإضافة إلى البحث الذي استمر لاحقًا في جامعة جاكوبس . [ 8 ] ومنذ ذلك الحين، يتعاون الكيانان على تطوير تقنية rasdaman واستخدامها. [ 9 ]

المفاهيم

نموذج البيانات

استنادًا إلى جبر المصفوفات [ 10 ] المُصمم خصيصًا لأغراض قواعد البيانات ، يُضيف rasdaman نوعًا جديدًا من السمات، وهو المصفوفة، إلى النموذج العلائقي. ولأن تعريف هذه المصفوفة مُعامل، فإنه يُشكل بنية أو قالبًا من الدرجة الثانية ؛ وتنعكس هذه الحقيقة في الدوال من الدرجة الثانية في الجبر ولغة الاستعلام.

لأسباب تاريخية، تُسمى الجداول مجموعات ، حيث ركز التصميم الأولي على تضمينها في معيار قواعد البيانات الموجهة للكائنات، ODMG . وبهدف التكامل الكامل مع لغة SQL، تُمثل مجموعات rasdaman علاقة ثنائية، حيث يكون العنصر الأول مُعرّفًا للكائن ، والثاني هو المصفوفة. وهذا يسمح بإنشاء مراجع مفاتيح خارجية بين المصفوفات والصفوف العلائقية العادية .

لغة استعلام الصور النقطية

لغة الاستعلام rasql، المُدمجة في لغة rasdaman، مُدمجةٌ في لغة SQL القياسية ومعالجتها الموجهة نحو المجموعات. بالنسبة لنوع السمة الجديد، المصفوفات متعددة الأبعاد، تُوفر مجموعة من العمليات الإضافية التي تستند جميعها إلى مجموعة أساسية مُعرّفة جبريًا، وهي مُنشئ المصفوفة (الذي يُنشئ مصفوفة جديدة ويملأها بالقيم) ومُكثّف المصفوفة (الذي، على غرار تجميعات SQL، يستخلص معلومات موجزة عددية من المصفوفة). لغة الاستعلام تصريحية (وبالتالي قابلة للتحسين) وآمنة في التقييم - أي: يُضمن أن كل استعلام سيعود بعد عدد محدود من خطوات المعالجة.

يقدم دليل استعلام rasql [ 11 ] تفاصيل، وفيما يلي بعض الأمثلة التي قد توضح كيفية استخدامه:

  • "من جميع مكعبات بيانات محاكاة المناخ رباعية الأبعاد x/y/z/t، يتم استخراج جزء يحتوي على كل شيء في x، وجزء مستخرج بين 100 و200، وكل شيء متاح على طول z، وشريحة عند الموضع 42 (مما ينتج عنه فعليًا مكعب ثلاثي الأبعاد x/y/z)":
اختر c [ * : * , 100 : 200 , * : * , 42 ] من جدول ClimateSimulations كـ c
  • "في جميع صور الأقمار الصناعية لاندسات، قم بإخفاء جميع المناطق غير الخضراء":
حدد الصور التي تحتوي على اللون الأخضر ( أكثر من 130 ) من أرشيف لاندسات (LandsatArchive ) كـ img

ملاحظة: يوضح هذا المثال نهجًا أساسيًا؛ عادةً ما يستخدم التحليل العملي للغطاء النباتي صيغة NDVI وإخفاء السحب وتقنيات معالجة إضافية.

  • "جميع صور الرنين المغناطيسي التي تتجاوز فيها شدة الإشارة عتبة 250 في منطقة ما محددة بواسطة أقنعة البت":
حدد img من MRI كـ img ، والأقنعة كـ m حيث بعض_الخلايا ( img > 250 و m )
  • "شريحة ثنائية الأبعاد x/y من جميع مكعبات بيانات محاكاة المناخ رباعية الأبعاد، كل منها مشفر بتنسيق PNG":
حدد png ( c [ * : * , * : * , 100 , 42 ] ) من ClimateSimulations كـ c

بنيان

إدارة التخزين

نموذج تبليط راسدامان
تجانب مصفوفة العينة في راسدامان

تُقسّم كائنات البيانات النقطية إلى مربعات . [ 12 ] وبصرف النظر عن التقسيم المنتظم، يُمكن استخدام أي نوع من التقسيم، سواءً من قِبل المستخدم أو النظام. ولأن المربعات تُشكّل وحدة الوصول إلى القرص، فمن المهم أن يتوافق نمط التجانب مع أنماط الوصول للاستعلام؛ وتُساعد العديد من استراتيجيات التجانب في إنشاء تجانب عالي الأداء. يُستخدم فهرس جغرافي لتحديد المربعات المتأثرة بالاستعلام بسرعة. يُمكن ضغط المربعات، اختياريًا، باستخدام أحد الخيارات المتعددة، [ 13 ] بما في ذلك خوارزميات الضغط بدون فقدان البيانات وخوارزميات الضغط مع فقدان البيانات (الموجات)؛ وبشكل مستقل عن ذلك، يُمكن ضغط نتائج الاستعلام لنقلها إلى العميل. تتضمن كل من استراتيجية التجانب والضغط معلمات ضبط قاعدة البيانات.

تُخزَّن البلاطات وفهرس البلاطات على القرص في قاعدة بيانات rasdaman، [ 14 ] بالإضافة إلى قاموس البيانات اللازم لنظام الأنواع الديناميكي الخاص بـ rasdaman. بالنسبة للمصفوفات الأكبر من مساحة القرص، تم تطوير دعم إدارة التخزين الهرمي (HSM). [ 15 ]

معالجة الاستعلامات

يعتمد تنفيذ الاستعلام على تدفق البيانات المُجزأة. [ 16 ] يتبع التنفيذ نموذج تدفق البيانات المُجزأة : حيث يتم جلب أجزاء المصفوفة التي يُشير إليها الاستعلام بالتسلسل كلما أمكن ذلك، ويتم تجاهل كل جزء بعد معالجته. يؤدي هذا إلى بنية قابلة للتوسع لتشمل أحجام بيانات تتجاوز سعة الذاكرة الرئيسية للخادم بأضعاف مضاعفة.

تخضع الاستعلامات لتحسين مكثف. [ 17 ] يطبق الخادم قواعد تحسين جبرية (استدلالية) على شجرة الاستعلام عند الاقتضاء؛ من بين 150 قاعدة إعادة كتابة جبرية، 110 منها تُحسّن الاستعلام فعليًا، بينما تُستخدم الـ 40 المتبقية لتحويله إلى الصيغة القياسية. علاوة على ذلك، يُطبّق تحسين قائم على التكلفة. تستغرق عملية التحليل والتحسين معًا أقل من جزء من الألف من الثانية على جهاز حاسوب محمول.

علاوة على ذلك، يتم تنفيذ الاستعلامات بالتوازي. [ 18 ] يوفر Rasdaman التوازي بين الاستعلامات (يقوم الموزع بجدولة الطلبات في مجموعة من عمليات الخادم على أساس كل معاملة) والتوازي داخل الاستعلام (التوزيع الشفاف لأشجار الاستعلام الفرعية عبر النوى المتاحة أو وحدات معالجة الرسومات أو عقد السحابة).

واجهات برمجة تطبيقات العميل

تُعدّ لغة الاستعلام الواجهة الأساسية لبرنامج rasdaman. وتتيح عمليات التضمين في واجهات برمجة تطبيقات C++ وJava استدعاء الاستعلامات، بالإضافة إلى وظائف مساعدة من جانب العميل لمعالجة المصفوفات. تُسلّم المصفوفات بتنسيق الذاكرة الرئيسية للغة العميل وبنية المعالج، جاهزةً لمزيد من المعالجة. كما تتيح برامج ترميز تنسيق البيانات استرجاع المصفوفات بتنسيقات الصور النقطية الشائعة، مثل CSV و PNG و NetCDF .

يتم توفير مجموعة أدوات تصميم الويب، raswct، التي تجعل إنشاء واجهات أمامية لاستعلامات الويب أمرًا سهلاً، بما في ذلك الأدوات الرسومية لمعالجة الاستعلامات ذات المعلمات، مثل أشرطة التمرير للعتبات في الاستعلامات.

خدمات الويب الجغرافية

يوفر برنامج بيتاسكوب ، وهو برنامج جافا يعمل كعميل راسدامان، واجهات خدمة ويب مخصصة للوصول إلى البيانات الجغرافية ومعالجتها وتصفيتها. ويدعم البرنامج معايير OGC التالية: WMS و WCS و WCPS و WPS .

بالنسبة لـ WCS و WCPS ، فإن rasdaman هو التنفيذ المرجعي .

الحالة ونموذج الترخيص

اليوم، يُعدّ برنامج rasdaman تطبيقًا متكاملًا يوفر وظائف استعلام المصفوفات (تحديد/إدراج/تحديث/حذف). ويُستخدم في كل من الأبحاث والتطبيقات التجارية.

في إطار تعاون بين مالك الكود الأصلي، شركة rasdaman GmbH [ 7 ] وجامعة جاكوبس ، تم تقسيم الكود بين عامي 2008 و2009، مما أدى إلى ظهور فرع rasdaman community [ 19 ] مفتوح المصدر ، وفرع rasdaman enterprise التجاري. ومنذ ذلك الحين، تتولى جامعة جاكوبس صيانة فرع rasdaman community، بينما يبقى فرع rasdaman enterprise ملكًا حصريًا لشركة rasdaman GmbH. ويكمن الفرق الرئيسي بين الفرعين في تحسينات الأداء (مثل تقنيات التحسين المحددة) المصممة لدعم قواعد البيانات الكبيرة جدًا، وأعداد المستخدمين الكبيرة، والاستعلامات المعقدة؛ ويمكن الاطلاع على التفاصيل على موقع rasdaman community الإلكتروني. [ 20 ]

تتيح رخصة مجتمع rasdaman إصدار الخادم بموجب رخصة GPL وجميع أجزاء العميل بموجب رخصة LGPL ، مما يسمح باستخدام النظام في أي نوع من بيئات الترخيص.

تأثير

باعتبارها أول نظام إدارة قواعد بيانات قائم على المصفوفات يتم شحنه (كان النموذج الأولي الأول متاحًا في عام 1996)، فقد ساهمت راسدامان في تشكيل مجال أبحاث قواعد البيانات الحديثة. وتجد مفاهيم نموذج البيانات والاستعلام (التصريحية، وأحيانًا اختيار المعاملات) نفسها في المناهج الأحدث. وقد أجرى تحالف بيانات البحث مقارنة معمقة بين أنظمة إدارة قواعد البيانات القائمة على المصفوفات والتقنيات ذات الصلة في عام 2018. [ 21 ]

المعايير

في عام 2008، أصدر اتحاد البيانات الجغرافية المكانية المفتوحة معيار خدمة معالجة تغطية الويب الذي يُعرّف لغة استعلام نقطية (تُسمى غالبًا "مكعب البيانات") تستند إلى مفهوم التغطية . وتتأثر دلالات المُعامل [22] بجبر مصفوفة راسدامان .

في عام 2016، اعتمد مشروع INSPIRE (الإطار القانوني للمعلومات المكانية في أوروبا [ 23 ] ) نظام WCPS كمكون اختياري من INSPIRE-WCS. [ 24 ]

في عام 2023، تم اعتماد WCPS من قبل ISO TC211 كمعيار ISO 19123-3:2023. [ 25 ]

في عام 2024، اعتمدت OGC نفس المواصفات الخاصة بالموضوع الملخص 6.3. [ 26 ]

في عام 2019، اعتمدت المنظمة الدولية للمقاييس لغة استعلام المصفوفة rasql كمعيار SQL [ 27 ] ، مع تعديلات نحوية طفيفة فقط على SQL.

استخدام المشروع

قد يوضح مشروعان مختاران استخدام rasdaman في الخدمات الجغرافية.

يُعدّ مشروع Open Earth Datacube Playground [ 28 ] منصةً لعرض نماذج البيانات الجغرافية القابلة للتنفيذ، حيث يُقدّم حالات استخدام تتراوح من بُعد واحد إلى أربعة أبعاد للوصول إلى بيانات الصور النقطية ومعالجتها حسب الحاجة. وقد بُنيت هذه المنصة باستخدام برنامج Rasdaman.

يُعدّ EarthServer [ 29 ] اتحادًا عالميًا لمزودي مكعبات البيانات المستقلين. تُتاح عروض مكعبات البيانات المُجمّعة في مساحة واحدة متجانسة. الوصول إليه شفاف تمامًا من حيث الموقع الجغرافي: إذ يمكن لأي عقدة استقبال استعلام والإجابة عليه، بغض النظر عن موقع عقدة الاتحاد التي توجد بها البيانات؛ ويشمل ذلك دمج البيانات الموزعة تلقائيًا. المشاركة مجانية لمساهمي مكعبات البيانات.

مراجع

  1. "مشروع rasdaman مفتوح المصدر على منصة Open Hub" . Open Hub . شركة Black Duck Software . تاريخ الاسترجاع: 14 يناير 2020 .
  2. "رخصة راسدمان" . rasdaman.org . تم الاطلاع عليه بتاريخ 1 أغسطس 2016 .
  3. 1 2 أنتونييفيتش، أوجنجين (2019). "راسدمان كمنصة لخدمة البيانات النقطية الزمكانية" . تكنيكا . 74 (2): 198-202 . دوى : 10.5937 / tehnika1902198a . ISSN 0040-2176 . 
  4. باومان، ب.: حول إدارة البيانات المنفصلة متعددة الأبعاد . مجلة VLDB، العدد 4(3)، 1994، عدد خاص حول أنظمة قواعد البيانات المكانية، الصفحات 401-444
  5. ^ أنتونييفيتش ، أوجنجين (2019). "راسدمان كمنصة لخدمة البيانات النقطية الزمكانية" . تكنيكا . 74 (2): 198-202 . دوى : 10.5937 / tehnika1902198a . ISSN 0040-2176 . 
  6. "إدارة بيانات الصور النقطية في قواعد البيانات" . خدمة معلومات البحث والتطوير المجتمعي (CORDIS) .
  7. 1 2 "راسدامان، خادم تحليلات البيانات الضخمة" . Rasdaman.com . تم الاطلاع عليه بتاريخ 11 سبتمبر 2022 .
  8. "راسدمان - محرك تحليلات المصفوفات الرشيقة" . www.rasdaman.com . مؤرشف من الأصل بتاريخ 24 سبتمبر 2015. تم الاطلاع عليه بتاريخ 15 يناير 2022 .
  9. ^ أنتونييفيتش ، أوجنجين (2019). "راسدمان كمنصة لخدمة البيانات النقطية الزمكانية" . تكنيكا . 74 (2): 198-202 . دوى : 10.5937 / tehnika1902198a . ISSN 0040-2176 . 
  10. باومان، ب.: جبر مصفوفات قواعد البيانات للبيانات المكانية والزمانية وما بعدها . وقائع مؤتمر NGITS'99، سلسلة محاضرات علوم الحاسوب 1649، سبرينغر 1999، ص 76-93
  11. nn: دليل لغة الاستعلام راسدامان
  12. فورتادو، ب.، باومان، ب.: تخزين المصفوفات متعددة الأبعاد بناءً على التبليط العشوائي . وقائع المؤتمر الدولي لهندسة البيانات 99، 23-26 مارس 1999، سيدني، أستراليا، ص 328-336
  13. أ. ديهمل: محرك ضغط لأنظمة قواعد بيانات المصفوفات متعددة الأبعاد. أطروحة دكتوراه، جامعة ميونخ التقنية، 2001
  14. ب. فورتادو: إدارة تخزين المصفوفات متعددة الأبعاد في أنظمة إدارة قواعد البيانات. أطروحة دكتوراه، جامعة ميونخ التقنية، 2000
  15. ب. راينر وآخرون: دعم وإدارة التخزين الهرمي لأنظمة إدارة قواعد بيانات المصفوفات متعددة الأبعاد واسعة النطاق. وقائع مؤتمر DEXA، إيكس أون بروفانس، فرنسا، 2-6 سبتمبر 2002، سلسلة محاضرات Springer LNCS 2453، الصفحات 689-700، doi: 10.1007/3-540-46146-9_68
  16. ن. ويدمان: تنفيذ العمليات بكفاءة على بيانات المصفوفات متعددة الأبعاد. أطروحة دكتوراه، جامعة ميونخ التقنية، 1999
  17. ر. ريتش: تحسين وتقييم استعلامات المصفوفات في أنظمة إدارة قواعد البيانات. أطروحة دكتوراه، جامعة ميونخ التقنية، 1999
  18. ^ ك. هان: Anfrageverarbeitung المتوازي في نظام بنوك بيانات المصفوفات متعدد الأبعاد. رسالة دكتوراه، جامعة ميونخ، 2003
  19. "راسدامان" . راسدامان. 2022-02-28 . تم الاسترجاع في 2022-09-11 .
  20. نموذج ترخيص راسدامان
  21. باومان، ب.: قواعد بيانات المصفوفات: المفاهيم، والمعايير، والتطبيقات . تحالف بيانات البحث، فريق عمل تقييم قواعد بيانات المصفوفات، DOI: https://dx.doi.org/10.15497/RDA00024
  22. باومان، ب.: معيار خدمة معالجة تغطية الويب (WCPS) التابع لـ OGC . Geoinformatica، 14(4)2010، ص 447-479
  23. ^ “إلهام الاتحاد الأوروبي” . الاتحاد الأوروبي. 2022-02-28 . تم الاسترجاع 2024-07-18 .
  24. "الإرشادات الفنية لتنفيذ خدمات تنزيل INSPIRE باستخدام خدمات تغطية الويب (WCS)" . 2016-12-16.
  25. "ISO 19123-3:2023: المعلومات الجغرافية - مخطط هندسة التغطية والوظائف - الجزء 3: أساسيات المعالجة" . 2023-06-21.
  26. "2024-07-05" (PDF) . 2024-07-05.
  27. "ISO 9075-15:2023: تكنولوجيا المعلومات - لغات قواعد البيانات - SQL - الجزء 15: المصفوفات متعددة الأبعاد (MDA)" . 2023-06-01.   
  28. "ملعب مكعب بيانات الأرض" . rasdaman . تم الاسترجاع في 18-07-2024 .
  29. "EarthServer" . Earthserver.eu . تم الاطلاع عليه بتاريخ 11-09-2022 .