رسم خرائط البيانات

في مجال الحوسبة وإدارة البيانات ، تُعرف عملية ربط البيانات بأنها عملية إنشاء روابط بين عناصر البيانات في نموذجين مختلفين للبيانات . وتُستخدم عملية ربط البيانات كخطوة أولى في مجموعة واسعة من مهام تكامل البيانات ، بما في ذلك: ^{[ 1 ]}

• تحويل البيانات أو الوساطة في البيانات بين مصدر البيانات ووجهتها
• تحديد علاقات البيانات كجزء من تحليل نسب البيانات
• اكتشاف بيانات حساسة مخفية، مثل آخر أربعة أرقام من رقم الضمان الاجتماعي المخفي في هوية مستخدم آخر، كجزء من مشروع لإخفاء البيانات أو إزالة تعريف الهوية.
• دمج قواعد البيانات المتعددة في قاعدة بيانات واحدة وتحديد أعمدة البيانات المتكررة لدمجها أو حذفها

على سبيل المثال، قد تستخدم شركة ترغب في إرسال واستقبال المشتريات والفواتير مع شركات أخرى عملية رسم خرائط البيانات لإنشاء خرائط بيانات من بيانات الشركة إلى رسائل ANSI ASC X12 القياسية لعناصر مثل أوامر الشراء والفواتير.

تستخدم عمليات رسم خرائط البيانات الحديثة بشكل متزايد تقنيات الذكاء الاصطناعي والتعلم الآلي لأتمتة هذه المهام وتحسينها. ^{[ 2 ]}

معايير X12 هي معايير عامة لتبادل البيانات الإلكترونية (EDI) مصممة لتمكين الشركات من تبادل البيانات مع أي شركة أخرى، بغض النظر عن مجال عملها. تتولى لجنة المعايير المعتمدة X12 (ASC X12) مسؤولية صيانة هذه المعايير، بينما يُعتبر المعهد الوطني الأمريكي للمعايير (ANSI) الجهة المعتمدة لوضع معايير تبادل البيانات الإلكترونية. وتُعرف معايير X12 أيضاً بمعايير ANSI ASC X12 .

قدمت منظمة W3C معيار R2RML لربط البيانات في قاعدة بيانات علائقية بالبيانات المعبر عنها من حيث إطار وصف الموارد (RDF).

في المستقبل، ستُسهم الأدوات القائمة على لغات الويب الدلالي ، مثل RDF ولغة الويب الأنطولوجية (OWL) وسجل البيانات الوصفية الموحد ، في جعل عملية ربط البيانات أكثر آلية. وسيتسارع هذا المسار إذا قام كل تطبيق بنشر بياناته الوصفية . مع ذلك، يُعدّ ربط البيانات المؤتمت بالكامل تحديًا بالغ الصعوبة (انظر الترجمة الدلالية ).

يمكن إجراء عمليات ربط البيانات بطرق متنوعة، باستخدام التعليمات البرمجية الإجرائية، أو إنشاء تحويلات XSLT ، أو باستخدام أدوات الربط الرسومية التي تُنشئ تلقائيًا برامج تحويل قابلة للتنفيذ. هذه الأدوات الرسومية تُمكّن المستخدم من رسم خطوط من حقول مجموعة بيانات إلى حقول مجموعة بيانات أخرى. كما تُتيح بعض أدوات ربط البيانات الرسومية للمستخدمين إمكانية الربط التلقائي بين المصدر والوجهة، بشرط تطابق اسم عنصر البيانات في المصدر والوجهة . تُنشأ برامج التحويل تلقائيًا بلغات SQL أو XSLT أو Java أو C++ . وتُعد هذه الأدوات الرسومية أساسية في معظم أدوات ETL (الاستخراج والتحويل والتحميل) لإدخال خرائط البيانات لدعم نقلها. ومن الأمثلة على ذلك SAP BODS وInformatica PowerCenter.

هذا هو أحدث نهج في رسم خرائط البيانات، ويتضمن تقييم قيم البيانات الفعلية في مصدرين للبيانات في آنٍ واحد باستخدام أساليب استدلالية وإحصائية لاكتشاف عمليات الربط المعقدة بين مجموعتي البيانات تلقائيًا. يُستخدم هذا النهج لإيجاد التحويلات بين مجموعتي البيانات، واكتشاف السلاسل الفرعية، وعمليات الربط، والعمليات الحسابية ، وعبارات الحالة، بالإضافة إلى أنواع أخرى من منطق التحويل. كما يكشف هذا النهج عن استثناءات البيانات التي لا تتبع منطق التحويل المكتشف.

تُشبه عملية الربط الدلالي ميزة الاتصال التلقائي في أدوات ربط البيانات، باستثناء إمكانية الرجوع إلى سجل البيانات الوصفية للبحث عن مرادفات عناصر البيانات. على سبيل المثال، إذا كان النظام المصدر يُدرج FirstName بينما يُدرج النظام الوجهة PersonGivenName ، فسيتم الربط بينهما إذا كانت هذه العناصر مُدرجة كمرادفات في سجل البيانات الوصفية. يقتصر الربط الدلالي على اكتشاف التطابقات التامة بين أعمدة البيانات، ولا يكتشف أي منطق تحويل أو استثناءات بين الأعمدة.

تتبع مسار البيانات هو سجل لدورة حياة كل جزء من البيانات منذ لحظة إدخاله ومعالجته وحتى إخراجه من نظام التحليلات. يوفر هذا التتبع رؤية شاملة لمسار التحليلات، ويسهل تتبع الأخطاء إلى مصادرها. كما يُمكّن من إعادة تشغيل أجزاء أو مدخلات محددة من تدفق البيانات لتصحيح الأخطاء خطوة بخطوة أو استعادة المخرجات المفقودة. في الواقع، استخدمت أنظمة قواعد البيانات هذه المعلومات، التي تُسمى أصل البيانات، لمعالجة تحديات مماثلة في التحقق من صحة البيانات وتصحيحها. ^{[ 3 ]}

• تكامل البيانات
• معالجة البيانات
• تحويل الهوية
• ISO/IEC 11179 - معيار سجل البيانات الوصفية ISO/IEC
• البيانات الوصفية
• نشر البيانات الوصفية
• مطابقة المخططات
• التباين الدلالي
• مُرسم الخرائط الدلالية
• الترجمة الدلالية
• الويب الدلالي
• علم الدلالة
• XSLT - لغة تحويل XML