تحويل البيانات (الحوسبة)

📅 آخر تحديث: ٢٦ يوليو ٢٠٢٦
✍️ نُشر في: ٢٦ يوليو ٢٠٢٦
الموسوعة الحرة

في مجال الحوسبة ، تُعرف عملية تحويل البيانات بأنها تحويل البيانات من تنسيق أو بنية إلى تنسيق أو بنية أخرى. وهي جانب أساسي في معظم عمليات تكامل البيانات [ 1 ] ومهام إدارة البيانات ، مثل معالجة البيانات ، وتخزين البيانات ، وتكامل البيانات ، وتكامل التطبيقات.

قد تكون عملية تحويل البيانات بسيطة أو معقدة، وذلك بحسب التغييرات المطلوبة بين البيانات المصدرية (الأولية) والبيانات الهدفية (النهائية). ويتم تحويل البيانات عادةً عبر مزيج من الخطوات اليدوية والآلية. [ 2 ] وتختلف الأدوات والتقنيات المستخدمة في تحويل البيانات اختلافًا كبيرًا بناءً على تنسيق البيانات وبنيتها ومدى تعقيدها وحجمها.

إعادة صياغة البيانات الرئيسية هي شكل آخر من أشكال تحويل البيانات، حيث يتم تحويل أو إعادة صياغة قاعدة البيانات بأكملها دون استخراج البيانات منها. ترتبط جميع البيانات في قاعدة بيانات مصممة جيدًا، بشكل مباشر أو غير مباشر، بمجموعة محدودة من جداول قاعدة البيانات الرئيسية عبر شبكة من قيود المفاتيح الخارجية . يعتمد كل قيد مفتاح خارجي على فهرس فريد من جدول قاعدة البيانات الأصلية. لذلك، عند إعادة صياغة جدول قاعدة البيانات الرئيسية المناسب بفهرس فريد مختلف، تُعاد صياغة البيانات المرتبطة به بشكل مباشر وغير مباشر. يمكن أيضًا عرض هذه البيانات بشكلها الأصلي نظرًا لوجود الفهرس الفريد الأصلي ضمن البيانات الرئيسية. كما يجب أن تتم إعادة صياغة قاعدة البيانات بطريقة لا تؤثر على بنية برمجيات التطبيقات .

عندما يكون تعيين البيانات غير مباشر عبر نموذج بيانات وسيط ، تسمى العملية أيضًا وساطة البيانات .

عملية تحويل البيانات

يمكن تقسيم عملية تحويل البيانات إلى الخطوات التالية، كل منها قابلة للتطبيق حسب الحاجة بناءً على مدى تعقيد التحويل المطلوب.

غالباً ما تكون هذه الخطوات محور اهتمام المطورين أو محللي البيانات التقنية الذين قد يستخدمون أدوات متخصصة متعددة لأداء مهامهم.

يمكن وصف الخطوات على النحو التالي:

يُعد اكتشاف البيانات الخطوة الأولى في عملية تحويل البيانات. وعادةً ما يتم تحليل البيانات باستخدام أدوات التحليل، أو أحيانًا باستخدام برامج تحليل مكتوبة يدويًا، وذلك لفهم بنية البيانات وخصائصها بشكل أفضل، وتحديد كيفية تحويلها.

تُعرف عملية رسم خرائط البيانات بأنها تحديد كيفية ربط الحقول الفردية وتعديلها ودمجها وتصفيتها وتجميعها، وما إلى ذلك، لإنتاج المخرجات النهائية المطلوبة. ويقوم المطورون أو محللو البيانات التقنيون عادةً برسم خرائط البيانات لأنهم يعملون في التقنيات المحددة لتحديد قواعد التحويل (مثل أدوات ETL المرئية ، ولغات التحويل ).

توليد الشفرة هو عملية إنشاء شفرة قابلة للتنفيذ (مثل SQL أو Python أو R أو غيرها من التعليمات القابلة للتنفيذ) التي تُحوّل البيانات بناءً على قواعد ربط البيانات المطلوبة والمحددة. [ 4 ] عادةً، تُولّد تقنيات تحويل البيانات هذه الشفرة [ 5 ] استنادًا إلى التعريفات أو البيانات الوصفية التي يُحددها المطورون.

تنفيذ الكود هو الخطوة التي يتم فيها تطبيق الكود المُولّد على البيانات لإنتاج المخرجات المطلوبة. قد يكون الكود المُنفّذ مُدمجًا بشكل كامل في أداة التحويل، أو قد يتطلب خطوات منفصلة من المطور لتنفيذه يدويًا.

تُعدّ مراجعة البيانات الخطوة الأخيرة في العملية، وتركز على ضمان استيفاء بيانات المخرجات لمتطلبات التحويل. وعادةً ما يقوم مستخدم الأعمال أو المستخدم النهائي للبيانات بهذه الخطوة. ويتم إبلاغ المطور أو محلل البيانات بأي شذوذ أو أخطاء في البيانات يتم اكتشافها، باعتبارها متطلبات جديدة يجب تنفيذها في عملية التحويل. [ 1 ]

أنواع تحويل البيانات

تحويل البيانات المجمعة

تقليديًا، كانت عملية تحويل البيانات عمليةً جماعيةً أو دفعيةً، [ 6 ] حيث يقوم المطورون بكتابة التعليمات البرمجية أو تطبيق قواعد التحويل في أداة تكامل البيانات، ثم تنفيذ تلك التعليمات البرمجية أو تلك القواعد على كميات كبيرة من البيانات. [ 7 ] يمكن أن تتبع هذه العملية مجموعة الخطوات الخطية الموضحة في عملية تحويل البيانات أعلاه.

يُعد تحويل البيانات على دفعات حجر الزاوية في جميع تقنيات تكامل البيانات تقريبًا، مثل تخزين البيانات، وترحيل البيانات، وتكامل التطبيقات. [ 1 ]

عندما يتطلب الأمر تحويل البيانات وتسليمها بزمن استجابة منخفض، يُستخدم مصطلح "الدفعة الصغيرة" غالبًا. [ 6 ] ويشير هذا المصطلح إلى دفعات صغيرة من البيانات (مثل عدد قليل من الصفوف أو مجموعة صغيرة من عناصر البيانات) التي يمكن معالجتها بسرعة كبيرة وتسليمها إلى النظام المستهدف عند الحاجة.

فوائد تحويل البيانات المجمعة

لقد خدمت عمليات تحويل البيانات التقليدية الشركات بشكل جيد لعقود. وقد نضجت الأدوات والتقنيات المختلفة (تحليل البيانات، وتصور البيانات، وتنظيف البيانات، وتكامل البيانات، وما إلى ذلك)، وتقوم معظم المؤسسات (إن لم تكن جميعها) بتحويل كميات هائلة من البيانات التي تغذي التطبيقات الداخلية والخارجية، ومستودعات البيانات، ومخازن البيانات الأخرى. [ 8 ]

قيود تحويل البيانات التقليدي

كما أن لهذه العملية التقليدية قيوداً تعيق كفاءتها وفعاليتها بشكل عام. [ 1 ] [ 2 ] [ 7 ]

لا يضطلع الأشخاص الذين يحتاجون إلى استخدام البيانات (مثل مستخدمي الأعمال) بدور مباشر في عملية تحويل البيانات. [ 9 ] عادةً، يُسند المستخدمون مهمة تحويل البيانات إلى المطورين الذين يمتلكون المهارات البرمجية أو التقنية اللازمة لتحديد التحويلات وتنفيذها على البيانات. [ 8 ]

تترك هذه العملية الجزء الأكبر من العمل، المتمثل في تحديد التحويلات المطلوبة، للمطور، الذي غالبًا ما يفتقر إلى نفس المعرفة المتخصصة التي يمتلكها المستخدم. يقوم المطور بتفسير متطلبات المستخدم وتنفيذ التعليمات البرمجية/المنطق ذي الصلة. وهذا قد يؤدي إلى إدخال أخطاء في العملية (نتيجة لسوء فهم المتطلبات)، كما يزيد من الوقت اللازم للوصول إلى حل. [ 9 ] [ 10 ]

وقد أدت هذه المشكلة إلى ظهور الحاجة إلى المرونة والخدمة الذاتية في تكامل البيانات (أي تمكين مستخدم البيانات وتمكينه من تحويل البيانات بنفسه بشكل تفاعلي). [ 7 ] [ 10 ]

توجد شركات توفر أدوات تحويل البيانات ذاتية الخدمة. تهدف هذه الشركات إلى تحليل ورسم خرائط وتحويل كميات كبيرة من البيانات بكفاءة عالية، دون الحاجة إلى المعرفة التقنية وتعقيد العمليات كما هو الحال حاليًا. ورغم أن هذه الشركات تستخدم التحويل الدفعي التقليدي، إلا أن أدواتها تتيح للمستخدمين تفاعلًا أكبر من خلال منصات مرئية ونصوص برمجية سهلة التكرار. [ 11 ]

مع ذلك، قد توجد بعض مشكلات التوافق (على سبيل المثال، قد لا تعمل مصادر البيانات الجديدة مثل إنترنت الأشياء بشكل صحيح مع الأدوات القديمة) وقيود الامتثال بسبب الاختلاف في ممارسات إدارة البيانات وإعدادها ومراجعتها. [ 12 ]

تحويل البيانات التفاعلي

يُعدّ تحويل البيانات التفاعلي (IDT) [ 13 ] قدرةً ناشئةً تُمكّن محللي الأعمال ومستخدمي الأعمال من التفاعل المباشر مع مجموعات البيانات الضخمة عبر واجهة مرئية [ 9 ] ، وفهم خصائص البيانات (عبر تحليل البيانات الآلي أو عرضها بصريًا)، وتغيير البيانات أو تصحيحها من خلال تفاعلات بسيطة مثل النقر أو تحديد عناصر معينة من البيانات. [ 2 ]

على الرغم من أن تحويل البيانات التفاعلي يتبع نفس خطوات عملية تكامل البيانات كما هو الحال في تكامل البيانات الدفعي، إلا أن الاختلاف الرئيسي يكمن في أن الخطوات لا تُتبع بالضرورة بطريقة خطية، وعادةً لا تتطلب مهارات تقنية كبيرة لإتمامها. [ 14 ]

توجد عدة شركات تقدم أدوات تفاعلية لتحويل البيانات، منها Trifacta وAlteryx وPaxata. وتهدف هذه الشركات إلى تحليل ورسم خرائط وتحويل كميات كبيرة من البيانات بكفاءة، مع تبسيط بعض التعقيدات التقنية والعمليات التي تجري في الخلفية.

توفر حلول تحويل البيانات التفاعلية واجهة مرئية متكاملة تجمع بين الخطوات المنفصلة سابقًا لتحليل البيانات، ورسم خرائط البيانات، وتوليد/تنفيذ التعليمات البرمجية، وفحص البيانات. [ 8 ] بمعنى آخر، إذا أُجريت تغييرات في إحدى الخطوات (مثل إعادة التسمية على سبيل المثال)، يقوم البرنامج تلقائيًا بتحديث الخطوات السابقة أو اللاحقة وفقًا لذلك. تتضمن واجهات تحويل البيانات التفاعلية رسومًا بيانية لعرض الأنماط والشذوذات في البيانات للمستخدم، مما يُمكّنه من تحديد القيم الخاطئة أو الشاذة. [ 9 ]

بمجرد الانتهاء من تحويل البيانات، يمكن للنظام إنشاء رمز/منطق قابل للتنفيذ، والذي يمكن تنفيذه أو تطبيقه على مجموعات بيانات مماثلة لاحقة.

من خلال إزالة المطور من العملية، تعمل أنظمة تحويل البيانات التفاعلية على تقليل الوقت اللازم لإعداد البيانات وتحويلها، والقضاء على الأخطاء المكلفة في تفسير متطلبات المستخدم، وتمكين مستخدمي الأعمال والمحللين من التحكم في بياناتهم والتفاعل معها حسب الحاجة. [ 10 ]

اللغات التحويلية

تتوفر لغات عديدة لإجراء تحويل البيانات. تتطلب العديد من لغات التحويل توفير قواعد نحوية . في كثير من الحالات، تُبنى هذه القواعد باستخدام صيغة مشابهة لصيغة باكوس-ناور (BNF). تتوفر لغات عديدة لهذه الأغراض، وتختلف في سهولة استخدامها (التكلفة) وفائدتها العامة. [ 15 ] ومن أمثلة هذه اللغات:

  • AWK - واحدة من أقدم لغات تحويل البيانات النصية وأكثرها شيوعًا؛
  • بيرل - لغة برمجة عالية المستوى ذات بنية إجرائية وبنية كائنية التوجه قادرة على إجراء عمليات قوية على البيانات الثنائية أو النصية.
  • لغات القوالب - متخصصة في تحويل البيانات إلى مستندات (انظر أيضًا معالج القوالب )؛
  • TXL - وصف قائم على لغة النماذج الأولية، يستخدم لتحويل التعليمات البرمجية المصدرية أو البيانات.
  • XSLT - لغة تحويل بيانات XML القياسية (مناسبة لـ XQuery في العديد من التطبيقات)؛

بالإضافة إلى ذلك، طورت شركات مثل تريفاكتا وباكساتا لغات تحويل خاصة بالمجال (DSL) لخدمة مجموعات البيانات وتحويلها. وقد ارتبط تطوير هذه اللغات بزيادة الإنتاجية وسهولة الوصول إليها للمستخدمين غير التقنيين. [ 16 ] وتُعد لغة "Wrangle" من تريفاكتا مثالاً على هذه اللغات الخاصة بالمجال. [ 17 ]

من المزايا الأخرى لاتجاه لغات التحويل المتخصصة في المجال، قدرتها على تجريد التنفيذ الأساسي للمنطق المُعرَّف فيها. كما يمكنها استخدام هذا المنطق نفسه في محركات معالجة متنوعة، مثل Spark و MapReduce و Dataflow . بعبارة أخرى، في لغة التحويل المتخصصة في المجال، لا تكون لغة التحويل مرتبطة بالمحرك الأساسي. [ 17 ]

على الرغم من أن لغات البرمجة التحويلية هي الأنسب عادةً للتحويل، إلا أنه يمكن استخدام شيء بسيط كالتعبيرات النمطية لتحقيق تحويل مفيد. يدعم محرر النصوص مثل vim و emacs و TextPad استخدام التعبيرات النمطية مع الوسائط. وهذا يسمح باستبدال جميع حالات نمط معين بنمط آخر باستخدام أجزاء من النمط الأصلي. على سبيل المثال:

foo (سلسلة نصية ما، 42، gCommon)؛ bar (someObj, anotherObj); foo ("سلسلة أخرى", 24, gCommon); bar (myObj, myOtherObj);

يمكن تحويل كليهما إلى شكل أكثر إحكامًا مثل:

foobar("some string", 42, someObj, anotherObj); foobar("سلسلة أخرى", 24, myObj, myOtherObj);

بمعنى آخر، سيتم استبدال جميع حالات استدعاء الدالة foo بثلاثة وسائط، متبوعة باستدعاء دالة بوسيطين، باستدعاء دالة واحد باستخدام بعض أو كل مجموعة الوسائط الأصلية.

انظر أيضاً

مراجع

  1. ١ ٢ ٣ ٤ CIO.com. منهجية أجايل تدخل عالم تكامل البيانات. تم استرجاعها من: https://www.cio.com/article/2378615/data-management/agile-comes-to-data-integration.html مؤرشفة بتاريخ ٢٩ أغسطس ٢٠١٧ في أرشيف الإنترنت (Wayback Machine).
  2. 1 2 3 DataXFormer. موركوس، عابدجان، إلياس، أوزاني، بابوتي، ستونبريكر. أداة تفاعلية لتحويل البيانات. تم استرجاعها من: http://livinglab.mit.edu/wp-content/uploads/2015/12/DataXFormer-An-Interactive-Data-Transformation-Tool.pdf مؤرشفة بتاريخ 5 أغسطس 2019 على موقع Wayback Machine
  3. ↑ DWBIMASTER. أفضل 10 أدوات ETL. تم استرجاعها من: http://dwbimaster.com/top-10-etl-tools/ مؤرشفة بتاريخ 29 أغسطس 2017 في Wayback Machine
  4. ↑ بيتر أوبريشت، زدينيك كوبا. تحويل البيانات القائم على البيانات الوصفية. تم استرجاعه من: http://labe.felk.cvut.cz/~aubrech/bin/Sumatra.pdf مؤرشف بتاريخ 16 أبريل 2021 في أرشيف الإنترنت (Wayback Machine).
  5. ↑ LearnDataModeling.com. مولدات الأكواد. تم استرجاعها من: http://www.learndatamodeling.com/tm_code_generator.php مؤرشفة بتاريخ 2017-08-02 في أرشيف الإنترنت (Wayback Machine).
  6. 1 2 TDWI. عشر قواعد لتكامل البيانات في الوقت الفعلي. تم استرجاعها من: https://tdwi.org/Articles/2012/12/11/10-Rules-Real-Time-Data-Integration.aspx?Page=1 مؤرشفة بتاريخ 29 أغسطس 2017 على موقع Wayback Machine
  7. 1 2 3 توبي أوميتولا، أندريه فريتاس، إدوارد كاري، شون أورين، نيكولاس جيبينز، ونايجل شادبولت. التقاط عمليات تحويل البيانات التفاعلية باستخدام سير عمل Provenance. تم استرجاعه من: http://andrefreitas.org/papers/preprint_capturing%20interactive_data_transformation_eswc_highlights.pdf مؤرشف بتاريخ 31 يناير 2016 في Wayback Machine
  8. 1 2 3 قيمة تحويل البيانات
  9. ١ ٢ ٣ ٤ مورتون، كريستي - تكامل البيانات التفاعلي وحل الكيانات لتحليلات البيانات المرئية الاستكشافية. تم الاسترجاع من: https://digital.lib.washington.edu/researchworks/handle/1773/35165 مؤرشف بتاريخ ٧ سبتمبر ٢٠١٧ في أرشيف الإنترنت (Wayback Machine).
  10. 1 2 3 McKinsey.com. استخدام منهجية أجايل لتسريع تحويل البيانات
  11. ↑ "لماذا يُعدّ التحضير الذاتي تطبيقًا رائعًا للبيانات الضخمة؟" . داتانامي . 31 مايو 2016. مؤرشف من الأصل في 21 سبتمبر 2017. تم الاطلاع عليه في 20 سبتمبر 2017 .
  12. ↑ سيرجيو، بابلو (27 مايو 2022). "دليلك العملي لتحويل البيانات" . مدونة Coupler.io . مؤرشف من الأصل بتاريخ 17 مايو 2022. تم الاطلاع عليه بتاريخ 8 يوليو 2022 .
  13. ↑ توبي أوميتولا، أندريه فريتاس، إدوارد كاري، شون أورين، نيكولاس جيبينز، ونايجل شادبولت. توثيق عمليات تحويل البيانات التفاعلية باستخدام سير عمل بروفينانس. تم استرجاعه من: http://andrefreitas.org/papers/preprint_capturing%20interactive_data_transformation_eswc_highlights.pdf مؤرشف بتاريخ 31 يناير 2016 في أرشيف الإنترنت (Wayback Machine).
  14. ↑ بنغ كونغ، تشانغ شياوي. بحث وتصميم نظام تفاعلي لتحويل البيانات ونقلها لمصادر البيانات غير المتجانسة. تم استرجاعه من: https://ieeexplore.ieee.org/document/5211525/ مؤرشف بتاريخ 7 يونيو 2018 في أرشيف الإنترنت (Wayback Machine).
  15. ↑ DMOZ. الاستخراج والتحويل. تم الاسترجاع من: https://dmoztools.net/Computers/Software/Databases/Data_Warehousing/Extraction_and_Transformation/ مؤرشف بتاريخ 29 أغسطس 2017 في Wayback Machine
  16. ↑ "لغة معالجة النصوص - برنامج Trifacta Wrangler - وثائق Trifacta" . docs.trifacta.com . مؤرشف من الأصل بتاريخ 21-09-2017 . تم الاطلاع عليه بتاريخ 20-09-2017 .
  17. 1 2 كاندل، جو هيلرستين، شون. "مزايا استخدام لغة خاصة بالمجال في تحويل البيانات - مؤتمر ستراتا + هادوب العالمي في نيويورك 2014" . conferences.oreilly.com . مؤرشف من الأصل بتاريخ 21-09-2017 . تم الاطلاع عليه بتاريخ 20-09-2017 .{{cite web}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )