أوبن ريفاين

OpenRefine هو تطبيق مفتوح المصدر لسطح المكتب يُستخدم لتنظيف البيانات وتحويلها إلى تنسيقات أخرى، وهي عملية تُعرف عادةً باسم معالجة البيانات . ^{[ 3 ]} وهو مشابه لتطبيقات جداول البيانات ، ويمكنه التعامل مع تنسيقات ملفات جداول البيانات مثل CSV ، ولكنه يعمل بشكل أقرب إلى قاعدة البيانات.

يعمل هذا النظام على صفوف البيانات التي تحتوي على خلايا ضمن أعمدة، على غرار طريقة عمل جداول قواعد البيانات العلائقية . تتكون مشاريع OpenRefine من جدول واحد، يمكن تصفية صفوفه باستخدام عوامل تصفية تحدد معايير معينة (على سبيل المثال، عرض الصفوف التي لا يكون فيها عمود معين فارغًا).

على عكس جداول البيانات، تُجرى معظم العمليات في OpenRefine على جميع الصفوف الظاهرة، على سبيل المثال، تحويل جميع الخلايا في جميع الصفوف ضمن عمود واحد، ^{[ 4 ]} أو إنشاء عمود جديد بناءً على بيانات موجودة. تُخزَّن الإجراءات المُنفَّذة على مجموعة بيانات في المشروع، ويمكن إعادة تطبيقها على مجموعات بيانات أخرى. لا تُخزَّن الصيغ في الخلايا، بل تُستخدم لتحويل البيانات. يُجرى التحويل مرة واحدة فقط. ^{[ 5 ]} يمكن كتابة تعابير الصيغ بلغة التعبير العامة لـ OpenRefine (GREL) ، ^{[ 6 ]} أو بلغة Jython (أي Python)، أو بلغة Clojure . ^{[ 7 ]}

يعمل البرنامج كتطبيق ويب محلي: فهو يبدأ خادم ويب ويفتح المتصفح الافتراضي على 127.0.0.1 :3333.

• تنظيف البيانات غير المنظمة : على سبيل المثال، عند العمل مع ملف نصي يحتوي على بعض البيانات شبه المنظمة، يمكن تعديله باستخدام التحويلات والتقسيمات والتجميع لجعل البيانات منظمة بشكل واضح. ^{[ 8 ]}
• تحويل البيانات : تحويل القيم إلى تنسيقات أخرى، والتطبيع وإلغاء التطبيع.
• تحليل البيانات من مواقع الويب : يحتوي OpenRefine على ميزة جلب عناوين URL ومحلل HTML jsoup ومحرك DOM. ^{[ 9 ]}
• إضافة البيانات إلى مجموعة البيانات عن طريق جلبها من خدمات الويب (أي إرجاع JSON ). ^{[ 10 ]} على سبيل المثال، يمكن استخدامها لترميز العناوين جغرافياً إلى إحداثيات جغرافية . ^{[ 11 ]}
• التوافق مع ويكي بيانات (المعروفة سابقًا باسم فري بيس ^{[ 12 ]} ): يتضمن ذلك التوفيق - ربط قيم السلاسل النصية في الخلايا بالكيانات في ويكي بيانات. ^{[ 13 ]}

يدعم الاستيراد التنسيقات التالية: ^{[ 14 ]}

• TSV ، CSV
• ملف نصي يحتوي على فواصل مخصصة أو أعمدة مقسمة بعرض ثابت
• XML
• ثلاثيات RDF ( تنسيقات تسلسل RDF/XML و Notation3 )
• JSON
• جداول بيانات جوجل ^{[ 15 ]}

إذا كانت بيانات الإدخال بتنسيق نصي غير قياسي، فيمكن استيرادها كسطور كاملة دون تقسيمها إلى أعمدة، ثم استخراج الأعمدة لاحقًا باستخدام أدوات OpenRefine. يدعم البرنامج الملفات المضغوطة والمؤرشفة (.zip، .tar.gz، .tgz، .tar.bz2، .gz، أو .bz2)، ويمكن لـ Refine تنزيل ملفات الإدخال من عنوان URL . لاستخدام صفحات الويب كمدخلات، يمكن استيراد قائمة عناوين URL ثم استدعاء دالة جلب عنوان URL.

يدعم التصدير التنسيقات التالية: ^{[ 16 ]}

• TSV
• ملف CSV
• مايكروسوفت إكسل
• جدول HTML
• جداول بيانات جوجل
• مُصدِّر القوالب: من الممكن تحديد قالب مخصص لإخراج البيانات، على سبيل المثال كجدول MediaWiki .

يمكن تصدير مشاريع OpenRefine الكاملة بتنسيقها الأصلي كملف .tar.gz .

بدأ مشروع OpenRefine باسم Freebase Gridworks، الذي طورته شركة Metaweb ، وهو متاح كمصدر مفتوح منذ يناير 2010. ^{[ 17 ]} في 16 يوليو 2010، استحوذت جوجل على Metaweb، ^{[ 18 ]} الشركة المطورة لـ Freebase ، وفي 10 نوفمبر 2010 أعادت تسمية Freebase Gridworks إلى Google Refine ، وأصدرت الإصدار 2.0. ^{[ 19 ]} في 2 أكتوبر 2012، أعلن المؤلف الأصلي ديفيد هوينه أن جوجل ستتوقف قريبًا عن دعمها الفعال لـ Google Refine. ^{[ 20 ] [ 21 ] [ 22 ]} ومنذ ذلك الحين، يجري تحويل قاعدة الشفرة إلى مشروع مفتوح المصدر باسم OpenRefine. ^{[ 23 ]}

• الموقع الرسمي
• دليل تعليمي للمبتدئين في برنامج OpenRefine من إعداد إيما كارول