استخراج البيانات

على الرغم من أن استخدام أجهزة IBM 3270 المادية " الطرفية البسيطة " يتضاءل تدريجياً، مع ازدياد اعتماد تطبيقات الحواسيب المركزية على واجهات الويب ، إلا أن بعض تطبيقات الويب لا تزال تستخدم تقنية استخراج البيانات من الشاشة لالتقاط الشاشات القديمة ونقل البيانات إلى واجهات المستخدم الحديثة. ^{[ 2 ]}

يرتبط استخراج البيانات من الشاشة عادةً بجمع البيانات المرئية من مصدر ما برمجيًا، بدلاً من تحليل البيانات كما هو الحال في استخراج البيانات من مواقع الويب. في الأصل، كان استخراج البيانات من الشاشة يشير إلى قراءة البيانات النصية من شاشة طرفية حاسوبية . وكان يتم ذلك عادةً عن طريق قراءة ذاكرة الطرفية عبر منفذها الإضافي ، أو عن طريق توصيل منفذ إخراج طرفية في نظام حاسوبي بمنفذ إدخال في نظام آخر. كما يُستخدم مصطلح استخراج البيانات من الشاشة بشكل شائع للإشارة إلى التبادل ثنائي الاتجاه للبيانات. قد يشمل ذلك الحالات البسيطة حيث يتنقل البرنامج المتحكم عبر واجهة المستخدم، أو السيناريوهات الأكثر تعقيدًا حيث يُدخل البرنامج المتحكم البيانات في واجهة مُصممة للاستخدام البشري.

كمثال ملموس على برنامج استخراج البيانات من الشاشة، لنفترض نظامًا قديمًا يعود تاريخه إلى ستينيات القرن الماضي - فجر معالجة البيانات المحوسبة . كانت واجهات المستخدم في ذلك العصر عبارة عن محطات طرفية نصية بسيطة، لا تختلف كثيرًا عن الطابعات عن بُعد الافتراضية (ولا تزال هذه الأنظمة مستخدمة حتى اليوم).لأسبابٍ عديدة، يُعدّ ربط هذا النظام بأنظمةٍ أحدث أمرًا شائعًا. غالبًا ما يتطلب الحل الأمثل موارد لم تعد متوفرة، مثل شفرة المصدر ، ووثائق النظام ، وواجهات برمجة التطبيقات ، أو مبرمجين ذوي خبرة في نظام حاسوبي عمره 50 عامًا. في مثل هذه الحالات، قد يكون الحل الوحيد الممكن هو كتابة برنامج استخراج بيانات من الشاشة "يتظاهر" بأنه مستخدم على طرفية. قد يتصل برنامج استخراج البيانات بالنظام القديم عبر Telnet ، ويحاكي ضغطات المفاتيح اللازمة للتنقل في واجهة المستخدم القديمة، ويعالج مخرجات العرض الناتجة، ويستخرج البيانات المطلوبة، ثم يمررها إلى النظام الحديث. يُمكن اعتبار تطبيق متطور ومرن من هذا النوع، مبني على منصة توفر الحوكمة والتحكم اللازمين لمؤسسة كبرى - مثل التحكم في التغييرات، والأمان، وإدارة المستخدمين، وحماية البيانات، والتدقيق التشغيلي، وموازنة الأحمال، وإدارة قوائم الانتظار، وما إلى ذلك - مثالًا على برامج أتمتة العمليات الروبوتية ، والتي تُسمى RPA أو RPAAI (اختصارًا لـ RPA 2.0 ذاتية التوجيه القائمة على الذكاء الاصطناعي) .

في ثمانينيات القرن الماضي، عرضت شركات تزويد البيانات المالية ، مثل رويترز وتيليريت وكوترون، البيانات بتنسيق 24×80 مصمم للقراءة البشرية. قام مستخدمو هذه البيانات، ولا سيما البنوك الاستثمارية ، بتطوير تطبيقات لالتقاط هذه البيانات النصية وتحويلها إلى بيانات رقمية لإدراجها في حسابات قرارات التداول دون الحاجة إلى إعادة إدخال البيانات. كان المصطلح الشائع لهذه الممارسة، وخاصة في المملكة المتحدة ، هو "تمزيق الصفحات "، إذ يمكن تخيل أن النتائج قد مرت عبر آلة تمزيق الورق . داخليًا، استخدمت رويترز مصطلح "المعالجة المنطقية" لهذه العملية التحويلية، حيث كانت تشغل نظام حاسوب متطورًا على نظام VAX/VMS يُسمى "لوجيسايزر". ^{[ 3 ]}

تشمل تقنيات استخراج البيانات الحديثة من الشاشة التقاط بيانات الصور النقطية من الشاشة ومعالجتها باستخدام محرك التعرف الضوئي على الأحرف (OCR) ، أو في بعض أنظمة الاختبار الآلي المتخصصة، مطابقة بيانات الصور النقطية للشاشة مع النتائج المتوقعة. ^{[ 4 ]} ويمكن دمج ذلك في حالة تطبيقات واجهة المستخدم الرسومية ، مع الاستعلام عن عناصر التحكم الرسومية من خلال الحصول برمجيًا على مراجع لكائنات البرمجة الأساسية الخاصة بها . يتم التقاط سلسلة من الشاشات تلقائيًا وتحويلها إلى قاعدة بيانات.

ومن التعديلات الحديثة الأخرى لهذه التقنيات استخدام مجموعة من الصور أو ملفات PDF بدلاً من سلسلة من الشاشات كمدخلات، لذلك هناك بعض التداخلات مع تقنيات "استخراج المستندات" العامة وتقنيات استخراج التقارير .

توجد العديد من الأدوات التي يمكن استخدامها لاستخراج البيانات من الشاشة. ^{[ 5 ]}

تُبنى صفحات الويب باستخدام لغات ترميز نصية ( HTML و XHTML )، وغالبًا ما تحتوي على كم هائل من البيانات المفيدة بصيغة نصية. مع ذلك، تُصمم معظم صفحات الويب للمستخدمين النهائيين وليس لتسهيل استخدامها آليًا. لهذا السبب، تم ابتكار مجموعات أدوات لاستخراج محتوى الويب. مُستخرج الويب هو واجهة برمجة تطبيقات (API) أو أداة لاستخراج البيانات من موقع ويب. ^{[ 6 ]} تُوفر شركات مثل أمازون AWS وجوجل أدوات وخدمات استخراج الويب ، بالإضافة إلى بيانات عامة متاحة مجانًا للمستخدمين النهائيين. تتضمن الأشكال الحديثة لاستخراج الويب الاستماع إلى تدفقات البيانات من خوادم الويب. على سبيل المثال، يُستخدم JSON بشكل شائع كآلية تخزين ونقل بين العميل وخادم الويب. ^{[ 7 ]} يستخدم مُستخرج الويب عنوان URL لموقع الويب لاستخراج البيانات، ويخزنها لتحليلها لاحقًا. تُمكّن هذه الطريقة من استخراج البيانات بكفاءة ودقة عاليتين. ^{[ 8 ]}

في الآونة الأخيرة، طورت الشركات أنظمة استخراج البيانات من مواقع الويب، والتي تعتمد على استخدام تقنيات تحليل DOM، ورؤية الحاسوب ، ومعالجة اللغة الطبيعية لمحاكاة المعالجة البشرية التي تحدث عند تصفح صفحة ويب، وذلك لاستخراج المعلومات المفيدة تلقائيًا. ^{[ 9 ] [ 10 ]}

تستخدم المواقع الإلكترونية الكبيرة عادةً خوارزميات دفاعية لحماية بياناتها من برامج استخراج البيانات، وللحد من عدد الطلبات التي يمكن أن يرسلها عنوان IP أو شبكة IP. وقد تسبب هذا في صراع مستمر بين مطوري المواقع الإلكترونية ومطوري برامج استخراج البيانات. ^{[ 11 ]}

استخراج البيانات من التقارير هو عملية استخلاص البيانات من تقارير حاسوبية سهلة القراءة. تتطلب طرق استخراج البيانات التقليدية اتصالاً بنظام مصدر فعال، ومعايير اتصال مناسبة أو واجهة برمجة تطبيقات (API) ، وعادةً ما تتطلب استعلامات معقدة. باستخدام خيارات إعداد التقارير القياسية في نظام المصدر، وتوجيه المخرجات إلى ملف تخزين مؤقت بدلاً من الطابعة ، يمكن إنشاء تقارير ثابتة مناسبة للتحليل دون اتصال بالإنترنت عبر استخراج البيانات من التقارير. ^{[ 12 ]} يساهم هذا الأسلوب في تجنب الاستخدام المكثف لوحدة المعالجة المركزية خلال ساعات العمل، وتقليل تكاليف تراخيص المستخدم النهائي لعملاء أنظمة تخطيط موارد المؤسسات (ERP) ، وتوفير نماذج أولية وتطوير سريع للتقارير المخصصة. بينما يتضمن استخراج البيانات من الويب التفاعل مع مخرجات ديناميكية، فإن استخراج البيانات من التقارير يتضمن استخلاص البيانات من ملفات بتنسيق سهل القراءة، مثل HTML أو PDF أو نص. يمكن إنشاء هذه الملفات بسهولة من أي نظام تقريبًا عن طريق اعتراض تدفق البيانات إلى الطابعة. يوفر هذا الأسلوب طريقة سريعة وبسيطة للحصول على البيانات دون الحاجة إلى برمجة واجهة برمجة تطبيقات (API) لنظام المصدر.

الاعتبارات القانونية والأخلاقية

كثيراً ما يُثار الجدل حول شرعية وأخلاقيات استخراج البيانات. يُعدّ استخراج البيانات المتاحة للعموم قانونياً بشكل عام، إلا أن استخراجها بطريقة تنتهك شروط خدمة الموقع الإلكتروني، أو تخترق إجراءات الأمان، أو تنتهك خصوصية المستخدم، قد يُعرّض صاحبه للمساءلة القانونية. علاوة على ذلك، تحظر بعض المواقع الإلكترونية استخراج البيانات في برامجها الآلية.