المعالجة الدفعية

في مجال الحوسبة ، تُعرف المعالجة الدفعية بتشغيل مهمة برمجية بطريقة آلية وغير مراقبة. يقوم المستخدم بجدولة المهمة لتشغيلها ثم ينتظر نظام المعالجة لتنفيذها. عادةً ما تُجدول المهمة لتشغيلها في وقت محدد من اليوم ، أو عند وقوع حدث معين ، أو عند توفر موارد الحاسوب .

ينشأ مصطلح "المعالجة الدفعية" من التصنيف التقليدي لأساليب الإنتاج على أنها إنتاج حسب الطلب (إنتاج لمرة واحدة)، وإنتاج دفعي (إنتاج "دفعة" من عناصر متعددة في وقت واحد، مرحلة واحدة في كل مرة)، وإنتاج تدفقي (إنتاج ضخم، جميع المراحل قيد المعالجة في وقت واحد).

التاريخ اللاحق

كان أول نظام لتقاسم الوقت للأغراض العامة، وهو نظام تقاسم الوقت المتوافق (CTSS)، متوافقًا مع المعالجة الدفعية. وقد سهّل ذلك الانتقال من المعالجة الدفعية إلى الحوسبة التفاعلية . ^{[ 5 ]}

ابتداءً من أواخر الستينيات، شاع استخدام الحوسبة التفاعلية، مثل الحوسبة عبر واجهات طرفية نصية (كما في أنظمة يونكس أو حلقات القراءة والتقييم والطباعة )، ولاحقًا واجهات المستخدم الرسومية . أما الحوسبة غير التفاعلية، سواءً كانت مهامًا فردية مثل الترجمة البرمجية، أو معالجة عناصر متعددة على دفعات، فقد أُطلق عليها لاحقًا اسم المعالجة الدفعية ، وشاع استخدام مصطلح " مهمة دفعية " (أو "مجموعة مهام " في بداياته ). ويُلاحظ هذا الاستخدام المبكر بشكل خاص في جامعة ميشيغان ، وتحديدًا في نظام ميشيغان الطرفي (MTS). ^{[ 6 ]}

على الرغم من وجود نظام المشاركة الزمنية، إلا أن استخدامه لم يكن قويًا بما يكفي لمعالجة بيانات الشركات؛ ولم يكن أي من هذا مرتبطًا بمعدات تسجيل الوحدة السابقة ، والتي كانت تعمل بواسطة البشر.

لا تزال تطبيقات المعالجة الدفعية بالغة الأهمية في معظم المؤسسات، ويعود ذلك في جزء كبير منه إلى أن العديد من العمليات التجارية الشائعة قابلة للمعالجة الدفعية. ورغم أن الأنظمة الإلكترونية قادرة على العمل عند عدم الرغبة في التدخل اليدوي، إلا أنها عادةً لا تُحسَّن لأداء المهام المتكررة ذات الحجم الكبير. لذا، حتى الأنظمة الحديثة عادةً ما تحتوي على تطبيق أو أكثر من تطبيقات المعالجة الدفعية لتحديث المعلومات في نهاية اليوم، وإنشاء التقارير، وطباعة المستندات، وغيرها من المهام غير التفاعلية التي يجب إنجازها بدقة ضمن مواعيد نهائية محددة.

تُناسب بعض التطبيقات معالجة التدفق، وتحديدًا تلك التي تحتاج إلى بيانات من مُدخل واحد فقط في كل مرة (ليس المجاميع، على سبيل المثال): حيث تبدأ الخطوة التالية لكل مُدخل فور انتهاء الخطوة السابقة. في هذه الحالة، تُقلل معالجة التدفق زمن الاستجابة للمُدخلات الفردية، مما يسمح بإكمالها دون انتظار انتهاء المجموعة بأكملها. مع ذلك، تتطلب العديد من التطبيقات بيانات من جميع السجلات، لا سيما العمليات الحسابية مثل المجاميع. في هذه الحالة، يجب إكمال المجموعة بأكملها قبل الحصول على نتيجة قابلة للاستخدام: فالنتائج الجزئية غير قابلة للاستخدام.

تستفيد تطبيقات المعالجة الدفعية الحديثة من أطر عمل متطورة مثل Jem The Bee و Spring Batch ^{[ 8 ]} ، أو تطبيقات JSR 352 ^{[ 9 ]} المكتوبة بلغة Java ، بالإضافة إلى أطر عمل أخرى للغات برمجة مختلفة، لتوفير القدرة على تحمل الأعطال وقابلية التوسع اللازمة لمعالجة كميات كبيرة من البيانات. ولضمان سرعة المعالجة، غالبًا ما تُدمج تطبيقات المعالجة الدفعية مع حلول الحوسبة الشبكية لتقسيم مهمة المعالجة الدفعية على عدد كبير من المعالجات، على الرغم من وجود تحديات برمجية كبيرة في ذلك. كما تفرض معالجة كميات كبيرة من البيانات متطلبات عالية على بنية النظام والتطبيق. وتميل البنى التي تتميز بأداء قوي في الإدخال/الإخراج وقابلية التوسع الرأسي ، بما في ذلك الحواسيب المركزية الحديثة ، إلى توفير أداء أفضل في المعالجة الدفعية مقارنةً بالبدائل.

أصبحت لغات البرمجة النصية شائعة مع تطورها بالتوازي مع معالجة البيانات على دفعات. ^{[ 10 ]}

نافذة الدفعة هي "فترة من النشاط عبر الإنترنت الأقل كثافة"، ^{[ 11 ]} عندما يكون نظام الكمبيوتر قادرًا على تشغيل مهام الدفعة دون تدخل من أو مع الأنظمة التفاعلية عبر الإنترنت.

تتطلب وظائف نهاية اليوم (EOD) في البنك مفهوم التحويل ، حيث يتم قطع المعاملات والبيانات لنشاط الدفعة ليوم معين ("ستتم معالجة الإيداعات بعد الساعة 3 مساءً في اليوم التالي").

مع توسع متطلبات وقت تشغيل الأنظمة عبر الإنترنت لدعم العولمة والإنترنت واحتياجات الأعمال الأخرى ، تقلصت نافذة الدفعات ^{[ 12 ] [ 13 ]} وتم التركيز بشكل متزايد على التقنيات التي تتطلب توفر البيانات عبر الإنترنت لأقصى قدر من الوقت.

يشير حجم الدفعة إلى عدد وحدات العمل التي ستتم معالجتها ضمن عملية دفعة واحدة. ومن الأمثلة على ذلك:

• عدد الأسطر من ملف يتم تحميلها إلى قاعدة البيانات قبل إتمام العملية.
• عدد الرسائل المراد إزالتها من قائمة الانتظار.
• عدد الطلبات التي يتم إرسالها ضمن حمولة واحدة.

• تتميز هذه التقنية بتحديثات قواعد البيانات المجمعة بكفاءة ومعالجة المعاملات الآلية ، على عكس تطبيقات معالجة المعاملات التفاعلية عبر الإنترنت (OLTP). وتُعدّ عملية استخراج البيانات وتحويلها وتحميلها (ETL) في مستودعات البيانات عملية دفعية في معظم التطبيقات.
• إجراء عمليات جماعية على الصور الرقمية مثل تغيير الحجم، والتحويل، ووضع العلامات المائية، أو تحرير مجموعة من ملفات الصور بطريقة أخرى.
• تحويل ملفات الكمبيوتر من تنسيق إلى آخر. على سبيل المثال، قد تقوم مهمة معالجة الدفعات بتحويل الملفات الخاصة والقديمة إلى تنسيقات قياسية شائعة لاستعلامات المستخدم النهائي وعرضها.
• تدريب نماذج التعلم الآلي . على سبيل المثال، قد يرغب موقع للتجارة الإلكترونية في معالجة معاملات العملاء على دفعات كل ساعة لتحديث النموذج الذي ينتج توصيات المنتجات ذات الصلة ، وذلك لتوفير موارد الحوسبة . ^{[ 14 ]}

يُعتبر نظام التشغيل أو منصة IBM z/OS للحاسوب المركزي من أكثر أنظمة معالجة الدفعات تطورًا ودقةً، وذلك بفضل أصوله وتاريخه العريق وتطوره المستمر. تدعم هذه الأنظمة اليوم عادةً مئات أو حتى آلاف المهام المتزامنة، سواءً كانت معالجة دفعية أو معالجة مباشرة، ضمن صورة نظام تشغيل واحدة . تشمل التقنيات التي تُساعد في المعالجة المتزامنة للدفعات والمعالجة المباشرة: لغة التحكم في المهام (JCL)، ولغات البرمجة النصية مثل REXX ، ونظام إدخال المهام ( JES2 و JES3 )، ومدير أحمال العمل (WLM)، ومدير إعادة التشغيل التلقائي (ARM)، وخدمات استعادة الموارد (RRS)، ومشاركة بيانات IBM Db2 ، و Parallel Sysplex ، وتحسينات الأداء الفريدة مثل HiperDispatch ، وبنية قنوات الإدخال/الإخراج ، وغيرها الكثير.

تتيح برامج يونكس cron، atو batch(التي تُعدّ اليوم batchأحد مشتقات ) جدولة معقدة للمهام. ويحتوي نظام ويندوز على مُجدول مهام . وتستخدم معظم مجموعات الحوسبة عالية الأداء المعالجة الدفعية لزيادة استخدام المجموعة إلى أقصى حد. ^{[ 15 ]}at

• عملية الخلفية
• ملف دفعي
• إعادة تسمية الملفات دفعة واحدة – لإعادة تسمية العديد من الملفات تلقائيًا دون تدخل بشري، وذلك لتوفير الوقت والجهد
• BatchPipes – أداة مساعدة تزيد من أداء الدفعات
• أوضاع المعالجة
• دعم الإنتاج – لدعم مهام الدفعات/الجداول الزمنية/التدفقات
• الحوسبة عالية الإنتاجية