نظام ملفات كوانتكاست

نظام ملفات كوانتكاست ( QFS ) هو حزمة برمجية مفتوحة المصدر لنظام ملفات موزع، مصممة خصيصًا لتطبيقات MapReduce واسعة النطاق أو غيرها من تطبيقات معالجة البيانات على دفعات. وقد صُمم كبديل لنظام ملفات أباتشي هادوب الموزع ( HDFS )، بهدف توفير أداء أفضل وكفاءة أعلى من حيث التكلفة لمجموعات المعالجة واسعة النطاق.

QFS هو برنامج يعمل على مجموعة من مئات أو آلاف خوادم لينكس التجارية ، ويسمح لطبقات برمجية أخرى بالتفاعل معها كما لو كانت قرصًا صلبًا واحدًا ضخمًا. ويتكون من ثلاثة مكونات:

• يعمل خادم التجزئة على كل جهاز يقوم باستضافة البيانات، ويدير عمليات الإدخال والإخراج لمحركات الأقراص الصلبة الخاصة به، ويراقب نشاطه وسعته.
• تتولى عملية مركزية تُسمى الخادم الرئيسي إدارة بنية الدليل وربط الملفات بوحدات التخزين الفعلية. كما تُنسق أنشطة جميع خوادم الأجزاء وتراقب الحالة العامة لنظام الملفات. ولتحقيق أداء عالٍ، تحتفظ هذه العملية بجميع بياناتها في الذاكرة، وتكتب نقاط التحقق وسجلات المعاملات على القرص لأغراض الاستعادة.
• يُعدّ مكون العميل نقطة الربط التي تُقدّم واجهة برمجة تطبيقات نظام الملفات (API) إلى طبقات البرنامج الأخرى. يقوم هذا المكون بإرسال طلبات إلى الخادم الرئيسي لتحديد خوادم الأجزاء التي تحتوي (أو ستحتوي) على بياناته، ثم يتفاعل مع خوادم الأجزاء مباشرةً للقراءة والكتابة.

في مجموعة تضم مئات أو آلاف الأجهزة، تقل احتمالية تشغيلها جميعًا وإمكانية الوصول إليها في أي لحظة، لذا يُعدّ تحمّل الأعطال التحدي التصميمي الرئيسي. يتغلب نظام الملفات QFS على هذا التحدي باستخدام تصحيح أخطاء ريد-سولومون . يخزن ترميز ريد-سولومون المستخدم في QFS البيانات الزائدة في تسعة مواقع، ويمكنه إعادة بناء الملف من أي ستة من هذه الشرائط. ^{[ 2 ]} عند كتابة ملف، يقوم النظام افتراضيًا بتقسيمه إلى شرائط عبر تسعة أجهزة مختلفة فعليًا - ستة منها تحتوي على البيانات، وثلاثة تحتوي على معلومات التكافؤ. قد يصبح أي ثلاثة من هذه الأجهزة غير متاح. إذا بقيت أي ستة منها قابلة للقراءة، يمكن لـ QFS إعادة بناء البيانات الأصلية. والنتيجة هي تحمّل الأعطال بتكلفة زيادة حجم البيانات بنسبة 50%.

تمت كتابة QFS بلغة البرمجة C++ ، وتعمل ضمن مساحة ذاكرة ثابتة ، وتستخدم الإدخال والإخراج المباشر (I/O).

تطور نظام الملفات QFS من نظام ملفات Kosmos (KFS)، وهو مشروع مفتوح المصدر بدأه Kosmix في عام 2005. تبنت Quantcast نظام KFS في عام 2007، وقامت ببناء تحسيناتها الخاصة عليه على مدى السنوات العديدة التالية، وأصدرت QFS 1.0 كمشروع مفتوح المصدر في سبتمبر 2012. ^{[ 3 ]}

• الموقع الرسمي