لوستر (نظام الملفات)

لوستر هو نوع من أنظمة الملفات الموزعة المتوازية، يُستخدم عادةً في الحوسبة العنقودية واسعة النطاق . اسم لوستر هو كلمة مركبة مشتقة من لينكس وكلمتي "عنقود" . ^{[ 4 ]} يتوفر برنامج نظام ملفات لوستر بموجب رخصة جنو العمومية (الإصدار 2 فقط)، ويوفر أنظمة ملفات عالية الأداء لمجموعات الحواسيب التي تتراوح أحجامها من مجموعات العمل الصغيرة إلى الأنظمة متعددة المواقع واسعة النطاق. منذ يونيو 2005، يُستخدم لوستر باستمرار من قِبل ما لا يقل عن نصف أفضل عشرة حواسيب عملاقة، وأكثر من 60 من أسرع 100 حاسوب عملاق في العالم، ^{[ 5 ] [ 6 ] [ 7 ]} بما في ذلك الحاسوب العملاق الأول عالميًا ضمن قائمة TOP500 في نوفمبر 2022، وهو فرونتير ، ^{[ 2 ]} بالإضافة إلى حواسيب عملاقة سابقة مثل فوغاكو ، ^{[ 8 ] [ 9 ]} وتيتان ، ^{[ 10 ]} وسيكويا . ^{[ 11 ]}

تتميز أنظمة ملفات Lustre بقابليتها للتوسع، ويمكن دمجها ضمن مجموعات حاسوبية متعددة تضم عشرات الآلاف من عقد العميل ، ومئات البيتابايت (PB) من سعة التخزين على مئات الخوادم، وعشرات التيرابايت في الثانية (TB/s) من معدل نقل البيانات الإجمالي للإدخال/الإخراج . ^{[ 12 ] [ 13 ]} وهذا ما يجعل أنظمة ملفات Lustre خيارًا شائعًا للشركات التي تمتلك مراكز بيانات ضخمة، بما في ذلك تلك العاملة في قطاعات مثل الأرصاد الجوية ، ^{[ 14 ] [ 15 ]} والمحاكاة ، والذكاء الاصطناعي والتعلم الآلي ، ^{[ 16 ] [ 17 ]} والنفط والغاز، ^{[ 18 ]} وعلوم الحياة ، ^{[ 19 ] [ 20 ]} والوسائط المتعددة ، والتمويل. ^{[ 21 ]} ويؤثر أداء الإدخال/الإخراج في Lustre تأثيرًا واسع النطاق على هذه التطبيقات، وقد حظي باهتمام كبير. ^{[ 22 ] [ 23 ] [ 24 ]}

بدأ مشروع بنية نظام ملفات Lustre كمشروع بحثي عام 1999 على يد بيتر ج. برام ، الذي كان آنذاك عضوًا في هيئة التدريس بجامعة كارنيجي ميلون . أسس برام شركته الخاصة Cluster File Systems عام 2001، ^{[ 25 ]} انطلاقًا من عمله على نظام ملفات InterMezzo ضمن مشروع Coda في جامعة كارنيجي ميلون. ^{[ 26 ]} طُوّر نظام Lustre ضمن مشروع Accelerated Strategic Computing Initiative Path Forward، المُموّل من وزارة الطاقة الأمريكية ، والذي ضمّ شركتي هيوليت-باكارد وإنتل . ^{[ 27 ]} في سبتمبر 2007، استحوذت شركة صن مايكروسيستمز على أصول شركة Cluster File Systems Inc.، بما في ذلك "ملكيتها الفكرية". [ ^{28 ] [ 29 ] أدرجت} صن نظام Lustre ضمن عروضها من أجهزة الحوسبة عالية الأداء ، بهدف دمج تقنيات Lustre في نظام ملفات ZFS الخاص بصن ونظام التشغيل Solaris . في نوفمبر 2008، غادر برام شركة صن مايكروسيستمز، وتولى إريك بارتون وأندرياس ديلجر إدارة المشروع. وفي عام 2010، بدأت شركة أوراكل ، من خلال استحواذها على صن، بإدارة وإصدار برنامج لوستر.

في ديسمبر 2010، أعلنت أوراكل أنها ستوقف تطوير Lustre 2.x وستضع Lustre 1.8 تحت دعم الصيانة فقط، مما أثار حالة من عدم اليقين بشأن مستقبل تطوير نظام الملفات. ^{[ 30 ]} عقب هذا الإعلان، ظهرت عدة منظمات جديدة لتقديم الدعم والتطوير وفق نموذج تطوير مجتمعي مفتوح، من بينها Whamcloud، ^{[ 31 ]} وOpenSFS وEOFS وغيرها. بحلول نهاية عام 2010، كان معظم مطوري Lustre قد غادروا أوراكل. انضم برام وعدد من زملائه إلى شركة Xyratex المتخصصة في الأجهزة عندما استحوذت على أصول ClusterStor، ^{[ 32 ] [ 33 ]} بينما أسس بارتون وديلجر وآخرون شركة Whamcloud الناشئة في مجال البرمجيات، حيث واصلوا العمل على Lustre. ^{[ 34 ]}

في أغسطس 2011، منحت OpenSFS شركة Whamcloud عقدًا لتطوير ميزات Lustre. ^{[ 35 ]} شمل هذا العقد إنجاز ميزاتٍ عديدة، منها تحسين أداء توسيع نطاق بيانات التعريف على خادم واحد، مما يسمح لـ Lustre بالاستفادة بشكل أفضل من خادم بيانات التعريف متعدد النوى؛ والتحقق من نظام ملفات Lustre الموزع عبر الإنترنت (LFSCK)، الذي يتيح التحقق من حالة نظام الملفات الموزع بين خوادم البيانات وخوادم بيانات التعريف أثناء تثبيت نظام الملفات واستخدامه؛ وبيئة مساحة الأسماء الموزعة (DNE)، المعروفة سابقًا باسم بيانات التعريف المجمعة (CMD)، والتي تسمح بتوزيع بيانات تعريف Lustre عبر خوادم متعددة. كما استمر التطوير على تخزين الكائنات الخلفية القائم على ZFS في مختبر لورانس ليفرمور الوطني . ^{[ 11 ]} كانت هذه الميزات مدرجة في خارطة طريق إصدارات Lustre من 2.2 إلى 2.4 المخصصة للمجتمع. ^{[ 36 ]} في نوفمبر 2011، مُنح عقد منفصل لشركة Whamcloud لصيانة شفرة المصدر لبرنامج Lustre 2.x لضمان خضوع شفرة Lustre لاختبارات كافية وإصلاح الأخطاء أثناء تطوير الميزات الجديدة. ^{[ 37 ]}

في يوليو 2012، استحوذت شركة إنتل على شركة وام كلاود ، ^{[ 38 ] [ 39 ]} بعد فوز وام كلاود بعقد FastForward التابع لوزارة الطاقة الأمريكية لإعداد Lustre للاستخدام مع أنظمة الحوسبة فائقة السرعة في عام 2018. ^{[ 40 ]} ثم نقلت OpenSFS عقود تطوير Lustre إلى إنتل.

في فبراير 2013، أعلنت شركة Xyratex Ltd. استحواذها على العلامة التجارية الأصلية Lustre، وشعارها، وموقعها الإلكتروني، وحقوق الملكية الفكرية المرتبطة بها من شركة Oracle. ^{[ 32 ]} وفي يونيو 2013، بدأت شركة Intel بتوسيع استخدام Lustre ليشمل مجالات أخرى غير الحوسبة عالية الأداء التقليدية، مثل Hadoop . ^{[ 41 ]} وفي عام 2013 ككل، أعلنت OpenSFS عن طلبات عروض (RFP) لتغطية تطوير ميزات Lustre، وأدوات نظام الملفات المتوازي ، ومعالجة الديون التقنية لـ Lustre، وحاضنات أنظمة الملفات المتوازية. ^{[ 42 ]} كما أنشأت OpenSFS بوابة مجتمع Lustre، وهي موقع تقني يوفر مجموعة من المعلومات والوثائق في مكان واحد كمرجع وإرشاد لدعم مجتمع Lustre مفتوح المصدر . وفي 8 أبريل 2014، أعلن كين كلافاي أن Xyratex/Seagate ستتبرع بنطاق lustre.org لمجتمع المستخدمين، ^{[ 43 ]} وقد اكتمل ذلك في مارس 2015.

في يونيو 2018، استحوذت شركة DDN على فريق وأصول Lustre من شركة Intel . وقامت DDN بتنظيم عملية الاستحواذ الجديدة كقسم مستقل، مع إحياء اسم Whamcloud للقسم الجديد. ^{[ 44 ]}

في نوفمبر 2019، أعلنت OpenSFS و EOFS في SC19 Lustre BOF أنه تم نقل العلامة التجارية Lustre إليهما بشكل مشترك من Seagate . ^{[ 45 ]}

تم تثبيت نظام ملفات Lustre لأول مرة للاستخدام الإنتاجي في مارس 2003 على مجموعة MCR Linux في مختبر لورانس ليفرمور الوطني ، ^{[ 46 ]} ثالث أكبر حاسوب عملاق في قائمة Top500 في ذلك الوقت. ^{[ 47 ]}

تم إصدار Lustre 1.0.0 في ديسمبر 2003، ^{[ 1 ]} وقدم وظائف نظام ملفات Lustre الأساسية، بما في ذلك تجاوز الفشل والاسترداد للخادم.

Lustre 1.2.0، الذي تم إصداره في مارس 2004، كان يعمل على نواة لينكس 2.6، وكان يحتوي على ميزة "نظرة سريعة على الحجم" لتجنب إلغاء القفل على الملفات التي تخضع للكتابة، وحساب ذاكرة التخزين المؤقت لكتابة البيانات من جانب العميل (منح).

لقد وفر Lustre 1.4.0، الذي تم إصداره في نوفمبر 2004، توافقًا بين البروتوكولات بين الإصدارات، وكان بإمكانه استخدام شبكات InfiniBand ، وكان بإمكانه استغلال extents/mballoc في نظام الملفات ldiskfs الموجود على القرص.

سمح Lustre 1.6.0، الذي تم إصداره في أبريل 2007، بتكوين التثبيت ("mountconf") مما يسمح بتكوين الخوادم باستخدام "mkfs" و "mount"، وسمح بالإضافة الديناميكية لأهداف تخزين الكائنات (OSTs)، ومكّن قابلية التوسع لمدير القفل الموزع Lustre (LDLM) على خوادم المعالجة المتعددة المتناظرة (SMP)، ووفر إدارة المساحة الحرة لتخصيصات الكائنات.

قدّمت Lustre 1.8.0، التي صدرت في مايو 2009، ذاكرة تخزين مؤقتة للقراءة مفتوحة المصدر، وحسّنت عملية الاسترداد في حال حدوث أعطال متعددة، وأضافت إدارة أساسية للتخزين غير المتجانس عبر مجموعات OST، ومهلات شبكة تكيفية، واستردادًا قائمًا على الإصدار. وكانت إصدارًا انتقاليًا، إذ كانت متوافقة مع كل من Lustre 1.6 وLustre 2.0. ^{[ 48 ]}

استند إصدار Lustre 2.0، الذي طُرح في أغسطس 2010، إلى إعادة هيكلة داخلية شاملة للبرمجيات تمهيدًا لتطورات معمارية كبيرة. لا يمكن لعملاء Lustre 2.x العمل مع خوادم الإصدار 1.8 أو الإصدارات الأقدم . مع ذلك، يمكن لعملاء Lustre 1.8.6 والإصدارات الأحدث العمل مع خوادم Lustre 2.0 والإصدارات الأحدث. يمكن ترقية تنسيق بيانات التعريف (MDT) وتنسيق OST على القرص من الإصدار 1.8 إلى الإصدار 2.0 والإصدارات الأحدث دون الحاجة إلى إعادة تهيئة نظام الملفات.

كان إصدار Lustre 2.1، الذي طُرح في سبتمبر 2011، مبادرةً مجتمعيةً واسعة النطاق استجابةً لتوقف شركة أوراكل عن تطوير إصدارات Lustre 2.x. ^{[ 49 ]} أضاف هذا الإصدار إمكانية تشغيل الخوادم على نظام Red Hat Linux 6، وزاد الحد الأقصى لحجم ملفات OST المستندة إلى نظام الملفات ext4 من 24  تيرابايت إلى 128  تيرابايت، ^{[ 50 ]} بالإضافة إلى عدد من التحسينات في الأداء والاستقرار. وظلت خوادم Lustre 2.1 متوافقةً مع عملاء الإصدار 1.8.6 والإصدارات اللاحقة.

ركزت النسخة 2.2 من برنامج Lustre، التي صدرت في مارس 2012، على تحسين أداء البيانات الوصفية وإضافة ميزات جديدة. ^{[ 51 ]} وقد أضافت عمليات الدليل المتوازية التي تسمح لعدة عملاء بتصفح وتعديل دليل كبير واحد في وقت واحد، واستعادة أسرع من أعطال الخادم، وزيادة عدد الشرائح لملف واحد (عبر ما يصل إلى 2000 ملف OST)، وتحسين أداء تصفح الدليل من قبل عميل واحد.

واصل Lustre 2.3، الذي صدر في أكتوبر 2012، تحسين كود خادم البيانات الوصفية لإزالة اختناقات القفل الداخلي على العُقد ذات النوى المتعددة (أكثر من 16 نواة). أضاف مخزن الكائنات إمكانية مبدئية لاستخدام نظام الملفات ZFS كنظام ملفات أساسي. تتيح ميزة فحص نظام ملفات Lustre (LFSCK) التحقق من فهرس كائنات MDS (OI) وإصلاحه أثناء استخدام نظام الملفات، أو بعد النسخ الاحتياطي/الاستعادة على مستوى الملفات، أو في حالة تلف MDS. تم تحسين إحصائيات الإدخال/الإخراج من جانب الخادم للسماح بالتكامل مع مُجدولي مهام الدفعات مثل SLURM لتتبع إحصائيات كل مهمة. تم تحديث برنامج جانب العميل ليتوافق مع نواة Linux حتى الإصدار 3.0.

أضافت Lustre 2.4، التي صدرت في مايو 2013، عددًا كبيرًا من الميزات الرئيسية، مُوِّل العديد منها مباشرةً عبر OpenSFS . تتيح بيئة مساحة الأسماء الموزعة (DNE) توسيع سعة البيانات الوصفية وأداء عملاء 2.4 أفقيًا، وذلك بالسماح بوضع أشجار الدلائل الفرعية لمساحة اسم واحدة على وحدات MDT منفصلة. يُمكن الآن استخدام ZFS كنظام ملفات أساسي لكلٍّ من تخزين MDT وOST. أضافت ميزة LFSCK إمكانية فحص والتحقق من الاتساق الداخلي لسمات FID وLinkEA الخاصة بـ MDT. يُضيف مُجدول طلبات الشبكة ^{[ 52 ] [ 53 ]} (NRS) سياسات لتحسين معالجة طلبات العميل لترتيب القرص أو لتحقيق العدالة. يُمكن للعملاء اختياريًا إرسال طلبات RPC مجمعة يصل  حجمها إلى 4 ميجابايت. تم تحديث برنامج جانب العميل ليعمل مع نواة Linux حتى الإصدار 3.6، ولا يزال متوافقًا مع عملاء 1.8.

أضافت النسخة 2.5 من Lustre، التي صدرت في أكتوبر 2013، ميزة إدارة التخزين الهرمي (HSM) التي طال انتظارها. تُعدّ HSM متطلبًا أساسيًا في بيئات المؤسسات، حيث تُمكّن العملاء من تطبيق حلول تخزين متعددة المستويات بسهولة في بيئاتهم التشغيلية. هذا الإصدار هو فرع الصيانة الحالي المُعتمد من OpenSFS لـ Lustre. ^{[ 54 ] [ 55 ] [ 56 ] [ 57 ]} أما أحدث إصدار للصيانة فهو 2.5.3، وقد صدر في سبتمبر 2014. ^{[ 58 ]}

كان إصدار Lustre 2.6، الذي صدر في يوليو 2014، ^{[ 59 ]} إصدارًا أكثر تواضعًا من حيث الميزات، حيث أضاف وظيفة LFSCK لإجراء فحوصات الاتساق المحلية على ملف OST، بالإضافة إلى فحوصات الاتساق بين كائنات MDT وOST. كما أُضيفت سياسة NRS Token Bucket Filter ^{[ 60 ]} (TBF). وتحسّن أداء الإدخال/الإخراج لعميل واحد مقارنةً بالإصدارات السابقة. ^{[ 61 ]} كما أضاف هذا الإصدار معاينةً للمجلدات المُجزأة DNE، مما يسمح بتخزين مجلدات كبيرة واحدة على عدة MDTs لتحسين الأداء وقابلية التوسع.

أضافت Lustre 2.7، التي صدرت في مارس 2015، ^{[ 62 ]} وظيفة LFSCK للتحقق من اتساق DNE للأدلة البعيدة والمجزأة بين عدة MDTs. كما أضافت Dynamic LNet Config إمكانية تكوين وتعديل واجهات شبكة LNet، والمسارات، والموجهات أثناء التشغيل. وتمت إضافة ميزة تقييم جديدة لربط UID / GID للعملاء ذوي النطاقات الإدارية المختلفة، إلى جانب تحسينات على وظيفة DNE للأدلة المجزأة.

أكملت Lustre 2.8، التي صدرت في مارس 2016، ^{[ 63 ]} ميزة الدليل المُجزأ DNE، بما في ذلك دعم ترحيل الدلائل بين MDTs، والربط الصلب وإعادة التسمية عبر MDTs. كما تضمنت دعمًا مُحسّنًا لـ Security-Enhanced Linux ( SELinux ) على العميل، ومصادقة Kerberos وتشفير RPC عبر الشبكة، وتحسينات في أداء LFSCK.

صدرت Lustre 2.9 في ديسمبر 2016 ^{[ 64 ]} وتضمنت عددًا من الميزات المتعلقة بالأمان والأداء. يستخدم إصدار الأمان "المفتاح السري المشترك" آلية GSSAPI نفسها المستخدمة في Kerberos لتوفير مصادقة عقد العميل والخادم، بالإضافة إلى سلامة رسائل RPC وأمانها (التشفير). تتيح ميزة Nodemap تصنيف عقد العميل إلى مجموعات، ثم ربط معرّف المستخدم/معرّف المجموعة (UID/GID) لكل عميل، مما يسمح للعملاء المُدارين عن بُعد باستخدام نظام ملفات مشترك بشفافية دون الحاجة إلى مجموعة واحدة من معرّفات المستخدم/معرّفات المجموعة لجميع عقد العميل. كما تتيح ميزة ربط المجلدات الفرعية للعملاء ربط جزء من مساحة اسم نظام الملفات من MDS. أضاف هذا الإصدار أيضًا دعمًا لما يصل إلى 16  ميجابايت من RPC لتحسين كفاءة عمليات الإدخال/الإخراج على القرص، بالإضافة إلى ladviseواجهة تسمح للعملاء بتوفير تلميحات الإدخال/الإخراج للخوادم لجلب بيانات الملفات مسبقًا إلى ذاكرة التخزين المؤقت للخادم أو مسح بيانات الملفات منها. تم تحسين دعم تحديد مجموعات OST الافتراضية على مستوى نظام الملفات، وتحسين وراثة مجموعات OST بالاقتران مع معلمات تخطيط الملفات الأخرى، وتم زيادة الحد الأقصى لحجم OST المدعوم في ldiskfs إلى 256 تيرابايت.

تم إصدار Lustre 2.10 في يوليو 2017 ^{[ 65 ]} ، ويتضمن عددًا من التحسينات الهامة. تتيح ميزة LNet Multi-Rail (LMR) دمج واجهات شبكة متعددة ( InfiniBand و Omni-Path و/أو Ethernet ) على كل من العميل والخادم لزيادة عرض النطاق الترددي الإجمالي للإدخال/الإخراج. يمكن للملفات الفردية استخدام تخطيطات ملفات مركبة تتكون من مكونات متعددة، وهي عبارة عن مناطق ملفات تعتمد على إزاحة الملف، مما يسمح بمعلمات تخطيط مختلفة مثل عدد الشرائح ونوع مجموعة/تخزين OST، وما إلى ذلك. يُعد تخطيط الملفات التدريجي (PFL) أول ميزة تستخدم التخطيطات المركبة، ولكن التنفيذ مرن للاستخدام مع تخطيطات ملفات أخرى مثل النسخ المتطابق وتشفير المحو. وقد نفّذ مُجدول NRS Token Bucket Filter (TBF) على جانب الخادم أنواع قواعد جديدة، بما في ذلك جدولة من نوع RPC وإمكانية تحديد معلمات متعددة مثل JobID وNID لمطابقة القواعد. تمت إضافة أدوات لإدارة لقطات ZFS لأنظمة ملفات Lustre، وذلك لتبسيط إنشاء لقطات MDT وOST ZFS وتركيبها وإدارتها كنقاط تركيب Lustre منفصلة . كما تم رفع الحد الأقصى لحجم ldiskfs OST المدعوم إلى 512 تيرابايت.

تم إصدار Lustre 2.11 في أبريل 2018 ^{[ 66 ]} ، ويحتوي على ميزتين جديدتين هامتين، بالإضافة إلى العديد من الميزات الأخرى. تُوسّع ميزة تكرار الملفات على مستوى الملف (FLR) نطاق تطبيق PFL في الإصدار 2.10، مضيفةً إمكانية تحديد تخطيطات ملفات مُنسخة لتحسين التوافر في حالة تعطل وحدة التخزين أو الخادم، و/أو تحسين الأداء مع عمليات القراءة المتزامنة العالية. تسمح ميزة البيانات على MDT (DoM) بتخزين الملفات الصغيرة (بضعة ميغابايت) على MDT للاستفادة من تخزين RAID-10 التقليدي القائم على ذاكرة الفلاش لتقليل زمن الاستجابة والحد من تنازع الإدخال/الإخراج، بدلاً من تخزين RAID-6 التقليدي القائم على محركات الأقراص الصلبة المستخدم في OSTs. كما تسمح ميزة الاكتشاف الديناميكي لشبكة LNet بالتكوين التلقائي لشبكة LNet متعددة المسارات بين الأجهزة التي تشترك في شبكة LNet. تتيح ميزة LDLM Lock Ahead للتطبيقات والمكتبات المعدلة بشكل مناسب جلب أقفال نطاق DLM مسبقًا من OSTs للملفات، إذا كان التطبيق يعرف (أو يتوقع) أن نطاق هذا الملف سيتم تعديله في المستقبل القريب، مما قد يقلل من التنازع على القفل لعدة عملاء يكتبون إلى نفس الملف.

صدرت Lustre 2.12 في 21 ديسمبر 2018 ^{[ 67 ]} ، وركزت على تحسين سهولة استخدام Lustre واستقرارها، مع تحسينات في أداء ووظائف ميزات FLR وDoM المضافة في Lustre 2.11، بالإضافة إلى تغييرات طفيفة على NRS TBF و HSM وJobStats. كما أضافت ميزة LNet Network Health ( المؤرشفة في 12 فبراير 2019 على Wayback Machine) لتمكين ميزة LNet Multi-Rail من Lustre 2.10 من معالجة أعطال الشبكة بشكل أفضل عندما تحتوي العقدة على واجهات شبكة متعددة. وتتيح ميزة Lazy Size on MDT ^{[ 68 ]} (LSOM) تخزين تقدير لحجم الملف على MDT لاستخدامه من قبل محركات السياسات، وماسحات نظام الملفات، وأدوات الإدارة الأخرى التي يمكنها اتخاذ قرارات أكثر كفاءة بشأن الملفات دون الحاجة إلى معرفة أحجام الملفات أو عدد الكتل بدقة كاملة، ودون الحاجة إلى الاستعلام عن OSTs للحصول على هذه المعلومات. أضاف هذا الإصدار أيضًا إمكانية إعادة توزيع دليل موجود يدويًا عبر عدة وحدات تخزين متعددة (MDTs)، مما يسمح بنقل الأدلة التي تحتوي على عدد كبير من الملفات للاستفادة من سعة وأداء عدة عقد MDS. كما أضافت ميزة التحقق من سلامة بيانات Lustre RPC ميزة التحقق من سلامة البيانات المدمجة SCSI T10-PI ^{[ 69 ]} من العميل إلى طبقة كتلة النواة، ومحول مضيف SCSI، ومحركات الأقراص الصلبة التي تدعم T10 .

تم إصدار Lustre 2.13 في 5 ديسمبر 2019 ^{[ 70 ]} ، وأضاف ميزات جديدة متعلقة بالأداء، منها ذاكرة التخزين المؤقت الدائمة للعميل ^{[ 71 ]} (PCC)، التي تتيح الاستخدام المباشر لوحدات تخزين NVMe و NVRAM على عقد العميل مع الحفاظ على الملفات ضمن مساحة اسم نظام الملفات العامة، وتقنية OST Overstriping ^{[ 72 ]} التي تسمح بتخزين الملفات على عدة شرائح في وحدة OST واحدة لتحسين استخدام أجهزة OSS السريعة. كما تم تحسين وظيفة LNet Multi-Rail Network Health للعمل مع عقد توجيه LNet RDMA. وتم تعزيز وظيفة PFL بتقنية Self-Extending Layouts ^{[ 73 ]} (SEL) للسماح بتحديد حجم مكونات الملفات ديناميكيًا، وذلك للتعامل بشكل أفضل مع وحدات OST الفلاشية التي قد تكون أصغر بكثير من وحدات OST القرصية ضمن نظام الملفات نفسه. تضمن الإصدار أيضًا عددًا من التحسينات الصغيرة، مثل موازنة إنشاء الدليل البعيد DNE عبر MDTs، واستخدام Lazy-size-on-MDT لتقليل الحمل الزائد لـ "lfs find"، والأدلة التي تحتوي على 10 ملايين ملف لكل جزء لـ ldiskfs، وأحجام RPC المجمعة التي تصل إلى 64  ميجابايت. ^{[ 74 ]}

تم إصدار Lustre 2.14 في 19 فبراير 2021 ^{[ 75 ]} ويتضمن ثلاث ميزات رئيسية. تشفير بيانات العميل: يُطبّق خوارزمية fscrypt لتشفير بيانات الملفات على جهاز العميل قبل نقلها عبر الشبكة وتخزينها الدائم على OST وMDT. حصص مجمع OST: تُوسّع هذه الميزة إطار عمل الحصص للسماح بتخصيص الحصص وتطبيقها بناءً على مجمعات تخزين OST، كما تم رفع الحد الأقصى لحجم OST المدعوم في ldiskfs إلى 1024 تيرابايت. إعادة التوزيع التلقائي لـ DNE: يُمكن الآن ضبط عدد وحدات MDT التي يتم توزيع دليل كبير عليها بناءً على عتبات الحجم التي يُحددها المسؤول، على غرار تخطيطات الملفات التدريجية للأدلة.

تم إصدار Lustre 2.15 في 16 يونيو 2022 ^{[ 76 ]} ويتضمن ثلاث ميزات رئيسية. تُوسّع ميزة تشفير دليل العميل ^{[ 77 ]} نطاق تشفير البيانات fscrypt في الإصدار 2.14 لتشمل تشفير أسماء الملفات والمجلدات على جهاز العميل قبل نقلها عبر الشبكة وتخزينها الدائم على MDT. تعمل ميزة موازنة مساحة DNE MDT على موازنة إنشاء المجلدات الجديدة تلقائيًا عبر MDTs في نظام الملفات بالتناوب الدوري و/أو بناءً على العقد المتاحة والمساحة، مما يُساعد بدوره على توزيع عبء عمل بيانات تعريف العميل على MDTs بشكل أكثر توازنًا. بالنسبة للتطبيقات التي تستخدم واجهة NVIDIA GPU Direct Storage (GDS)، يُمكن لعميل Lustre إجراء عمليات قراءة وكتابة RDMA بدون نسخ من خادم التخزين مباشرةً إلى ذاكرة وحدة معالجة الرسومات لتجنب نسخ البيانات الإضافية من ذاكرة وحدة المعالجة المركزية وتكاليف المعالجة الإضافية. ^{[ 78 ]} تسمح سياسة التحديد المُعرّفة من قِبل المستخدم (UDSP) بتعيين سياسات اختيار الواجهة للعُقد ذات واجهات الشبكة المتعددة.

تم إصدار Lustre 2.16 في 8 نوفمبر 2024 ^{[ 79 ]} ، ويتضمن ثلاث ميزات رئيسية. يدعم الإصدار 2.16 عناوين الشبكات الكبيرة ^{[ 80 ]،} مما يسمح باستخدام IPv6 ، وربما تنسيقات عناوين كبيرة أخرى مثل معرّفات Infiniband GUIDs، لعنونة عقد العميل والخادم، بالإضافة إلى عناوين IPv4 القياسية . تعمل ميزة الإدخال/الإخراج المباشر غير المتوافق والهجين على تحسين أداء التطبيقات التي تُجري عمليات قراءة/كتابة كبيرة مُخزّنة مؤقتًا ومباشرة، وذلك بتجنب الحمل الزائد في ذاكرة التخزين المؤقت لصفحات العميل. ^{[ 81 ]} تعمل ميزة اجتياز الدليل المُحسّن (statahead المُجمّع) على تحسين أحمال عمل التطبيقات التي تجتاز تسلسلات الدليل الهرمية وتصل إلى سمات الملفات بنمط وصول منهجي، وذلك عن طريق جلب سمات الملفات مسبقًا بالتوازي من MDS(es) باستخدام استدعاءات الإجراءات البعيدة المجمعة (RPCs). ^{[ 82 ]}

تم إصدار Lustre 2.17 في 28 ديسمبر 2025 ^{[ 83 ]} ، ويتضمن ثلاث ميزات رئيسية، بالإضافة إلى العديد من التحسينات الأخرى. تتيح ميزة تكوين NID الديناميكي للخوادم تهيئة واجهات الشبكة المؤقتة والإعلان عنها للعملاء على الشبكات الافتراضية ( VLAN ) دون الحاجة إلى تغيير التكوين بشكل دائم أو مقاطعة الخدمات قيد التشغيل. تعمل التحسينات التي أُدخلت على Nodemaps على تبسيط عزل العملاء وتوفير تحكم دقيق إضافي في وصولهم، كما تسمح بتصدير مجموعات ملفات متعددة (للقراءة فقط اختياريًا) لكل nodemap، بما في ذلك فصل أذونات الجذر داخل nodemap. ^{[ 84 ]} تُعد هذه الميزات مفيدة لتقنية المحاكاة الافتراضية لأنظمة الملفات في بيئات الحوسبة السحابية والمشتركة. تُحسّن التحسينات التي أُدخلت على تطبيق الإدخال/الإخراج الهجين الأداء والمرونة للتطبيقات التي تُجري كميات كبيرة من عمليات الإدخال/الإخراج.

يحتوي نظام ملفات Lustre على ثلاث وحدات وظيفية رئيسية:

• يحتوي نظام ملفات Lustre على عقدة واحدة أو أكثر من خوادم البيانات الوصفية (MDS) التي تضم جهازًا واحدًا أو أكثر من أجهزة هدف البيانات الوصفية (MDT) لتخزين بيانات وصفية لمساحة الاسم، مثل أسماء الملفات والمجلدات وأذونات الوصول وتخطيط الملفات. تُخزن بيانات MDT في نظام ملفات القرص المحلي. مع ذلك، وعلى عكس أنظمة الملفات الموزعة القائمة على الكتل، مثل GPFS و PanFS ، حيث يتحكم خادم البيانات الوصفية في جميع عمليات تخصيص الكتل، يقتصر دور خادم البيانات الوصفية في Lustre على التحقق من مسار الملفات والأذونات، ولا يشارك في أي عمليات إدخال/إخراج للملفات، مما يجنب اختناقات قابلية التوسع في الإدخال/الإخراج على خادم البيانات الوصفية. تُعد إمكانية وجود عدة أجهزة MDT في نظام ملفات واحد ميزة جديدة في Lustre 2.4، وتسمح بوجود فروع المجلدات على أجهزة MDT الثانوية، بينما تسمح الإصدارات 2.7 والإصدارات اللاحقة بتوزيع المجلدات الكبيرة المفردة على عدة أجهزة MDT أيضًا.
• عقدة واحدة أو أكثر من خوادم تخزين الكائنات (OSS) التي تخزن بيانات الملفات على جهاز واحد أو أكثر من أجهزة تخزين الكائنات المستهدفة (OST) . وبحسب مواصفات الخادم، يخدم خادم OSS عادةً ما بين جهازين إلى ثمانية أجهزة OST، حيث يدير كل جهاز OST نظام ملفات قرص محلي واحد. وتُحسب سعة نظام ملفات Lustre بجمع السعات التي توفرها أجهزة OST.
• العملاء الذين يصلون إلى البيانات ويستخدمونها. يقدم Lustre لجميع العملاء مساحة اسم موحدة لجميع الملفات والبيانات في نظام الملفات، باستخدام دلالات POSIX القياسية ، ويسمح بالوصول المتزامن والمتسق للقراءة والكتابة إلى الملفات في نظام الملفات.

قد تتواجد وحدة MDT ووحدة OST والعميل على نفس العقدة (عادةً لأغراض الاختبار)، ولكن في بيئات الإنتاج النموذجية، تتواجد هذه الأجهزة على عقد منفصلة تتواصل عبر الشبكة. قد تكون كل وحدة MDT ووحدة OST جزءًا من نظام ملفات واحد فقط، مع إمكانية وجود عدة وحدات MDT أو OST على عقدة واحدة تنتمي إلى أنظمة ملفات مختلفة. يمكن لطبقة شبكة Lustre (LNet) استخدام أنواع متعددة من وصلات الشبكة، بما في ذلك أوامر InfiniBand الأصلية، و Omni-Path ، وRoCE ، و iWARP عبر OFED ، و TCP/IP على Ethernet ، وتقنيات شبكية أخرى خاصة مثل وصلة Cray Gemini. في Lustre 2.3 والإصدارات الأقدم، كانت شبكات Myrinet و Quadrics وCray SeaStar وRapidArray مدعومة أيضًا، ولكن تم إيقاف دعم برامج تشغيل هذه الشبكات عندما لم تعد متوفرة تجاريًا، وتم إزالة الدعم بالكامل في Lustre 2.8. سيستفيد Lustre من عمليات نقل الوصول المباشر للذاكرة عن بعد ( RDMA )، عند توفرها، لتحسين الإنتاجية وتقليل استخدام وحدة المعالجة المركزية.

عادةً ما يتم توفير التخزين المستخدم لأنظمة ملفات MDT وOST الأساسية بواسطة أجهزة RAID المادية ، مع إمكانية العمل مع أي أجهزة تخزين كتلية. منذ إصدار Lustre 2.4، أصبح بإمكان MDT وOST استخدام ZFS كنظام ملفات أساسي بالإضافة إلى ext4 ، مما يسمح لهما باستخدام تخزين JBOD بكفاءة بدلاً من أجهزة RAID المادية. تقوم خوادم Lustre OSS وMDS بقراءة البيانات وكتابتها وتعديلها بالتنسيق الذي يفرضه نظام الملفات الأساسي، ثم تعيد هذه البيانات إلى العملاء. يتيح هذا لـ Lustre الاستفادة من التحسينات والميزات في نظام الملفات الأساسي، مثل الضغط ومجموع التحقق من البيانات في ZFS. لا يملك العملاء أي وصول مباشر إلى وحدة التخزين الأساسية، مما يضمن عدم قدرة أي عميل معطل أو خبيث على إتلاف بنية نظام الملفات.

نظام الملفات OST هو نظام ملفات مخصص يُصدّر واجهة لنطاقات البايتات من كائنات الملفات لعمليات القراءة والكتابة، مع أقفال النطاق لحماية اتساق البيانات. أما نظام الملفات MDT فهو نظام ملفات مخصص يخزن العقد (inodes) والمجلدات وسمات POSIX وسمات الملفات الموسعة ، ويتحكم في أذونات الوصول إلى الملفات/ قوائم التحكم بالوصول ( ACLs) ، ويُعلم العملاء بتخطيط الكائن (الكائنات) التي تُكوّن كل ملف عادي. يستخدم كل من MDT وOST حاليًا إما إصدارًا مُحسّنًا من ext4 يُسمى ldiskfs ، أو ZFS /DMU لتخزين البيانات في الواجهة الخلفية لتخزين الملفات/الكائنات ^{[ 85 ]} باستخدام منفذ ZFS مفتوح المصدر على Linux. ^{[ 86 ]}

يقوم العميل بتثبيت نظام ملفات Lustre محليًا باستخدام برنامج تشغيل VFS لنواة Linux ، والذي يربط العميل بالخادم (أو الخوادم). عند التثبيت الأولي، يُزوَّد العميل بمعرّف ملف (FID) للدليل الجذر لنقطة التثبيت. عند وصول العميل إلى ملف، يُجري بحثًا عن اسم الملف في MDS . عند اكتمال البحث عن اسم الملف في MDS، وحصول المستخدم والعميل على إذن الوصول إلى الملف و/أو إنشائه، إما أن يُعاد تخطيط ملف موجود إلى العميل، أو يُنشأ ملف جديد نيابةً عنه، إذا طُلب ذلك. بالنسبة لعمليات القراءة أو الكتابة، يُفسِّر العميل تخطيط الملف في طبقة وحدة تخزين الكائنات المنطقية (LOV) ، والتي تربط الإزاحة المنطقية للملف وحجمه بكائن واحد أو أكثر . بعد ذلك، يُقفل العميل نطاق الملف الذي تُجرى عليه العملية، ويُنفِّذ عملية قراءة أو كتابة متوازية واحدة أو أكثر مباشرةً على عُقد OSS التي تحتوي على كائنات البيانات. بهذا النهج، يتم التخلص من الاختناقات في اتصالات العميل مع نظام دعم التشغيل، وبالتالي فإن عرض النطاق الترددي الإجمالي المتاح للعملاء لقراءة وكتابة البيانات يتناسب خطيًا تقريبًا مع عدد ملفات OST في نظام الملفات.

بعد البحث الأولي عن تخطيط الملفات، لا يتدخل نظام إدارة البيانات (MDS) عادةً في عمليات إدخال/إخراج الملفات، حيث تتم إدارة جميع عمليات تخصيص الكتل وإدخال/إخراج البيانات داخليًا بواسطة نظام تخزين البيانات (OST). لا يقوم العملاء بتعديل الكائنات أو البيانات الموجودة على أنظمة ملفات OST بشكل مباشر، بل يفوضون هذه المهمة إلى عقد نظام دعم التشغيل (OSS). يضمن هذا النهج قابلية التوسع للمجموعات الحاسوبية الضخمة والحواسيب العملاقة، بالإضافة إلى تحسين الأمان والموثوقية. في المقابل، تسمح أنظمة الملفات المشتركة القائمة على الكتل، مثل GPFS و OCFS، بالوصول المباشر إلى وحدة التخزين الأساسية من قِبل جميع العملاء في نظام الملفات، الأمر الذي يتطلب شبكة تخزين خلفية (SAN) كبيرة متصلة بجميع العملاء، ويزيد من خطر تلف نظام الملفات نتيجةً لخلل في عمل العملاء أو عطل في النظام.

في تثبيت نموذجي لنظام Lustre على جهاز عميل يعمل بنظام Linux، يتم تحميل وحدة تعريف نظام ملفات Lustre في النواة، ويتم تركيب نظام الملفات كما هو الحال مع أي نظام ملفات محلي أو شبكي آخر. ترى تطبيقات العميل نظام ملفات موحدًا واحدًا، حتى وإن كان يتكون من عشرات أو آلاف الخوادم الفردية وأنظمة ملفات MDT/OST.

في بعض أنظمة المعالجة المتوازية الضخمة (MPP)، يمكن للمعالجات الحاسوبية الوصول إلى نظام ملفات Lustre عن طريق إعادة توجيه طلبات الإدخال/الإخراج الخاصة بها إلى عقدة إدخال/إخراج مخصصة مُهيأة كعميل Lustre. يُستخدم هذا النهج في نظام Blue Gene ^{[ 87 ]} في مختبر لورانس ليفرمور الوطني .

من بين الأساليب الأخرى المستخدمة في السنوات الأولى لنظام Lustre، مكتبة liblustre على معالج Cray XT3 باستخدام نظام التشغيل Catamount على أنظمة مثل Sandia Red Storm ^{[ 88 ]} ، والتي وفرت لتطبيقات مساحة المستخدم إمكانية الوصول المباشر إلى نظام الملفات. كانت liblustre مكتبة على مستوى المستخدم تسمح للمعالجات الحسابية بتركيب نظام ملفات Lustre واستخدامه كعميل. باستخدام liblustre، استطاعت المعالجات الحسابية الوصول إلى نظام ملفات Lustre حتى لو لم تكن عقدة الخدمة التي تم تشغيل المهمة عليها عميل Linux. سمحت liblustre بنقل البيانات مباشرةً بين مساحة التطبيق وأنظمة Lustre مفتوحة المصدر دون الحاجة إلى نسخ البيانات عبر النواة، مما وفر وصولًا مباشرًا من المعالجات الحسابية إلى نظام ملفات Lustre في بيئة تشغيل محدودة. تم حذف وظائف liblustre من Lustre 2.7.0 بعد تعطيلها منذ Lustre 2.6.0، ولم يتم اختبارها منذ Lustre 2.3.0.

في إصدار نواة لينكس 4.18، أُزيلت النسخة غير المكتملة من عميل Lustre من منطقة تطوير النواة لتسريع عملية التطوير والنقل إلى نوى أحدث. ^{[ 89 ]} لا يزال عميل وخادم Lustre الخارجيان متاحين لنوى توزيعات RHEL وSLES و Ubuntu ، بالإضافة إلى النواة الأصلية.

في نظام ملفات القرص التقليدي في يونكس ، تحتوي بنية بيانات inode على معلومات أساسية حول كل ملف، مثل مكان تخزين البيانات الموجودة فيه. يستخدم نظام ملفات Lustre أيضًا inodes، ولكن inodes على MDTs تشير إلى كائن OST واحد أو أكثر مرتبط بالملف بدلاً من كتل البيانات. تُنفَّذ هذه الكائنات كملفات على OSTs. عندما يفتح عميل ملفًا، تنقل عملية فتح الملف مجموعة من مُعرِّفات الكائنات وتخطيطها من MDS إلى العميل، بحيث يمكن للعميل التفاعل مباشرةً مع عقدة (عقد) OSS التي تحتوي على الكائن (الكائنات). يتيح هذا للعميل (أو العملاء) إجراء عمليات الإدخال/الإخراج بالتوازي عبر جميع كائنات OST في الملف دون الحاجة إلى مزيد من الاتصال بـ MDS، مما يتجنب التنازع الناتج عن إدارة الكتل والأقفال المركزية.

إذا ارتبط كائن OST واحد فقط بعقدة MDT، فإن هذا الكائن يحتوي على جميع البيانات الموجودة في ملف Lustre. عند ارتباط أكثر من كائن بملف، تُوزَّع البيانات في الملف على شكل أجزاء بالتناوب بين كائنات OST، على غرار RAID 0، بحجم 1 ميجابايت أو أكبر عادةً  . يوفر توزيع الملف على عدة كائنات OST تحسينات كبيرة في الأداء عند الحاجة إلى نطاق ترددي عالٍ للوصول إلى ملف كبير واحد. عند استخدام التوزيع، لا يقتصر الحد الأقصى لحجم الملف على حجم الهدف الواحد. تتناسب السعة وعرض النطاق الترددي الإجمالي للإدخال/الإخراج طرديًا مع عدد كائنات OST التي يُوزَّع عليها الملف. كذلك، بما أن تأمين كل كائن يُدار بشكل مستقل لكل كائن OST، فإن إضافة المزيد من التوزيعات (توزيع واحد لكل كائن OST) يزيد من سعة تأمين الإدخال/الإخراج للملف بشكل متناسب. قد يُحدد كل ملف مُنشأ في نظام الملفات معايير تخطيط مختلفة، مثل عدد الشرائح (عدد كائنات OST التي تُكوّن ذلك الملف)، وحجم الشريحة (وحدة البيانات المُخزّنة على كل كائن OST قبل الانتقال إلى الكائن التالي)، واختيار كائن OST، وذلك لضبط الأداء والسعة على النحو الأمثل لكل ملف. عندما تقوم العديد من سلاسل التطبيق بقراءة أو كتابة ملفات منفصلة بالتوازي، يُفضّل وجود شريحة واحدة لكل ملف، لأن التطبيق يُوفّر التوازي الخاص به. أما عندما تقوم العديد من سلاسل التطبيق بقراءة أو كتابة ملف كبير واحد في وقت واحد، فيُفضّل وجود شريحة واحدة على الأقل على كل كائن OST لزيادة أداء وسعة ذلك الملف إلى أقصى حد.

في إصدار Lustre 2.10، أُضيفت إمكانية تحديد التخطيطات المركبة للسماح للملفات بامتلاك معلمات تخطيط مختلفة لمناطقها المختلفة. تستخدم ميزة تخطيط الملف التدريجي (PFL) التخطيطات المركبة لتحسين أداء إدخال/إخراج الملفات عبر نطاق أوسع من أحمال العمل، بالإضافة إلى تبسيط الاستخدام والإدارة. على سبيل المثال، يمكن أن يحتوي ملف PFL صغير على شريط واحد على ذاكرة الفلاش لتقليل تكلفة الوصول، بينما يمكن أن تحتوي الملفات الأكبر حجمًا على عدة شرائط لعرض نطاق ترددي إجمالي عالٍ وموازنة أفضل لحمل OST. تم تحسين التخطيطات المركبة بشكل أكبر في الإصدار 2.11 بميزة تكرار مستوى الملف (FLR)، والتي تسمح للملف بامتلاك تخطيطات متداخلة متعددة، مما يوفر تكرار RAID 0+1 لهذه الملفات بالإضافة إلى تحسين أداء القراءة. أضاف إصدار Lustre 2.11 أيضًا ميزة البيانات على البيانات الوصفية (DoM)، والتي تسمح بتخزين المكون الأول من ملف PFL مباشرةً على MDT مع inode. يُقلل هذا من الحمل الزائد للوصول إلى الملفات الصغيرة، سواءً من حيث استخدام المساحة (لا حاجة لكائن OST) أو استخدام الشبكة (عدد أقل من استدعاءات الإجراءات البعيدة للوصول إلى البيانات). كما يُحسّن DoM أداء الملفات الصغيرة إذا كان MDT قائمًا على SSD ، بينما تكون كائنات OST قائمة على القرص. في Lustre 2.13، تسمح ميزة Overstriping لكائن OST واحد بامتلاك عدة شرائح على كائن OST واحد لتحسين توازي عملية القفل، بينما تسمح ميزة Self-Extending Layout بأن يكون حجم المكون ديناميكيًا أثناء الكتابة بحيث يمكنه التعامل مع نفاد مساحة كائنات OST الفردية (الفلاش) قبل نفاد مساحة نظام الملفات بأكمله.

عندما يقوم عميل بتثبيت نظام ملفات لأول مرة، يُزوَّد بمعرّف ملف Lustre ذي 128 بت (FID، ويتألف من رقم تسلسل 64 بت، ومعرّف كائن 32 بت، وإصدار 32 بت) للدليل الجذر لنقطة التثبيت. عند البحث عن اسم ملف، يبحث العميل عن كل مكون من مكونات مسار الملف من خلال ربط رقم تسلسل FID للدليل الأصل بـ MDT محدد عبر قاعدة بيانات مواقع FID (FLDB)، ثم يبحث في MDS الذي يدير MDT هذا باستخدام FID للدليل الأصل واسم الملف. يُعيد MDS معرّف FID لمكون مسار الملف المطلوب مع قفل DLM . بمجرد تحديد MDT للدليل الأخير في المسار، تُجرى عمليات الدليل اللاحقة (للأدلة غير المُجزأة) عادةً على MDT هذا، مما يمنع التنازع بين MDTs.

بالنسبة للمجلدات المُجزأة (DNE striped)، يوفر تخطيط كل مجلد، المخزن في المجلد الأصل، دالة تجزئة وقائمة بمعرفات ملفات MDT (FIDs) التي يتم توزيع المجلد عبرها. يقوم مُخزن البيانات الوصفية المنطقي (LMV) على جهاز العميل بتجزئة اسم الملف وربطه بجزء مُحدد من دليل MDT ، والذي سيتعامل مع العمليات اللاحقة على هذا الملف بنفس طريقة التعامل مع المجلدات غير المُجزأة. بالنسبة لعمليات readdir() ، تُعاد الإدخالات من كل جزء من الدليل إلى العميل مُرتبةً وفقًا لترتيب تجزئة دليل MDT المحلي، ويُجري العميل عملية فرز دمج لدمج أسماء الملفات بترتيب التجزئة بحيث يُمكن استخدام مُعرّف ملف تعريف ارتباط واحد (cookie) بحجم 64 بت لتحديد الإزاحة الحالية داخل المجلد.

في Lustre 2.15، يُطبّق مُدير إدارة الوسائط (LMV) الخاص بالعميل تخطيطات افتراضية للمجلدات تعتمد على التوزيع الدوري وتوازن المساحة، مما يُتيح للعملاء استخدام عدد كبير من وحدات MDT في نظام ملفات واحد بكفاءة أكبر. عند إنشاء مجلد فرعي جديد بالقرب من جذر نظام الملفات (أعلى ثلاثة مستويات من المجلدات افتراضيًا)، يقوم العميل تلقائيًا بإنشائه كمجلد بعيد على إحدى وحدات MDT المتاحة (يتم اختيارها بالتسلسل) لتحقيق توازن في استخدام المساحة والحمل بين الخوادم. إذا أصبح توزيع المساحة الحرة على وحدات MDT غير متوازن (بفارق يزيد عن 5% في المساحة الحرة وعدد العقد)، فإن العميل الذي يُنشئ المجلد سيُرجّح إنشاءه على وحدة MDT ذات مساحة حرة أكبر لاستعادة التوازن. ^{[ 90 ]}

يحمي مدير الأقفال الموزعة (LDLM) في Lustre ، المُصمم على غرار OpenVMS ، سلامة بيانات كل ملف وبياناته الوصفية. ويتم الوصول إلى ملفات Lustre وتعديلها بشكل متسق تمامًا بين جميع العملاء. تُدار أقفال البيانات الوصفية بواسطة MDT الذي يخزن رقم تعريف الملف (inode) باستخدام FID كاسم للمورد. تُقسم أقفال البيانات الوصفية إلى أجزاء منفصلة تحمي عملية البحث عن الملف (مالك الملف ومجموعته، والأذونات والوضع، وقائمة التحكم بالوصول (ACL))، وحالة رقم تعريف الملف (حجم الدليل، ومحتوياته، وعدد الروابط، والطوابع الزمنية)، والتخطيط (تقسيم الملفات، منذ Lustre 2.4)، والسمات الموسعة (xattrs، منذ Lustre 2.5). يمكن للعميل جلب عدة أجزاء من أقفال البيانات الوصفية لرقم تعريف ملف واحد بطلب RPC واحد، ولكن حاليًا لا يُمنح العميل سوى قفل قراءة لرقم تعريف الملف. تتولى MDS إدارة جميع التعديلات على inode لتجنب التنازع على موارد القفل ، وهي حاليًا العقدة الوحيدة التي تحصل على أقفال الكتابة على inodes.

تُدار أقفال بيانات الملفات بواسطة نظام تخزين البيانات (OST) الذي يُقسّم كل عنصر من عناصر الملف إليه، باستخدام أقفال نطاق البايت . يمكن منح العملاء أقفال نطاق قراءة متداخلة لجزء من الملف أو كله، مما يسمح بقراءة الملف نفسه من قِبل عدة قراء متزامنين، و/أو أقفال نطاق كتابة غير متداخلة لمناطق مستقلة من الملف. يتيح هذا للعديد من عملاء Lustre الوصول إلى ملف واحد في وقت واحد للقراءة والكتابة، مما يجنب حدوث اختناقات أثناء عمليات الإدخال/الإخراج للملفات. عمليًا، نظرًا لأن عملاء Linux يديرون ذاكرة التخزين المؤقت للبيانات بوحدات الصفحات ، فإنهم يطلبون أقفالًا تكون دائمًا من مضاعفات حجم الصفحة (4096 بايت في معظم العملاء). عندما يطلب عميل قفل نطاق، قد يمنح نظام تخزين البيانات (OST) قفلًا لنطاق أكبر من النطاق المطلوب أصلاً، وذلك لتقليل عدد طلبات القفل التي يرسلها العميل. يعتمد الحجم الفعلي للقفل الممنوح على عدة عوامل، بما في ذلك عدد الأقفال الممنوحة حاليًا على هذا العنصر، وما إذا كانت هناك أقفال كتابة متضاربة لنطاق القفل المطلوب، وعدد طلبات القفل المعلقة على هذا العنصر. لا يقل حجم القفل الممنوح عن الحجم المطلوب أصلاً. تستخدم أقفال نطاق OST معرّف Lustre FID للكائن كاسم مورد للقفل. وبما أن عدد خوادم قفل النطاق يتناسب طرديًا مع عدد وحدات OST في نظام الملفات، فإن هذا يؤثر أيضًا على أداء القفل الإجمالي لنظام الملفات، ولملف واحد إذا تم توزيعه على عدة وحدات OST.

يتم تنفيذ الاتصال بين عملاء وخوادم Lustre باستخدام شبكة Lustre (LNet)، التي كانت في الأصل مبنية على واجهة برمجة تطبيقات شبكة Sandia Portals . يتم توصيل وحدات التخزين القرصية بعقد خادم Lustre MDS وOSS باستخدام تقنيات التخزين المباشر ( NVM_Express#NVMe-oF ، SAS ، FC ، iSCSI ) أو تقنيات شبكة منطقة التخزين التقليدية (SAN)، وهو أمر مستقل عن شبكة العميل إلى الخادم.

يدعم LNet العديد من أنواع الشبكات الشائعة، مثل InfiniBand و Ethernet ( عبر منفذ TCP رقم 988)، ويتيح التوافر المتزامن عبر أنواع شبكات متعددة مع إمكانية التوجيه بينها. يُستخدم الوصول المباشر للذاكرة عن بُعد (RDMA) لنقل البيانات والبيانات الوصفية بين العُقد عند توفيرها من قِبل الشبكات الأساسية، مثل InfiniBand Open Fabrics Enterprise Distribution (OFED Verbs) و RoCE و Omni-Path ، بالإضافة إلى الشبكات عالية السرعة الخاصة مثل Cray Aries وGemini و Atos BullSequana eXascale Interconnect ( BXI ) و Amazon Web Services Elastic Fabric Adapter ( EFA ). تُمكّن ميزات التوافر العالي والاسترداد من الاسترداد السلس بالتزامن مع خوادم تجاوز الأعطال.

منذ إصدار Lustre 2.10، تتيح ميزة LNet Multi-Rail (MR) ^{[ 91 ]} تجميع روابط واجهتي شبكة أو أكثر بين العميل والخادم لتحسين عرض النطاق الترددي. ولا يشترط أن تكون أنواع واجهات LNet من نفس نوع الشبكة. وفي الإصدار 2.12، تم تحسين Multi-Rail لتعزيز تحمل الأعطال في حال توفر واجهات شبكة متعددة بين الأجهزة المتصلة.

توفر LNet معدل نقل بيانات شامل عبر شبكات جيجابت إيثرنت يتجاوز 100  ميجابايت/ثانية، ^{[ 92 ]} ومعدل نقل بيانات يصل إلى 11  جيجابايت/ثانية باستخدام روابط InfiniBand ذات معدل البيانات المحسن (EDR)، ومعدل نقل بيانات يتجاوز 11  جيجابايت/ثانية عبر واجهات 100 جيجابت إيثرنت . ^{[ 93 ]}

تتضمن ميزات التوافر العالي لنظام ملفات Lustre آلية قوية للتعافي من الأعطال، مما يجعل أعطال الخوادم وإعادة تشغيلها غير ملحوظة. كما يتيح التوافق بين الإصدارات الفرعية المتتالية لبرنامج Lustre ترقية الخادم عن طريق إيقافه عن العمل (أو نقله إلى خادم احتياطي)، ثم إجراء الترقية، وإعادة تشغيله، مع استمرار تشغيل جميع المهام النشطة، مع تأخير بسيط ريثما يتولى خادم النسخ الاحتياطي إدارة التخزين.

تُهيأ وحدات تخزين البيانات الرئيسية (MDSes) في نظام Lustre كزوج نشط/سلبي يُصدّر وحدة تخزين بيانات رئيسية واحدة (MDT)، أو كزوج واحد أو أكثر من وحدات تخزين البيانات الرئيسية النشطة/النشطة مع وحدة تخزين غير موجودة (DNE) تُصدّر وحدتي تخزين بيانات رئيسية منفصلتين أو أكثر، بينما تُنشر وحدات تخزين البيانات التشغيلية (OSSes) عادةً في تكوين نشط/نشط تُصدّر وحدات تخزين بيانات تشغيلية منفصلة لتوفير التكرار دون زيادة الحمل على النظام. في أنظمة الملفات أحادية وحدة تخزين البيانات الرئيسية، تكون وحدة تخزين البيانات الرئيسية الاحتياطية لنظام ملفات واحد هي وحدة إدارة النظام (MGS) و/أو عقدة المراقبة، أو وحدة تخزين البيانات الرئيسية النشطة لنظام ملفات آخر، وبالتالي لا توجد عقد خاملة في المجموعة.

يُتيح نظام Lustre إمكانية إنشاء طبقات تخزين متعددة ضمن مساحة اسم نظام ملفات واحدة. كما يسمح بوظائف HSM التقليدية لنسخ (أرشفة) الملفات من نظام الملفات الرئيسي إلى طبقة تخزين أرشيفية ثانوية. عادةً ما تكون طبقة الأرشفة نظامًا قائمًا على أشرطة التخزين، وغالبًا ما يكون مدعومًا بذاكرة تخزين مؤقتة على القرص. بمجرد أرشفة الملف، يُمكن تحريره من نظام الملفات الرئيسي، تاركًا فقط نسخةً منه تُشير إلى النسخة الأرشيفية. عند فتح ملف تم تحريره، يقوم المنسق بحظر عملية الفتح، ويرسل طلب استعادة إلى أداة النسخ، ثم يُكمل عملية الفتح بمجرد انتهاء أداة النسخ من استعادة الملف.

بالإضافة إلى التخزين الخارجي متعدد المستويات، يُمكن إنشاء مستويات تخزين متعددة ضمن مساحة اسم نظام ملفات واحدة. يُمكن تعريف وحدات تخزين OST من أنواع مختلفة (مثل HDD وSSD) في مجموعات تخزين مُسماة. يُمكن اختيار مجموعات OST عند تحديد تخطيطات الملفات، كما يُمكن استخدام مجموعات مختلفة ضمن تخطيط ملف PFL واحد. يُمكن نقل الملفات بين مستويات التخزين يدويًا أو باستخدام مُحرك السياسات. منذ إصدار Lustre 2.11، أصبح من الممكن أيضًا نسخ ملف إلى مجموعات OST مختلفة باستخدام تخطيط ملف FLR، على سبيل المثال، لتجهيز الملفات مسبقًا في ذاكرة الفلاش لعملية حسابية.

يتضمن نظام إدارة الأمان (HSM) بعض مكونات Lustre الإضافية لإدارة الواجهة بين نظام الملفات الأساسي والأرشيف:

• المنسق: يستقبل طلبات الأرشفة والاستعادة ويرسلها إلى عقد الوكلاء.
• العميل: يقوم بتشغيل أداة نسخ البيانات لنسخ البيانات من وحدة التخزين الأساسية إلى الأرشيف والعكس.
• أداة النسخ: تتولى نقل البيانات وتحديث البيانات الوصفية. تتوفر أدوات نسخ مختلفة للتفاعل مع أنظمة الأرشفة المتنوعة. كما تتوفر أداة نسخ عامة متوافقة مع معيار POSIX للأرشيفات التي توفر واجهة أمامية شبيهة بمعيار POSIX. وتتوفر أدوات نسخ أيضًا لنظام التخزين عالي الأداء ^{[ 94 ]} (HPSS)، ومدير تخزين تيفولي ^{[ 95 ]} (TSM)، وخدمة أمازون إس 3 ^{[ 96 ]} ، وجوجل درايف ^{[ 97 ]} .
• محرك السياسات: يراقب سجلات تغييرات نظام الملفات بحثًا عن ملفات جديدة لأرشفتها، ويطبق سياسات لإصدار الملفات بناءً على عمرها أو مساحة استخدامها، ويتواصل مع MDT وCoordinator. كما يمكن لمحرك السياسات تشغيل إجراءات مثل الترحيل بين الأنظمة، والحذف، والإزالة. يُعد Robinhood محرك السياسات الأكثر استخدامًا ^{[ 98 ]} ، ولكن يمكن استخدام محركات سياسات أخرى أيضًا.

يُعرّف HSM أيضًا حالات جديدة للملفات بما في ذلك: ^{[ 99 ]}

• موجود: توجد نسخة ما، ربما غير مكتملة، في وحدة أمان الأجهزة (HSM).
• الأرشيف: توجد نسخة كاملة على جانب الأرشيف في وحدة إدارة السلامة.
• متسخ: تم تعديل النسخة الأساسية من الملف وتختلف عن النسخة المؤرشفة.
• تم الإصدار: يوجد ملف بيانات فرعي على MDT، ولكن تمت إزالة كائنات البيانات والنسخة الوحيدة موجودة في الأرشيف.
• مفقود: فُقدت نسخة الأرشيف من الملف ولا يمكن استعادتها
• ممنوع التحرير: يجب عدم تحرير الملف من نظام الملفات
• ممنوع الأرشفة: لا ينبغي أرشفة الملف.

يُستخدم نظام Lustre من قِبل العديد من الحواسيب العملاقة ضمن قائمة TOP500 ومواقع الحوسبة المتعددة الكبيرة. ستة من أفضل عشرة حواسيب عملاقة وأكثر من 60 من أفضل 100 حاسوب عملاق تستخدم أنظمة ملفات Lustre. وتشمل هذه الأنظمة نظام ملفات Orion بسعة 700 بيتابايت وسرعة نقل بيانات  13 تيرابايت/ثانية لحاسوب Frontier العملاق في مختبر أوك ريدج الوطني (ORNL)، ^{[ 2 ] [ 100 ]} وحاسوب Fugaku و K Computer ^{[ 11 ]} في معهد RIKEN المتقدم لعلوم الحوسبة، وحاسوب Tianhe-1A في المركز الوطني للحوسبة الفائقة في تيانجين، الصين ، وحاسوب LUMI في مركز علوم الحاسوب الصيني (CSC) ، وحاسوب Jaguar و Titan في مختبر أوك ريدج الوطني (ORNL)، وحاسوب Blue Waters في جامعة إلينوي ، وحاسوب Sequoia و Blue Gene /L في مختبر لورانس ليفرمور الوطني (LLNL).

توجد أيضًا أنظمة ملفات Lustre كبيرة في المركز الوطني لأبحاث الطاقة والحوسبة العلمية ، ومختبر شمال غرب المحيط الهادئ الوطني ، ومركز تكساس للحوسبة المتقدمة ، والمختبر الوطني البرازيلي للحوسبة العلمية، ^{[ 101 ]} ووكالة ناسا ^{[ 102 ]} في أمريكا الشمالية، وفي آسيا في معهد طوكيو للتكنولوجيا ، ^{[ 103 ]} وفي أوروبا في هيئة الطاقة الذرية ، ^{[ 104 ] [ 105 ]} وغيرها الكثير.

غالبًا ما يُقدَّم الدعم الفني التجاري لنظام Lustre مع نظام الحوسبة أو أجهزة التخزين التي يبيعها المورِّد. ومن بين هؤلاء المورِّدين: هيوليت-باكارد (تحت اسم HP StorageWorks Scalable File Share، من عام 2004 إلى 2008 تقريبًا)، ^{[ 106 ]} وأتوس ، وفوجيتسو . ^{[ 107 ]} أما المورِّدون الذين يبيعون أجهزة تخزين مع دعم Lustre المدمج، فيشملون: هيتاشي داتا سيستمز (2012)، ^{[ 108 ]} وشبكات داتا دايركت (DDN)، ^{[ 109 ]} وإيون كومبيوتينغ ، وغيرهم. كما يُمكن الحصول على دعم برمجي فقط لأنظمة ملفات Lustre من بعض المورِّدين، بما في ذلك وام كلاود. ^{[ 110 ]}

تقدم Amazon Web Services خدمة Amazon FSx for Lustre، ^{[ 111 ]} وهي خدمة مُدارة بالكامل، مما يجعل من السهل تشغيل أنظمة الملفات عالية الأداء بكفاءة من حيث التكلفة في السحابة الخاصة بهم.

تقدم مايكروسوفت أزور خدمة Azure Managed Lustre (AMLFS). ^{[ 112 ]} Azure Managed Lustre هو نظام ملفات مُدار بالكامل، بنظام الدفع حسب الاستخدام، مُصمم خصيصًا لأحمال العمل عالية الأداء (HPC) والذكاء الاصطناعي في بيئة الحوسبة السحابية الخاصة بها.

• قائمة أنظمة الملفات، قسم نظام الملفات الموزع المتوازي المقاوم للأعطال

• Lustre على GitHub