zstd

Zstandard هي خوارزمية ضغط بيانات بدون فقدان، طوّرها يان كوليت في فيسبوك . Zstd هي النسخة المرجعية المقابلة المكتوبة بلغة C ، والتي تم إصدارها كبرنامج مفتوح المصدر في 31 أغسطس 2016. ^{[ 3 ] [ 4 ]}

نُشرت الخوارزمية في عام 2018 تحت مسمى RFC 8478 ، والذي يُعرّف أيضًا نوع الوسائط المرتبط "application/zstd"، وامتداد اسم الملف "zst"، وتشفير محتوى HTTP "zstd". ^{[ 5 ]} 

صُممت خوارزمية Zstandard لتحقيق نسبة ضغط مماثلة لخوارزمية DEFLATE (التي طُوّرت عام 1991 واستُخدمت في برنامجي ZIP و gzip الأصليين )، ولكنها أسرع، خاصةً في فك الضغط. ويمكن ضبطها بمستويات ضغط تتراوح من -7 (الأسرع) ^{[ 6 ]} إلى 22 (الأبطأ في سرعة الضغط، ولكن بأفضل نسبة ضغط).

ابتداءً من الإصدار 1.3.2 (أكتوبر 2017)، يقوم zstd بشكل اختياري بتنفيذ البحث طويل المدى وإزالة التكرار ( نافذة --long128  ميجابايت) على غرار rzip أو lrzip . ^{[ 7 ]}

قد تختلف سرعة الضغط بمقدار 20 ضعفًا أو أكثر بين أسرع وأبطأ مستويات الضغط، بينما تكون سرعة فك الضغط ثابتة، حيث لا تتجاوز نسبة الاختلاف بين أسرع وأبطأ مستويات الضغط 20%. ^{[ 8 ]} يحتوي سطر أوامر Zstandard على --adaptوضع "تكيفي" ( ) يُغيّر مستوى الضغط تبعًا لظروف الإدخال/الإخراج، وخاصةً سرعة كتابة المخرجات.

يُحقق برنامج Zstandard، عند أعلى مستوى ضغط، نسبة ضغط قريبة من نسب ضغط برامج lzma وlzham و ppmx . ^{[ 9 ] [ 10 ]} وبحلول عام 2019، وصل Zstandard إلى مستوى باريتو الأمثل لفك الضغط، حيث يُنتج مخرجات أسرع من أي خوارزمية أخرى مفتوحة المصدر بنسبة ضغط مماثلة أو أفضل. ^{[ 11 ]}

يمكن أن تؤثر القواميس بشكل كبير على نسبة ضغط الملفات الصغيرة، لذا يمكن لبرنامج Zstandard استخدام قاموس ضغط يُحدده المستخدم. كما يوفر البرنامج وضع تدريب، قادر على إنشاء قاموس من مجموعة من العينات. ^{[ 12 ] [ 13 ]} على وجه الخصوص، يمكن تحميل قاموس واحد لمعالجة مجموعات كبيرة من الملفات ذات التكرار بين الملفات، ولكن ليس بالضرورة داخل كل ملف، كما هو الحال مع ملفات السجلات .

يجمع معيار Z بين مرحلة مطابقة القاموس ( LZ77 ) ونافذة بحث كبيرة ومرحلة ترميز إنتروبيا سريعة . ويستخدم ترميز هوفمان إلى جانب إنتروبيا الحالة المحدودة (FSE)، وهو أحد متغيرات tANS . ^{[ 14 ]}

لقد تم تضمين Zstandard في نواة لينكس منذ نوفمبر 2017 (الإصدار 4.14) كطريقة ضغط لأنظمة الملفات btrfs و squashfs ، ^{[ 16 ] [ 17 ] [ 18 ]} وكذلك لوحدات النواة القابلة للتحميل .

في عام 2017، قام آلان جود بدمج Zstandard في نواة نظام FreeBSD ، ^{[ 19 ]} وتم دمجه لاحقًا كخيار ضغط لملفات تفريغ الذاكرة الأساسية (سواءً لبرامج المستخدم أو حالات الذعر في النواة). كما استُخدم لإنشاء طريقة ضغط تجريبية لنظام OpenZFS ^{[ 8 ]} والتي تم دمجها في عام 2020. ^{[ 20 ]}

تتضمن قواعد بيانات AWS Redshift و RocksDB دعمًا لضغط الحقول باستخدام Zstandard. ^{[ 21 ]}

في مارس 2018، اختبرت شركة كانونيكال ^{[ 22 ]} استخدام zstd كطريقة ضغط افتراضية لحزم deb في توزيعة أوبونتو لينكس. بالمقارنة مع ضغط xz لحزم deb، فإن zstd عند المستوى 19 يفك الضغط بشكل أسرع بكثير، ولكن على حساب زيادة حجم ملفات الحزم بنسبة 6%. أُضيفت هذه الميزة إلى دبيان (ثم لاحقًا إلى أوبونتو) في أبريل 2018 (في الإصدار 1.6~rc1). ^{[ 23 ] [ 22 ] [ 24 ]}

أضافت فيدورا دعم معيار ZStandard إلى حزم RPM في مايو 2018 (إصدار فيدورا 28)، واستخدمته لتغليف الإصدار في أكتوبر 2019 (فيدورا  31). ^{[ 25 ]} في فيدورا  33، يتم ضغط نظام الملفات افتراضيًا باستخدام zstd. ^{[ 26 ] [ 27 ]}

أضاف نظام Arch Linux دعمًا لخوارزمية zstd لضغط الحزم في أكتوبر 2019 مع إصدار مدير الحزم pacman  5.2 ^{[ 28 ]} ، وفي يناير 2020، انتقل من استخدام xz إلى zstd لضغط الحزم في المستودع الرسمي. يستخدم Arch خوارزمية zstd zstd -c -T0 --ultra -20 -؛ ورغم أن حجم جميع الحزم المضغوطة مجتمعة ازداد بنسبة 0.8% (مقارنةً بـ xz)، إلا أن سرعة فك الضغط أسرع بـ 14 مرة، وزادت ذاكرة فك الضغط بمقدار 50  ميجابايت عند استخدام خيوط معالجة متعددة، بينما زادت ذاكرة الضغط ولكنها تتناسب طرديًا مع عدد خيوط المعالجة المستخدمة. ^{[ 29 ] [ 30 ] [ 31 ]} لاحقًا، اعتمد Arch Linux أيضًا خوارزمية zstd كخوارزمية الضغط الافتراضية لمولد قرص RAM الأولي mkinitcpio . ^{[ 32 ]}

في 15 يونيو 2020، تم تطبيق معيار Zstandard في الإصدار 6.3.8 من تنسيق ملف zip برقم الترميز  93، ليحل محل رقم الترميز السابق  20 الذي تم تطبيقه في الإصدار 6.3.7، الذي صدر في 1 يونيو. ^{[ 33 ] [ 34 ]}

في 31 أكتوبر 2023 تمت إضافة دعم Zstd الرسمي للضغط/فك الضغط إلى مستكشف Windows في Windows 11 (عبر حزمة التحديث KB5031455).

في مارس 2024، أضاف متصفح جوجل كروم الإصدار 123 ( والمتصفحات المبنية على كروميوم مثل بريف أو مايكروسوفت إيدج ) دعمًا لتقنية zstd في ترويسة HTTPContent-Encoding . ^{[ 35 ]} وفي مايو 2024، أضاف متصفح فايرفوكس الإصدار 126.0 دعمًا لتقنية zstd في ترويسة HTTPContent-Encoding . ^{[ 36 ]}

تم ترخيص التطبيق المرجعي بموجب ترخيص BSD ، وهو منشور على GitHub . ^{[ 37 ]} ومنذ الإصدار 1.0، الذي نُشر في 31 أغسطس 2016، ^{[ 38 ]} حصل على منحة إضافية لحقوق براءات الاختراع. ^{[ 39 ]}

ابتداءً من الإصدار 1.3.1، الصادر في 20 أغسطس 2017، ^{[ 40 ]} تم إلغاء منح براءة الاختراع هذه وتغيير الترخيص إلى ترخيص مزدوج BSD + GPLv2. ^{[ 41 ]}

• LZ4 (خوارزمية الضغط) – عضو سريع من عائلة LZ77
• LZFSE – خوارزمية مشابهة من شركة Apple تستخدم منذ نظامي التشغيل iOS 9 و OS X 10.11، وقد أصبحت مفتوحة المصدر في 1 يونيو 2016
• زليب
• بروتلي – مدمج أيضًا في المتصفحات
• Gzip – أحد أكثر أدوات الضغط استخدامًا

• الموقع الرسمي
• zstd على GitHub
• 7zip مع Zstandard على GitHub
• " ضغط بيانات أصغر وأسرع مع Zstandard "، يان كوليت وشيب تيرنر، 31 أغسطس 2016، إعلان فيسبوك
• تستخدم صحيفة الغارديان معيار ZStandard بدلاً من zlib