أرضيات أباتشي باركيه

أباتشي باركيه هو تنسيق تخزين بيانات عمودي مجاني ومفتوح المصدر ضمن بيئة أباتشي هادوب، مستوحى من نظام الاستعلام التفاعلي المخصص جوجل دريميل لتحليل البيانات المتداخلة للقراءة فقط. ^{[ 3 ]} وهو مشابه لتنسيقي RCFile و ORC ، وهما تنسيقا ملفات تخزين عمودي آخران في هادوب ، ويتوافق مع معظم أطر معالجة البيانات في هادوب . يوفر باركيه أنظمة ضغط وتشفير بيانات ذات أداء مُحسّن للتعامل مع كميات كبيرة من البيانات المعقدة.

بدأ مشروع Apache Parquet مفتوح المصدر كجهد مشترك بين تويتر ^{[ 4 ]} وكلاوديرا ^[ 5 ^] باستخدام خوارزمية تمزيق وتجميع السجلات ^{[ 6 ]} كما هو موضح في دريميل من جوجل. ^{[ 7 ]} صُمم Parquet كتحسين لتنسيق التخزين العمودي Trevni الذي ابتكره دوغ كاتينغ ، مبتكر هادوب. يشير اسم "parquet" ( حرفيًا " مقصورة صغيرة " ) إلى نمط من الأرضيات المزخرفة ^، وقد تم اختياره "ليُحاكي الطبقة السفلية لقاعدة البيانات بتصميمها المميز". ^{[ 8 ]} صدرت النسخة الأولى، Apache Parquet 1.0، في يوليو 2013. ومنذ 27 أبريل 2015، أصبح Apache Parquet مشروعًا رئيسيًا برعاية مؤسسة برمجيات أباتشي (ASF). ^{[ 9 ] [ 10 ]} 

تُنفَّذ مكتبة Apache Parquet باستخدام خوارزمية تقطيع السجلات وتجميعها، ^{[ 11 ]} مما يُتيح التعامل مع هياكل البيانات المعقدة التي يُمكن استخدامها لتخزين البيانات. ^{[ 12 ]} تُخزَّن القيم في كل عمود في مواقع ذاكرة متجاورة، مما يُوفر المزايا التالية: ^{[ 13 ]}

• يُعد الضغط العمودي فعالاً في مساحة التخزين
• يمكن استخدام تقنيات التشفير والضغط الخاصة بنوع البيانات في كل عمود.
• لا تحتاج الاستعلامات التي تسترجع قيم أعمدة محددة إلى قراءة الصف بأكمله، مما يحسن الأداء.

تم تنفيذ Apache Parquet باستخدام إطار عمل Apache Thrift ، مما يزيد من مرونته؛ ويمكنه العمل مع عدد من لغات البرمجة مثل C++ و Java و Python و PHP وما إلى ذلك. ^{[ 14 ]}

اعتبارًا من أغسطس 2015، ^{[ 15 ]} يدعم Parquet أطر معالجة البيانات الضخمة، بما في ذلك Apache Hive و Apache Drill و Apache Impala و Apache Crunch و Apache Pig و Cascading و Presto و Apache Spark . وهو أحد تنسيقات البيانات الخارجية التي تستخدمها مكتبة pandas لمعالجة البيانات وتحليلها في لغة Python .

في نظام Parquet، يتم الضغط عمودًا تلو الآخر، مما يتيح استخدام أنظمة ترميز مختلفة للبيانات النصية والرقمية. كما تتيح هذه الاستراتيجية إمكانية تطبيق أنظمة ترميز أحدث وأفضل فور ابتكارها.

يدعم Parquet تنسيقات ضغط متنوعة: snappy و gzip و LZO و brotli و zstd و LZ4 . ^{[ 16 ]}

يُستخدم تنسيق Parquet على نطاق واسع كتنسيق ملفات أساسي في بنى بحيرات البيانات الحديثة القائمة على الحوسبة السحابية . وتُخزّن أنظمة التخزين السحابية، مثل Amazon S3 وAzure Data Lake Storage وGoogle Cloud Storage، البيانات عادةً بتنسيق Parquet نظرًا لكفاءة تمثيلها العمودي وقدرات استرجاعها. ^{[ 18 ]} وتُضيف أُطر عمل بحيرات البيانات، بما في ذلك Apache Iceberg [ ^{19 ] و} Delta Lake ^{[ 20 ]} وApache Hudi ^{[ 21 ]} ، طبقة بيانات وصفية إضافية فوق ملفات Parquet لدعم ميزات مثل تطوير المخطط، والاستعلامات الزمنية، والمعاملات المتوافقة مع خصائص ACID . في هذه البنى، تعمل ملفات Parquet كطبقة تخزين غير قابلة للتغيير، بينما تُدير تنسيقات الجداول إصدارات البيانات وسلامة المعاملات.

يُشابه Apache Parquet تنسيقات ملفات RCFile و Optimized Row Columnar (ORC) ، إذ تندرج جميعها ضمن فئة تخزين البيانات العمودية في بيئة Hadoop. تتميز هذه التنسيقات بضغط وتشفير أفضل، مع أداء قراءة مُحسّن، ولكن على حساب بطء الكتابة. إضافةً إلى هذه الميزات، يدعم Apache Parquet تطورًا محدودًا للمخطط ، ^{[ 22 ]} أي أنه يُمكن تعديل المخطط وفقًا للتغييرات في البيانات. كما يُتيح إمكانية إضافة أعمدة جديدة ودمج المخططات غير المتعارضة. ^{[ 22 ]}

صُممت مكتبة Apache Arrow لتكون مكملاً في الذاكرة لتنسيقات البيانات العمودية على القرص مثل Parquet وORC. وتتضمن مشاريع Arrow وParquet مكتبات تسمح بالقراءة والكتابة بين التنسيقين. ^{[ 23 ]}

تشمل التطبيقات المعروفة لتقنية باركيه ما يلي:

• الموقع الرسمي
• تنسيق الباركيه وفرص تحسين الأداء على يوتيوب
• ورق دريميل