شارد (بنية قاعدة البيانات)

تُعرف شظية قاعدة البيانات ، أو ببساطة الشظية ، بأنها تقسيم أفقي للبيانات داخل قاعدة بيانات أو محرك بحث . ويمكن تخزين كل شظية على خادم قاعدة بيانات منفصل لتوزيعها على عدة خوادم.

قد تبقى بعض البيانات في قاعدة البيانات موجودة في جميع الأجزاء، ^{[ أ ]} بينما تُخزَّن بيانات أخرى في جزء واحد فقط. في مثل هذه الحالات، يعمل كل جزء كمصدر وحيد لمجموعة البيانات الخاصة به. ^{[ 1 ]}

التقسيم الأفقي هو مبدأ تصميم قواعد البيانات حيث يتم تخزين صفوف جدول قاعدة البيانات بشكل منفصل، بدلاً من تقسيمها إلى أعمدة (كما هو الحال في التطبيع والتقسيم الرأسي ، بدرجات متفاوتة). يشكل كل قسم جزءًا من شارد، والذي قد يكون بدوره موجودًا على خادم قاعدة بيانات منفصل أو في موقع فعلي منفصل.

تُوفر عملية التقسيم الأفقي للبيانات مزايا عديدة. فبما أن الجداول تُقسّم وتُوزّع على خوادم متعددة، يقلّ إجمالي عدد الصفوف في كل جدول ضمن كل قاعدة بيانات. وهذا بدوره يُقلّل من حجم الفهرس ، مما يُحسّن أداء البحث عمومًا. يُمكن وضع جزء قاعدة البيانات على جهاز منفصل، كما يُمكن وضع أجزاء متعددة على أجهزة متعددة. وهذا يُتيح توزيع قاعدة البيانات على عدد كبير من الأجهزة، مما يُحسّن الأداء بشكل ملحوظ. إضافةً إلى ذلك، إذا كان تقسيم قاعدة البيانات يعتمد على تجزئة واقعية للبيانات (مثل:  العملاء الأوروبيون مقابل العملاء الأمريكيين)، فقد يكون من الممكن استنتاج انتماء البيانات إلى الجزء المناسب بسهولة وبشكل تلقائي، والاستعلام فقط عن الجزء ذي الصلة. ^{[ 2 ]}

في الواقع، يُعدّ تجزئة البيانات عملية معقدة. فعلى الرغم من تطبيقها منذ زمن طويل عبر البرمجة اليدوية (خاصةً عندما يكون للصفوف تجميع واضح، كما في مثال منطقة العميل أعلاه)، إلا أن هذا النهج غالبًا ما يكون غير مرن. ثمة رغبة في دعم التجزئة تلقائيًا، سواءً من خلال إضافة دعم برمجي لها، أو من خلال تحديد العناصر المرشحة للتجزئة بشكل منفصل. التجزئة المتسقة هي تقنية تُستخدم في التجزئة لتوزيع الأحمال الكبيرة على عدة خدمات وخوادم أصغر. ^{[ 3 ]}

عند استخدام الحوسبة الموزعة لتوزيع الحمل بين عدة خوادم (سواءً لأسباب تتعلق بالأداء أو الموثوقية)، قد يكون أسلوب التجزئة مفيدًا أيضًا. في العقد الثاني من الألفية، برزت تجزئة سعة التنفيذ ، بالإضافة إلى تجزئة البيانات التقليدية ، كنهج محتمل لمعالجة تحديات الأداء وقابلية التوسع في تقنية سلاسل الكتل . ^{[ 4 ] [ 5 ]}

اقترحت أعمال أكاديمية حديثة بروتوكولات مثل سيربيروس لمعالجة مسألة الذرية عبر الأجزاء من خلال دمج الإجماع عبر أجزاء متعددة، مما يسمح للمعاملات بالتأثير على أقسام متعددة في وقت واحد دون الحاجة إلى قفل عالمي. ^{[ 6 ]}

يقسم التقسيم الأفقي جدولًا واحدًا أو أكثر حسب الصف، عادةً ضمن مثيل واحد من المخطط وخادم قاعدة البيانات. وقد يوفر ميزة بتقليل حجم الفهرس (وبالتالي جهد البحث)، شريطة وجود طريقة واضحة وقوية وضمنية لتحديد القسم الذي سيُعثر فيه على صف معين، دون الحاجة إلى البحث في الفهرس أولًا؛ على سبيل المثال، الحالة الكلاسيكية لجدولي ' CustomersEast' و' CustomersWest'، حيث يشير الرمز البريدي بالفعل إلى مكان وجود الصف.

تُوسّع تقنية التجزئة هذا النهج، حيث تُقسّم الجدول أو الجداول ذات الصلة بنفس الطريقة، ولكن عبر نسخ متعددة محتملة من المخطط. ومن مزاياها إمكانية توزيع عبء البحث عن الجدول المُقسّم الكبير على خوادم متعددة (منطقية أو فعلية)، بدلاً من توزيعه على فهارس متعددة على خادم منطقي واحد فقط.

يتطلب تقسيم البيانات على عدة خوادم معزولة أكثر من مجرد تقسيم أفقي بسيط. ستنخفض المكاسب المتوقعة في الكفاءة إذا تطلب الاستعلام عن قاعدة البيانات الوصول إلى عدة خوادم لمجرد استرجاع جدول أبعاد بسيط . لذا، يتجاوز التجزئة مجرد التقسيم، إذ يشمل توزيع الجداول الكبيرة القابلة للتقسيم على الخوادم، بينما تُنسخ الجداول الأصغر حجمًا بالكامل على كل خادم. ^{[ 7 ]}

ولهذا السبب أيضاً يرتبط التجزئة ببنية لا تشارك فيها البيانات - فبمجرد تجزئتها، يمكن أن توجد كل جزء في مثيل مخطط منطقي منفصل، أو خادم قاعدة بيانات فعلي، أو مركز بيانات ، أو منطقة جغرافية. وتهدف التجزئة إلى تقليل الحاجة إلى الوصول بين الأجزاء عن طريق تقسيم البيانات عبر أجزاء مستقلة. ^{[ 8 ]}

يُسهّل هذا الأمر عملية النسخ عبر خوادم متعددة (على عكس التقسيم الأفقي البسيط). كما أنه مفيد للتوزيع العالمي للتطبيقات، حيث قد تُصبح روابط الاتصال بين مراكز البيانات عائقًا في حال عدم القيام بذلك. ^{[ 9 ]}

هناك أيضًا حاجة إلى آلية إشعار ونسخ متماثل بين مثيلات المخطط، بحيث تظل الجداول غير المقسمة متزامنة قدر الإمكان وفقًا لمتطلبات التطبيق. يُعد هذا خيارًا معماريًا معقدًا في الأنظمة المجزأة: تتراوح الأساليب بين جعل هذه الجداول للقراءة فقط فعليًا (مع تحديثات نادرة ومجمعة)، إلى جداول مكررة ديناميكيًا (على حساب تقليل بعض مزايا التوزيع للتجزئة)، والعديد من الخيارات بينهما. ^{[ 10 ]}

• توفر Altibase بنية تجزئة مشتركة (من جانب العميل ومن جانب الخادم) شفافة لتطبيقات العميل.
• يدعم Apache HBase التجزئة التلقائية. ^{[ 11 ]}
• تدعم أدوات قاعدة بيانات Azure SQL المرنة تجزئة البيانات لتمكين توسيع نطاق طبقة بيانات التطبيق وتقليصها. ^{[ 12 ]}
• يدعم نظام ClickHouse ، وهو نظام إدارة قواعد بيانات OLAP مفتوح المصدر، التجزئة.
• يدعم Couchbase التجزئة التلقائية والشفافة.
• يدعم برنامج CUBRID التجزئة منذ الإصدار 9.0.
• ميزة تقسيم البيانات في Db2 (MPP) ، وهي ميزة تقسيم قاعدة البيانات التي لا تعتمد على مشاركة البيانات، تعمل على عقد منفصلة.
• تدعم خدمة قواعد البيانات العلائقية الموزعة (DRDS) التابعة لشركة Alibaba Cloud تجزئة قواعد البيانات والجداول، ^{[ 13 ]} وقد تم استخدامها في أحداث واسعة النطاق مثل يوم العزاب . ^{[ 14 ]}
• يدعم Elasticsearch ، وهو خادم بحث مؤسسي، التجزئة. ^{[ 15 ]}
• يُعدّ eXtreme Scale مخزن بيانات مفتاح/قيمة في الذاكرة متعدد العمليات ( مخزن بيانات NoSQL ) يستخدم التجزئة لتحقيق قابلية التوسع عبر العمليات لكل من البيانات والمعالجة المتوازية على نمط MapReduce . ^{[ 16 ]}
• يدعم Hibernate التجزئة، لكنه لم يشهد تطوراً يذكر منذ عام 2007. ^{[ 17 ] [ 18 ]}
• يدعم نظام IBM Informix تجزئة البيانات منذ الإصدار 12.1 xC1 كجزء من تقنية MACH11. وقد أضاف الإصدار 12.10 xC2 توافقًا كاملًا مع برامج تشغيل MongoDB، مما يسمح بدمج جداول قواعد البيانات العلائقية التقليدية ومجموعات NoSQL مع الحفاظ على تجزئة البيانات، وآليات تجاوز الأعطال، وخصائص ACID. ^{[ 19 ] [ 20 ]}
• يدعم Kdb+ التجزئة منذ الإصدار 2.0.
• يدعم محرك التخزين MariaDB Spider توحيد الجداول، والتجزئة، ومعاملات XA، ومصادر بيانات ODBC. وقد تم تضمينه في خادم MariaDB منذ الإصدار 10.0.4. ^{[ 21 ]}
• أدخلت MonetDB ، وهي مخزن أعمدة مفتوح المصدر ، خاصية التجزئة للقراءة فقط في إصدارها الصادر في يوليو 2015. ^{[ 22 ]}
• يدعم MongoDB التجزئة منذ الإصدار 1.6. ^{[ 23 ]}
• يدعم نظام MySQL Cluster التجزئة التلقائية والشفافة عبر العقد القياسية، مما يسمح بتوسيع نطاق استعلامات القراءة والكتابة، دون الحاجة إلى تغييرات في التطبيق. ^{[ 24 ]}
• يدعم MySQL Fabric (جزء من أدوات MySQL) التجزئة. ^{[ 25 ]}
• تجزئة قاعدة بيانات أوراكل منذ الإصدار 12c الإصدار 2 وفي سطر واحد: الجمع بين مزايا التجزئة والقدرات المعروفة لقاعدة بيانات أوراكل متعددة النماذج الجاهزة للاستخدام المؤسسي. ^{[ 26 ]}
• تدعم قاعدة بيانات Oracle NoSQL التجزئة التلقائية والتوسع المرن عبر الإنترنت للمجموعات.
• يدعم OrientDB التجزئة منذ الإصدار 1.7.
• يدعم Solr ، وهو منصة بحث مؤسسية، التجزئة. ^{[ 27 ]}
• يستخدم ScyllaDB التجزئة لكل نواة داخل الخادم وعبر جميع العقد في المجموعة.
• يستخدم Spanner ، وهو قاعدة بيانات موزعة طورتها جوجل، أجزاءً عبر آلات حالة Paxos متعددة للتوسع إلى أعداد كبيرة من الأجهزة ومراكز البيانات والصفوف. ^{[ 28 ]}
• SQLAlchemy ORM ، أداة ربط البيانات لأجزاء لغة البرمجة بايثون . ^{[ 29 ]}
• يدعم SQL Server التجزئة منذ إصدار SQL Server 2005 باستخدام أدوات خارجية. ^{[ 30 ]}
• تسوّق شركة Teradata نظام إدارة قواعد البيانات المتوازية الضخمة على أنه مستودع بيانات .
• يستخدم تصميم Vault للعملات المشفرة تقنية التجزئة لتقليل البيانات المطلوبة للانضمام إلى الشبكة والتحقق من المعاملات، مما يحسن قابلية التوسع. ^{[ 31 ]}
• يدعم نظام Vitess ، وهو نظام تجميع قواعد البيانات مفتوح المصدر، تجزئة البيانات لـ MySQL وهو مشروع تابع لمؤسسة الحوسبة السحابية الأصلية . ^{[ 32 ]}
• ShardingSphere هو نظام لتجميع قواعد البيانات يوفر تجزئة البيانات والمعاملات الموزعة وإدارة قواعد البيانات الموزعة، وهو مشروع تابع لمؤسسة برمجيات أباتشي (ASF). ^{[ 33 ]}

قد يؤدي تجزئة جدول قاعدة البيانات قبل تحسينه محليًا إلى تعقيد غير ضروري. يُنصح عمومًا بالتجزئة عندما تثبت استراتيجيات التحسين الأخرى عدم كفايتها. ^{[ 34 ]} ويمكن أن ينتج عن التعقيد الإضافي لتجزئة قاعدة البيانات العديد من التحديات المحتملة. ^{[ 35 ]}

• تعقيد لغة SQL: قد يحتاج المطورون إلى كتابة استعلامات SQL أكثر تعقيدًا للتعامل مع منطق التجزئة
• متطلبات برمجية إضافية: قد تفشل البرامج التي تقوم بتقسيم البيانات وموازنتها وتنسيقها والحفاظ على سلامتها أو تتسبب في حدوث أخطاء.
• نقطة فشل واحدة : يمكن أن يؤثر تلف أو فشل جزء واحد بسبب مشاكل في الشبكة أو الأجهزة أو النظام على سلامة مجموعة البيانات بأكملها.
• تعقيد خادم تجاوز الفشل : يجب على خوادم تجاوز الفشل الاحتفاظ بنسخ من جميع أجزاء قاعدة البيانات.
• تعقيد النسخ الاحتياطية : يجب تنسيق النسخ الاحتياطية لقاعدة البيانات الخاصة بالأجزاء الفردية مع النسخ الاحتياطية للأجزاء الأخرى.
• التعقيد التشغيلي: تصبح مهام مثل إضافة أو إزالة الفهارس، أو تعديل الأعمدة، أو تغيير المخطط أكثر صعوبة في بيئة مجزأة.

في سياق قواعد البيانات، يُعتقد أن مصطلح "الشظية" مشتق من أحد مصدرين: نظام "البيانات المنسوخة عالية التوافر" التابع لشركة كمبيوتر كوربوريشن أوف أمريكا ، ^{[ 36 ]} والذي استخدم أجهزة زائدة لتسهيل نسخ البيانات بدلاً من التقسيم الأفقي، أو لعبة تقمص الأدوار الجماعية عبر الإنترنت Ultima Online الصادرة عام 1997. ^{[ 37 ] [ 38 ]}

تذكر ريتشارد غاريوت ، مبتكر لعبة Ultima Online ، أن مصطلح "البيئة الافتراضية" ظهر أثناء تطوير اللعبة، وتحديدًا عند إنشاء نظام بيئي افتراضي ذاتي التنظيم. كان بإمكان اللاعبين التفاعل وجمع موارد اللعبة عبر الإنترنت، مما أدى إلى اختلال توازن النظام. ^{[ 38 ]} ولمعالجة هذه المشكلة، قام فريق التطوير بتقسيم قاعدة اللاعبين العالمية إلى جلسات متعددة، وأضاف جزءًا من الربط الخيالي للعبة Ultima Online بنهاية الجزء الأول Ultima I: The First Age of Darkness ، حيث أدت هزيمة خصمها مونداين أيضًا إلى إنشاء "شظايا" من الكون المتعدد . وفر هذا التعديل لفريق غاريوت الأساس الخيالي اللازم لتبرير إنشاء نسخ من البيئة الافتراضية. تمت إزالة هذه الميزة لاحقًا بعد عدة أشهر من الاختبار. ^{[ 38 ]}

• فهرس نطاق الكتلة
• هندسة معمارية لا تشارك فيها أي شيء

• تجزئة بيانات Informix JSON