مراكز بيانات جوجل

تضمنت الأجهزة الأصلية (حوالي عام 1998) التي استخدمتها جوجل عندما كانت موجودة في جامعة ستانفورد ما يلي: ^{[ 79 ]}

• جهاز Sun Microsystems Ultra II بمعالجين بسرعة 200 ميجاهرتز وذاكرة وصول عشوائي (RAM) سعتها 256 ميجابايت . كان هذا الجهاز هو الجهاز الرئيسي لنظام Backrub الأصلي .  
• خادمان من نوع Pentium II ثنائيي المعالج بسرعة 300  ميجاهرتز ، تبرعت بهما شركة إنتل ، ويحتويان على 512 ميجابايت من ذاكرة الوصول العشوائي و10 أقراص صلبة سعة كل منها 9 جيجابايت . وقد تم تشغيل البحث الرئيسي عليهما.  
• تم التبرع بجهاز F50 IBM RS/6000 من قبل شركة IBM ، والذي تضمن 4 معالجات و512  ميجابايت من الذاكرة و8 × 9  جيجابايت من محركات الأقراص الصلبة.
• احتوت علبتان إضافيتان على 3  أقراص صلبة سعة 9 جيجابايت و6  أقراص صلبة سعة 4 جيجابايت على التوالي (وهي مساحة التخزين الأصلية لبرنامج Backrub). وقد تم توصيل هذه الأقراص بجهاز Sun Ultra II.
•  صندوق توسيع أقراص SSD مزود بـ 8 أقراص صلبة سعة 9 جيجابايت إضافية، تبرعت به شركة IBM.
• صندوق أقراص مصنوع منزلياً يحتوي على 10 أقراص صلبة من نوع SCSI سعة 9  جيجابايت .

وصف تقرير أعده لويز أندريه باروسو وجيف دين وأورس هولز حالة البنية التحتية لشركة جوجل في عام 2003 بأنها "بنية تحتية حاسوبية موثوقة من مجموعات من أجهزة الكمبيوتر الشخصية التجارية غير الموثوقة". ^{[ 80 ]}

في ذلك الوقت، كان متوسط ​​حجم البيانات التي يقرأها استعلام البحث الواحد حوالي 100 ميجابايت ، ويستهلك${\displaystyle \sim 10^{10}}$دورات المعالج. خلال أوقات الذروة، كانت جوجل تُجيب على حوالي 1000 استعلام في الثانية. ولمعالجة هذا الحمل الهائل، أنشأت مجموعة حوسبة تضم حوالي 15000 جهاز كمبيوتر شخصي عادي بدلاً من أجهزة الكمبيوتر العملاقة باهظة الثمن لتوفير التكاليف. ولتعويض انخفاض موثوقية الأجهزة، طورت برمجيات مقاومة للأعطال .

يتكون هيكل المجموعة من خمسة أجزاء. تتصل خوادم جوجل المركزية (GWS) بالإنترنت العام. عند تلقي طلب من المستخدم، يتواصل خادم جوجل مع مدقق إملائي، وخادم إعلانات، والعديد من خوادم الفهرسة، والعديد من خوادم المستندات. يستجيب كل جزء من الأجزاء الأربعة لجزء من الطلب، ويقوم خادم جوجل بتجميع استجاباتهم وتقديم الاستجابة النهائية للمستخدم.

بلغ حجم المستندات الأصلية حوالي 100 تيرابايت، بينما بلغ حجم ملفات الفهرسة حوالي 10 تيرابايت. ملفات الفهرسة مُجزأة، ويتم خدمة كل جزء منها بواسطة مجموعة من خوادم الفهرسة. وبالمثل، فإن المستندات الأصلية مُجزأة أيضًا. ينتج عن كل استعلام لملف الفهرسة قائمة بمعرفات المستندات، والتي تُرسل بعد ذلك إلى خوادم المستندات لاسترداد العنوان ومقتطفات الكلمات المفتاحية في سياقها.

استُخدمت عدة أجيال من وحدات المعالجة المركزية، بدءًا من خوادم أحادية المعالج بتردد 533  ميجاهرتز تعتمد على معالج Intel Celeron، وصولًا إلى خوادم ثنائية المعالج بتردد 1.4  جيجاهرتز تعتمد على معالج Intel Pentium III . احتوى كل خادم على قرص صلب واحد أو أكثر، بسعة 80 جيجابايت لكل قرص. تتميز خوادم الفهرسة بمساحة تخزين أقل من خوادم المستندات. احتوى كل رف على محولين إيثرنت ، واحد على كل جانب. رُبطت الخوادم على كل جانب عبر وصلة بسرعة 100 ميجابت في الثانية. كان لكل محول وصلة صاعدة بسرعة 250 ميجابايت في الثانية تقريبًا إلى محول مركزي يربط جميع الرفوف.

تشمل أهداف التصميم ما يلي:

• استخدم أجهزة استهلاكية منخفضة الموثوقية وعوّض ذلك ببرامج مقاومة للأعطال.
• قم بزيادة التوازي إلى أقصى حد، على سبيل المثال عن طريق تقسيم عملية البحث عن مطابقة مستند واحد في فهرس كبير إلى MapReduce على العديد من الفهارس الصغيرة.
• قم بتقسيم بيانات الفهرس والحساب لتقليل الاتصال وتحقيق توازن متساوٍ في الحمل عبر الخوادم، لأن المجموعة عبارة عن جهاز كبير ذي ذاكرة مشتركة.
• تقليل تكاليف إدارة النظام عن طريق تطوير جميع البرامج داخليًا.
• اختر الأجهزة التي تحقق أقصى قدر من الأداء مقابل السعر، وليس الأداء المطلق.
• اختر أجهزة ذات إنتاجية عالية بدلاً من زمن استجابة عالٍ . وذلك لأن الاستعلامات تُلبى بتوازي هائل، مع عدد قليل جدًا من الخطوات التابعة وتواصل محدود بين الخوادم، لذا فإن زمن الاستجابة العالي لا يُشكل مشكلة.

بسبب التوازي الهائل، فإن زيادة حجم الأجهزة تزيد الإنتاجية بشكل خطي، أي أن مضاعفة مجموعة الحوسبة تضاعف عدد الاستعلامات التي يمكن معالجتها في الثانية.

تتكون المجموعة من رفوف خوادم بتكوينين: 40 رفًا من نوع 1U لكل جانب مع جانبين، أو 20 رفًا من نوع 2U لكل جانب مع جانبين. يبلغ استهلاك الطاقة 10  كيلوواط لكل رف، بكثافة 400 واط/قدم مربع، أي ما يعادل 10 ميغاواط ساعة شهريًا، بتكلفة 1500 دولار شهريًا.

اعتبارًا من عام 2014، استخدمت جوجل نسخة معدلة بشكل كبير من نظام ديبيان لينكس . وقد انتقلت تدريجيًا من نظام قائم على ريد هات في عام 2013. ^{[ 81 ]}

يهدف التخصيص إلى شراء أجيال المعالجات التي توفر أفضل أداء مقابل السعر، وليس الأداء المطلق. لا يزال قياس ذلك غير واضح، ولكن من المرجح أن يشمل تكاليف تشغيل الخادم بالكامل، وقد يكون استهلاك طاقة المعالج عاملاً مهماً. ^{[ 82 ]} كانت الخوادم في الفترة 2009-2010 تتألف من أنظمة مفتوحة من الأعلى مصممة خصيصاً، تحتوي على معالجين (لكل منهما عدة أنوية ^{[ 83 ]} )، وذاكرة وصول عشوائي كبيرة موزعة على 8 فتحات DIMM تضم وحدات DIMM مزدوجة الارتفاع، وقرصين صلبين SATA على الأقل متصلين عبر وحدة تزويد طاقة غير قياسية بحجم ATX. ^{[ 84 ]} صُممت الخوادم مفتوحة من الأعلى لتتسع لعدد أكبر من الخوادم في الرف الواحد. ووفقاً لموقع CNET وكتاب جون هينيسي ، كان كل خادم مزوداً ببطارية 12 فولت مبتكرة لتقليل التكاليف وتحسين كفاءة الطاقة. ^{[ 83 ] [ 85 ]}

وفقًا لشركة جوجل، تراوحت الطاقة الكهربائية لتشغيل مراكز البيانات العالمية التابعة لها بين 500 و681 ميجاوات بحلول عام 2010. ^{[ 86 ] [ 87 ]} وقد تصل القدرة المعالجة المجمعة لهذه الخوادم إلى ما بين 20 و100 بيتافلوب في عام 2008. ^{[ 88 ]}

تفاصيل شبكات جوجل الخاصة العالمية غير متاحة للجمهور، لكن منشورات جوجل ^{[ 89 ] [ 90 ]} تشير إلى تقرير "أطلس توب 10" الذي يصنف جوجل كثالث أكبر مزود خدمة إنترنت بعد Level 3 .

من أجل تشغيل مثل هذه الشبكة الكبيرة، مع اتصالات مباشرة بأكبر عدد ممكن من مزودي خدمة الإنترنت بأقل تكلفة ممكنة، تتبع جوجل سياسة تبادل بيانات مفتوحة للغاية . ^{[ 91 ]}

من هذا الموقع، نلاحظ إمكانية الوصول إلى شبكة جوجل من 67 نقطة تبادل عامة و69 موقعًا مختلفًا حول العالم. في مايو 2012، بلغت  سرعة اتصال جوجل العامة 882 جيجابت/ثانية (باستثناء اتفاقيات التناظر الخاصة التي أبرمتها جوجل مع أكبر مزودي خدمة الإنترنت). تُستخدم هذه الشبكة العامة لتوزيع المحتوى على مستخدمي جوجل، بالإضافة إلى فهرسة الإنترنت لبناء فهارس البحث الخاصة بها. أما الجانب الخاص من الشبكة فهو سري، لكن كشفًا حديثًا من جوجل ^{[ 92 ]} يشير إلى استخدامها لمحولات توجيه عالية السعة مصممة خصيصًا (بسعة 128 منفذ إيثرنت بسرعة 10 جيجابت ) لشبكة المنطقة الواسعة . وبتشغيل ما لا يقل عن جهازَي توجيه لكل مركز بيانات (لضمان التكرار)، نستنتج أن شبكة جوجل قابلة للتوسع في نطاق التيرابايت في الثانية (مع جهازَي توجيه مُحمّلين بالكامل، يصل عرض النطاق الترددي ثنائي الاتجاه إلى 1280 جيجابت/ثانية).  

يتم توصيل أجهزة التبديل والتوجيه المخصصة هذه بأجهزة DWDM لربط مراكز البيانات ونقاط التواجد (PoP) عبر الألياف المظلمة .

من منظور مركز البيانات، تبدأ الشبكة من مستوى الرف، حيث تُصنع رفوف قياس 19 بوصة حسب الطلب وتحتوي على ما بين 40 و80 خادمًا (من 20 إلى 40 خادمًا بحجم 1U على كل جانب، بينما الخوادم الجديدة هي أنظمة تركيب على رفوف بحجم 2U. ^{[ 93 ]} يحتوي كل رف على مُبدِّل إيثرنت ). تتصل الخوادم عبر وصلة إيثرنت بسرعة  1 جيجابت/ثانية بمُبدِّل أعلى الرف (ToR). ثم تتصل مُبدِّلات ToR بمُبدِّل مجموعة جيجابت باستخدام وصلات صاعدة متعددة بسرعة جيجابت أو 10 جيجابت. ^{[ 94 ]} تتصل مُبدِّلات المجموعة فيما بينها لتُشكِّل نسيج الربط البيني لمركز البيانات (على الأرجح باستخدام تصميم اليعسوب بدلاً من تصميم الفراشة التقليدي أو تصميم الفراشة المُسطَّحة ^{[ 95 ]} ).

من الناحية التشغيلية، عندما يحاول جهاز عميل الاتصال بجوجل، تقوم عدة خوادم DNSwww.google.com بحلّ عناوين IP متعددة باستخدام سياسة التوزيع الدوري . علاوة على ذلك، يعمل هذا كمستوى أولي لموازنة الأحمال ، حيث يوجّه العميل إلى مجموعات خوادم جوجل المختلفة. تضم مجموعة خوادم جوجل آلاف الخوادم ، وبمجرد اتصال العميل بالخادم، تُجرى موازنة إضافية للأحمال لإرسال الاستعلامات إلى خادم الويب الأقل ازدحامًا. هذا ما يجعل جوجل واحدة من أكبر شبكات توصيل المحتوى وأكثرها تعقيدًا . ^{[ 96 ]}

تمتلك جوجل العديد من مراكز البيانات المنتشرة حول العالم. يوجد ما لا يقل عن 12 مركز بيانات رئيسي لجوجل في الولايات المتحدة. تقع أكبر المراكز المعروفة في ذا داليس، أوريغون ؛ أتلانتا، جورجيا ؛ ريستون، فرجينيا ؛ لينوار، كارولاينا الشمالية ؛ ومونكس كورنر، كارولاينا الجنوبية . ^{[ 97 ]} أما في أوروبا، فتقع أكبر المراكز المعروفة في إيمشافن وغرونينجن في هولندا ، ومونس في بلجيكا . ^{[ 97 ]} ويقع مركز بيانات جوجل في أوقيانوسيا في سيدني ، أستراليا . ^{[ 98 ]}

لدعم تحمل الأعطال ، وزيادة حجم مراكز البيانات، واستيعاب المحولات ذات الرتبة المنخفضة، اعتمدت جوجل في الماضي العديد من بنى Clos المعدلة. ^{[ 99 ]}

يقع أحد أكبر مراكز بيانات جوجل في بلدة ذا داليس بولاية أوريغون ، على نهر كولومبيا ، على بُعد حوالي 129 كيلومترًا (80  ميلًا) من بورتلاند . بُني هذا المجمع، الذي يحمل الاسم الرمزي "المشروع 02"، عام 2006، وتبلغ مساحته تقريبًا مساحة ملعبين لكرة القدم الأمريكية ، ويضم أبراج تبريد بارتفاع أربعة طوابق. ^{[ 100 ] [ 101 ]} وقد اختير الموقع للاستفادة من الطاقة الكهرومائية الرخيصة ، وللاستفادة من الفائض الكبير في كابلات الألياف الضوئية في المنطقة، وهو من مخلفات طفرة شركات الإنترنت . وقد نُشر مخطط الموقع عام 2008. ^{[ 102 ]}

في فبراير 2009، أعلنت شركة ستورا إنسو عن بيعها مصنع سوما للورق في هامينيا ، فنلندا، لشركة جوجل مقابل 40 مليون يورو. ^{[ 103 ] [ 104 ]} استثمرت جوجل 200 مليون يورو في الموقع لإنشاء مركز بيانات، وأعلنت عن استثمار إضافي بقيمة 150 مليون يورو في عام 2012. ^{[ 105 ] [ 106 ]} اختارت جوجل هذا الموقع لتوافر مصادر الطاقة المتجددة وقربها. ^{[ 107 ]}

في عام ٢٠١٣، كشفت الصحافة عن وجود مراكز بيانات عائمة تابعة لشركة جوجل على طول سواحل ولايتي كاليفورنيا ( المبنى رقم ٣ في جزيرة تريجر ) ومين. وقد حُفظ مشروع التطوير في سرية تامة. يبلغ طول مراكز البيانات ٢٥٠ قدمًا، وعرضها ٧٢ قدمًا، وعمقها ١٦ قدمًا. اشترت جوجل براءة اختراع تقنية تبريد مراكز البيانات في المحيط عام ٢٠٠٩ ^{[ ١٠٨ ] [ ١٠٩ ]} (إلى جانب براءة اختراع مركز بيانات يعمل بالطاقة الموجية على متن سفينة عام ٢٠٠٨ ^{[ ١١٠ ] [ ١١١ ]} ). بعد ذلك بوقت قصير، صرّحت جوجل بأن البنيتين الضخمتين اللتين بُنيتا سرًا ليستا سوى "مراكز تعليمية تفاعلية، [...] مساحة يمكن للناس فيها التعرّف على التكنولوجيا الجديدة". ^{[ ١١٢ ]}

أوقفت جوجل العمل على البوارج في أواخر عام 2013 وبدأت في بيع البوارج في عام 2014. ^{[ 113 ] [ 114 ]}

معظم العمليات للقراءة فقط. عند الحاجة إلى تحديث، تُعاد توجيه الاستعلامات إلى خوادم أخرى، وذلك لتبسيط مسائل الاتساق. تُقسّم الاستعلامات إلى استعلامات فرعية، حيث يمكن إرسال هذه الاستعلامات الفرعية إلى قنوات مختلفة بالتوازي ، مما يقلل من زمن الاستجابة. ^{[ 93 ]}

لتقليل آثار الأعطال التي لا مفر منها في الأجهزة ، تم تصميم البرامج لتكون مقاومة للأعطال . وبالتالي، عندما يتعطل النظام، تظل البيانات متاحة على خوادم أخرى، مما يزيد من الموثوقية.

على غرار معظم محركات البحث، يقوم جوجل بفهرسة المستندات من خلال بناء بنية بيانات تُعرف باسم الفهرس المعكوس . يحصل هذا الفهرس على قائمة بالمستندات بناءً على كلمة بحث. ويكون الفهرس ضخمًا جدًا نظرًا لعدد المستندات المخزنة على الخوادم. ^{[ 96 ]}

يُقسّم الفهرس حسب معرّفات المستندات إلى أجزاء عديدة تُسمى شظايا . تُنسخ كل شظية على خوادم متعددة. في البداية، كان الفهرس يُقدّم من محركات الأقراص الصلبة ، كما هو الحال في أنظمة استرجاع المعلومات التقليدية . تعاملت جوجل مع تزايد حجم الاستعلامات بزيادة عدد نسخ كل شظية، وبالتالي زيادة عدد الخوادم. سرعان ما وجدت أن لديها عددًا كافيًا من الخوادم للاحتفاظ بنسخة من الفهرس بأكمله في الذاكرة الرئيسية (مع انخفاض معدل النسخ أو انعدامه تمامًا)، وفي أوائل عام 2001، انتقلت جوجل إلى نظام فهرسة في الذاكرة . أحدث هذا التحوّل تغييرًا جذريًا في العديد من معايير تصميم نظام البحث، وسمح بزيادة كبيرة في الإنتاجية وانخفاض كبير في زمن استجابة الاستعلامات. ^{[ 132 ]}

في يونيو 2010، أطلقت جوجل نظامًا متطورًا للفهرسة وتقديم النتائج يُسمى "كافيين"، والذي يتميز بقدرته على الزحف المستمر وتحديث فهرس البحث. سابقًا، كانت جوجل تُحدّث فهرس البحث على دفعات باستخدام سلسلة من مهام MapReduce . كان الفهرس مُقسّمًا إلى عدة طبقات، بعضها يُحدّث بوتيرة أسرع من غيرها، بينما كانت الطبقة الرئيسية لا تُحدّث لمدة تصل إلى أسبوعين. مع "كافيين"، يُحدّث الفهرس بالكامل بشكل تراكمي ومستمر. لاحقًا، كشفت جوجل عن نظام معالجة بيانات موزّع يُسمى "بيركوليتور" ^{[ 133 ]} ، والذي يُقال إنه أساس نظام فهرسة "كافيين". ^{[ 125 ] [ 134 ]}

تنقسم البنية التحتية لخوادم جوجل إلى عدة أنواع، كل منها مخصص لغرض مختلف: ^{[ 93 ] [ 96 ] [ 135 ] [ 136 ] [ 137 ]}

• تتولى خوادم الويب تنسيق تنفيذ الاستعلامات المرسلة من المستخدمين، ثم تقوم بتنسيق النتيجة في صفحة HTML . يتضمن التنفيذ إرسال الاستعلامات إلى خوادم الفهرسة، ودمج النتائج، وحساب ترتيبها، واسترجاع ملخص لكل نتيجة (باستخدام خادم المستندات)، وطلب اقتراحات من خوادم التدقيق الإملائي، وأخيرًا الحصول على قائمة بالإعلانات من خادم الإعلانات.
• تُخصص خوادم جمع البيانات بشكل دائم لزحف الويب. يُعرف برنامج زحف الويب الخاص بجوجل باسم GoogleBot. يقوم هذا البرنامج بتحديث قواعد بيانات الفهرس والوثائق، ويطبق خوارزميات جوجل لتحديد ترتيب الصفحات.
• يحتوي كل خادم فهرسة على مجموعة من أجزاء الفهرسة. تُعيد هذه الأجزاء قائمة بمعرفات المستندات ("docid")، بحيث تحتوي المستندات التي تتوافق مع معرف معين على كلمة الاستعلام. تحتاج هذه الخوادم إلى مساحة تخزين أقل، ولكنها تتحمل أكبر عبء على وحدة المعالجة المركزية.
• تُخزّن خوادم المستندات المستندات. يُخزّن كل مستند على عشرات الخوادم. عند إجراء بحث، يُعيد خادم المستندات ملخصًا للمستند بناءً على كلمات البحث. كما يمكنه جلب المستند كاملًا عند الطلب. تحتاج هذه الخوادم إلى مساحة تخزين أكبر.
• تتولى خوادم الإعلانات إدارة الإعلانات التي تقدمها خدمات مثل AdWords و AdSense .
• تقدم خوادم التدقيق الإملائي اقتراحات بشأن تهجئة الاستعلامات.

توجد أيضًا "طلبات الكناري"، حيث يُرسل الطلب أولًا إلى خادم أو خادمين فرعيين للتأكد من أن وقت الاستجابة معقول. إذا لم يكن كذلك، يفشل الطلب. وهذا يوفر الأمان. ^{[ 138 ]}