مزيج من الخبراء

تستخدم شبكة ميتا-باي، التي أوردها هامبشاير وويبيل، ^{[ 4 ]}${\displaystyle f(x)=\sum _{i}w(x)_{i}f_{i}(x)}$كمخرج. يتم تدريب النموذج عن طريق تطبيق خوارزمية التدرج الهبوطي على دالة خسارة متوسط ​​مربع الخطأ.${\displaystyle L:={\frac {1}{N}}\sum _{k}\|y_{k}-f(x_{k})\|^{2}}$قد تكون وظائف الخبراء وظائف اعتباطية.

في منشورهم الأصلي، كانوا يحلون مشكلة تصنيف الأصوات في الإشارات الصوتية لستة متحدثين يابانيين مختلفين، اثنتان من الإناث وأربعة من الذكور. قاموا بتدريب ستة خبراء، كل منهم عبارة عن "شبكة عصبية متأخرة زمنيًا" ^{[ 5 ]} (وهي في الأساس شبكة التفاف متعددة الطبقات على مخطط الطيف الصوتي ). ووجدوا أن مزيج الخبراء الناتج خصص خمسة خبراء لخمسة من المتحدثين، لكن المتحدث السادس (ذكر) لم يكن لديه خبير مخصص، بل تم تصنيف صوته من خلال توليفة خطية من خبراء المتحدثين الذكور الثلاثة الآخرين.

تستخدم نماذج المزج التكيفي للخبراء المحليين ^{[ 6 ] [ 7 ]} نموذج مزيج غاوسي . يتنبأ كل خبير ببساطة بتوزيع غاوسي، ويتجاهل المدخلات تمامًا. على وجه التحديد،${\displaystyle i}$يتوقع الخبير رقم - أن يكون الناتج هو${\displaystyle y\sim N(\mu _{i},I)}$، أين${\displaystyle \mu _{i}}$هو مُعامل قابل للتعلم. دالة الترجيح هي دالة خطية من نوع سوفتماكس:$${\displaystyle w(x)_{i}={\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}}$$يتوقع فريق الخبراء أن يتم توزيع الناتج وفقًا لدالة كثافة الاحتمال اللوغاريتمي:$${\displaystyle \ln f_{\theta }(y|x)=\ln \left[\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}N(y|\mu _{i},I)\right]=\ln \left[(2\pi )^{-d/2}\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}e^{-{\frac {1}{2}}\|y-\mu _{i}\|^{2}}\right]}$$يتم تدريبها عن طريق تقدير الاحتمالية القصوى، أي صعود التدرج على${\displaystyle f(y|x)}$. تدرج لـ${\displaystyle i}$الخبير رقم - هو

$${\displaystyle \nabla _{\mu _{i}}\ln f_{\theta }(y|x)={\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}\;(y-\mu _{i})}$$

وتدرج دالة الترجيح هو$${\displaystyle \nabla _{[k_{i},b_{i}]}\ln f_{\theta }(y|x)={\begin{bmatrix}x\\1\end{bmatrix}}{\frac {w(x)_{i}}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}(f_{i}(x)-f_{\theta }(y|x))}$$

لكل زوج من المدخلات والمخرجات${\displaystyle (x,y)}$يتم تعديل دالة الترجيح لزيادة وزن جميع الخبراء الذين أدوا أداءً أعلى من المتوسط، وتقليل وزن جميع الخبراء الذين أدوا أداءً أقل من المتوسط. وهذا يشجع دالة الترجيح على التعلم لاختيار الخبراء الذين يقدمون تنبؤات صحيحة لكل مدخل.

ال${\displaystyle i}$تم تغيير الخبير رقم -th لجعل توقعاته أقرب إلى${\displaystyle y}$لكن مقدار التغيير يتناسب مع${\displaystyle w(x)_{i}N(y|\mu _{i},I)}$هذا له تفسير بايزي. بالنظر إلى المدخلات${\displaystyle x}$، الاحتمال المسبق الذي قد يكون عليه الخبير${\displaystyle i}$هو الشخص الصحيح${\displaystyle w(x)_{i}}$، و${\displaystyle N(y|\mu _{i},I)}$احتمال وجود دليل${\displaystyle y}$. لذا،${\displaystyle {\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}}$الاحتمال اللاحق للخبير${\displaystyle i}$وبالتالي فإن معدل التغير لـ${\displaystyle i}$يتناسب الخبير رقم -th مع احتماله اللاحق.

بمعنى آخر، يُطلب من الخبراء الذين بدا، بعد فوات الأوان، أنهم خبراء جيدون للاستشارة، أن يتعلموا من هذا المثال. أما الخبراء الذين لم يكونوا كذلك، فيُتركون وشأنهم.

يتمثل التأثير المُجتمَع في تخصص الخبراء: لنفترض أن خبيرين بارعين في التنبؤ بنوع معين من المدخلات، لكن أحدهما أفضل قليلاً، فإن دالة الترجيح ستتعلم في النهاية تفضيل الخبير الأفضل. بعد ذلك، يعجز الخبير الأقل كفاءة عن الحصول على إشارة تدرج عالية، ويصبح أداؤه أسوأ في التنبؤ بهذا النوع من المدخلات. في المقابل، قد يتحسن أداء الخبير الأقل كفاءة في التنبؤ بأنواع أخرى من المدخلات، وينجذب تدريجيًا إلى مجال آخر. وهذا يُحدث تأثيرًا ارتداديًا إيجابيًا، يدفع كل خبير إلى الابتعاد عن البقية والاهتمام بمنطقة محلية بمفرده (ومن هنا جاء مصطلح " الخبراء المحليين ").

تستخدم نماذج مزيج الخبراء الهرمية ^{[ 8 ] [ 9 ]} مستويات متعددة من البوابات في شجرة. كل بوابة هي توزيع احتمالي على المستوى التالي من البوابات، ويتواجد الخبراء على العقد الطرفية للشجرة. وهي تشبه أشجار القرار .

على سبيل المثال، سيكون لنموذج MoE الهرمي ذي المستويين وظيفة بوابية من الدرجة الأولى${\displaystyle w_{i}}$ووظائف البوابات من الدرجة الثانية${\displaystyle w_{j|i}}$والخبراء${\displaystyle f_{j|i}}$إذن، يكون التوقع الكلي هو${\displaystyle \sum _{i}w_{i}(x)\sum _{j}w_{j|i}(x)f_{j|i}(x)}$.

يمكن تدريب نموذج مزيج الخبراء، المشابه لنموذج مزيج غاوسي، باستخدام خوارزمية التوقع والتعظيم، تمامًا كما هو الحال مع نماذج مزيج غاوسي . فعلى وجه التحديد، خلال خطوة التوقع، يتم توزيع "عبء" تفسير كل نقطة بيانات على الخبراء، وخلال خطوة التعظيم، يتم تدريب الخبراء لتحسين التفسيرات التي حظيت بعبء كبير، بينما يتم تدريب البوابة لتحسين توزيع العبء عليها. ويمكن لهذا أن يتقارب بشكل أسرع من خوارزمية التدرج الصاعد على دالة الاحتمال اللوغاريتمي. ^{[ 9 ] [ 10 ]}

غالباً ما يتم اختيار دالة البوابات softmax. بالإضافة إلى ذلك، قد تستخدم البوابات التوزيعات الغاوسية ^{[ 11 ]} والعائلات الأسية ^{[ 10 ]} .

بدلاً من إجراء عملية جمع مرجحة لجميع الخبراء، في منهجية التقييم الصعبة ^{[ 12 ]} يتم اختيار الخبير الأعلى تصنيفاً فقط. أي،${\displaystyle f(x)=f_{\arg \max _{i}w_{i}(x)}(x)}$وهذا من شأنه أن يسرع وقت التدريب والاستدلال. ^{[ 13 ]}

يمكن للخبراء استخدام أشكال أكثر عمومية من التوزيعات الغاوسية متعددة المتغيرات. على سبيل المثال، اقترح ^{[ 8 ]}${\displaystyle f_{i}(y|x)=N(y|A_{i}x+b_{i},\Sigma _{i})}$، أين${\displaystyle A_{i},b_{i},\Sigma _{i}}$هي معلمات قابلة للتعلم. بعبارة أخرى، يتعلم كل خبير كيفية إجراء الانحدار الخطي، مع تقدير قابل للتعلم لعدم اليقين.

يمكن استخدام خبراء مختلفين عن التوزيعات الغاوسية. على سبيل المثال، يمكن استخدام توزيع لابلاس [ ^{14 ] أو} توزيع t للطالب ^{[ 15 ]} . وللتصنيف الثنائي، تم اقتراح خبراء الانحدار اللوجستي أيضًا.$${\displaystyle f_{i}(y|x)={\begin{cases}{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=0\\1-{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=1\end{cases}}}$$أين${\displaystyle \beta _{i},\beta _{i,0}}$هي معلمات قابلة للتعلم. ويتم تعميم ذلك لاحقًا لتصنيف متعدد الفئات، مع خبراء الانحدار اللوجستي متعدد الحدود . ^{[ 16 ]}

اقترحت إحدى الدراسات استخدام مزيج من دوال softmax لنمذجة اللغة التراجعية الذاتية. ^{[ 17 ]} على وجه التحديد، لنفترض نموذج لغة يعتمد على نص سابق${\displaystyle c}$، يتنبأ بالكلمة التالية${\displaystyle x}$تقوم الشبكة بتشفير النص إلى متجه${\displaystyle v_{c}}$ويتنبأ بتوزيع احتمالية الكلمة التالية على النحو التالي:${\displaystyle \mathrm {Softmax} (v_{c}W)}$لمصفوفة التضمين${\displaystyle W}$في نموذج مزيج من دوال softmax، يُخرج النموذج متجهات متعددة.${\displaystyle v_{c,1},\dots ,v_{c,n}}$وتوقع الكلمة التالية على النحو التالي:${\displaystyle \sum _{i=1}^{n}p_{i}\;\mathrm {Softmax} (v_{c,i}W_{i})}$، أين${\displaystyle p_{i}}$هو توزيع احتمالي ناتج عن عملية دالة سوفتماكس الخطية على تنشيطات الخلايا العصبية المخفية داخل النموذج. وقد أثبتت الورقة البحثية الأصلية فعاليته للشبكات العصبية المتكررة . وتبين لاحقًا أنه يعمل مع شبكات المحولات أيضًا. ^{[ 18 ]}

تستخدم طبقة MoE ذات البوابات المتفرقة ^{[ 21 ]} ، التي نشرها باحثون من Google Brain ، شبكات التغذية الأمامية كخبراء، وبوابات softmax الخطية. على غرار طبقة MoE الصلبة المقترحة سابقًا، تحقق هذه الطبقة التفرق من خلال مجموع مرجح لأفضل k خبير فقط، بدلًا من المجموع المرجح لجميع الخبراء. تحديدًا، تحتوي طبقة MoE على شبكات تغذية أمامية .${\displaystyle f_{1},...,f_{n}}$وشبكة بوابات${\displaystyle w}$يتم تعريف شبكة البوابات بواسطة${\displaystyle w(x)=\mathrm {softmax} (\mathrm {top} _{k}(Wx+{\text{noise}}))}$، أين${\displaystyle \mathrm {top} _{k}}$هي دالة تحافظ على أول k عنصر من عناصر المتجه كما هي، ولكنها تُعيّن جميع العناصر الأخرى إلى${\displaystyle -\infty }$. إضافة الضوضاء تساعد في موازنة الأحمال.

اختيار${\displaystyle k}$هو مُعامل فائق يتم اختياره وفقًا للتطبيق. القيم النموذجية هي${\displaystyle k=1,2}$. ال${\displaystyle k=1}$يُطلق على هذا الإصدار أيضًا اسم Switch Transformer. تم تطبيق Switch Transformer الأصلي على نموذج لغة T5 . ^{[ 22 ]}

كمثال توضيحي، قاموا بتدريب سلسلة من نماذج الترجمة الآلية باستخدام طبقات متناوبة من MoE و LSTM ، وقارنوها بنماذج LSTM العميقة. ^{[ 23 ]} يوضح الجدول 3 أن نماذج MoE استخدمت وقتًا أقل في حساب الاستدلال، على الرغم من احتوائها على 30 ضعفًا من المعلمات.

نُشرت هذه الوحدة المعمارية في يناير 2017، بعد بضعة أشهر من نشر بنية Transformer (12 يونيو 2017)، ثم جُمعت في بنية متعددة الوسائط تُسمى MultiModel نُشرت بعد أربعة أيام (16 يونيو 2017). ^{[ 24 ]}

غالبًا ما تواجه أنظمة إدارة الخبرة التقليدية (MoE) مشاكل في موازنة الأحمال: حيث يُستشار بعض الخبراء بشكل متكرر، بينما يُستشار خبراء آخرون نادرًا أو لا يُستشارون على الإطلاق. ولتشجيع البوابة على اختيار كل خبير بنفس التواتر (موازنة الأحمال المناسبة) ضمن كل دفعة، تحتوي كل طبقة من طبقات إدارة الخبرة على دالتين مساعدتين للخسارة. وقد تم تحسين ذلك بواسطة محول التبديل ^{[ 22 ]} ليصبح دالة مساعدة واحدة للخسارة. تحديدًا، لنفترض${\displaystyle n}$ليكن عدد الخبراء، ثم بالنسبة لمجموعة معينة من الاستفسارات${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$، الخسارة الإضافية للدفعة هي$${\displaystyle n\sum _{i=1}^{n}f_{i}P_{i}}$$هنا،${\displaystyle f_{i}={\frac {1}{T}}\#({\text{queries sent to expert }}i)}$هي نسبة الرموز المميزة التي اختارت الخبير${\displaystyle i}$، و${\displaystyle P_{i}={\frac {1}{T}}\sum _{j=1}^{T}{\frac {w_{i}(x_{j})}{\sum _{i'\in {\text{experts}}}w_{i'}(x_{j})}}}$يمثل جزء الوزن على الخبير${\displaystyle i}$يتم تقليل هذه الخسارة إلى الحد الأدنى عند${\displaystyle 1}$، تحديداً عندما يكون لكل خبير وزن متساوٍ${\displaystyle 1/n}$في جميع الحالات.

صمّم باحثون في شركة DeepSeek نسخةً معدّلة من نموذج MoE، تتضمن "خبراء مشتركين" يتمّ الاستعلام عنهم باستمرار، و"خبراء موجّهين" قد لا يتمّ الاستعلام عنهم. ووجدوا أن موازنة الأحمال القياسية تشجع على استشارة الخبراء بالتساوي، لكن هذا يؤدي إلى تكرار الخبراء لنفس القدرات الأساسية، مثل قواعد اللغة الإنجليزية. واقترحوا أن يتعلّم الخبراء المشتركون القدرات الأساسية التي تُستخدم بكثرة، وأن يتعلّم الخبراء الموجّهون القدرات الثانوية التي نادراً ما تُستخدم. ^{[ 26 ]}

كما اقترحوا "استراتيجية موازنة الأحمال الخالية من الفقد الإضافي"، والتي لا تستخدم الفقد الإضافي. بدلاً من ذلك، كل خبير${\displaystyle i}$يحتوي على "تحيز إضافي من جانب الخبراء"${\displaystyle b_{i}}$إذا تم تجاهل خبير، فإن تحيزه يزداد، والعكس صحيح. أثناء تخصيص الرموز، يختار كل رمز أفضل k خبير، ولكن مع إضافة التحيز. أي: ^{[ 27 ]}$${\displaystyle f(x)=\sum _{i{\text{ is in the top-k of }}\{w(x)_{j}+b_{j}\}_{j}}w(x)_{i}f_{i}(x)}$$لاحظ أن تحيز الخبراء مهم في اختيار الخبراء، ولكن ليس في جمع ردود الخبراء.

لنفترض أن هناك${\displaystyle n}$خبراء في طبقة. لمجموعة معينة من الاستفسارات${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$يتم توجيه كل استعلام إلى خبير واحد أو أكثر. على سبيل المثال، إذا تم توجيه كل استعلام إلى خبير واحد كما هو الحال في محولات التبديل، وإذا كان الخبراء موزعين بالتساوي على مستوى الأحمال، فيجب أن يتوقع كل خبير في المتوسط${\displaystyle T/n}$يتم إرسال الاستعلامات في دفعة واحدة. عمليًا، لا يمكن للخبراء توقع توازن مثالي في توزيع الأحمال: ففي بعض الدفعات، قد يكون أحد الخبراء أقل إرهاقًا، بينما في دفعات أخرى، قد يكون أكثر إرهاقًا.

بما أن المدخلات لا يمكنها الانتقال عبر الطبقة حتى ينتهي كل خبير فيها من الاستعلامات المخصصة له، فإن موازنة الأحمال أمر بالغ الأهمية. ويُستخدم عامل السعة أحيانًا لفرض قيد صارم على موازنة الأحمال، حيث يُسمح لكل خبير بمعالجة ما يصل إلى${\displaystyle c\cdot T/n}$الاستعلامات في دفعة واحدة. وجد تقرير وزارة التعليم أن${\displaystyle c\in [1.25,2]}$لتحقيق نتائج جيدة في الممارسة العملية. ^{[ 28 ]}

في نموذج MoE الأصلي ذي البوابات المتفرقة، يتم استطلاع آراء أفضل k خبير فقط، وتُجمع مخرجاتهم بوزن مُرجّح. توجد طرق أخرى. ^{[ 28 ]} بشكل عام، يُعد التوجيه مسألة تخصيص : كيف يتم تخصيص الرموز للخبراء، بحيث تُراعى مجموعة متنوعة من القيود (مثل الإنتاجية، وموازنة الأحمال، وما إلى ذلك)؟ توجد عادةً ثلاث فئات من خوارزميات التوجيه: اختيار الخبراء للرموز ("اختيار الخبراء")، ^{[ 29 ]} واختيار الرموز للخبراء (نموذج MoE الأصلي ذو البوابات المتفرقة)، ومُخصِّص عالمي يُطابق الخبراء والرموز. ^{[ 30 ]}

أثناء عملية الاستدلال، يعمل نموذج MoE على مجموعة كبيرة من الرموز في أي وقت. إذا كانت الرموز هي التي تختار الخبراء، فقد يحصل بعض الخبراء على عدد قليل من الرموز، بينما يحصل آخرون على عدد كبير منها يتجاوز الحد الأقصى لحجم المجموعة المخصصة لهم، مما يضطرهم إلى تجاهل بعضها. وبالمثل، إذا كان الخبراء هم من يختارون الرموز، فقد لا يختار أي خبير بعض الرموز. هذه هي مشكلة "فقدان الرموز". لا يُعد فقدان الرمز بالضرورة مشكلة خطيرة، ففي نماذج Transformers، وبسبب الاتصالات المتبقية ، إذا "فُقد" رمز، فإنه لا يختفي. بل يمر تمثيله المتجهي عبر طبقة التغذية الأمامية دون تغيير. ^{[ 30 ]}

تشمل الأساليب الأخرى حلها كمسألة برمجة خطية مقيدة ، ^{[ 31 ]} باستخدام التعلم المعزز لتدريب خوارزمية التوجيه (لأن اختيار الخبير إجراء منفصل، كما هو الحال في التعلم المعزز). ^{[ 32 ]} قد لا تتطلب مطابقة الرمز المميز مع الخبير أي تعلم ("التوجيه الثابت"): إذ يمكن إجراؤها بواسطة دالة تجزئة حتمية ^{[ 33 ]} أو مولد أرقام عشوائية. ^{[ 34 ]}

تُستخدم طبقات MoE في نماذج Transformer الأكبر حجمًا ، حيث يكون التعلم والاستدلال على النموذج الكامل مكلفًا للغاية. وعادةً ما تكون هذه الطبقات ذات بوابات متفرقة، بمعامل تفرق 1 أو 2. في نماذج Transformer، تُستخدم طبقات MoE غالبًا لاختيار طبقات التغذية الأمامية (عادةً شبكة خطية-ReLU-خطية)، والتي تظهر في كل كتلة Transformer بعد آلية الانتباه متعددة الرؤوس. وذلك لأن طبقات التغذية الأمامية تستحوذ على نسبة متزايدة من تكلفة الحوسبة مع ازدياد حجم النماذج. على سبيل المثال، في نموذج Palm-540B، تقع 90% من المعلمات في طبقات التغذية الأمامية. ^{[ 35 ]}

يمكن تحويل نموذج Transformer المدرب إلى نموذج MoE عن طريق تكرار طبقات التغذية الأمامية الخاصة به، مع تهيئة البوابات بشكل عشوائي، ثم تدريبه بشكل إضافي. تُعرف هذه التقنية باسم "إعادة التدوير المتفرقة". ^{[ 36 ]}

تتضمن عملية تقييم الأداء باستخدام برنامج Transformer عدداً كبيراً من خيارات التصميم التي تؤثر على استقرار التدريب والأداء النهائي. ويصف تقرير OLMoE هذه الخيارات بالتفصيل. ^{[ 37 ]}

اعتبارًا من عام 2023تميل النماذج الكبيرة بما يكفي لاستخدام تقنية MoE إلى أن تكون نماذج لغوية ضخمة ، حيث يمتلك كل خبير ما يقارب 10 مليارات مُعامل. إلى جانب النماذج اللغوية، يُعدّ Vision MoE ^{[ 38 ]} نموذج Transformer مزودًا بطبقات MoE. وقد أثبتوا ذلك من خلال تدريب نموذج يحتوي على 15 مليار مُعامل. كما طُبّق نموذج MoE Transformer على نماذج الانتشار . ^{[ 39 ]}

استخدمت سلسلة من نماذج اللغة الضخمة من جوجل تقنية MoE. يستخدم نموذج GShard ^{[ 40 ]} تقنية MoE مع اختيار خبيرين كحد أقصى لكل طبقة. تحديدًا، يتم اختيار الخبير الأول دائمًا، بينما يتم اختيار الخبير الثاني باحتمالية تتناسب مع وزنه وفقًا لدالة البوابة. لاحقًا، عرض نموذج GLaM ^{[ 41 ]} نموذج لغة يحتوي على 1.2 تريليون مُعامل، حيث تستخدم كل طبقة من طبقات MoE أفضل خبيرين من أصل 64. أما نموذج Switch Transformers ^{[ 22 ]} فيستخدم الخبير الأول في جميع طبقات MoE.

يُعدّ نموذج NLLB-200 من Meta AI نموذجًا للترجمة الآلية لـ 200 لغة. ^{[ 42 ]} تستخدم كل طبقة من طبقات MoE بنية MoE هرمية ثنائية المستويات. في المستوى الأول، تختار دالة البوابات إما استخدام طبقة تغذية أمامية "مشتركة"، أو استخدام الخبراء. في حال استخدام الخبراء، تقوم دالة بوابات أخرى بحساب الأوزان واختيار أفضل خبيرين. ^{[ 43 ]}

يمكن تكييف نماذج اللغة الكبيرة MoE للمهام اللاحقة عن طريق ضبط التعليمات . ^{[ 44 ]}

في ديسمبر 2023، أصدرت شركة ميسترال للذكاء الاصطناعي نموذج ميكسترال 8x7B بموجب ترخيص أباتشي 2.0. وهو نموذج لغوي متعدد المعاملات (MoE) يحتوي على 46.7 مليار مُعامل، و8 خبراء، ونسبة تباعد 2. كما أصدرت الشركة نسخة مُحسّنة لتتبع التعليمات. ^{[ 45 ] [ 46 ]}

في مارس 2024، أصدرت شركة داتابريكس نموذج DBRX ، وهو نموذج لغوي متعدد المعايير (MoE) يحتوي على 132 مليار مُعامل، و16 خبيرًا، ونسبة تباعد 4. كما أصدرت الشركة نسخة مُحسّنة لتتبع التعليمات. ^{[ 47 ] [ 48 ]}