خوارزمية التوقع والتعظيم

جزء من سلسلة عن
التعلم الآلي واستخراج البيانات
النماذج التعلم تحت الإشراف التعلم غير الخاضع للإشراف التعلم شبه الخاضع للإشراف التعلم الذاتي التعلم التعزيزي التعلم الفوقي التعلم عبر الإنترنت التعلم الدفعي التعلم المنهجي التعلم المبني على القواعد الذكاء الاصطناعي الرمزي العصبي الهندسة العصبية التعلم الآلي الكمومي
المشاكل تصنيف النمذجة التوليدية الانحدار التجميع تخفيض الأبعاد تقدير الكثافة كشف الشذوذ تنظيف البيانات التعلم الآلي التلقائي قواعد الجمعية التحليل الدلالي التنبؤ المنظم هندسة المميزات ميزة التعلم تعلم الترتيب الاستدلال النحوي التعلم الأنطولوجيا التعلم المتعدد الوسائط
التعلم الخاضع للإشراف ( التصنيف  • الانحدار ) التعلم عن طريق التدريب أشجار القرار الفرق الموسيقية التعبئة في أكياس تعزيز غابة عشوائية ك -ن ن الانحدار الخطي بايز الساذج الشبكات العصبية الاصطناعية الانحدار اللوجستي بيرسيبترون آلة متجهات الصلة (RVM) آلة الدعم المتجهي (SVM)
التجميع البتولا دواء هرمي ك- يعني غامض التوقع - التعظيم (EM) دي بي إس أي إن بصريات متوسط ​​التحول
تخفيض الأبعاد تحليل العوامل سي سي ايه ايكا لدا ن م ف تحليل البيانات الشخصية التشخيص قبل الزرع تي-SNE إس دي إل
التنبؤ المنظم النماذج الرسومية شبكة بايز حقل عشوائي مشروط ماركوف المخفي
كشف الشذوذ رانساك ك -ن ن عامل الشذوذ المحلي غابة العزلة
الشبكة العصبية الاصطناعية مُشفِّر ذاتي التعلم العميق الشبكة العصبية التغذية الأمامية الشبكة العصبية المتكررة LSTM المخابرات العسكرية الروسية رقم ESN الحوسبة الخزانية آلة بولتزمان مقيد شبكة GAN نموذج الانتشار سوم الشبكة العصبية التلافيفية يو نت لينت أليكس نت ديب دريم مجال الإشعاع العصبي محول رؤية مامبا الشبكة العصبية المتصاعدة ميمترانزستور ذاكرة الوصول العشوائي الكهروكيميائية (ECRAM)
التعلم التعزيزي التعلم عن طريق Q سارسا الفرق الزمني (TD) متعدد الوكلاء اللعب الذاتي
التعلم مع البشر التعلم النشط التمويل الجماعي الإنسان في الحلقة مؤسسة ريل إتش إف
تشخيصات النموذج معامل التحديد مصفوفة الارتباك منحنى التعلم منحنى ROC
الأسس الرياضية آلات النواة المقايضة بين التحيز والتباين نظرية التعلم الحاسوبي التقليل من المخاطر التجريبية التعلم أوكام التعلم PAC التعلم الإحصائي نظرية رأس المال الاستثماري
المجلات والمؤتمرات ECML PKDD نيوريبس شهادة ICML اي سي ال ار اي جيه سي ايه اي مل جيه إم إل آر
مقالات ذات صلة معجم الذكاء الاصطناعي قائمة مجموعات البيانات لأبحاث التعلم الآلي قائمة مجموعات البيانات في مجال الرؤية الحاسوبية ومعالجة الصور مخطط التعلم الآلي
ف ت هـ

في الإحصاء ، خوارزمية التوقع والتعظيم ( EM ) هي طريقة تكرارية لإيجاد أقصى احتمال (محلي) أو أقصى تقديرات لاحقة (MAP) للمعلمات في النماذج الإحصائية ، حيث يعتمد النموذج على متغيرات كامنة غير ملحوظة . ^[1] يتناوب تكرار EM بين تنفيذ خطوة التوقع (E)، والتي تنشئ دالة لتوقع الاحتمال اللوغاريتمي المقيم باستخدام التقدير الحالي للمعلمات، وخطوة التعظيم (M)، والتي تحسب المعلمات التي تعظم الاحتمال اللوغاريتمي المتوقع الموجود في الخطوة E. تُستخدم تقديرات المعلمات هذه بعد ذلك لتحديد توزيع المتغيرات الكامنة في الخطوة E التالية. يمكن استخدامها، على سبيل المثال، لتقدير مزيج من الغاوسيين ، أو لحل مشكلة الانحدار الخطي المتعدد. ^[2]

تم شرح خوارزمية EM وإعطائها اسمها في ورقة بحثية كلاسيكية عام 1977 من قبل آرثر ديمبستر ونان ليرد ودونالد روبين . ^[3] وأشاروا إلى أن الطريقة "اقتُرِحَت عدة مرات في ظروف خاصة" من قبل مؤلفين سابقين. واحدة من أقدمها هي طريقة عد الجينات لتقدير ترددات الأليل بواسطة سيدريك سميث . ^[4] واقترح HO Hartley طريقة أخرى في عام 1958، وهارتلي وهوكينج في عام 1977، والتي نشأت منها العديد من الأفكار في ورقة ديمبستر-ليرد-روبين. ^[5] واقترح SK Ng وThryiyambakam Krishnan وGJ McLachlan طريقة أخرى في عام 1977. ^[6] يمكن توسيع أفكار هارتلي لتشمل أي توزيع منفصل مجمع. نشر رولف سونبيرج معالجة مفصلة للغاية لطريقة EM للعائلات الأسيّة في أطروحته والعديد من الأوراق، ^{[7] [8] [9]} بعد تعاونه مع بير مارتن لوف وأندرس مارتن لوف . ^{[10] [11] [12] [13] [14]} عممت ورقة ديمبستر-ليرد-روبين في عام 1977 الطريقة ورسمت تحليل التقارب لفئة أوسع من المشاكل. أسست ورقة ديمبستر-ليرد-روبين طريقة EM كأداة مهمة للتحليل الإحصائي. انظر أيضًا منج وفان دايك (1997).

كان تحليل التقارب لخوارزمية ديمبستر-ليرد-روبين معيبًا، ونشر سي إف جيف وو تحليل تقارب صحيح في عام 1983. ^[15] أثبت دليل وو تقارب طريقة EM أيضًا خارج العائلة الأسية ، كما ادعى ديمبستر-ليرد-روبين. ^[15]

تُستخدم خوارزمية EM للعثور على معلمات الاحتمالية القصوى (المحلية) لنموذج إحصائي في الحالات التي لا يمكن فيها حل المعادلات بشكل مباشر. عادةً ما تتضمن هذه النماذج متغيرات كامنة بالإضافة إلى معلمات غير معروفة وملاحظات بيانات معروفة. أي أنه إما توجد قيم مفقودة بين البيانات، أو يمكن صياغة النموذج بشكل أكثر بساطة من خلال افتراض وجود المزيد من نقاط البيانات غير المرصودة. على سبيل المثال، يمكن وصف نموذج الخليط بشكل أكثر بساطة من خلال افتراض أن كل نقطة بيانات مرصودة لها نقطة بيانات غير مرصودة مقابلة، أو متغير كامن، يحدد مكون الخليط الذي تنتمي إليه كل نقطة بيانات.

إن إيجاد حل أقصى احتمال يتطلب عادةً أخذ مشتقات دالة الاحتمال فيما يتعلق بجميع القيم المجهولة والمعلمات والمتغيرات الكامنة وحل المعادلات الناتجة في نفس الوقت. وفي النماذج الإحصائية التي تحتوي على متغيرات كامنة، يكون هذا مستحيلاً عادةً. وبدلاً من ذلك، تكون النتيجة عادةً عبارة عن مجموعة من المعادلات المتشابكة حيث يتطلب حل المعلمات قيم المتغيرات الكامنة والعكس صحيح، ولكن استبدال مجموعة من المعادلات في الأخرى ينتج عنه معادلة غير قابلة للحل.

تنطلق خوارزمية EM من ملاحظة وجود طريقة لحل هاتين المجموعتين من المعادلات عدديًا. يمكن للمرء ببساطة اختيار قيم عشوائية لإحدى المجموعتين من المجهولات، واستخدامها لتقدير المجموعة الثانية، ثم استخدام هذه القيم الجديدة لإيجاد تقدير أفضل للمجموعة الأولى، ثم الاستمرار في التبديل بين المجموعتين حتى تتقارب القيم الناتجة إلى نقاط ثابتة. ليس من الواضح أن هذا سيعمل، ولكن يمكن إثباته في هذا السياق. بالإضافة إلى ذلك، يمكن إثبات أن المشتق للاحتمالية (قريب بشكل عشوائي من) الصفر عند تلك النقطة، مما يعني بدوره أن النقطة إما أن تكون حدًا أقصى محليًا أو نقطة سرج . ^[15] بشكل عام، قد تحدث قيم قصوى متعددة، دون أي ضمان لإيجاد الحد الأقصى العالمي. تحتوي بعض الاحتمالات أيضًا على تفردات فيها، أي قيم قصوى لا معنى لها. على سبيل المثال، يتضمن أحد الحلول التي قد يتم التوصل إليها بواسطة EM في نموذج خليط ضبط أحد المكونات بحيث يكون تباينه صفرًا ومعامل المتوسط ​​لنفس المكون ليكون مساويًا لإحدى نقاط البيانات. يتطلب تقارب خوارزميات التوقع والتعظيم (EM) عادةً استمرارية دالة الاحتمالية فيما يتعلق بجميع المعلمات غير المعروفة (المشار إليها باسم متغيرات التحسين). ^[16]

بالنظر إلى النموذج الإحصائي الذي يولد مجموعة من البيانات المرصودة، ومجموعة من البيانات الكامنة غير المرصودة أو القيم المفقودة ، ومتجه من المعلمات غير المعروفة ، إلى جانب دالة الاحتمالية ، يتم تحديد تقدير الاحتمالية القصوى (MLE) للمعلمات غير المعروفة من خلال تعظيم الاحتمالية الهامشية للبيانات المرصودة ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Z} }$${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle L({\boldsymbol {\theta }};\mathbf {X} ,\mathbf {Z} )=p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})}$

${\displaystyle L({\boldsymbol {\theta }};\mathbf {X} )=p(\mathbf {X} \mid {\boldsymbol {\theta }})=\int p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})\,d\mathbf {Z} =\int p(\mathbf {X} \mid \mathbf {Z} ,{\boldsymbol {\theta }})p(\mathbf {Z} \mid {\boldsymbol {\theta }})\,d\mathbf {Z} }$

ومع ذلك، فإن هذه الكمية غالبا ما تكون مستعصية على الحل لأنها غير ملحوظة وتوزيعها غير معروف قبل الوصول إليها . ${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {Z} }$${\displaystyle {\boldsymbol {\theta }}}$

تسعى خوارزمية EM إلى العثور على أقصى تقدير لاحتمالية الاحتمالية الهامشية من خلال تطبيق هاتين الخطوتين بشكل متكرر:

خطوة التوقع (خطوة E) : يتم تعريفها على أنها القيمة المتوقعة لدالة الاحتمال اللوغاريتمية لـ ، فيما يتعلق بالتوزيع الشرطي الحالي لـ المعطى والتقديرات الحالية للمعاملات : ${\displaystyle Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {X} }$${\displaystyle {\boldsymbol {\theta }}^{(t)}}$

${\displaystyle Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})=\operatorname {E} _{\mathbf {Z} \sim p(\cdot |\mathbf {X} ,{\boldsymbol {\theta }}^{(t)})}\left[\log p(\mathbf {X} ,\mathbf {Z} |{\boldsymbol {\theta }})\right]\,}$

خطوة التعظيم (خطوة M) : ابحث عن المعلمات التي تعظم هذه الكمية:

${\displaystyle {\boldsymbol {\theta }}^{(t+1)}={\underset {\boldsymbol {\theta }}{\operatorname {arg\,max} }}\ Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})\,}$

وباختصار، يمكننا أن نكتبها في معادلة واحدة:$${\displaystyle {\boldsymbol {\theta }}^{(t+1)}={\underset {\boldsymbol {\theta }}{\operatorname {arg\,max} }}\operatorname {E} _{\mathbf {Z} \sim p(\cdot |\mathbf {X} ,{\boldsymbol {\theta }}^{(t)})}\left[\log p(\mathbf {X} ,\mathbf {Z} |{\boldsymbol {\theta }})\right]\,}$$

تستخدم النماذج النموذجية التي يتم تطبيق EM عليها متغيرًا كامنًا يشير إلى العضوية في إحدى المجموعات التالية: ${\displaystyle \mathbf {Z} }$

1. قد تكون نقاط البيانات المرصودة منفصلة (تأخذ قيمًا في مجموعة محدودة أو غير محدودة العد) أو متصلة (تأخذ قيمًا في مجموعة غير محدودة العد). قد يكون هناك متجه من الملاحظات مرتبطًا بكل نقطة بيانات.${\displaystyle \mathbf {X} }$
2. القيم المفقودة (المعروفة أيضًا باسم المتغيرات الكامنة ) هي قيم منفصلة ، ​​مأخوذة من عدد ثابت من القيم، مع وجود متغير كامن واحد لكل وحدة ملاحظة.${\displaystyle \mathbf {Z} }$
3. المعلمات مستمرة، وهي من نوعين: المعلمات المرتبطة بجميع نقاط البيانات، والمعلمات المرتبطة بقيمة محددة لمتغير كامن (أي المرتبطة بجميع نقاط البيانات التي يحتوي متغيرها الكامن المقابل على تلك القيمة).

ومع ذلك، فمن الممكن تطبيق EM على أنواع أخرى من النماذج.

الدافع هو كما يلي. إذا كانت قيمة المعلمات معروفة، فعادةً ما يمكن العثور على قيمة المتغيرات الكامنة عن طريق تعظيم احتمالية اللوغاريتم على جميع القيم المحتملة لـ ، إما ببساطة عن طريق التكرار أو من خلال خوارزمية مثل خوارزمية فيتربي لنماذج ماركوف المخفية . وعلى العكس من ذلك، إذا عرفنا قيمة المتغيرات الكامنة ، فيمكننا إيجاد تقدير للمعلمات بسهولة إلى حد ما، عادةً عن طريق تجميع نقاط البيانات المرصودة وفقًا لقيمة المتغير الكامن المرتبط بها ومتوسط ​​القيم، أو بعض وظائف القيم، للنقاط في كل مجموعة. وهذا يشير إلى خوارزمية تكرارية، في الحالة التي يكون فيها كل من و غير معروفين: ${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {Z} }$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle \mathbf {Z} }$

1. أولاً، قم بتهيئة المعلمات لبعض القيم العشوائية.${\displaystyle {\boldsymbol {\theta }}}$
2. احسب احتمال كل قيمة ممكنة لـ ، مع العلم أن .${\displaystyle \mathbf {Z} }$${\displaystyle {\boldsymbol {\theta }}}$
3. بعد ذلك، استخدم القيم المحسوبة للتو لحساب تقدير أفضل للمعلمات .${\displaystyle \mathbf {Z} }$${\displaystyle {\boldsymbol {\theta }}}$
4. كرر الخطوتين 2 و 3 حتى التقارب.

تقترب الخوارزمية، كما تم وصفها للتو، بشكل رتيب من الحد الأدنى المحلي لدالة التكلفة.

على الرغم من أن تكرار EM يزيد من دالة احتمال البيانات المرصودة (أي الهامشية)، فلا يوجد ضمان بأن التسلسل يتقارب إلى مقدر أقصى احتمال . بالنسبة للتوزيعات متعددة الوسائط ، يعني هذا أن خوارزمية EM قد تتقارب إلى أقصى حد محلي لدالة احتمال البيانات المرصودة، اعتمادًا على القيم الأولية. توجد مجموعة متنوعة من الأساليب الاستدلالية أو الاستدلالية لتجنب الحد الأقصى المحلي، مثل تسلق التلال العشوائي (بدءًا بعدة تقديرات أولية عشوائية مختلفة )، أو تطبيق طرق محاكاة التلدين .${\displaystyle {\boldsymbol {\theta }}^{(t)}}$

يُعد EM مفيدًا بشكل خاص عندما يكون الاحتمال عبارة عن عائلة أسيّة ، انظر Sundberg (2019، الفصل 8) للحصول على معالجة شاملة: ^[17] تصبح الخطوة E مجموع توقعات الإحصائيات الكافية ، وتتضمن الخطوة M تعظيم الدالة الخطية. في مثل هذه الحالة، من الممكن عادةً استنباط تحديثات تعبير مغلقة الشكل لكل خطوة، باستخدام صيغة Sundberg ^[18] (أثبتها ونشرها Rolf Sundberg، استنادًا إلى نتائج غير منشورة لـ Per Martin-Löf و Anders Martin-Löf ). ^{[8] [9] [11] [12] [13] [14]}

تم تعديل طريقة EM لحساب أقصى تقديرات لاحقة (MAP) للاستدلال البايزي في الورقة الأصلية التي كتبها Dempster و Laird و Rubin.

توجد طرق أخرى للعثور على تقديرات أقصى احتمالية، مثل الانحدار التدرجي ، أو التدرج المترافق ، أو المتغيرات من خوارزمية جاوس-نيوتن . وعلى عكس EM، تتطلب مثل هذه الطرق عادةً تقييم المشتقات الأولى و/أو الثانية لدالة الاحتمالية.

تعمل عملية تعظيم التوقعات على التحسين وليس التحسين المباشر . وهنا يتبين أن التحسينات التي تطرأ على الأولى تعني تحسينات على الثانية. ^{[19] [20]}${\displaystyle Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})}$${\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {\theta }})}$

لأي احتمال غير صفري ، يمكننا أن نكتب ${\displaystyle \mathbf {Z} }$${\displaystyle p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }})}$

${\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {\theta }})=\log p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})-\log p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}).}$

نأخذ التوقع على القيم المحتملة للبيانات غير المعروفة تحت تقدير المعلمة الحالية عن طريق ضرب كلا الجانبين في ومجموع (أو تكامل) على . الجانب الأيسر هو توقع ثابت، لذا نحصل على: ${\displaystyle \mathbf {Z} }$${\displaystyle \theta ^{(t)}}$${\displaystyle p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}^{(t)})}$${\displaystyle \mathbf {Z} }$

${\displaystyle {\begin{aligned}\log p(\mathbf {X} \mid {\boldsymbol {\theta }})&=\sum _{\mathbf {Z} }p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}^{(t)})\log p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})-\sum _{\mathbf {Z} }p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}^{(t)})\log p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }})\\&=Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})+H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)}),\end{aligned}}}$

حيث يتم تعريفه بالمجموع السلبي الذي يحل محله. تنطبق هذه المعادلة الأخيرة على كل قيمة بما في ذلك ، ${\displaystyle H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\theta }}={\boldsymbol {\theta }}^{(t)}}$

${\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {\theta }}^{(t)})=Q({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)})+H({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)}),}$

وطرح هذه المعادلة الأخيرة من المعادلة السابقة يعطي

${\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {\theta }})-\log p(\mathbf {X} \mid {\boldsymbol {\theta }}^{(t)})=Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})-Q({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)})+H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})-H({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)}).}$

ومع ذلك، تخبرنا متباينة جيبس ​​أن ، لذا يمكننا أن نستنتج أن ${\displaystyle H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})\geq H({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)})}$

${\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {\theta }})-\log p(\mathbf {X} \mid {\boldsymbol {\theta }}^{(t)})\geq Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})-Q({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)}).}$

باختصار، اختيار التحسين يؤدي إلى التحسين على الأقل بنفس القدر. ${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})}$${\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {\theta }})}$

يمكن النظر إلى خوارزمية EM كخطوتين متناوبتين لتحقيق أقصى قدر من التعظيم، أي كمثال على انحدار الإحداثيات . ^{[21] [22]} ضع في اعتبارك الوظيفة:

${\displaystyle F(q,\theta ):=\operatorname {E} _{q}[\log L(\theta ;x,Z)]+H(q),}$

حيث q هو توزيع احتمالي تعسفي على البيانات غير المرصودة z و H(q) هو إنتروبيا التوزيع q . يمكن كتابة هذه الدالة على النحو التالي

${\displaystyle F(q,\theta )=-D_{\mathrm {KL} }{\big (}q\parallel p_{Z\mid X}(\cdot \mid x;\theta ){\big )}+\log L(\theta ;x),}$

حيث هو التوزيع الشرطي للبيانات غير المرصودة بالنظر إلى البيانات المرصودة و هو تباعد كولباك-ليبلر . ${\displaystyle p_{Z\mid X}(\cdot \mid x;\theta )}$${\displaystyle x}$${\displaystyle D_{KL}}$

ومن ثم يمكن النظر إلى الخطوات في خوارزمية EM على النحو التالي:

خطوة التوقع : اختر التعظيم : ${\displaystyle q}$${\displaystyle F}$

${\displaystyle q^{(t)}=\operatorname {arg\,max} _{q}\ F(q,\theta ^{(t)})}$

خطوة التعظيم : اختر التعظيم : ${\displaystyle \theta }$${\displaystyle F}$

${\displaystyle \theta ^{(t+1)}=\operatorname {arg\,max} _{\theta }\ F(q^{(t)},\theta )}$

• تُستخدم EM بشكل متكرر لتقدير معلمات النماذج المختلطة ، ^{[23] [24]} وخاصة في علم الوراثة الكمي . ^[25]
• في علم القياس النفسي ، يعد EM أداة مهمة لتقدير معلمات العناصر والقدرات الكامنة في نماذج نظرية استجابة العناصر .
• بفضل القدرة على التعامل مع البيانات المفقودة ومراقبة المتغيرات غير المحددة، أصبحت الأسواق الناشئة أداة مفيدة لتسعير وإدارة مخاطر المحفظة. ^{[ بحاجة لمصدر ]}
• تُستخدم خوارزمية EM ( وتعظيم توقعات المجموعة الفرعية المرتبة للمتغيرات الأسرع) على نطاق واسع أيضًا في إعادة بناء الصور الطبية ، وخاصة في التصوير المقطعي بالإصدار البوزيتروني ، والتصوير المقطعي المحوسب بإصدار فوتون واحد ، والتصوير المقطعي المحوسب بالأشعة السينية . انظر أدناه للحصول على متغيرات أسرع أخرى من EM.
• في الهندسة الإنشائية ، تعد خوارزمية التعرف الهيكلي باستخدام تعظيم التوقعات (STRIDE) ^[26] طريقة إخراجية فقط لتحديد خصائص الاهتزاز الطبيعية لنظام هيكلي باستخدام بيانات المستشعر (انظر التحليل النمطي التشغيلي ).
• تُستخدم EM أيضًا في تجميع البيانات . في معالجة اللغة الطبيعية ، هناك مثالان بارزان لهذه الخوارزمية هما خوارزمية Baum–Welch لنماذج ماركوف المخفية ، وخوارزمية Inside-Outside للاستقراء غير الخاضع للإشراف لقواعد نحوية احتمالية خالية من السياق .
• في تحليل أوقات الانتظار بين الصفقات ، أي الوقت بين الصفقات اللاحقة في أسهم البورصة ، أثبتت خوارزمية EM أنها مفيدة للغاية. ^[27]

يُستخدم مرشح كالمان عادةً لتقدير الحالة على الإنترنت، وقد يُستخدم مُنعم الحد الأدنى للتباين لتقدير الحالة دون اتصال بالإنترنت أو تقدير الحالة على دفعات. ومع ذلك، تتطلب حلول الحد الأدنى للتباين تقديرات لمعلمات نموذج مساحة الحالة. يمكن استخدام خوارزميات EM لحل مشكلات تقدير الحالة والمعلمات المشتركة.

تنشأ خوارزميات الترشيح والتنعيم EM من خلال تكرار هذا الإجراء المكون من خطوتين:

خطوة اي

قم بتشغيل مرشح كالمان أو أداة تنعيم الحد الأدنى للتباين المصممة بتقديرات المعلمات الحالية للحصول على تقديرات حالة محدثة.

خطوة حرف M

استخدم تقديرات الحالة المفلترة أو الملساء ضمن حسابات الاحتمالية القصوى للحصول على تقديرات محدثة للمعلمات.

افترض أن مرشح كالمان أو أداة تنعيم التباين الأدنى تعمل على قياسات نظام إدخال واحد وإخراج واحد يحتوي على ضوضاء بيضاء إضافية. يمكن الحصول على تقدير محدث لتباين ضوضاء القياس من حساب أقصى احتمال

${\displaystyle {\widehat {\sigma }}_{v}^{2}={\frac {1}{N}}\sum _{k=1}^{N}{(z_{k}-{\widehat {x}}_{k})}^{2},}$

حيث يتم حساب تقديرات الناتج القياسي بواسطة مرشح أو أداة تنعيم من قياسات قياسية N. يمكن أيضًا تطبيق التحديث أعلاه على تحديث شدة ضوضاء قياس بواسون. وبالمثل، بالنسبة لعملية الانحدار التلقائي من الدرجة الأولى، يمكن حساب تقدير تباين الضوضاء في العملية المحدثة بواسطة ${\displaystyle {\widehat {x}}_{k}}$${\displaystyle z_{k}}$

${\displaystyle {\widehat {\sigma }}_{w}^{2}={\frac {1}{N}}\sum _{k=1}^{N}{({\widehat {x}}_{k+1}-{\widehat {F}}{\widehat {x}}_{k})}^{2},}$

حيث و هي تقديرات الحالة القياسية التي يتم حسابها بواسطة مرشح أو أداة تنعيم. يتم الحصول على تقدير معامل النموذج المحدث من خلال ${\displaystyle {\widehat {x}}_{k}}$${\displaystyle {\widehat {x}}_{k+1}}$

${\displaystyle {\widehat {F}}={\frac {\sum _{k=1}^{N}{({\widehat {x}}_{k+1}-{\widehat {F}}{\widehat {x}}_{k})}^{2}}{\sum _{k=1}^{N}{\widehat {x}}_{k}^{2}}}.}$

تمت دراسة تقارب تقديرات المعلمات مثل تلك المذكورة أعلاه بشكل جيد. ^{[28] [29] [30] [31]}

تم اقتراح عدد من الطرق لتسريع التقارب البطيء أحيانًا لخوارزمية EM، مثل تلك التي تستخدم التدرج المترافق وطرق نيوتن المعدلة (نيوتن-رافسون). ^[32] كما يمكن استخدام EM مع طرق التقدير المقيدة.

غالبًا ما توفر خوارزمية تعظيم التوقعات الموسعة للمعلمات (PX-EM) تسريعًا من خلال "استخدام" تعديل التباين "لتصحيح تحليل الخطوة M، والاستفادة من المعلومات الإضافية الملتقطة في البيانات الكاملة المفترضة". ^[33]

يستبدل تعظيم التوقع المشروط (ECM) كل خطوة M بسلسلة من خطوات التعظيم المشروط (CM) حيث يتم تعظيم كل معلمة θ _i بشكل فردي، بشرط بقاء المعلمات الأخرى ثابتة. ^[34] يمكن تمديدها في خوارزمية تعظيم التوقع المشروط (ECME) . ^[35]

تم توسيع هذه الفكرة بشكل أكبر في خوارزمية تعظيم التوقعات المعممة (GEM) ، والتي يتم فيها البحث فقط عن زيادة في دالة الهدف F لكل من الخطوة E والخطوة M كما هو موضح في قسم "إجراء تعظيم-تعظيم". ^[21] تم تطوير GEM بشكل أكبر في بيئة موزعة وأظهرت نتائج واعدة. ^[36]

من الممكن أيضًا اعتبار خوارزمية EM فئة فرعية من خوارزمية MM (الكبر/التصغير أو الصغر/التعظيم، حسب السياق)، ^[37] وبالتالي استخدام أي آلية تم تطويرها في الحالة الأكثر عمومية.

تعتمد الدالة Q المستخدمة في خوارزمية EM على الاحتمالية اللوغاريتمية. لذلك، تُعتبر خوارزمية EM اللوغاريتمية. يمكن تعميم استخدام الاحتمالية اللوغاريتمية إلى نسبة الاحتمالية اللوغاريتمية α. بعد ذلك، يمكن التعبير عن نسبة الاحتمالية اللوغاريتمية α للبيانات المرصودة بدقة على أنها مساواة باستخدام الدالة Q لنسبة الاحتمالية اللوغاريتمية α والتباعد اللوغاريتمي α. الحصول على هذه الدالة Q هو خطوة E معممة. تعظيمها هو خطوة M معممة. يُطلق على هذا الزوج خوارزمية EM-α ^[38] التي تحتوي على خوارزمية EM اللوغاريتمية كفئة فرعية لها. وبالتالي، فإن خوارزمية EM-α التي وضعها ياسو ماتسوياما هي تعميم دقيق لخوارزمية EM-α. لا يلزم حساب التدرج أو مصفوفة هيسيان. تُظهر EM-α تقاربًا أسرع من خوارزمية EM-α من خلال اختيار α مناسب. تؤدي خوارزمية α-EM إلى إصدار أسرع من خوارزمية تقدير نموذج ماركوف المخفي α-HMM. ^[39]

EM هي طريقة غير بايزية جزئيًا، ذات احتمالية قصوى. تعطي نتيجتها النهائية توزيع احتمالات على المتغيرات الكامنة (بالأسلوب البايزي) مع تقدير نقطي لـ θ (إما تقدير أقصى احتمال أو وضع لاحق). قد تكون هناك حاجة إلى نسخة بايزية كاملة من هذا، تعطي توزيع احتمالات على θ والمتغيرات الكامنة. النهج البايزي للاستدلال هو ببساطة التعامل مع θ كمتغير كامن آخر. في هذا النموذج، يختفي التمييز بين خطوات E وM. إذا كنت تستخدم تقريب Q المقسم إلى عوامل كما هو موضح أعلاه ( بايز المتغير )، يمكن للحل أن يتكرر على كل متغير كامن (بما في ذلك θ الآن ) وتحسينه واحدًا تلو الآخر. الآن، هناك حاجة إلى k خطوة لكل تكرار، حيث k هو عدد المتغيرات الكامنة. بالنسبة للنماذج الرسومية، من السهل القيام بذلك لأن Q الجديد لكل متغير يعتمد فقط على بطانية ماركوف الخاصة به، لذلك يمكن استخدام تمرير الرسائل المحلية للاستدلال الفعال.

في هندسة المعلومات ، يتم تفسير الخطوة E والخطوة M على أنهما إسقاطات تحت اتصالات أفينية مزدوجة ، تسمى الاتصال e والاتصال m؛ ويمكن أيضًا فهم تباعد كولباك-ليبلر بهذه المصطلحات.

ليكن عينة من الملاحظات المستقلة من خليط من توزيعين طبيعيين متعددي المتغيرات من البعد ، وليكن المتغيرات الكامنة التي تحدد المكون الذي تنشأ منه الملاحظة. ^[22]${\displaystyle \mathbf {x} =(\mathbf {x} _{1},\mathbf {x} _{2},\ldots ,\mathbf {x} _{n})}$${\displaystyle n}$${\displaystyle d}$${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{n})}$

${\displaystyle X_{i}\mid (Z_{i}=1)\sim {\mathcal {N}}_{d}({\boldsymbol {\mu }}_{1},\Sigma _{1})}$و${\displaystyle X_{i}\mid (Z_{i}=2)\sim {\mathcal {N}}_{d}({\boldsymbol {\mu }}_{2},\Sigma _{2}),}$

أين

${\displaystyle \operatorname {P} (Z_{i}=1)=\tau _{1}\,}$و${\displaystyle \operatorname {P} (Z_{i}=2)=\tau _{2}=1-\tau _{1}.}$

الهدف هو تقدير المعلمات غير المعروفة التي تمثل قيمة الخلط بين الغاوسيين والمتوسطات والتباينات لكل منها:

${\displaystyle \theta ={\big (}{\boldsymbol {\tau }},{\boldsymbol {\mu }}_{1},{\boldsymbol {\mu }}_{2},\Sigma _{1},\Sigma _{2}{\big )},}$

حيث تكون دالة احتمالية البيانات غير المكتملة هي

${\displaystyle L(\theta ;\mathbf {x} )=\prod _{i=1}^{n}\sum _{j=1}^{2}\tau _{j}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{j},\Sigma _{j}),}$

ودالة احتمالية البيانات الكاملة هي

${\displaystyle L(\theta ;\mathbf {x} ,\mathbf {z} )=p(\mathbf {x} ,\mathbf {z} \mid \theta )=\prod _{i=1}^{n}\prod _{j=1}^{2}\ [f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{j},\Sigma _{j})\tau _{j}]^{\mathbb {I} (z_{i}=j)},}$

أو

${\displaystyle L(\theta ;\mathbf {x} ,\mathbf {z} )=\exp \left\{\sum _{i=1}^{n}\sum _{j=1}^{2}\mathbb {I} (z_{i}=j){\big [}\log \tau _{j}-{\tfrac {1}{2}}\log |\Sigma _{j}|-{\tfrac {1}{2}}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})^{\top }\Sigma _{j}^{-1}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})-{\tfrac {d}{2}}\log(2\pi ){\big ]}\right\},}$

حيث هي دالة مؤشر و هي دالة كثافة الاحتمال لمتغير طبيعي متعدد المتغيرات. ${\displaystyle \mathbb {I} }$${\displaystyle f}$

في المساواة الأخيرة، لكل i ، يكون أحد المؤشرات مساويًا للصفر، ويكون أحد المؤشرات مساويًا للواحد. وبالتالي، يتم تقليص المجموع الداخلي إلى حد واحد. ${\displaystyle \mathbb {I} (z_{i}=j)}$

بالنظر إلى تقديرنا الحالي للمعاملات θ ^{( t )} ، يتم تحديد التوزيع الشرطي لـ Z _i بواسطة نظرية بايز ليكون الارتفاع النسبي للكثافة الطبيعية المرجحة بـ τ :

${\displaystyle T_{j,i}^{(t)}:=\operatorname {P} (Z_{i}=j\mid X_{i}=\mathbf {x} _{i};\theta ^{(t)})={\frac {\tau _{j}^{(t)}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{j}^{(t)},\Sigma _{j}^{(t)})}{\tau _{1}^{(t)}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{1}^{(t)},\Sigma _{1}^{(t)})+\tau _{2}^{(t)}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{2}^{(t)},\Sigma _{2}^{(t)})}}.}$

تُسمى هذه "احتمالات العضوية"، والتي تُعتبر عادةً ناتج الخطوة E (على الرغم من أن هذه ليست دالة Q أدناه).

تتوافق خطوة E هذه مع إعداد هذه الوظيفة لـ Q:

${\displaystyle {\begin{aligned}Q(\theta \mid \theta ^{(t)})&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} =\mathbf {x} ;\mathbf {\theta } ^{(t)}}[\log L(\theta ;\mathbf {x} ,\mathbf {Z} )]\\&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} =\mathbf {x} ;\mathbf {\theta } ^{(t)}}[\log \prod _{i=1}^{n}L(\theta ;\mathbf {x} _{i},Z_{i})]\\&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} =\mathbf {x} ;\mathbf {\theta } ^{(t)}}[\sum _{i=1}^{n}\log L(\theta ;\mathbf {x} _{i},Z_{i})]\\&=\sum _{i=1}^{n}\operatorname {E} _{Z_{i}\mid X_{i}=x_{i};\mathbf {\theta } ^{(t)}}[\log L(\theta ;\mathbf {x} _{i},Z_{i})]\\&=\sum _{i=1}^{n}\sum _{j=1}^{2}P(Z_{i}=j\mid X_{i}=\mathbf {x} _{i};\theta ^{(t)})\log L(\theta _{j};\mathbf {x} _{i},j)\\&=\sum _{i=1}^{n}\sum _{j=1}^{2}T_{j,i}^{(t)}{\big [}\log \tau _{j}-{\tfrac {1}{2}}\log |\Sigma _{j}|-{\tfrac {1}{2}}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})^{\top }\Sigma _{j}^{-1}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})-{\tfrac {d}{2}}\log(2\pi ){\big ]}.\end{aligned}}}$

يتم أخذ التوقع داخل المجموع فيما يتعلق بدالة كثافة الاحتمال ، والتي قد تكون مختلفة لكل مجموعة تدريب. كل شيء في الخطوة E معروف قبل اتخاذ الخطوة باستثناء ، والذي يتم حسابه وفقًا للمعادلة في بداية قسم الخطوة E. ${\displaystyle \log L(\theta ;\mathbf {x} _{i},Z_{i})}$${\displaystyle P(Z_{i}\mid X_{i}=\mathbf {x} _{i};\theta ^{(t)})}$${\displaystyle \mathbf {x} _{i}}$${\displaystyle T_{j,i}}$

لا يلزم حساب هذا التوقع الشرطي الكامل في خطوة واحدة، لأن τ و μ / Σ يظهران في مصطلحات خطية منفصلة وبالتالي يمكن تعظيمهما بشكل مستقل.

${\displaystyle Q(\theta \mid \theta ^{(t)})}$إن كون الدالة تربيعية في شكلها يعني أن تحديد القيم القصوى لـ أمر بسيط نسبيًا. كما يمكن تعظيم كل من و ، بشكل مستقل لأنها تظهر جميعًا في مصطلحات خطية منفصلة.${\displaystyle \theta }$${\displaystyle \tau }$${\displaystyle ({\boldsymbol {\mu }}_{1},\Sigma _{1})}$${\displaystyle ({\boldsymbol {\mu }}_{2},\Sigma _{2})}$

للبدء، ضع في اعتبارك ، والذي يحتوي على القيد : ${\displaystyle \tau }$${\displaystyle \tau _{1}+\tau _{2}=1}$

${\displaystyle {\begin{aligned}{\boldsymbol {\tau }}^{(t+1)}&={\underset {\boldsymbol {\tau }}{\operatorname {arg\,max} }}\ Q(\theta \mid \theta ^{(t)})\\&={\underset {\boldsymbol {\tau }}{\operatorname {arg\,max} }}\ \left\{\left[\sum _{i=1}^{n}T_{1,i}^{(t)}\right]\log \tau _{1}+\left[\sum _{i=1}^{n}T_{2,i}^{(t)}\right]\log \tau _{2}\right\}.\end{aligned}}}$

وهذا له نفس شكل تقدير الاحتمالية القصوى للتوزيع الثنائي ، لذا

${\displaystyle \tau _{j}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{j,i}^{(t)}}{\sum _{i=1}^{n}(T_{1,i}^{(t)}+T_{2,i}^{(t)})}}={\frac {1}{n}}\sum _{i=1}^{n}T_{j,i}^{(t)}.}$

بالنسبة للتقديرات التالية : ${\displaystyle ({\boldsymbol {\mu }}_{1},\Sigma _{1})}$

${\displaystyle {\begin{aligned}({\boldsymbol {\mu }}_{1}^{(t+1)},\Sigma _{1}^{(t+1)})&={\underset {{\boldsymbol {\mu }}_{1},\Sigma _{1}}{\operatorname {arg\,max} }}\ Q(\theta \mid \theta ^{(t)})\\&={\underset {{\boldsymbol {\mu }}_{1},\Sigma _{1}}{\operatorname {arg\,max} }}\ \sum _{i=1}^{n}T_{1,i}^{(t)}\left\{-{\tfrac {1}{2}}\log |\Sigma _{1}|-{\tfrac {1}{2}}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1})^{\top }\Sigma _{1}^{-1}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1})\right\}\end{aligned}}.}$

وهذا له نفس شكل تقدير الاحتمال الأقصى المرجح للتوزيع الطبيعي، لذا

${\displaystyle {\boldsymbol {\mu }}_{1}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{1,i}^{(t)}\mathbf {x} _{i}}{\sum _{i=1}^{n}T_{1,i}^{(t)}}}}$و${\displaystyle \Sigma _{1}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{1,i}^{(t)}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1}^{(t+1)})(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1}^{(t+1)})^{\top }}{\sum _{i=1}^{n}T_{1,i}^{(t)}}}}$

ومن خلال التماثل،

${\displaystyle {\boldsymbol {\mu }}_{2}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{2,i}^{(t)}\mathbf {x} _{i}}{\sum _{i=1}^{n}T_{2,i}^{(t)}}}}$و${\displaystyle \Sigma _{2}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{2,i}^{(t)}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{2}^{(t+1)})(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{2}^{(t+1)})^{\top }}{\sum _{i=1}^{n}T_{2,i}^{(t)}}}.}$

اختتم العملية التكرارية إذا كانت أقل من عتبة محددة مسبقًا. ${\displaystyle E_{Z\mid \theta ^{(t)},\mathbf {x} }[\log L(\theta ^{(t)};\mathbf {x} ,\mathbf {Z} )]\leq E_{Z\mid \theta ^{(t-1)},\mathbf {x} }[\log L(\theta ^{(t-1)};\mathbf {x} ,\mathbf {Z} )]+\varepsilon }$${\displaystyle \varepsilon }$

يمكن تعميم الخوارزمية الموضحة أعلاه لمزيج من أكثر من توزيعين طبيعيين متعددين المتغيرات .

تم تنفيذ خوارزمية EM في الحالة التي يوجد فيها نموذج انحدار خطي أساسي يشرح تغير بعض الكميات، ولكن حيث تكون القيم التي تمت ملاحظتها بالفعل عبارة عن إصدارات خاضعة للرقابة أو مقطوعة من تلك الممثلة في النموذج. ^[40] تشمل الحالات الخاصة لهذا النموذج الملاحظات الخاضعة للرقابة أو المقطوعة من توزيع طبيعي واحد . ^[40]

تتقارب EM عادةً إلى حد مثالي محلي، وليس بالضرورة الحد الأمثل العالمي، دون وجود حد لمعدل التقارب بشكل عام. من الممكن أن تكون ضعيفة بشكل تعسفي في الأبعاد العالية وقد يكون هناك عدد أسي من الحدود المثلى المحلية. وبالتالي، توجد حاجة إلى طرق بديلة للتعلم المضمون، وخاصة في البيئة عالية الأبعاد. توجد بدائل لـ EM مع ضمانات أفضل للاتساق، والتي تسمى الأساليب القائمة على اللحظة ^[41] أو ما يسمى بالتقنيات الطيفية . ^{[42] [43]} تتمتع الأساليب القائمة على اللحظة لتعلم معلمات النموذج الاحتمالي بضمانات مثل التقارب العالمي في ظل ظروف معينة على عكس EM التي غالبًا ما تعاني من مشكلة التعثر في الحدود المثلى المحلية. يمكن اشتقاق خوارزميات مع ضمانات للتعلم لعدد من النماذج المهمة مثل نماذج الخليط ونماذج HMM وما إلى ذلك. بالنسبة لهذه الأساليب الطيفية، لا تحدث حدود مثالية محلية زائفة، ويمكن تقدير المعلمات الحقيقية باستمرار في ظل بعض ظروف الانتظام. ^{[ بحاجة لمصدر ]}

• توزيع الخليط
• التوزيع المركب
• تقدير الكثافة
• تحليل المكونات الرئيسية
• مطيافية الامتصاص الكلي
• يمكن اعتبار خوارزمية EM حالة خاصة لخوارزمية التقليل إلى الحد الأقصى (MM) . ^[44]

• هوج، روبرت؛ ماكين، جوزيف؛ كريج، ألين (2005). مقدمة في الإحصاء الرياضي . أبر سادل ريفر، نيوجيرسي: بيرسون برنتيس هول. ص 359-364.
• ديلايرت، فرانك (فبراير 2002). خوارزمية تعظيم التوقعات (PDF) (تقرير فني رقم GIT-GVU-02-20). كلية الحوسبة بمعهد جورجيا للتكنولوجيا.يقدم شرحًا أسهل لخوارزمية EM فيما يتعلق بتعظيم الحد الأدنى.
• بيشوب، كريستوفر م. (2006). التعرف على الأنماط والتعلم الآلي . سبرينغر. ISBN 978-0-387-31073-2.
• جوبتا، إم آر؛ تشين، واي. (2010). "نظرية واستخدام خوارزمية الكهرومغناطيسية". أسس واتجاهات معالجة الإشارات . 4 (3): 223-296. CiteSeerX  10.1.1.219.6830 . doi :10.1561/2000000034.كتاب قصير مكتوب بشكل جيد عن EM، بما في ذلك الاشتقاق التفصيلي لـ EM لـ GMMs و HMMs و Dirichlet.
• بيلمز، جيف (1997). برنامج تعليمي لطيف لخوارزمية EM وتطبيقها على تقدير المعاملات لمزيج غاوسي ونماذج ماركوف المخفية (التقرير الفني TR-97-021). المعهد الدولي لعلوم الكمبيوتر.يتضمن اشتقاقًا مبسطًا لمعادلات EM للمخاليط الغوسية ونماذج ماركوف المخفية للمخاليط الغوسية.
• McLachlan, Geoffrey J.; Krishnan, Thriyambakam (2008). The EM Algorithm and Extensions (الطبعة الثانية). Hoboken: Wiley. ISBN 978-0-471-20170-0.

• يتم توفير عروض توضيحية متنوعة أحادية وثنائية وثلاثية الأبعاد لـ EM مع النمذجة المختلطة كجزء من أنشطة SOCR والتطبيقات الصغيرة. تُظهر هذه التطبيقات الصغيرة والأنشطة تجريبيًا خصائص خوارزمية EM لتقدير المعلمات في إعدادات متنوعة.
• التسلسل الهرمي للفئات في C++ (GPL) بما في ذلك الخلطات الغاوسية
• يتضمن الكتاب المدرسي عبر الإنترنت: نظرية المعلومات والاستدلال وخوارزميات التعلم، من تأليف ديفيد جيه سي ماكاي، أمثلة بسيطة لخوارزمية EM مثل التجميع باستخدام خوارزمية k -means الناعمة، ويؤكد على وجهة النظر المتغيرة لخوارزمية EM، كما هو موضح في الفصل 33.7 من الإصدار 7.2 (الطبعة الرابعة).
• تتضمن الخوارزميات المتغيرة للاستدلال البايزي التقريبي، من تأليف MJ Beal، مقارنات بين EM وEM البايزي المتغير واشتقاقات العديد من النماذج بما في ذلك نماذج HMM البايزية المتغيرة (الفصول).
• خوارزمية تعظيم التوقعات: برنامج تعليمي قصير، اشتقاق مستقل لخوارزمية تعظيم التوقعات بواسطة شون بورمان.
• خوارزمية EM، بقلم شياو جين تشو.
• خوارزمية EM والمتغيرات: برنامج تعليمي غير رسمي من تأليف Alexis Roche. وصف موجز وواضح للغاية لخوارزمية EM والعديد من المتغيرات المثيرة للاهتمام.