مصنف بايز الساذج

في الإحصاء ، تُعدّ مصنفات بايز الساذجة (أو البسيطة أو المبسطة ) فئةً من " المصنفات الاحتمالية " التي تفترض استقلال السمات شرطيًا ، بالنظر إلى الفئة المستهدفة. ^[¹^] بعبارة أخرى، يفترض نموذج بايز الساذج أن المعلومات المتعلقة بالفئة التي يوفرها كل متغير غير مرتبطة بالمعلومات من المتغيرات الأخرى، دون وجود أي معلومات مشتركة بين المتغيرات التنبؤية. إن الطبيعة غير الواقعية لهذا الافتراض، والذي يُطلق عليه افتراض الاستقلال الساذج ، هو ما يُعطي المصنف اسمه. تُعدّ هذه المصنفات من أبسط نماذج الشبكات البايزية . ^[²^]

عمومًا، يكون أداء مصنفات بايز الساذجة أسوأ من النماذج الأكثر تطورًا مثل الانحدار اللوجستي ، لا سيما في تحديد عدم اليقين (حيث غالبًا ما تُنتج نماذج بايز الساذجة احتمالات مفرطة الثقة). مع ذلك، فهي قابلة للتوسع بدرجة كبيرة، إذ لا تتطلب سوى مُعامل واحد لكل ميزة أو مُتنبئ في مسألة التعلم. يُمكن إجراء تدريب الاحتمال الأقصى من خلال تقييم صيغة مغلقة (ببساطة عن طريق عدّ المشاهدات في كل مجموعة)، ^{[ 3 ]}^{: 718،} بدلًا من خوارزميات التقريب التكرارية المُكلفة التي تتطلبها معظم النماذج الأخرى.

على الرغم من استخدام نظرية بايز في قاعدة قرار المصنف، فإن بايز الساذج ليس بالضرورة طريقة بايزية ، ويمكن ملاءمة نماذج بايز الساذج للبيانات باستخدام الطرق البايزية أو التكرارية . ^{[ 1 ]}^{[ 3 ]}

مقدمة

تُعدّ خوارزمية بايز البسيطة تقنيةً سهلةً لبناء المصنفات: نماذج تُسند تصنيفاتٍ إلى حالات المشكلة، ممثلةً بمتجهاتٍ من قيم الخصائص ، حيث تُستقى تصنيفات الفئات من مجموعةٍ محدودة . لا توجد خوارزميةٌ واحدةٌ لتدريب هذه المصنفات، بل مجموعةٌ من الخوارزميات القائمة على مبدأٍ مشترك: تفترض جميع مصنفات بايز البسيطة أن قيمة خاصيةٍ معينةٍ مستقلةٌ عن قيمة أي خاصيةٍ أخرى، بالنظر إلى متغير الفئة. على سبيل المثال، قد تُعتبر ثمرةٌ ما تفاحةً إذا كانت حمراءَ اللون، مستديرةً، وقطرها حوالي 10 سم. يعتبر مصنف بايز البسيط أن كل خاصيةٍ من هذه الخصائص تُساهم بشكلٍ مستقلٍ في احتمالية أن تكون هذه الثمرة تفاحةً، بغض النظر عن أي ارتباطاتٍ محتملةٍ بين خصائص اللون والاستدارة والقطر.

في العديد من التطبيقات العملية، يستخدم تقدير المعلمات لنماذج بايز الساذجة طريقة الاحتمال الأقصى ؛ بمعنى آخر، يمكن للمرء العمل مع نموذج بايز الساذج دون قبول الاحتمال البايزي أو استخدام أي طرق بايزية.

على الرغم من تصميمها البسيط وافتراضاتها التي تبدو مفرطة التبسيط، فقد أثبتت مصنفات بايز البسيطة فعاليتها في العديد من المواقف المعقدة في العالم الحقيقي. في عام 2004، أظهر تحليل لمشكلة التصنيف البايزي وجود أسباب نظرية وجيهة لفعالية مصنفات بايز البسيطة التي تبدو غير معقولة. ^{[ 4 ]} ومع ذلك، أظهرت مقارنة شاملة مع خوارزميات تصنيف أخرى في عام 2006 أن تصنيف بايز يتفوق عليه أساليب أخرى، مثل الأشجار المعززة أو الغابات العشوائية . ^{[ 5 ]}

تتمثل إحدى مزايا خوارزمية بايز البسيطة في أنها لا تتطلب سوى كمية صغيرة من بيانات التدريب لتقدير المعلمات اللازمة للتصنيف. ^{[ 6 ]}

نموذج احتمالي

بشكل مجرد، فإن نموذج بايز الساذج هو نموذج احتمالي شرطي : فهو يُعيّن احتمالات $p(C_{k}\mid x_{1},\ldots ,x_{n})$ لكل من النتائج أو الفئات $K$ الممكنة $C_{k}$ بافتراض وجود حالة مشكلة لتصنيفها، ممثلة بمتجه $\mathbf {x} =(x_{1},\ldots ,x_{n})$ ترميز بعض $الميزات$ (المتغيرات المستقلة). ^{[ 7 ]}

تكمن مشكلة الصيغة المذكورة أعلاه في أنه إذا كان عدد الخصائص $n$ كبيرًا، أو إذا كان بإمكان خاصية ما أن تأخذ عددًا كبيرًا من القيم، فإن بناء نموذج كهذا على جداول الاحتمالات يصبح غير عملي. لذا، يجب إعادة صياغة النموذج لجعله أكثر قابلية للمعالجة. باستخدام نظرية بايز ، يمكن تحليل الاحتمال الشرطي على النحو التالي: $p(C_{k}\mid \mathbf {x} )={\frac {p(C_{k})\ p(\mathbf {x} \mid C_{k})}{p(\mathbf {x} )}}\,$

بعبارات إنجليزية بسيطة، وباستخدام مصطلحات الاحتمالية البايزية ، يمكن كتابة المعادلة أعلاه على النحو التالي: ${\text{posterior}}={\frac {{\text{prior}}\times {\text{likelihood}}}{\text{evidence}}}\,$

عمليًا، لا يوجد اهتمام إلا ببسط ذلك الكسر، لأن المقام لا يعتمد على $C$ وقيم الميزات $x_{i}$ تُعطى القيم، بحيث يكون المقام ثابتًا فعليًا. أما البسط فهو مكافئ لنموذج الاحتمال المشترك. $p(C_{k},x_{1},\ldots ,x_{n})\,$ والتي يمكن إعادة كتابتها على النحو التالي، باستخدام قاعدة السلسلة للتطبيقات المتكررة لتعريف الاحتمال الشرطي : ${\begin{aligned}p(C_{k},x_{1},\ldots ,x_{n})&=p(x_{1},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\ p(x_{3},\ldots ,x_{n},C_{k})\\&=\cdots \\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\cdots p(x_{n-1}\mid x_{n},C_{k})\ p(x_{n}\mid C_{k})\ p(C_{k})\\\end{aligned}}$

والآن تدخل افتراضات الاستقلال الشرطي "الساذجة" حيز التنفيذ: افترض أن جميع الميزات في $\mathbf {x}$ مستقلة عن بعضها البعض ، بشرط أن تكون ضمن الفئة $C_{k}$ وبناءً على هذا الافتراض، $p(x_{i}\mid x_{i+1},\ldots ,x_{n},C_{k})=p(x_{i}\mid C_{k})\,.$

وبالتالي، يمكن التعبير عن النموذج المشترك على النحو التالي ${\begin{aligned}p(C_{k}\mid x_{1},\ldots ,x_{n})\varpropto \ &p(C_{k},x_{1},\ldots ,x_{n})\\&=p(C_{k})\ p(x_{1}\mid C_{k})\ p(x_{2}\mid C_{k})\ p(x_{3}\mid C_{k})\ \cdots \\&=p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})\,,\end{aligned}}$ أين $\varpropto$ يدل على التناسب لأن المقام $p(\mathbf {x} )$ تم حذفه.

هذا يعني أنه في ظل افتراضات الاستقلال المذكورة أعلاه، فإن التوزيع الشرطي على متغير الفئة $C$ يكون: $p(C_{k}\mid x_{1},\ldots ,x_{n})={\frac {1}{Z}}\ p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})$ حيث الأدلة $Z=p(\mathbf {x} )=\sum _{k}p(C_{k})\ p(\mathbf {x} \mid C_{k})$ هو عامل قياس يعتمد فقط على $x_{1},\ldots ,x_{n}$ أي، ثابت إذا كانت قيم متغيرات الميزة معروفة.

في كثير من الأحيان، يكفي التمييز بين الفئات. في هذه الحالة، يكون عامل القياس غير ذي صلة، ويكفي حساب الاحتمالية اللوغاريتمية حتى عامل معين. $\ln p(C_{k}\mid x_{1},\ldots ,x_{n})=\ln p(C_{k})+\sum _{i=1}^{n}\ln p(x_{i}\mid C_{k})\underbrace {-\ln Z} _{\text{irrelevant}}$ إن عامل القياس غير ذي صلة، لأن التمييز يطرحه: $\ln {\frac {p(C_{k}\mid x_{1},\ldots ,x_{n})}{p(C_{l}\mid x_{1},\ldots ,x_{n})}}=\left(\ln p(C_{k})+\sum _{i=1}^{n}\ln p(x_{i}\mid C_{k})\right)-\left(\ln p(C_{l})+\sum _{i=1}^{n}\ln p(x_{i}\mid C_{l})\right)$ هناك فائدتان لاستخدام اللوغاريتم الاحتمالي. الأولى هي أنها تسمح بتفسير في نظرية المعلومات، حيث تُعتبر اللوغاريتمات الاحتمالية وحدات معلومات في نظام العد الوطني (ناتس) . والثانية هي أنها تتجنب حدوث نقص في العمليات الحسابية .

بناء مصنف من نموذج الاحتمالية

لقد توصلت المناقشة حتى الآن إلى نموذج الميزات المستقلة، أي نموذج بايز الساذج الاحتمالي. يجمع مصنف بايز الساذج هذا النموذج مع قاعدة قرار . إحدى القواعد الشائعة هي اختيار الفرضية الأكثر احتمالاً لتقليل احتمالية التصنيف الخاطئ؛ وهذا ما يُعرف بقاعدة القرار ذات الاحتمالية القصوى اللاحقة (MAP) . أما المصنف المقابل، وهو مصنف بايز ، فهو الدالة التي تُحدد تصنيف كل عنصر. ${\hat {y}}=C_{k}$ بالنسبة لبعض $قيم k$ كما يلي: ${\hat {y}}={\underset {k\in \{1,\ldots ,K\}}{\operatorname {argmax} }}\ p(C_{k})\displaystyle \prod _{i=1}^{n}p(x_{i}\mid C_{k}).$

{\displaystyle p(\mathbf {x} \mid Y)} — دوال الاحتمالية $p(\mathbf {x} \mid Y)$ مصفوفة الارتباك ومنحنى ROC . بالنسبة لمصنف بايز الساذج ، وبافتراض أن الاحتمالات المسبقة $p(Y)$ إذا كانت القيم متماثلة لجميع الفئات، فسيتم وضع حد القرار (الخط الأخضر) عند نقطة تقاطع كثافتي الاحتمال، وذلك بسبب $p(Y\mid \mathbf {x} )={\frac {p(Y)\ p(\mathbf {x} \mid Y)}{p(\mathbf {x} )}}\propto p(\mathbf {x} \mid Y)$ .

تقدير المعلمات ونماذج الأحداث

يمكن حساب التوزيع الاحتمالي المسبق لفئة ما بافتراض أن الفئات متساوية الاحتمال، أي $p(C_{k})={\frac {1}{K}}$ أو عن طريق حساب تقدير لاحتمالية الفئة من مجموعة التدريب: ${\text{الاحتمال المسبق لفئة معينة}}={\frac {\text{عدد العينات في تلك الفئة}}{\text{إجمالي عدد العينات}}}\,$ لتقدير معلمات توزيع إحدى الميزات، يجب افتراض توزيع معين أو إنشاء نماذج غير معلمية للميزات من مجموعة التدريب. ^{[ 8 ]}

تُعرف الافتراضات المتعلقة بتوزيعات السمات باسم "نموذج الأحداث" لمصنف بايز البسيط. بالنسبة للسمات المنفصلة، كتلك المستخدمة في تصنيف المستندات (بما في ذلك تصفية البريد العشوائي)، تُعد توزيعات متعددة الحدود وتوزيعات برنولي شائعة. تؤدي هذه الافتراضات إلى نموذجين متميزين، غالباً ما يتم الخلط بينهما. ^{[ 9 ]}^{[ 10 ]}

بايز الساذج الغاوسي

عند التعامل مع البيانات المتصلة، يُفترض عادةً أن القيم المتصلة المرتبطة بكل فئة موزعة وفقًا للتوزيع الطبيعي (أو الغاوسي). على سبيل المثال، لنفترض أن بيانات التدريب تحتوي على سمة متصلة، $x$ يتم أولاً تقسيم البيانات حسب الفئة، ثم يتم حساب المتوسط والتباين لـ $x$ يتم حسابها في كل فئة. ليكن $\mu _{k}$ ليكن متوسط القيم في $x$ مرتبط بالفئة $C_{k}$ ودع $\sigma _{k}^{2}$ ليكن التباين المصحح لـ Bessel للقيم في $x$ مرتبط بالفئة $C_{k}$ لنفترض أن المرء قد جمع بعض قيم الملاحظة $v$ ثم، دالة كثافة الاحتمال لـ $v$ بالنظر إلى فئة $C_{k}$ ، أي، $p(x=v\mid C_{k})$ يمكن حسابها عن طريق إدخال $v$ في معادلة التوزيع الطبيعي المُعَلم بواسطة $\mu _{k}$ و $\sigma _{k}^{2}$ رسميًا، $p(x=v\mid C_{k})={\frac {1}{\sqrt {2\pi \sigma _{k}^{2}}}}\,e^{-{\frac {(v-\mu _{k})^{2}}{2\sigma _{k}^{2}}}}$

من التقنيات الشائعة الأخرى للتعامل مع القيم المتصلة استخدام التجميع لتقسيم قيم الميزات والحصول على مجموعة جديدة من الميزات الموزعة وفقًا لتوزيع برنولي. تشير بعض الدراسات إلى أن هذا ضروري لاستخدام خوارزمية بايز البسيطة، لكن هذا غير صحيح، إذ قد يؤدي التقسيم إلى فقدان معلومات تمييزية . ^{[ 1 ]}

أحيانًا يكون توزيع الكثافات الحدية المشروطة بالفئات بعيدًا عن التوزيع الطبيعي. في هذه الحالات، يمكن استخدام تقدير كثافة النواة للحصول على تقدير أكثر واقعية للكثافات الحدية لكل فئة. هذه الطريقة، التي قدمها جون ولانغلي، ^{[ 8 ]} يمكنها تحسين دقة المصنف بشكل كبير. ^{[ 11 ]}^{[ 12 ]}

بايز الساذج متعدد الحدود

في نموذج الأحداث متعدد الحدود، تمثل العينات (متجهات الميزات) الترددات التي تم بها توليد أحداث معينة بواسطة نموذج متعدد الحدود $(p_{1},\dots ,p_{n})$ أين $p_{i}$ هي احتمالية وقوع الحدث $i$ (أو $K$ من هذه الحدود المتعددة في حالة التصنيف المتعدد). متجه الميزات $\mathbf {x} =(x_{1},\dots ,x_{n})$ ثم يكون عبارة عن مدرج تكراري ، مع $x_{i}$ يتم حساب عدد مرات رصد الحدث $i$ في حالة معينة. هذا هو نموذج الأحداث المستخدم عادةً لتصنيف المستندات، حيث تمثل الأحداث ظهور كلمة في مستند واحد (انظر فرضية حقيبة الكلمات ). ^{[ 13 ]} احتمال رصد الرسم البياني $x$ يُعطى بالصيغة التالية: $p(\mathbf {x} \mid C_{k})={\frac {(\sum _{i=1}^{n}x_{i})!}{\prod _{i=1}^{n}x_{i}!}}\prod _{i=1}^{n}{p_{ki}}^{x_{i}}$ أين $p_{ki}:=p(i\mid C_{k})$ .

يصبح مصنف بايز الساذج متعدد الحدود مصنفًا خطيًا عند التعبير عنه في فضاء لوغاريتمي: ^{[ 14 ]} ${\begin{aligned}\log p(C_{k}\mid \mathbf {x} )&\varpropto \log \left(p(C_{k})\prod _{i=1}^{n}{p_{ki}}^{x_{i}}\right)\\&=\log p(C_{k})+\sum _{i=1}^{n}x_{i}\cdot \log p_{ki}\\&=b+\mathbf {w} _{k}^{\top }\mathbf {x} \end{aligned}}$ أين $b=\log p(C_{k})$ و $w_{ki}=\log p_{ki}$ يُعدّ تقدير المعاملات في فضاء اللوغاريتم مفيدًا، إذ إنّ ضرب عدد كبير من القيم الصغيرة قد يؤدي إلى خطأ تقريب كبير. ويُقلّل تطبيق التحويل اللوغاريتمي من تأثير هذا الخطأ.

إذا لم تتكرر فئة معينة وقيمة سمة معينة معًا في بيانات التدريب، فسيكون تقدير الاحتمالية القائم على التكرار صفرًا، لأن تقدير الاحتمالية يتناسب طرديًا مع عدد مرات ظهور قيمة السمة. وهذا يُعدّ إشكالية لأنه سيؤدي إلى محو جميع المعلومات الموجودة في الاحتمالات الأخرى عند ضربها. لذلك، يُفضّل غالبًا تضمين تصحيح للعينات الصغيرة، يُسمى " العدد الزائف" ، في جميع تقديرات الاحتمالية بحيث لا تُعيّن أي احتمالية إلى الصفر تمامًا. تُسمى هذه الطريقة لتنظيم خوارزمية بايز البسيطة "تنعيم لابلاس" عندما يكون العدد الزائف واحدًا، و "تنعيم ليدستون" في الحالة العامة.

يناقش ريني وآخرون المشاكل المتعلقة بافتراض التوزيع متعدد الحدود في سياق تصنيف المستندات والطرق الممكنة للتخفيف من هذه المشاكل، بما في ذلك استخدام أوزان tf-idf بدلاً من ترددات المصطلحات الخام وتطبيع طول المستند، لإنتاج مصنف بايز ساذج ينافس آلات المتجهات الداعمة . ^{[ 14 ]}

برنولي ساذج بايز

في نموذج أحداث برنولي متعدد المتغيرات ، تُعدّ الميزات متغيرات منطقية مستقلة ( متغيرات ثنائية ) تصف المدخلات. ومثل النموذج متعدد الحدود، يحظى هذا النموذج بشعبية في مهام تصنيف المستندات، ^{[ 9 ]} حيث تُستخدم ميزات تكرار المصطلحات الثنائية بدلاً من ترددات المصطلحات. $x_{i}$ إذا كانت قيمة منطقية تعبر عن وجود أو عدم وجود المصطلح رقم $i$ من المفردات، فإن احتمالية تصنيف مستند معين ضمن فئة معينة هي احتمالية وجوده أو عدم وجوده. $C_{k}$ يتم تحديده بواسطة: ^{[ 9 ]} $p(\mathbf {x} \mid C_{k})=\prod _{i=1}^{n}p_{ki}^{x_{i}}(1-p_{ki})^{(1-x_{i})}$ أين $p_{ki}$ احتمال الفئة $C_{k}$ توليد المصطلح $x_{i}$ يُعدّ نموذج الأحداث هذا شائعًا بشكل خاص لتصنيف النصوص القصيرة، إذ يتميّز بقدرته على نمذجة غياب المصطلحات بشكل صريح. تجدر الإشارة إلى أن مُصنِّف بايز الساذج مع نموذج أحداث برنولي يختلف عن مُصنِّف بايز الساذج متعدد الحدود مع اقتطاع عدد التكرارات إلى واحد.

تقدير المعلمات شبه الخاضع للإشراف

بالنظر إلى طريقة لتدريب مصنف بايز الساذج من البيانات المصنفة، فمن الممكن إنشاء خوارزمية تدريب شبه خاضعة للإشراف يمكنها التعلم من مزيج من البيانات المصنفة وغير المصنفة عن طريق تشغيل خوارزمية التعلم الخاضع للإشراف في حلقة: ^{[ 15 ]}

بالنظر إلى مجموعة $D=L\uplus U$ بالنسبة للعينات المصنفة $L$ والعينات غير المصنفة $U$ ، ابدأ بتدريب مصنف بايز الساذج على $L.$
إلى حين الوصول إلى التقارب، افعل ما يلي:
1. توقع احتمالات الفئات $P(C\mid x)$ لجميع الأمثلة $x$ في $D$ .
2. أعد تدريب النموذج بناءً على الاحتمالات (وليس التصنيفات) المتوقعة في الخطوة السابقة.

يتم تحديد التقارب بناءً على تحسين احتمالية النموذج $P(D\mid \theta )$ ، أين $\theta$ تشير إلى معلمات نموذج بايز الساذج.

تُعدّ خوارزمية التدريب هذه مثالًا على خوارزمية التوقع والتعظيم (EM) الأكثر عمومية: خطوة التنبؤ داخل الحلقة هي خطوة التوقع (E) في خوارزمية EM، بينما إعادة تدريب نموذج بايز البسيط هي خطوة التعظيم (M ). وتستند الخوارزمية رسميًا إلى افتراض أن البيانات مُولّدة بواسطة نموذج خليط ، وأن مكونات هذا النموذج هي تحديدًا فئات مسألة التصنيف. ^{[ 15 ]}

مناقشة

على الرغم من أن افتراضات الاستقلال واسعة النطاق غالبًا ما تكون غير دقيقة، إلا أن مصنف بايز الساذج يتمتع بعدة خصائص تجعله مفيدًا بشكلٍ مدهش في التطبيق العملي. على وجه الخصوص، يعني فصل توزيعات الميزات الشرطية للفئات أنه يمكن تقدير كل توزيع بشكل مستقل كتوزيع أحادي البعد. يساعد هذا في التخفيف من المشاكل الناجمة عن لعنة الأبعاد ، مثل الحاجة إلى مجموعات بيانات تتناسب أُسّيًا مع عدد الميزات. في حين أن بايز الساذج غالبًا ما يفشل في إنتاج تقدير جيد لاحتمالات الفئة الصحيحة، ^{[ 16 ]} قد لا يكون هذا شرطًا أساسيًا للعديد من التطبيقات. على سبيل المثال، سيُصنّف مصنف بايز الساذج قاعدة قرار MAP بشكل صحيح طالما تم التنبؤ بأن الفئة الصحيحة أكثر احتمالًا من أي فئة أخرى. هذا صحيح بغض النظر عما إذا كان تقدير الاحتمال غير دقيق بشكل طفيف، أو حتى بشكل كبير. بهذه الطريقة، يمكن أن يكون المصنف ككل قويًا بما يكفي لتجاهل أوجه القصور الخطيرة في نموذج الاحتمال الساذج الأساسي. ^{[ 17 ]} يتم مناقشة أسباب أخرى للنجاح الملحوظ لمصنف بايز الساذج في الأدبيات المذكورة أدناه.

العلاقة بالانحدار اللوجستي

في حالة المدخلات المنفصلة (مؤشرات أو خصائص تردد للأحداث المنفصلة)، تشكل مصنفات بايز الساذجة زوجًا توليديًا تمييزيًا مع مصنفات الانحدار اللوجستي متعدد الحدود : يمكن اعتبار كل مصنف بايز ساذج طريقة لتركيب نموذج احتمالي يعمل على تحسين الاحتمالية المشتركة $p(C,\mathbf {x} )$ بينما يقوم الانحدار اللوجستي بتطبيق نفس نموذج الاحتمالية لتحسين الشرطي $p(C\mid \mathbf {x} )$ [ ¹⁸^]

بصورة أكثر رسمية، لدينا ما يلي:

نظرية — يتم تضمين مصنفات بايز الساذجة على الميزات الثنائية بواسطة مصنفات الانحدار اللوجستي.

دليل

لنفترض مشكلة تصنيف عامة متعددة الفئات، مع فئات محتملة $Y\in \{1,...,n\}$ ثم يُعطي مُصنِّف بايز (غير الساذج)، وفقًا لنظرية بايز: $p(Y\mid X=x)={\text{softmax}}(\{\ln p(Y=k)+\ln p(X=x\mid Y=k)\}_{k})$

يُعطي مُصنِّف بايز الساذج ${\text{softmax}}\left(\left\{\ln p(Y=k)+{\frac {1}{2}}\sum _{i}(a_{i,k}^{+}-a_{i,k}^{-})x_{i}+(a_{i,k}^{+}+a_{i,k}^{-})\right\}_{k}\right)$ أين $a_{i,s}^{+}=\ln p(X_{i}=+1\mid Y=s);\quad a_{i,s}^{-}=\ln p(X_{i}=-1\mid Y=s)$

هذا بالضبط مصنف الانحدار اللوجستي.

يمكن ملاحظة العلاقة بين الاثنين من خلال ملاحظة أن دالة القرار لخوارزمية بايز البسيطة (في الحالة الثنائية) يمكن إعادة كتابتها على النحو التالي: "توقع الفئة" $C_{1}$ إذا كانت احتمالات $p(C_{1}\mid \mathbf {x} )$ تتجاوز تلك الخاصة بـ $p(C_{2}\mid \mathbf {x} )$ ". التعبير عن هذا في فضاء اللوغاريتمات يعطي: $\log {\frac {p(C_{1}\mid \mathbf {x} )}{p(C_{2}\mid \mathbf {x} )}}=\log p(C_{1}\mid \mathbf {x} )-\log p(C_{2}\mid \mathbf {x} )>0$

يمثل الطرف الأيسر من هذه المعادلة لوغاريتم الاحتمالات، أو اللوجيت ، وهي الكمية التي يتنبأ بها النموذج الخطي الذي يقوم عليه الانحدار اللوجستي. وبما أن بايز الساذج هو أيضًا نموذج خطي لنموذجي الأحداث "المنفصلة"، فإنه يمكن إعادة صياغته كدالة خطية. $b+\mathbf {w} ^{\top }x>0$ ثم يصبح الحصول على الاحتمالات مسألة تطبيق الدالة اللوجستية على $b+\mathbf {w} ^{\top }x$ أو في حالة التصنيف المتعدد، دالة softmax .

تتميز المصنفات التمييزية بانخفاض الخطأ التقاربي مقارنةً بالمصنفات التوليدية؛ ومع ذلك، فقد أظهرت الأبحاث التي أجراها نغ وجوردان أنه في بعض الحالات العملية ، يمكن أن يتفوق بايز الساذج على الانحدار اللوجستي لأنه يصل إلى خطأه التقاربي بشكل أسرع. ^{[ 18 ]}

أمثلة

تصنيف الأشخاص

المشكلة: تصنيف شخص ما إلى ذكر أو أنثى بناءً على السمات المقاسة. تشمل هذه السمات الطول والوزن ومقاس القدم. على الرغم من أننا نتعامل معها كمستقلة باستخدام مصنف بايز الساذج، إلا أنها ليست كذلك في الواقع.

تمرين

مجموعة التدريب النموذجية أدناه.

شخص	الطول (بالقدم)	الوزن (بالرطل)	مقاس القدم (بالبوصة)
ذكر	6	180	12
ذكر	5.92 (5'11")	190	11
ذكر	5.58 (5'7")	170	12
ذكر	5.92 (5'11")	165	10
أنثى	5	100	6
أنثى	5.5 (5'6")	150	8
أنثى	5.42 (5'5")	130	7
أنثى	5.75 (5'9")	150	9

سيكون المصنف الذي تم إنشاؤه من مجموعة التدريب باستخدام افتراض التوزيع الغاوسي (بافتراض أن التباينات هي تباينات عينة غير متحيزة ):

شخص	متوسط (الطول)	التباين (الارتفاع)	متوسط (الوزن)	التباين (الوزن)	متوسط (مقاس القدم)	التباين (مقاس القدم)
ذكر	5.855	3.5033 × 10 ⁻²	176.25	122.92	11.25	9.1667 × 10 ⁻¹
أنثى	5.4175	9.7225 × 10 ⁻²	132.5	558.33	7.5	1.6667

يفترض المثال التالي فئات متساوية الاحتمال بحيث يكون P(ذكر) = P(أنثى) = 0.5. قد يستند توزيع الاحتمال المسبق هذا إلى معرفة مسبقة بالترددات في المجتمع الأكبر أو في مجموعة التدريب.

الاختبار

فيما يلي عينة لتصنيفها على أنها ذكر أو أنثى.

شخص	الطول (بالقدم)	الوزن (بالرطل)	مقاس القدم (بالبوصة)
عينة	6	130	8

لتصنيف العينة، يجب تحديد أي الاحتمالين اللاحقين أكبر، ذكر أم أنثى. لتصنيف العينة على أنها ذكر، يُعطى الاحتمال اللاحق بالصيغة التالية: ${\text{posterior (male)}}={\frac {P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})}{\text{evidence}}}$

لتصنيف الإناث، يتم تحديد الاحتمال اللاحق بواسطة ${\text{posterior (female)}}={\frac {P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})}{\text{evidence}}}$

يمكن حساب الدليل (الذي يسمى أيضًا ثابت التطبيع ): ${\begin{aligned}{\text{evidence}}=P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})\\+P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})\end{aligned}}$

مع ذلك، بالنظر إلى العينة، فإن الدليل ثابت، وبالتالي يُقاس كلا الاحتمالين الخلفيين بالتساوي. لذلك، لا يؤثر على التصنيف ويمكن تجاهله. يمكن الآن تحديد التوزيع الاحتمالي لجنس العينة: $P({\text{male}})=0.5$ $p({\text{height}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(6-\mu )^{2}}{2\sigma ^{2}}}\right)\approx 1.5789,$ أين $\mu =5.855$ و $\sigma ^{2}=3.5033\cdot 10^{-2}$ هي معلمات التوزيع الطبيعي التي تم تحديدها مسبقًا من مجموعة التدريب. لاحظ أن القيمة الأكبر من 1 مقبولة هنا - فهي دالة كثافة احتمالية وليست احتمالًا، لأن الطول متغير مستمر.

$p({\text{weight}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(130-\mu )^{2}}{2\sigma ^{2}}}\right)=5.9881\cdot 10^{-6}$ $p({\text{foot size}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(8-\mu )^{2}}{2\sigma ^{2}}}\right)=1.3112\cdot 10^{-3}$ ${\text{posterior numerator (male)}}={\text{their product}}=6.1984\cdot 10^{-9}$

$P({\text{female}})=0.5$ $p({\text{height}}\mid {\text{female}})=2.23\cdot 10^{-1}$ $p({\text{weight}}\mid {\text{female}})=1.6789\cdot 10^{-2}$ $p({\text{foot size}}\mid {\text{female}})=2.8669\cdot 10^{-1}$ ${\text{posterior numerator (female)}}={\text{their product}}=5.3778\cdot 10^{-4}$

بما أن البسط الخلفي أكبر في حالة الإناث، فإن التوقع هو أن العينة من الإناث.

تصنيف الوثائق

فيما يلي مثال عملي لتصنيف بايزي بسيط لمشكلة تصنيف المستندات . لنفترض مشكلة تصنيف المستندات حسب محتواها، على سبيل المثال إلى رسائل بريد إلكتروني غير مرغوب فيها ورسائل بريد إلكتروني غير مرغوب فيها . تخيل أن المستندات مختارة من عدد من فئات المستندات التي يمكن نمذجتها كمجموعات من الكلمات، حيث يمكن كتابة الاحتمال (المستقل) لظهور الكلمة رقم i من مستند معين في مستند من الفئة C على النحو التالي: $p(w_{i}\mid C)\,$

(في هذه المعالجة، يتم تبسيط الأمور بشكل أكبر من خلال افتراض أن الكلمات موزعة عشوائياً في المستند - أي أن الكلمات لا تعتمد على طول المستند، أو موضعها داخل المستند بالنسبة للكلمات الأخرى، أو سياق المستند الآخر.)

ثم احتمال احتواء مستند معين D على جميع الكلمات $w_{i}$ ، بالنظر إلى فئة C ، هو $p(D\mid C)=\prod _{i}p(w_{i}\mid C)\,$

السؤال الذي يجب الإجابة عليه هو: "ما هو احتمال أن تنتمي وثيقة معينة D إلى فئة معينة C ؟" بعبارة أخرى، ما هو $p(C\mid D)\,$ ؟

الآن بحكم التعريف $p(D\mid C)={p(D\cap C) \over p(C)}$ و $p(C\mid D)={p(D\cap C) \over p(D)}$

تقوم نظرية بايز بتحويل هذه إلى بيان احتمالي من حيث الاحتمالية . $p(C\mid D)={\frac {p(C)\,p(D\mid C)}{p(D)}}$

لنفترض في الوقت الحالي أن هناك فئتين حصريتين متبادلتين فقط، S و ¬ S (على سبيل المثال البريد العشوائي وليس البريد العشوائي)، بحيث يكون كل عنصر (البريد الإلكتروني) إما في إحداهما أو الأخرى؛ $p(D\mid S)=\prod _{i}p(w_{i}\mid S)\,$ و $p(D\mid \neg S)=\prod _{i}p(w_{i}\mid \neg S)\,$

باستخدام نتيجة بايز المذكورة أعلاه، يمكن كتابة ما يلي: $p(S\mid D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\mid S)$ $p(\neg S\mid D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\mid \neg S)$

قسمة أحدهما على الآخر تعطي: ${p(S\mid D) \over p(\neg S\mid D)}={p(S)\,\prod _{i}p(w_{i}\mid S) \over p(\neg S)\,\prod _{i}p(w_{i}\mid \neg S)}$

والتي يمكن إعادة صياغتها على النحو التالي: ${p(S\mid D) \over p(\neg S\mid D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}$

وبالتالي، يمكن التعبير عن نسبة الاحتمال p( S | D ) / p( ¬S | D ) بدلالة سلسلة من نسب الاحتمال . ويمكن حساب الاحتمال الفعلي p( S | D ) بسهولة من log(p( S | D ) / p(¬S | D ) ) بناءً على ملاحظة أن p( S | D ) + p( ¬S | D ) = 1.

بأخذ اللوغاريتم لجميع هذه النسب، نحصل على: $\ln {p(S\mid D) \over p(\neg S\mid D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ln {p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}$

(تعتبر تقنية " نسب الاحتمال اللوغاريتمي " تقنية شائعة في الإحصاء. في حالة وجود بديلين متنافيين (مثل هذا المثال)، فإن تحويل نسبة الاحتمال اللوغاريتمي إلى احتمال يأخذ شكل منحنى سيجمويد : انظر إلى اللوجيت لمزيد من التفاصيل.)

وأخيرًا، يمكن تصنيف المستند على النحو التالي: يُعتبر بريدًا عشوائيًا إذا $p(S\mid D)>p(\neg S\mid D)$ (أي، $\ln {p(S\mid D) \over p(\neg S\mid D)}>0$ وإلا فلن يكون بريدًا عشوائيًا.

تصفية البريد العشوائي

تُعدّ مصنفات بايز البسيطة تقنية إحصائية شائعة لفلترة البريد الإلكتروني . وهي تستخدم عادةً خصائص "حقيبة الكلمات" لتحديد البريد الإلكتروني العشوائي ، وهو نهج شائع الاستخدام في تصنيف النصوص . تعمل مصنفات بايز البسيطة من خلال ربط استخدام الرموز (عادةً كلمات، أو أحيانًا عناصر أخرى) برسائل البريد الإلكتروني العشوائية وغير العشوائية، ثم استخدام نظرية بايز لحساب احتمالية كون البريد الإلكتروني عشوائيًا أم لا.

يُعدّ ترشيح البريد العشوائي باستخدام خوارزمية بايز البسيطة تقنية أساسية للتعامل مع البريد العشوائي، حيث يُمكن تكييفها مع احتياجات البريد الإلكتروني لكل مستخدم على حدة، وتتميز بانخفاض معدلات الكشف الخاطئ عن البريد العشوائي، وهو أمر مقبول عمومًا لدى المستخدمين. استُخدمت خوارزميات بايز في ترشيح البريد الإلكتروني منذ عام 1996. ورغم أن مرشحات بايز البسيطة لم تحظَ بشعبية واسعة إلا لاحقًا، فقد صدرت برامج متعددة في عام 1998 لمعالجة مشكلة البريد الإلكتروني غير المرغوب فيه المتنامية. ^{[ 19 ]} وكان أول منشور علمي يستخدم مصنف بايز البسيط لترشيح البريد العشوائي من قِبل ساهامي وآخرون في عام 1998. ^{[ 20 ]}

تم تطبيق أشكال مختلفة من التقنية الأساسية في عدد من الأبحاث والبرامج التجارية . [ ^{21 ] تستخدم} العديد من برامج البريد الإلكتروني الحديثة تقنية تصفية البريد العشوائي البايزية. كما يمكن للمستخدمين تثبيت برامج تصفية بريد إلكتروني منفصلة . تستخدم مرشحات البريد الإلكتروني من جانب الخادم ، مثل DSPAM و Rspamd ^{[ 22 ]} وSpamAssassin ^{[ 23 ]} و SpamBayes ^{[ 24 ]} و Bogofilter و ASSP ، تقنيات تصفية البريد العشوائي البايزية، وتُدمج هذه الوظيفة أحيانًا ضمن برامج خادم البريد نفسها. برنامج CRM114 ، الذي يُشار إليه غالبًا كمرشح بايزي، ليس مصممًا لاستخدام مرشح بايزي في بيئة الإنتاج، ولكنه يتضمن ميزة "الكلمات المفردة" كمرجع. ^{[ 25 ]}

التعامل مع الكلمات النادرة

في حال لم يسبق استخدام كلمة ما خلال مرحلة التعلم، يكون كل من البسط والمقام مساويين للصفر، سواء في الصيغة العامة أو في صيغة التكرار. ويمكن للبرنامج استبعاد الكلمات التي لا تتوفر عنها معلومات.

بشكل عام، تُشكّل الكلمات التي لم تُصادف إلا مرات قليلة خلال مرحلة التعلّم مشكلة، إذ من الخطأ الاعتماد عليها بشكل أعمى. والحل الأمثل هو تجنّب أخذ هذه الكلمات غير الموثوقة في الحسبان.

بتطبيق نظرية بايز مرة أخرى، وبافتراض أن تصنيف رسائل البريد الإلكتروني التي تحتوي على كلمة معينة ("نسخة طبق الأصل") بين البريد العشوائي والبريد العادي هو متغير عشوائي ذو توزيع بيتا ، فإن بعض البرامج تقرر استخدام احتمال مصحح:

\Pr '(S|W)={\frac {s\cdot \Pr(S)+n\cdot \Pr(S|W)}{s+n}}

أين:

$\Pr '(S|W)$ هي الاحتمالية المصححة لكون الرسالة بريدًا عشوائيًا، مع العلم أنها تحتوي على كلمة معينة ؛
$s$ هي القوة التي نوليها للمعلومات الأساسية حول البريد العشوائي الوارد ؛
$\Pr(S)$ ما هو احتمال أن تكون أي رسالة واردة رسالة غير مرغوب فيها ؟
$n$ هو عدد مرات ظهور هذه الكلمة خلال مرحلة التعلم ؛
$\Pr(S|W)$ هذا هو مدى انتشار هذه الكلمة.

(عرض توضيحي: ^{[ 26 ]} )

يتم استخدام هذا الاحتمال المصحح بدلاً من العشوائية في صيغة الدمج.

يمكن تعميم هذه الصيغة لتشمل الحالة التي يكون فيها n مساويًا للصفر (وحيث لا يتم تعريف خاصية التباعد المكاني)، وتُقيّم في هذه الحالة إلى $Pr(S)$ .

أساليب استدلالية أخرى

يمكن تجاهل الكلمات "المحايدة" مثل "the" و"a" و"some" و"is" (في اللغة الإنجليزية)، أو ما يعادلها في اللغات الأخرى. تُعرف هذه الكلمات أيضًا باسم " كلمات التوقف" . وبشكل عام، تتجاهل بعض مرشحات التصفية البايزية جميع الكلمات التي تقل قيمة معامل ارتباطها بالبريد العشوائي عن 0.5، لأنها لا تُسهم كثيرًا في اتخاذ قرار سليم. أما الكلمات التي تُؤخذ في الاعتبار فهي تلك التي تقل قيمة معامل ارتباطها بالبريد العشوائي عن 0.0 (علامات مميزة للرسائل المشروعة)، أو عن 1.0 (علامات مميزة للبريد العشوائي). على سبيل المثال، يمكن الاحتفاظ فقط بالكلمات العشر في الرسالة المُفحوصة التي لها أكبر قيمة مطلقة |0.5 − pI |.

تأخذ بعض منتجات البرامج في الاعتبار حقيقة أن كلمة معينة تظهر عدة مرات في الرسالة التي تم فحصها، ^{[ 27 ]} بينما لا تفعل ذلك منتجات أخرى.

تستخدم بعض البرامج أنماطًا (تسلسلات من الكلمات) بدلًا من الكلمات المنفردة في اللغة الطبيعية. ^{[ 28 ]} على سبيل المثال، باستخدام "نافذة سياقية" من أربع كلمات، تحسب هذه البرامج مدى تكرار عبارة "الفياجرا مفيدة لـ"، بدلًا من حساب تكرار "الفياجرا"، و"هو"، و"جيد"، و"لـ". تمنح هذه الطريقة حساسية أكبر للسياق وتُقلل من التشويش البايزي بشكل أفضل، على حساب قاعدة بيانات أكبر.

العيوب

بحسب طريقة التنفيذ، قد يكون ترشيح البريد العشوائي باستخدام بايز عرضةً لتقنية "التسميم البايزي" ، وهي تقنية يستخدمها مرسلو البريد العشوائي لتقليل فعالية مرشحات البريد العشوائي التي تعتمد على الترشيح البايزي. يقوم مرسل البريد العشوائي الذي يمارس التسميم البايزي بإرسال رسائل بريد إلكتروني تحتوي على كميات كبيرة من النصوص المشروعة (مأخوذة من مصادر إخبارية أو أدبية موثوقة). تشمل أساليب مرسل البريد العشوائي إدخال كلمات عشوائية غير ضارة لا ترتبط عادةً بالبريد العشوائي، مما يقلل من درجة تصنيف البريد الإلكتروني كبريد عشوائي، وبالتالي يزيد من احتمالية تجاوزه لمرشح البريد العشوائي البايزي. مع ذلك، في نظام (على سبيل المثال) بول غراهام ، تُستخدم فقط الاحتمالات الأكثر أهمية، بحيث لا يؤثر حشو النص بكلمات غير مرتبطة بالبريد العشوائي بشكل كبير على احتمالية الكشف.

قد يقوم مرسلو الرسائل المزعجة بتحويل الكلمات التي تظهر عادةً بكثرة في هذه الرسائل. على سبيل المثال، قد تُستبدل كلمة «Viagra» بـ «Viaagra» أو «V!agra» في الرسالة المزعجة. يستطيع متلقي الرسالة قراءة الكلمات المُعدّلة، ولكن كل كلمة من هذه الكلمات تُصادف بشكل أقل تكرارًا من قِبل مُرشِّح بايز، مما يُعيق عملية تعلّمه. وكقاعدة عامة، لا تُجدي هذه التقنية نفعًا كبيرًا، لأن الكلمات المُشتقة تُعرَف بواسطة المُرشِّح تمامًا مثل الكلمات الأصلية. ^{[ 29 ]}

تتمثل إحدى التقنيات الأخرى المستخدمة لمحاولة التغلب على مرشحات البريد العشوائي البايزية في استبدال النص بالصور، سواءً كانت مضمنة مباشرةً أو مرتبطةً برابط. يُستبدل النص الكامل للرسالة، أو جزء منه، بصورةٍ يُرسم عليها النص نفسه. عادةً ما يعجز مرشح البريد العشوائي عن تحليل هذه الصورة، لاحتوائها على كلمات حساسة مثل «فياجرا». مع ذلك، ولأن العديد من برامج البريد الإلكتروني تُعطّل عرض الصور المرتبطة لأسباب أمنية، فقد يصل مرسل البريد العشوائي الذي يرسل روابط لصور بعيدة إلى عدد أقل من المستلمين. كما أن حجم الصورة بالبايت أكبر من حجم النص المكافئ لها، لذا يحتاج مرسل البريد العشوائي إلى نطاق ترددي أكبر لإرسال رسائل تتضمن صورًا مباشرةً. تميل بعض المرشحات إلى اعتبار الرسالة بريدًا عشوائيًا إذا كانت تحتوي في معظمها على محتوى رسومي. يتمثل أحد الحلول التي تستخدمها جوجل في نظام بريدها الإلكتروني جيميل في إجراء عملية التعرف الضوئي على الأحرف (OCR) على كل صورة متوسطة إلى كبيرة الحجم، لتحليل النص الموجود بداخلها. ^{[ 30 ]}^{[ 31 ]}

انظر أيضاً

مراجع

1 2 3 هاند، دي جيه؛ يو، ك. (2001). "بايز الأحمق - ليس غبيًا كما يبدو؟". المجلة الإحصائية الدولية . 69 (3): 385-399 . doi : 10.2307/1403452 . ISSN 0306-7734 . JSTOR 1403452 .
↑ ماكالوم، أندرو. "النماذج البيانية، المحاضرة 2: تمثيل الشبكة البايزية" (ملف PDF) . مؤرشف (PDF) من الأصل بتاريخ 9 أكتوبر 2022. تم الاطلاع عليه بتاريخ 22 أكتوبر 2019 .
1 2 راسل، ستيوارت ؛ نورفيج، بيتر (2003) [1995]. الذكاء الاصطناعي: منهج حديث ( الطبعة الثانية). برنتيس هول. ISBN 978-0137903955.
↑ تشانغ، هاري. أمثلية بايز الساذج (ملف PDF) . مؤتمر FLAIRS2004.
↑ كاروانا، ر.؛ نيكوليسكو-ميزيل، أ. (2006). مقارنة تجريبية لخوارزميات التعلم الخاضع للإشراف . وقائع المؤتمر الدولي الثالث والعشرين للتعلم الآلي. CiteSeerX 10.1.1.122.5901 .
↑ "لماذا يعمل نموذج بايز الساذج بشكل أفضل عندما يكون عدد الميزات أكبر بكثير من حجم العينة مقارنةً بخوارزميات التعلم الآلي الأكثر تطوراً؟" . موقع ستاك إكستشينج (مُدقَّق عبر التحقق المتبادل ). تم الاطلاع عليه بتاريخ 24 يناير 2023 .
↑ ناراسيمها مورتي، م.؛ سوشيلا ديفي، ف. (2011). التعرف على الأنماط: منهج خوارزمي . سبرينغر. ISBN 978-0857294944.
1 2 جون، جورج هـ.؛ لانغلي، بات (1995). تقدير التوزيعات المستمرة في المصنفات البايزية . وقائع المؤتمر الحادي عشر حول عدم اليقين في الذكاء الاصطناعي. مورغان كوفمان. ص 338-345 . arXiv : 1302.4964 .
1 2 3 ماكالوم، أندرو؛ نيغام، كمال (1998). مقارنة نماذج الأحداث لتصنيف النصوص باستخدام خوارزمية بايز البسيطة (ملف PDF) . ورشة عمل AAAI-98 حول التعلم لتصنيف النصوص. المجلد 752. مؤرشف (ملف PDF) من الأصل بتاريخ 9 أكتوبر 2022.
↑ ميتسيس، فانجيليس؛ أندروتسوبولوس، أيون؛ باليوراس، جورجيوس (2006). تصفية البريد العشوائي باستخدام خوارزمية بايز البسيطة - أي خوارزمية بايز بسيطة؟ المؤتمر الثالث حول البريد الإلكتروني ومكافحة البريد العشوائي (CEAS). المجلد 17.
↑ بيريونيسي، إس. ماده؛ الدرابي، تامر إي. (2020-06-01). "دور تحليلات البيانات في إدارة أصول البنية التحتية: التغلب على مشكلات حجم البيانات وجودتها". مجلة هندسة النقل، الجزء ب: الأرصفة . 146 (2): 04020022. doi : 10.1061/JPEODX.0000175 . S2CID 216485629 .
↑ هاستي، تريفور. (2001). عناصر التعلم الإحصائي : التنقيب في البيانات، والاستدلال، والتنبؤ : مع 200 رسم توضيحي ملون . تيبشيراني، روبرت، فريدمان، جيه إتش (جيروم إتش). نيويورك: سبرينغر. ISBN 0-387-95284-5. OCLC 46809224 .
↑ جيمس، غاريث؛ ويتن، دانييلا؛ هاستي، تريفور؛ تيبشيراني، روبرت (2021). مقدمة في التعلم الإحصائي: مع تطبيقات في لغة البرمجة R ( الطبعة الثانية). نيويورك، نيويورك: سبرينغر. ص 157. doi : 10.1007/978-1-0716-1418-1 . ISBN 978-1-0716-1418-1تم الاطلاع عليه بتاريخ 10 نوفمبر 2024 .
1 2 ريني، ج.؛ شيه، ل.؛ تيفان، ج.؛ كارغر، د. (2003). معالجة الافتراضات الخاطئة لمصنفات بايز الساذجة (ملف PDF) . المؤتمر الدولي للتعلم الآلي. مؤرشف (ملف PDF) من الأصل بتاريخ 2022-10-09.
1 2 نيغام، كمال؛ ماكالوم، أندرو؛ ثرون، سيباستيان؛ ميتشل، توم (2000). "تعلم تصنيف النصوص من المستندات المصنفة وغير المصنفة باستخدام خوارزمية EM" ( ملف PDF) . تعلم الآلة . 39 (2/3): 103-134 . doi : 10.1023/A:1007692713085 . S2CID 686980. مؤرشف (ملف PDF) من الأصل بتاريخ 2022-10-09.
↑ نيكوليسكو-ميزيل، ألكساندرو؛ كاروانا، ريتش (2005). التنبؤ باحتمالات جيدة باستخدام التعلم الخاضع للإشراف (ملف PDF) . المؤتمر الدولي للتعلم الآلي. doi : 10.1145/1102351.1102430 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 11 مارس 2014. تم الاطلاع عليه بتاريخ 24 أبريل 2016 .
↑ ريش، إيرينا (2001). دراسة تجريبية لمصنف بايز الساذج (ملف PDF) . ورشة عمل IJCAI حول الأساليب التجريبية في الذكاء الاصطناعي. مؤرشف (ملف PDF) من الأصل بتاريخ 2022-10-09.
1 2 نغ، أندرو واي .؛ جوردان، مايكل آي. (2002). حول المصنفات التمييزية مقابل المصنفات التوليدية: مقارنة بين الانحدار اللوجستي وخوارزمية بايز البسيطة . NIPS . المجلد 14.
↑ برونتون، فين (2013). البريد العشوائي: تاريخ خفي للإنترنت . مطبعة معهد ماساتشوستس للتكنولوجيا . ص 136. ISBN 9780262018876أُرشف من المصدر الأصلي بتاريخ 23 مارس 2019. تم الاطلاع عليه بتاريخ 13 سبتمبر 2017 .
↑ م. سهامي؛ س. دومايس؛ د. هيكرمان؛ إ. هورفيتز (1998). "نهج بايزي لتصفية البريد الإلكتروني غير المرغوب فيه" (ملف PDF) . ورشة عمل AAAI'98 حول التعلم لتصنيف النصوص. مؤرشف (ملف PDF) من الأصل بتاريخ 27-09-2007 . تم الاطلاع عليه بتاريخ 15-08-2007 .
↑ "ضوابط البريد العشوائي" . موزيلا زين. نوفمبر 2009. مؤرشف من الأصل في 23 أكتوبر 2012. تم الاطلاع عليه في 16 يناير 2010 .
↑ "إعدادات إحصائيات Rspamd" . docs.rspamd.com . تم الاطلاع عليه بتاريخ 25-09-2025 .
↑ "التثبيت" . أدلة أوبونتو. 18-09-2010. مؤرشف من الأصل في 29 سبتمبر 2010. تم الاسترجاع في 18-09-2010 . دالة غاري روبنسون f(x) وخوارزميات الدمج، كما هي مستخدمة في SpamAssassin
↑ "قراءة أساسية" . مشروع SpamBayes. ١٨ سبتمبر ٢٠١٠. مؤرشف من الأصل في ٦ سبتمبر ٢٠١٠. تم الاطلاع عليه في ١٨ سبتمبر ٢٠١٠. جهّزوا أقلامكم، فهذه هي الخلفية الرياضية (على ما هي عليه).* الورقة البحثية التي بدأت كل شيء: خطة بول غراهام لمكافحة البريد العشوائي.* لدى غاري روبنسون مقال شيق يقترح بعض التحسينات على منهج غراهام الأصلي.* ناقش غاري روبنسون في مقاله المنشور في مجلة لينكس استخدام توزيع كاي تربيع.
↑ "نسخة مؤرشفة" . مؤرشفة من الأصل بتاريخ 2016-10-07 . تم الاطلاع عليها بتاريخ 2016-07-09 .{{cite web}}: CS1 maint: archived copy as title ( link )
↑ غاري روبنسون (2003). "مقاربة إحصائية لمشكلة البريد العشوائي" . مجلة لينكس . مؤرشف من الأصل بتاريخ 22-10-2010 . تم الاطلاع عليه بتاريخ 19-07-2007 .
↑ برايان بيرتون (2003). "SpamProbe - تعديلات تصفية البريد العشوائي باستخدام بايز" . مؤرشف من الأصل بتاريخ 1 مارس 2012. تم الاطلاع عليه بتاريخ 19 يناير 2009 .
↑ جوناثان أ. زدزيارسكي (2004). "الحد من الضوضاء البايزية: منطق التناظر السياقي باستخدام تحليل اتساق النمط" .
↑ بول غراهام (2002)، خطة لمكافحة البريد العشوائي ، مؤرشفة بتاريخ 4 أبريل 2004 في أرشيف الإنترنت (Wayback Machine).
↑ "يستخدم Gmail تقنية جوجل المبتكرة لمنع وصول الرسائل المزعجة إلى صندوق بريدك الوارد" . مؤرشف من الأصل بتاريخ 13 سبتمبر 2015. تم الاطلاع عليه بتاريخ 5 سبتمبر 2015 .
↑ تشو، ز.؛ جيا، ز.؛ شياو، هـ.؛ تشانغ، ج.؛ ليانغ، هـ.؛ وانغ، ب. (2014). "نموذج بايز المعدل للحد الأدنى من المخاطر وتطبيقه في تصفية البريد العشوائي". في: لي، س.؛ جين، ك.؛ جيانغ، ش.؛ بارك، ج. (محررون). آفاق وتطورات تكنولوجيا المعلومات في الطب والتعليم . سلسلة محاضرات في الهندسة الكهربائية. المجلد 269. دوردريخت: سبرينغر. الصفحات 2155-2159 . doi : 10.1007/978-94-007-7618-0_261 . ISBN 978-94-007-7617-3.
↑ هريستيا، فلورنتينا ت. (2013). نموذج بايز الساذج لإزالة الغموض عن معاني الكلمات غير الخاضعة للإشراف . لندن؛ برلين: سبرينغر-فيرلاغ هايدلبرغ برلين. ص 70. ISBN 978-3-642-33692-8.
↑ Zheng, J.; Tang, Yongchuan (2005). "تعميم واحد لخوارزمية بايز البسيطة للمجموعات الضبابية وتصميم مصنف بايز البسيط الضبابي". في: Mira, Jose; Álvarez, Jose R (محرران). تطبيقات الذكاء الاصطناعي وهندسة المعرفة: منهج مستوحى من علم الأحياء . سلسلة محاضرات في علوم الحاسوب. المجلد 3562. برلين: سبرينغر، برلين، هايدلبرغ. ص 281. doi : 10.1007/11499305_29 . ISBN 978-3-540-26319-7ISSN 0302-9743

للمزيد من القراءة

دومينغوس، بيدرو؛ بازاني، مايكل (1997). "حول أمثلية المصنف البايزي البسيط في ظل خسارة الصفر والواحد" . تعلم الآلة . 29 (2/3): 103-137 . doi : 10.1023/A:1007413511361 .
ويب، جي آي؛ بوتون، جيه؛ وانغ، زد. (2005). "بايز غير الساذج: تجميع مقدرات الاعتماد الأحادي" . تعلم الآلة . 58 (1): 5-24 . doi : 10.1007/s10994-005-4258-6 .
موزينا، م.؛ ديمسار، ج.؛ كاتان، م.؛ زوبان، ب. (2004). مخططات بيانية لتصور مصنف بايز الساذج (ملف PDF) . وقائع مؤتمر PKDD-2004، الصفحات 337-348 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 29 نوفمبر 2023. تاريخ الاسترجاع: 1 أبريل 2014 .
مارون، م. إ. (1961). "الفهرسة الآلية: دراسة تجريبية". مجلة ACM . 8 (3): 404-417 . doi : 10.1145/321075.321084 . hdl : 2027/uva.x030748531 . S2CID 6692916 .
مينسكي، م. (1961). خطوات نحو الذكاء الاصطناعي . وقائع معهد مهندسي الراديو. المجلد 49. الصفحات 8-30 .

روابط خارجية

[idiots-1] 1 2 3 هاند، دي جيه؛ يو، ك. (2001). "بايز الأحمق - ليس غبيًا كما يبدو؟". المجلة الإحصائية الدولية . 69 (3): 385-399 . doi : 10.2307/1403452 . ISSN 0306-7734 . JSTOR 1403452 .

[2] ماكالوم، أندرو. "النماذج البيانية، المحاضرة 2: تمثيل الشبكة البايزية" (ملف PDF) . مؤرشف (PDF) من الأصل بتاريخ 9 أكتوبر 2022. تم الاطلاع عليه بتاريخ 22 أكتوبر 2019 .

[aima-3] 1 2 راسل، ستيوارت ؛ نورفيج، بيتر (2003) [1995]. الذكاء الاصطناعي: منهج حديث ( الطبعة الثانية). برنتيس هول. ISBN 978-0137903955.

[4] تشانغ، هاري. أمثلية بايز الساذج (ملف PDF) . مؤتمر FLAIRS2004.

[5] كاروانا، ر.؛ نيكوليسكو-ميزيل، أ. (2006). مقارنة تجريبية لخوارزميات التعلم الخاضع للإشراف . وقائع المؤتمر الدولي الثالث والعشرين للتعلم الآلي. CiteSeerX 10.1.1.122.5901 .

[6] "لماذا يعمل نموذج بايز الساذج بشكل أفضل عندما يكون عدد الميزات أكبر بكثير من حجم العينة مقارنةً بخوارزميات التعلم الآلي الأكثر تطوراً؟" . موقع ستاك إكستشينج (مُدقَّق عبر التحقق المتبادل ). تم الاطلاع عليه بتاريخ 24 يناير 2023 .

[7] ناراسيمها مورتي، م.؛ سوشيلا ديفي، ف. (2011). التعرف على الأنماط: منهج خوارزمي . سبرينغر. ISBN 978-0857294944.

[john95-8] 1 2 جون، جورج هـ.؛ لانغلي، بات (1995). تقدير التوزيعات المستمرة في المصنفات البايزية . وقائع المؤتمر الحادي عشر حول عدم اليقين في الذكاء الاصطناعي. مورغان كوفمان. ص 338-345 . arXiv : 1302.4964 .

[mccallum-9] 1 2 3 ماكالوم، أندرو؛ نيغام، كمال (1998). مقارنة نماذج الأحداث لتصنيف النصوص باستخدام خوارزمية بايز البسيطة (ملف PDF) . ورشة عمل AAAI-98 حول التعلم لتصنيف النصوص. المجلد 752. مؤرشف (ملف PDF) من الأصل بتاريخ 9 أكتوبر 2022.

[10] ميتسيس، فانجيليس؛ أندروتسوبولوس، أيون؛ باليوراس، جورجيوس (2006). تصفية البريد العشوائي باستخدام خوارزمية بايز البسيطة - أي خوارزمية بايز بسيطة؟ المؤتمر الثالث حول البريد الإلكتروني ومكافحة البريد العشوائي (CEAS). المجلد 17.

[piryonesi2020-11] بيريونيسي، إس. ماده؛ الدرابي، تامر إي. (2020-06-01). "دور تحليلات البيانات في إدارة أصول البنية التحتية: التغلب على مشكلات حجم البيانات وجودتها". مجلة هندسة النقل، الجزء ب: الأرصفة . 146 (2): 04020022. doi : 10.1061/JPEODX.0000175 . S2CID 216485629 .

[hastie01-12] هاستي، تريفور. (2001). عناصر التعلم الإحصائي : التنقيب في البيانات، والاستدلال، والتنبؤ : مع 200 رسم توضيحي ملون . تيبشيراني، روبرت، فريدمان، جيه إتش (جيروم إتش). نيويورك: سبرينغر. ISBN 0-387-95284-5. OCLC 46809224 .

[13] جيمس، غاريث؛ ويتن، دانييلا؛ هاستي، تريفور؛ تيبشيراني، روبرت (2021). مقدمة في التعلم الإحصائي: مع تطبيقات في لغة البرمجة R ( الطبعة الثانية). نيويورك، نيويورك: سبرينغر. ص 157. doi : 10.1007/978-1-0716-1418-1 . ISBN 978-1-0716-1418-1تم الاطلاع عليه بتاريخ 10 نوفمبر 2024 .

[rennie-14] 1 2 ريني، ج.؛ شيه، ل.؛ تيفان، ج.؛ كارغر، د. (2003). معالجة الافتراضات الخاطئة لمصنفات بايز الساذجة (ملف PDF) . المؤتمر الدولي للتعلم الآلي. مؤرشف (ملف PDF) من الأصل بتاريخ 2022-10-09.

[em-15] 1 2 نيغام، كمال؛ ماكالوم، أندرو؛ ثرون، سيباستيان؛ ميتشل، توم (2000). "تعلم تصنيف النصوص من المستندات المصنفة وغير المصنفة باستخدام خوارزمية EM" ( ملف PDF) . تعلم الآلة . 39 (2/3): 103-134 . doi : 10.1023/A:1007692713085 . S2CID 686980. مؤرشف (ملف PDF) من الأصل بتاريخ 2022-10-09.

[16] نيكوليسكو-ميزيل، ألكساندرو؛ كاروانا، ريتش (2005). التنبؤ باحتمالات جيدة باستخدام التعلم الخاضع للإشراف (ملف PDF) . المؤتمر الدولي للتعلم الآلي. doi : 10.1145/1102351.1102430 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 11 مارس 2014. تم الاطلاع عليه بتاريخ 24 أبريل 2016 .

[rish-17] ريش، إيرينا (2001). دراسة تجريبية لمصنف بايز الساذج (ملف PDF) . ورشة عمل IJCAI حول الأساليب التجريبية في الذكاء الاصطناعي. مؤرشف (ملف PDF) من الأصل بتاريخ 2022-10-09.

[pair-18] 1 2 نغ، أندرو واي .؛ جوردان، مايكل آي. (2002). حول المصنفات التمييزية مقابل المصنفات التوليدية: مقارنة بين الانحدار اللوجستي وخوارزمية بايز البسيطة . NIPS . المجلد 14.

[19] برونتون، فين (2013). البريد العشوائي: تاريخ خفي للإنترنت . مطبعة معهد ماساتشوستس للتكنولوجيا . ص 136. ISBN 9780262018876أُرشف من المصدر الأصلي بتاريخ 23 مارس 2019. تم الاطلاع عليه بتاريخ 13 سبتمبر 2017 .

[20] م. سهامي؛ س. دومايس؛ د. هيكرمان؛ إ. هورفيتز (1998). "نهج بايزي لتصفية البريد الإلكتروني غير المرغوب فيه" (ملف PDF) . ورشة عمل AAAI'98 حول التعلم لتصنيف النصوص. مؤرشف (ملف PDF) من الأصل بتاريخ 27-09-2007 . تم الاطلاع عليه بتاريخ 15-08-2007 .

[21] "ضوابط البريد العشوائي" . موزيلا زين. نوفمبر 2009. مؤرشف من الأصل في 23 أكتوبر 2012. تم الاطلاع عليه في 16 يناير 2010 .

[22] "إعدادات إحصائيات Rspamd" . docs.rspamd.com . تم الاطلاع عليه بتاريخ 25-09-2025 .

[twsSep14yy-23] "التثبيت" . أدلة أوبونتو. 18-09-2010. مؤرشف من الأصل في 29 سبتمبر 2010. تم الاسترجاع في 18-09-2010 . دالة غاري روبنسون f(x) وخوارزميات الدمج، كما هي مستخدمة في SpamAssassin

[twsSep2-24] "قراءة أساسية" . مشروع SpamBayes. ١٨ سبتمبر ٢٠١٠. مؤرشف من الأصل في ٦ سبتمبر ٢٠١٠. تم الاطلاع عليه في ١٨ سبتمبر ٢٠١٠. جهّزوا أقلامكم، فهذه هي الخلفية الرياضية (على ما هي عليه).* الورقة البحثية التي بدأت كل شيء: خطة بول غراهام لمكافحة البريد العشوائي.* لدى غاري روبنسون مقال شيق يقترح بعض التحسينات على منهج غراهام الأصلي.* ناقش غاري روبنسون في مقاله المنشور في مجلة لينكس استخدام توزيع كاي تربيع.

[25] "نسخة مؤرشفة" . مؤرشفة من الأصل بتاريخ 2016-10-07 . تم الاطلاع عليها بتاريخ 2016-07-09 .{{cite web}}: CS1 maint: archived copy as title ( link )

[26] غاري روبنسون (2003). "مقاربة إحصائية لمشكلة البريد العشوائي" . مجلة لينكس . مؤرشف من الأصل بتاريخ 22-10-2010 . تم الاطلاع عليه بتاريخ 19-07-2007 .

[27] برايان بيرتون (2003). "SpamProbe - تعديلات تصفية البريد العشوائي باستخدام بايز" . مؤرشف من الأصل بتاريخ 1 مارس 2012. تم الاطلاع عليه بتاريخ 19 يناير 2009 .

[28] جوناثان أ. زدزيارسكي (2004). "الحد من الضوضاء البايزية: منطق التناظر السياقي باستخدام تحليل اتساق النمط" .

[29] بول غراهام (2002)، خطة لمكافحة البريد العشوائي ، مؤرشفة بتاريخ 4 أبريل 2004 في أرشيف الإنترنت (Wayback Machine).

[30] "يستخدم Gmail تقنية جوجل المبتكرة لمنع وصول الرسائل المزعجة إلى صندوق بريدك الوارد" . مؤرشف من الأصل بتاريخ 13 سبتمبر 2015. تم الاطلاع عليه بتاريخ 5 سبتمبر 2015 .

[31] تشو، ز.؛ جيا، ز.؛ شياو، هـ.؛ تشانغ، ج.؛ ليانغ، هـ.؛ وانغ، ب. (2014). "نموذج بايز المعدل للحد الأدنى من المخاطر وتطبيقه في تصفية البريد العشوائي". في: لي، س.؛ جين، ك.؛ جيانغ، ش.؛ بارك، ج. (محررون). آفاق وتطورات تكنولوجيا المعلومات في الطب والتعليم . سلسلة محاضرات في الهندسة الكهربائية. المجلد 269. دوردريخت: سبرينغر. الصفحات 2155-2159 . doi : 10.1007/978-94-007-7618-0_261 . ISBN 978-94-007-7617-3.

[General_Reference-32] هريستيا، فلورنتينا ت. (2013). نموذج بايز الساذج لإزالة الغموض عن معاني الكلمات غير الخاضعة للإشراف . لندن؛ برلين: سبرينغر-فيرلاغ هايدلبرغ برلين. ص 70. ISBN 978-3-642-33692-8.

[Conference_paper-33] Zheng, J.; Tang, Yongchuan (2005). "تعميم واحد لخوارزمية بايز البسيطة للمجموعات الضبابية وتصميم مصنف بايز البسيط الضبابي". في: Mira, Jose; Álvarez, Jose R (محرران). تطبيقات الذكاء الاصطناعي وهندسة المعرفة: منهج مستوحى من علم الأحياء . سلسلة محاضرات في علوم الحاسوب. المجلد 3562. برلين: سبرينغر، برلين، هايدلبرغ. ص 281. doi : 10.1007/11499305_29 . ISBN 978-3-540-26319-7ISSN 0302-9743

[

[

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

18

[ 19 ]

[ 20 ]

21 ] تستخدم

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

اللغة	العربية (RTL)
روابط موسوعية	30 رابطاً
المصدر الأصلي	ويكيبيديا ↗