التنعيم الإضافي

📅 آخر تحديث: ٣ أغسطس ٢٠٢٦
✍️ نُشر في: ٣ أغسطس ٢٠٢٦
📷 يحتوي على 22 صور
الموسوعة الحرة

في الإحصاء ، يُعدّ التنعيم الجمعي ، والذي يُسمى أيضًا تنعيم لابلاس [ 1 ] أو تنعيم ليدستون ، أسلوبًا يُستخدم لتنعيم بيانات العد، مما يُزيل المشكلات الناجمة عن وجود قيم معينة بدون تكرار. بالنظر إلى مجموعة من إحصاءات المشاهداتx=⟨x1،x2،...،xد⟩{\displaystyle \mathbf {x} =\langle x_{1},x_{2},\ldots ,x_{d}\rangle }مند{\displaystyle d}توزيع متعدد الحدود ذو أبعاد n معشمال{\displaystyle N}التجارب، نسخة "مُنعّمة" من الإحصاءات تُعطي المُقدِّر

θ^أنا=xأنا+αشمال+αد(أنا=1،...،د)،{\displaystyle {\hat {\theta }}_{i}={\frac {x_{i}+\alpha }{N+\alpha d}}\qquad (i=1,\ldots ,d),}

حيث العدد المُعدَّلx^أنا=شمالθ^أنا{\displaystyle {\hat {x}}_{i}=N{\hat {\theta }}_{i}}و"العدد الزائف" α  > 0 هو معامل  تنعيم ، حيث α = 0 يعني عدم وجود تنعيم (يُشرح هذا المعامل في قسم "العدد الزائف" أدناه). يُعد التنعيم الجمعي نوعًا من مُقدِّرات الانكماش ، حيث سيكون التقدير الناتج بين الاحتمال التجريبي ( التكرار النسبي ).   xأنا/شمال{\displaystyle x_{i}/N}والاحتمالية المنتظمة1/د.{\displaystyle 1/d.}الخيارات الشائعة لـ α هي 0 (بدون تنعيم)، + 1 ⁄ 2 ( التوزيع المسبق لجيفريز )، أو 1 ( قاعدة لابلاس للتتابع )، [ 2 ] [ 3 ] ولكن يمكن أيضًا تحديد المعلمة تجريبيًا بناءً على البيانات المرصودة.

من وجهة نظر بايزية ، يتوافق هذا مع القيمة المتوقعة للتوزيع الاحتمالي اللاحق ، باستخدام توزيع ديريشليه المتناظر ذي المعامل α كتوزيع احتمالي مسبق . في الحالة الخاصة التي يكون فيها عدد الفئات 2، يكون هذا مكافئًا لاستخدام توزيع بيتا كتوزيع احتمالي مسبق مترافق لمعاملات التوزيع ذي الحدين .

تاريخ

ابتكر لابلاس هذه التقنية التنعيمية عندما حاول تقدير احتمالية شروق الشمس غدًا. وكان منطقه أنه حتى مع وجود عينة كبيرة من الأيام التي تشرق فيها الشمس، لا يمكننا التأكد تمامًا من شروقها غدًا (وهي ما تُعرف بمشكلة شروق الشمس ). [ 4 ]

عدد زائف

العدد الزائف هو قيمة (ليست عددًا صحيحًا عادةً، على الرغم من اسمها) تُضاف إلى عدد الحالات المرصودة لتغيير الاحتمالية المتوقعة في نموذج لتلك البيانات، عندما لا تكون معروفة بأنها صفر. وقد سُمّي بهذا الاسم لأنه، باختصار، عدد زائف ذو قيمةα{\displaystyle \alpha }يؤثر ذلك على التوزيع الاحتمالي اللاحق بشكل مشابه لوجود عدد إضافي لكل فئة.α{\displaystyle \alpha }إذا كان عدد مرات ظهور كل عنصرأنا{\displaystyle i}يكونxأنا{\displaystyle x_{i}}من خارجشمال{\displaystyle N}العينات، الاحتمال التجريبي للحدثأنا{\displaystyle i}يكون

صأنا،تجريبي=xأناشمال،{\displaystyle p_{i,{\text{empirical}}}={\frac {x_{i}}{N}},}

لكن الاحتمال اللاحق عند التنعيم الجمعي هو

صأنا،α-مُنعّم=xأنا+αشمال+αد،{\displaystyle p_{i,\alpha {\text{-smoothed}}}={\frac {x_{i}+\alpha }{N+\alpha d}},}

كما لو كان الهدف هو زيادة كل عددxأنا{\displaystyle x_{i}}بواسطةα{\displaystyle \alpha }مبدئياً.

اعتمادًا على المعرفة المسبقة، والتي قد تكون أحيانًا قيمةً ذاتية، قد يأخذ العدد الزائف أي قيمة نهائية غير سالبة. وقد يكون صفرًا (أو يُتجاهل الاحتمال) فقط إذا كان مستحيلاً بحكم التعريف، مثل احتمال أن يكون الرقم العشري لـ π حرفًا، أو احتمالًا فيزيائيًا يُرفض وبالتالي لا يُحتسب، مثل طباعة الحاسوب حرفًا عند تشغيل برنامج صالح لـ π ، أو يُستبعد ولا يُحتسب لعدم الاهتمام به، كما لو كان الاهتمام مُنصبًا فقط على الأصفار والآحاد. عمومًا، هناك أيضًا احتمال ألا تكون أي قيمة قابلة للحساب أو الملاحظة في وقت محدود (انظر مشكلة التوقف ). ولكن يجب أن يكون لاحتمال واحد على الأقل عدد زائف غير صفري، وإلا فلن يُمكن حساب أي تنبؤ قبل الملاحظة الأولى. تمثل القيم النسبية للأعداد الزائفة الاحتمالات المتوقعة المسبقة النسبية لاحتمالاتها. يمثل مجموع العدّات الزائفة، والذي قد يكون كبيرًا جدًا، الوزن المقدر للمعرفة المسبقة مقارنة بجميع الملاحظات الفعلية (واحدة لكل منها) عند تحديد الاحتمال المتوقع.

في أي مجموعة بيانات أو عينة مُرصَدة ، توجد إمكانية، خاصةً مع الأحداث ذات الاحتمالية المنخفضة ومجموعات البيانات الصغيرة، لعدم وقوع حدث مُحتمل. وبالتالي، يكون تكراره المُرصَد صفرًا، مما يُوحي ظاهريًا باحتمالية صفرية. هذا التبسيط المُفرط غير دقيق وغير مُفيد في كثير من الأحيان، لا سيما في تقنيات التعلّم الآلي القائمة على الاحتمالات ، مثل الشبكات العصبية الاصطناعية ونماذج ماركوف المخفية . من خلال تعديل احتمالية الأحداث النادرة (ولكن غير المُستحيلة) بشكل اصطناعي بحيث لا تكون هذه الاحتمالات صفرًا تمامًا، يتم تجنب مشاكل التكرار الصفري . انظر أيضًا قاعدة كرومويل .

اختيار العد الزائف

معلومات سابقة ضعيفة

إحدى الطرق الشائعة هي إضافة 1 إلى كل عدد مُلاحَظ من الأحداث، بما في ذلك الاحتمالات التي لا تُسجَّل. يُطلق على هذه الطريقة أحيانًا اسم قاعدة لابلاس للتتابع . تُكافئ هذه الطريقة افتراض توزيع احتمالي مُنتظم مُسبقًا على احتمالات كل حدث مُمكن (يشمل المُجسم البسيط حيث يكون كل احتمال بين 0 و1، ومجموعها جميعًا يساوي 1).

باستخدام نهج جيفريز المسبق ، يجب إضافة عدد زائف مقداره النصف إلى كل نتيجة محتملة.

يُفضّل ضبط القيم الوهمية على واحد أو نصف فقط في حال انعدام المعرفة المسبقة تمامًا - انظر مبدأ الحياد . مع ذلك، في حال توفر معرفة مسبقة مناسبة، يجب تعديل المجموع بما يتناسب مع توقع صحة الاحتمالات المسبقة، على الرغم من وجود أدلة تُخالف ذلك - انظر التحليل الإضافي . تُعدّ القيم الأعلى مناسبة في حال وجود معرفة مسبقة بالقيم الحقيقية (مثلاً، لعملة معدنية بحالة سكّ ممتازة)؛ بينما تُعدّ القيم الأقل مناسبة في حال وجود معرفة مسبقة باحتمالية وجود تحيّز، ولكن بدرجة غير معروفة (مثلاً، لعملة معدنية مثنية).  

الفاصل الزمني للترددات

إحدى طرق تحفيز استخدام العدّ الزائف، خاصةً للبيانات ذات التوزيع الثنائي، هي عبر صيغة لحساب نقطة المنتصف لتقدير الفترة ، وتحديدًا فترة الثقة لنسبة التوزيع الثنائي . وأشهر هذه الصيغ تعود إلى إدوين بيدويل ويلسون ، في كتابه ويلسون (1927) : نقطة المنتصف لفترة نقاط ويلسون المقابلة لـz{\displaystyle z}الانحرافات المعيارية على كلا الجانبين هي

نS+zن+2z{\displaystyle {\frac {n_{S}+z}{n+2z}}}

أخذz=2{\displaystyle z=2}الانحرافات المعيارية لتقريب فاصل الثقة بنسبة 95% ( ⁠z≈1.96{\displaystyle z\approx 1.96}ينتج عن ذلك عدد زائف قدره 2 لكل نتيجة، أي 4 في المجموع، وهو ما يُعرف بالعامية باسم "قاعدة الأربعة الزائدة":

نS+2ن+4{\displaystyle {\frac {n_{S}+2}{n+4}}}

وهذه أيضًا هي نقطة المنتصف للفاصل الزمني بين أجرستي وكول ( Agresti & Coull 1998 ) .

معدلات الإصابة المعروفة

غالباً ما يتم اختبار تحيز مجموعة تجريبية غير معروفة مقابل مجموعة ضابطة ذات معايير معروفة (معدلات الإصابة).μ=⟨μ1،μ2،...،μد⟩.{\displaystyle {\boldsymbol {\mu }}=\langle \mu _{1},\mu _{2},\ldots ,\mu _{d}\rangle .}في هذه الحالة الاحتمالية الموحدة1/د{\displaystyle 1/d}ينبغي استبدالها بمعدل الإصابة المعروف لدى مجموعة المقارنةμأنا{\displaystyle \mu _{i}}لحساب المُقدِّر المُعدَّل:

θ^أنا=xأنا+μأناαدشمال+αد(أنا=1،...،د).{\displaystyle {\hat {\theta }}_{i}={\frac {x_{i}+\mu _{i}\alpha d}{N+\alpha d}}\qquad (i=1,\ldots ,d).}

كتحقق من الاتساق، إذا صادف أن يساوي المُقدِّر التجريبي معدل الحدوث، أيμأنا=xأنا/شمال،{\displaystyle \mu _{i}=x_{i}/N,}المقدر المُعدَّل مستقل عنα{\displaystyle \alpha }ويساوي أيضاً معدل الإصابة.

التطبيقات

تصنيف

يُعد التنعيم الإضافي عادةً أحد مكونات مصنفات بايز الساذجة .

نمذجة اللغة الإحصائية

في نموذج "حقيبة الكلمات" لمعالجة اللغة الطبيعية واسترجاع المعلومات، تتكون البيانات من عدد مرات ظهور كل كلمة في المستند. يسمح التنعيم الجمعي بتعيين احتمالات غير صفرية للكلمات التي لا تظهر في العينة. وقد أظهرت الدراسات أن التنعيم الجمعي أكثر فعالية من طرق تنعيم الاحتمالات الأخرى في العديد من مهام الاسترجاع، مثل أنظمة التغذية الراجعة شبه ذات الصلة القائمة على نموذج اللغة وأنظمة التوصية . [ 5 ] [ 6 ]

انظر أيضاً

مراجع

  1. ↑ سي دي مانينغ، بي. راغافان، وإتش. شوتزه (2008). مقدمة في استرجاع المعلومات . مطبعة جامعة كامبريدج، ص 260.
  2. ↑ جورافسكي، دانيال؛ مارتن، جيمس هـ. (يونيو 2008). معالجة الكلام واللغة (  الطبعة الثانية). برنتيس هول. ص  132. ISBN 978-0-13-187321-6.
  3. ↑ راسل، ستيوارت؛ نورفيج، بيتر (2010). الذكاء الاصطناعي: منهج حديث ( الطبعة الثانية). بيرسون للتعليم، ص 863.  
  4. ↑ المحاضرة الخامسة | تعلم الآلة (ستانفورد) عند الساعة 1:10 من المحاضرة
  5. ↑ حازمه، حسين؛ تشاي، تشنغ شيانغ (2015). "التحليل البديهي لأساليب التنعيم في نماذج اللغة لتغذية راجعة شبه ذات صلة" . وقائع المؤتمر الدولي لعام 2015 حول نظرية استرجاع المعلومات . ص 141-150 . doi : 10.1145/2808194.2809471 . hdl : 2142/92709 . ISBN  978-1-4503-3833-2.
  6. ↑ فالكارسي، دانيال؛ بارابار، خافيير؛ باريرو، ألفارو (2016). "التنعيم الإضافي لنمذجة اللغة القائمة على الصلة لأنظمة التوصية" . وقائع المؤتمر الإسباني الرابع لاسترجاع المعلومات . ص 1-8 . doi : 10.1145/2934732.2934737 . ISBN  978-1-4503-4141-7.

مصادر