الاستدلال الخوارزمي

يجمع الاستدلال الخوارزمي التطورات الحديثة في أساليب الاستدلال الإحصائي التي أصبحت ممكنة بفضل أجهزة الحوسبة القوية المتاحة على نطاق واسع لأي محلل بيانات. ومن الركائز الأساسية في هذا المجال نظرية التعلم الحسابي ، والحوسبة الحبيبية ، والمعلوماتية الحيوية ، والاحتمالية الهيكلية ( فريزر، 1966 ) . ينصب التركيز الرئيسي على الخوارزميات التي تحسب الإحصاءات التي تُؤسس لدراسة الظواهر العشوائية، بالإضافة إلى كمية البيانات التي يجب أن تعتمد عليها لإنتاج نتائج موثوقة. هذا يُحوّل اهتمام علماء الرياضيات من دراسة قوانين التوزيع إلى الخصائص الوظيفية للإحصاءات ، واهتمام علماء الحاسوب من خوارزميات معالجة البيانات إلى المعلومات التي تُعالجها.

مشكلة الاستدلال البارامتري لفيشر

فيما يتعلق بتحديد معلمات قانون التوزيع، قد يتذكر القارئ المتمرس نقاشات مطولة دارت في منتصف القرن العشرين حول تفسير تباينها من حيث التوزيع المرجعي ( فيشر، 1956 ) ، والاحتمالات الهيكلية ( فريزر، 1966 ) ، والاحتمالات القبلية/البعدية ( رامزي، 1925 ) ، وما إلى ذلك. من وجهة نظر نظرية المعرفة ، استتبع ذلك نقاشًا موازيًا حول طبيعة الاحتمال : هل هو سمة فيزيائية للظواهر تُوصف من خلال متغيرات عشوائية ، أم أنه طريقة لتجميع البيانات حول ظاهرة ما؟ باختياره الخيار الثاني، يُعرّف فيشر قانون التوزيع المرجعي لمعلمات متغير عشوائي مُعطى، يستنتجه من عينة من مواصفاته. باستخدام هذا القانون، يحسب، على سبيل المثال، "احتمال أن يكون μ (متوسط ​​متغير غاوسي ) أقل من أي قيمة مُحددة، أو احتمال أن يقع بين أي قيمتين مُحددتين، أو باختصار، توزيعه الاحتمالي، في ضوء العينة المرصودة".

الحل الكلاسيكي

بذل فيشر جهودًا مضنية للدفاع عن اختلاف مفهومه لتوزيع المعلمات وتفوقه على المفاهيم المماثلة، مثل التوزيع الاحتمالي اللاحق لبايز ، والاحتمال البنّاء لفريزر، وفترات الثقة لنيمان . ولخمسين عامًا، سادت فترات الثقة لنيمان عمليًا، نظرًا لطبيعتها الظاهرية. من هذا المنظور، عند التعامل مع متغير غاوسي، يكون متوسطه μ ثابتًا بفعل الخصائص الفيزيائية للظاهرة المرصودة، حيث تمثل المشاهدات عوامل عشوائية، وبالتالي فإن القيم المرصودة هي مواصفات لعينة عشوائية . وبسبب هذه العشوائية، يمكن حساب فترات محددة من العينة تحتوي على μ الثابت باحتمال معين يُرمز له بـ .

مثال

ليكن X متغيرًا غاوسيًا [ 1 ] بمعاملاتμ{\displaystyle \mu }وσ2{\displaystyle \sigma ^{2}}و{X1،...،Xم}{\displaystyle \{X_{1},\ldots ,X_{m}\}}عينة مأخوذة منها. العمل مع الإحصاءات

Sμ=أنا=1مXأنا{\displaystyle S_{\mu }=\sum _{i=1}^{m}X_{i}}

و

Sσ2=أنا=1م(Xأنا-X¯)2، أين X¯=Sμم{\displaystyle S_{\sigma ^{2}}=\sum _{i=1}^{m}(X_{i}-{\overline {X}})^{2},{\text{ حيث }}{\overline {X}}={\frac {S_{\mu }}{m}}}

إذا كان متوسط ​​العينة، فإننا ندرك ذلك.

تي=Sμ-مμSσ2م-1م=X¯-μSσ2/(م(م-1)){\displaystyle T={\frac {S_{\mu }-m\mu }{\sqrt {S_{\sigma ^{2}}}}}{\sqrt {\frac {m-1}{m}}}={\frac {{\overline {X}}-\mu }{\sqrt {S_{\sigma ^{2}}/(m(m-1))}}}}

يتبع توزيع t للطالب ( ويلكس 1962 ) بمعامل (درجات حرية) m  1، بحيث

وتي(ت)=Γ(م/2)Γ((م-1)/2)1π(م-1)(1+ت2م-1)م/2.{\displaystyle f_{T}(t)={\frac {\Gamma (m/2)}{\Gamma ((m-1)/2)}}{\frac {1}{\sqrt {\pi (m-1)}}}\left(1+{\frac {t^{2}}{m-1}}\right)^{m/2}.}

قياس T بين كميتين وعكس تعبيرها كدالة لـμ{\displaystyle \mu }يمكنك الحصول على فترات ثقة لـμ{\displaystyle \mu }.

مع مواصفات العينة:

x={7.14،6.3،3.9،6.46،0.2،2.94،4.14،4.69،6.02،1.58}{\displaystyle \mathbf {x} =\{7.14,6.3,3.9,6.46,0.2,2.94,4.14,4.69,6.02,1.58\}}

إذا كان حجم العينة m = 10، يمكنك حساب الإحصائياتsμ=43.37{\displaystyle s_{\mu }=43.37}وsσ2=46.07{\displaystyle s_{\sigma ^{2}}=46.07}، والحصول على فاصل ثقة بنسبة 0.90 لـμ{\displaystyle \mu }مع القيم المتطرفة (3.03،  5.65).

استنتاج الدوال بمساعدة الحاسوب

من منظور النمذجة، تبدو المسألة برمتها كمعضلة البيضة والدجاجة: إما بيانات ثابتة أولًا، ثم توزيع احتمالي لخصائصها كنتيجة، أو خصائص ثابتة أولًا، ثم توزيع احتمالي للبيانات المرصودة كنتيجة طبيعية. يتميز الحل الكلاسيكي بميزة وعيب. كانت الميزة الأولى مُفضلة، خاصةً عندما كان الناس لا يزالون يُجرون الحسابات يدويًا. في حد ذاتها، تُعد مهمة حساب فاصل ثقة نيومان للمعامل الثابت θ صعبة: فأنت لا تعرف قيمة θ، ولكنك تبحث عن إيجاد فاصل حولها باحتمالية فشل منخفضة جدًا. يُسمح بالحل التحليلي لعدد محدود جدًا من الحالات النظرية. في المقابل، يمكن حل مجموعة كبيرة ومتنوعة من الحالات بسرعة وبشكل تقريبي عبر نظرية النهاية المركزية، وذلك من خلال حساب فاصل ثقة حول توزيع غاوسي - وهذه هي الميزة. أما العيب، فهو أن نظرية النهاية المركزية قابلة للتطبيق فقط عندما يكون حجم العينة كبيرًا بما فيه الكفاية. لذلك، تقل قابليتها للتطبيق تدريجيًا مع حجم العينة في حالات الاستدلال الحديثة. لا يكمن الخلل في حجم العينة بحد ذاته، بل في أن هذا الحجم غير كافٍ نظراً لتعقيد مسألة الاستدلال.

مع توفر مرافق الحوسبة الضخمة، أعاد العلماء تركيز جهودهم من استنتاج المعاملات المنفردة إلى استنتاج الدوال المعقدة، أي مجموعات المعاملات المتداخلة للغاية التي تحدد الدوال. في هذه الحالات، نتحدث عن تعلم الدوال (على سبيل المثال ، الانحدار ، أو النظام العصبي الضبابي ، أو التعلم الحسابي ) بناءً على عينات غنية بالمعلومات. يتمثل أحد الآثار الأولى لوجود بنية معقدة تربط البيانات في تقليل عدد درجات حرية العينة ، أي حذف جزء من نقاط العينة، مما يجعل حجم العينة الفعال الذي يجب مراعاته في نظرية النهاية المركزية صغيرًا جدًا. بالتركيز على حجم العينة الذي يضمن خطأ تعلم محدودًا عند مستوى ثقة معين ، فإن النتيجة هي أن الحد الأدنى لهذا الحجم يزداد مع مؤشرات التعقيد مثل بُعد VC أو تفاصيل الفئة التي تنتمي إليها الدالة التي نريد تعلمها.

مثال

تكفي عينة من 1000 بت مستقل لضمان خطأ مطلق لا يتجاوز 0.081 في تقدير المعامل p لمتغير برنولي الأساسي، وذلك بمستوى ثقة لا يقل عن 0.99. مع ذلك، لا يضمن الحجم نفسه عتبة أقل من 0.088 بنفس مستوى الثقة 0.99، عندما يُعرَّف الخطأ باحتمالية عدم انطباق نطاقات الطول والوزن ومحيط الخصر لرجل يبلغ من العمر 20 عامًا ويعيش في نيويورك على 1000 من سكان المدينة. ويعود سبب هذا النقص في الدقة إلى أن كلاً من بُعد VC وتفاصيل فئة متوازيات المستطيلات، التي تقع ضمنها الفئة الملاحظة من نطاقات الـ 1000 من السكان، يساويان 6.

حل مسألة الانعكاس العامة لسؤال فيشر

في حالة العينات غير الكبيرة بما فيه الكفاية، فإن النهج: عينة ثابتة - خصائص عشوائية ، يقترح إجراءات استدلالية في ثلاث خطوات:

  1. آلية أخذ العينات . تتكون من زوج(Z،زθ){\displaystyle (Z,g_{\boldsymbol {\theta }})}، حيث أن البذرة Z هي متغير عشوائي بدون معلمات مجهولة، بينما دالة التفسيرزθ{\displaystyle g_{\boldsymbol {\theta }}}هي دالة تربط عينات من المتغير العشوائي Z بعينات من المتغير العشوائي X الذي نهتم به. متجه المعاملاتθ{\displaystyle {\boldsymbol {\theta }}}هو تحديد للمعامل العشوائيΘ{\displaystyle \mathbf {\Theta } }مكوناتها هي معلمات قانون توزيع X. تضمن نظرية التحويل التكاملي وجود مثل هذه الآلية لكل X (كمية قياسية أو متجهة) عندما تتطابق البذرة مع المتغير العشوائي U الموزع بشكل منتظم في[0،1]{\displaystyle [0,1]}.

    مثال:  بالنسبة لـ X الذي يتبع توزيع باريتو بمعاملات a و k ، أي

    FX(x)=(1-كxأ)أنا[ك،)(x)،{\displaystyle F_{X}(x)=\left(1-{\frac {k}{x}}^{a}\right)I_{[k,\infty )}(x),} آلية أخذ العينات(يو،ز(أ،ك)){\displaystyle (U,g_{(a,k)})}بالنسبة لـ X مع البذرة U ، تكون القراءة كالتالي: ز(أ،ك)(u)=ك(1-u)-1أ،{\displaystyle g_{(a,k)}(u)=k(1-u)^{-{\frac {1}{a}}},}

    أو، على نحو مماثل،ز(أ،ك)(u)=كu-1/أ.{\displaystyle g_{(a,k)}(u)=ku^{-1/a}.}
  2. المعادلة الرئيسية . يتم التعبير عن العلاقة الفعلية بين النموذج والبيانات المرصودة من خلال مجموعة من العلاقات بين الإحصاءات المتعلقة بالبيانات والمعلمات المجهولة التي تنتج كنتيجة طبيعية لآليات أخذ العينات. نسمي هذه العلاقاتالمعادلات الرئيسية. يتمحور التحليل حول الإحصاءة.s=ح(x1،...،xم)=ح(زθ(z1)،...،زθ(zم)){\displaystyle s=h(x_{1},\ldots ,x_{m})=h(g_{\boldsymbol {\theta }}(z_{1}),\ldots ,g_{\boldsymbol {\theta }}(z_{m}))}، والصيغة العامة للمعادلة الرئيسية هي: s=ρ(θ؛z1،...،zم).{\displaystyle s=\rho ({\boldsymbol {\theta }};z_{1},\ldots ,z_{m}).} باستخدام هذه العلاقات، يمكننا فحص قيم المعلمات التي كان من الممكن أن تولد عينة بالإحصائية المرصودة من إعداد معين للبذور التي تمثل بذرة العينة. وبالتالي، يقابل مجتمع بذور العينة مجتمع من المعلمات. ولضمان خصائص نظيفة لهذا المجتمع، يكفي سحب قيم البذور عشوائيًا وإدراج إحصائيات كافية ، أو ببساطة إحصائيات جيدة السلوك فيما يتعلق بالمعلمات، في المعادلات الرئيسية. على سبيل المثال، الإحصائياتs1=أنا=1مسجلxأنا{\textstyle s_{1}=\sum _{i=1}^{m}\log x_{i}}وs2=مينأنا=1،...،م{xأنا}{\textstyle s_{2}=\min _{i=1,\ldots ,m}\{x_{i}\}}يثبت أنها كافية للمعاملين a و k لمتغير عشوائي باريتو X. وذلك بفضل آلية أخذ العينات (الشكل المكافئ لها).ز(أ،ك){\displaystyle g_{(a,k)}}قد نقرأها على النحو التالي: s1=مسجلك+1أأنا=1مسجلuأنا{\displaystyle s_{1}=m\log k+{\frac {1}{a}}\sum _{i=1}^{m}\log u_{i}}s2=مينأنا=1،...،م{كuأنا-1أ}،{\displaystyle s_{2}=\min _{i=1,\ldots ,m}\{ku_{i}^{-{\frac {1}{a}}}\},} على التوالى.
  3. مجموعة المعلمات . بعد تحديد مجموعة من المعادلات الرئيسية، يمكنك ربط بذور العينة بالمعلمات إما عدديًا من خلال إعادة تشكيل المجموعة ، أو تحليليًا من خلال وسيطة الالتواء . وبالتالي، من مجموعة من البذور، تحصل على مجموعة من المعلمات.

    مثال. من المعادلة الرئيسية أعلاه، يمكننا استخلاص زوج من المعاملات،(أ،ك){\displaystyle (a,k)}، بما يتوافق مع العينة المرصودة عن طريق حل نظام المعادلات التالي:

    أ=سجلuأنا-مسجلمين{uأنا}s1-مسجلs2.{\displaystyle a={\frac {\sum \log u_{i}-m\log \min\{u_{i}\}}{s_{1}-m\log s_{2}}}.}ك=خبرة(أs1-سجلuأنامأ){\displaystyle k=\exp \left({\frac {as_{1}-\sum \log u_{i}}{ma}}\right)}

    أينs1{\displaystyle s_{1}}وs2{\displaystyle s_{2}}هي الإحصائيات المرصودة وu1،...،uم{\displaystyle u_{1},\ldots ,u_{m}}مجموعة من البذور المتجانسة. بنقل الاحتمالية (الكثافة) التي تؤثر على البذور إلى المعلمات، ستحصل على قانون توزيع المعلمات العشوائية A و K المتوافق مع الإحصائيات التي لاحظتها.

    يشير التوافق إلى معايير المجموعات السكانية المتوافقة، أي المجموعات السكانية التي كان من الممكن أن تُنتج عينةً أدت إلى الإحصاءات المرصودة. يمكنك صياغة هذا المفهوم رسميًا على النحو التالي:

تعريف

بالنسبة لمتغير عشوائي وعينة مسحوبة منه،التوزيع المتوافق هو توزيع له نفس آلية أخذ العيناتمX=(Z،زθ){\displaystyle {\mathcal {M}}_{X}=(Z,g_{\boldsymbol {\theta }})}من X بقيمةθ{\displaystyle {\boldsymbol {\theta }}}المعلمة العشوائيةΘ{\displaystyle \mathbf {\Theta } }مشتقة من معادلة رئيسية تستند إلى إحصائية جيدة السلوك s .

مثال

دالة التوزيع التراكمي التجريبي المشترك للمعلمات(أ،ك){\displaystyle (A,K)}لمتغير عشوائي باريتو.
دالة التوزيع التراكمي للمتوسط ​​M لمتغير عشوائي غاوسي

قد تجد قانون توزيع معلمات باريتو A  و K  كمثال تطبيقي لطريقة التمهيد السكاني  كما هو موضح في الشكل على اليسار.

بتطبيق طريقة الحجة الملتوية  ، ستحصل على قانون التوزيعFم(μ){\displaystyle F_{M}(\mu )} متوسط ​​M  لمتغير غاوسي X  بناءً على الإحصائيةsم=أنا=1مxأنا{\textstyle s_{M}=\sum _{i=1}^{m}x_{i}} متىΣ2{\displaystyle \Sigma ^{2}} من المعروف أنه يساويσ2{\displaystyle \sigma ^{2}} ( أبولوني، مالكيودي وجيتو 2006 ) . وتعبيرها هو:

Fم(μ)=Φ(مμ-sمσم)،{\displaystyle F_{M}(\mu )=\Phi {\left({\frac {m\mu -s_{M}}{\sigma {\sqrt {m}}}}\right)},}

كما هو موضح في الشكل على اليمين، حيثΦ{\displaystyle \Phi }هي دالة التوزيع التراكمي للتوزيع الطبيعي القياسي .

الحد الأعلى (المنحنى البنفسجي) والحد الأدنى (المنحنى الأزرق) لفترة ثقة بنسبة 90% لمتوسط ​​M لمتغير عشوائي غاوسي لقيمة ثابتةσ{\displaystyle \sigma }وقيم مختلفة للإحصائية s m .

يُعد حساب فترة الثقة  لـ M  بمعلومية دالة التوزيع الخاصة بها أمرًا بسيطًا: نحتاج فقط إلى إيجاد قيمتين كميتين (على سبيل المثال،دلتا/2{\displaystyle \delta /2} و1-دلتا/2{\displaystyle 1-\delta /2} الكميات في حالة اهتمامنا بفترة ثقة من المستوى δ متناظرة في احتمالات الذيل) كما هو موضح على اليسار في الرسم البياني الذي يوضح سلوك الحدين لقيم مختلفة للإحصائية s m .

تكمن نقطة ضعف منهج فيشر في التوزيع المشترك لأكثر من مُعامل واحد، كالمتوسط ​​والتباين في التوزيع الغاوسي. على النقيض من ذلك، باستخدام المنهج الأخير (والطرق المذكورة أعلاه: إعادة التوزيع العشوائي للسكان وحجة الالتواء )، يُمكننا تعلم التوزيع المشترك للعديد من المُعاملات. على سبيل المثال، بالتركيز على توزيع مُعاملين أو أكثر، تُظهر الأشكال أدناه منطقتين للثقة تقع فيهما الدالة المراد تعلمها بثقة 90%. تتعلق الأولى باحتمالية أن تُسند آلة المتجهات الداعمة الموسعة تصنيفًا ثنائيًا 1 لنقاط(x،y){\displaystyle (x,y)}المستوى. يتم رسم السطحين بناءً على مجموعة من نقاط العينة التي يتم تصنيفها بدورها وفقًا لقانون توزيع محدد ( أبولوني وآخرون، 2008 ) . يتعلق هذا الأخير بمنطقة الثقة لمعدل خطر تكرار الإصابة بسرطان الثدي المحسوب من عينة خاضعة للرقابة ( أبولوني، مالكيودي ، وجايتو، 2006 ) .

منطقة ثقة بنسبة 90% لعائلة آلات المتجهات الداعمة المزودة بدالة ملف تعريف الظل الزائدي
منطقة الثقة بنسبة 90% لدالة المخاطر لتكرار الإصابة بسرطان الثدي المحسوبة من العينة الخاضعة للرقابةت=(9،13،>13،18،12،23،31،34،>45،48،>161)،{\displaystyle t=(9,13,>13,18,12,23,31,34,>45,48,>161),\,} حيث يشير > t إلى وقت خاضع للرقابة 

ملحوظات

  1. بشكل افتراضي، تشيرالأحرف الكبيرة (مثل U و X ) إلى المتغيرات العشوائية، بينما تشير الأحرف الصغيرة ( u و x ) إلى مواصفاتها المقابلة.

مراجع

  • Fraser, DAS (1966), "الاحتمالية الهيكلية والتعميم"، Biometrika ، 53 (1/2): 1–doi : 10.2307/2334048 ، JSTOR 2334048 . 
  • فيشر، ماجستير (1956)، الأساليب الإحصائية والاستدلال العلمي ، إدنبرة ولندن: أوليفر وبويد
  • أبولوني، ب.؛ مالكيودي، د.؛ غايتو، س. (2006)، الاستدلال الخوارزمي في تعلم الآلة ، السلسلة الدولية حول الذكاء المتقدم، المجلد  5 (  الطبعة الثانية)، أديلايد: ماجيل، المعرفة المتقدمة الدولية
  • أبولوني، ب.؛ باسيس، س.؛ مالكيودي، د.؛ ويتولد، ب. (2008)، لغز الحوسبة الحبيبية ، دراسات في الذكاء الحسابي، المجلد  138، برلين: سبرينغر، ISBN 9783540798637
  • رامزي، إف بي (1925)، "أسس الرياضيات"، وقائع الجمعية الرياضية في لندن : 338-384 ، doi : 10.1112/plms/s2-25.1.338 .
  • ويلكس، إس إس (1962)، الإحصاء الرياضي ، منشورات وايلي في الإحصاء، نيويورك: جون وايلي