انحدار النواة

الموسوعة الحرة

في الإحصاء ، يُعدّ الانحدار باستخدام النواة أسلوبًا غير معلمي لتقدير القيمة المتوقعة الشرطية لمتغير عشوائي . والهدف منه هو إيجاد علاقة غير خطية بين زوج من المتغيرات العشوائية X و Y.

في أي انحدار غير معلمي ، التوقع الشرطي لمتغيرY{\displaystyle Y}بالنسبة لمتغيرX{\displaystyle X}يمكن كتابتها على النحو التالي:

هـ⁡(Y|X)=م(X){\displaystyle \operatorname {E} (Y\mid X)=m(X)}

أينم{\displaystyle m}هي دالة غير معروفة.

نادرايا – انحدار نواة واتسون

اقترح ناداريا وواتسون ، وكلاهما في عام 1964، تقديرم{\displaystyle m}كمتوسط ​​مرجح محليًا، باستخدام دالة نواة كدالة ترجيح. [ 1 ] [ 2 ] [ 3 ] مقدر ناداريا-واتسون هو:

م^ح(x)=∑أنا=1نكح(x-xأنا)yأنا∑أنا=1نكح(x-xأنا){\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}

أينكح(ت)=1حك(تح){\displaystyle K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)}هو نواة ذات نطاق تردديح{\displaystyle h}بحيثك(⋅){\displaystyle K(\cdot )}هو من رتبة لا تقل عن 1، أي∫-∞∞uك(u)دu=0{\displaystyle \int _{-\infty }^{\infty }uK(u)\,du=0}.

الاشتقاق

بدءًا من تعريف التوقع الشرطي ،

هـ⁡(Y|X=x)=∫yو(y|x)دy=∫yو(x،y)و(x)دy{\displaystyle \operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy}

نقوم بتقدير التوزيعات المشتركة f ( x , y ) و f ( x ) باستخدام تقدير كثافة النواة مع نواة K :

و^(x،y)=1ن∑أنا=1نكح(x-xأنا)كح(y-yأنا)،{\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),}
و^(x)=1ن∑أنا=1نكح(x-xأنا)،{\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),}

نحصل على:

هـ^⁡(Y|X=x)=∫yو^(x،y)و^(x)دy،=∫y∑أنا=1نكح(x-xأنا)كح(y-yأنا)∑ج=1نكح(x-xج)دy،=∑أنا=1نكح(x-xأنا)∫yكح(y-yأنا)دy∑ج=1نكح(x-xج)،=∑أنا=1نكح(x-xأنا)yأنا∑ج=1نكح(x-xج)،{\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}}

وهو مقدر ناداريا-واتسون.

مقدر النواة بريستلي-تشاو

م^Pج(x)=ح-1∑أنا=2ن(xأنا-xأنا-1)ك(x-xأناح)yأنا{\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}

أينح{\displaystyle h}هو عرض النطاق الترددي (أو معامل التنعيم).

مقدر نواة جاسر-مولر

م^جيم(x)=ح-1∑أنا=1ن[∫sأنا-1sأناك(x-uح)دu]yأنا{\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}}

أينsأنا=xأنا-1+xأنا2.{\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}.}[ 4 ]

مثال

دالة الانحدار المقدرة.

يستند هذا المثال إلى بيانات الأجور المقطعية الكندية، والتي تتكون من عينة عشوائية مأخوذة من أشرطة الاستخدام العام للتعداد الكندي لعام 1971، للذكور الحاصلين على التعليم الأساسي (الصف الثالث عشر). ويبلغ إجمالي عدد المشاهدات 205 مشاهدة.

يوضح الشكل الموجود على اليمين دالة الانحدار المقدرة باستخدام نواة غاوسية من الدرجة الثانية إلى جانب حدود التباين التقاربي.

مثال على نص برمجي

تستخدم الأوامر التالية في لغة البرمجة Rnpreg() الدالة لتحقيق التنعيم الأمثل وإنشاء الشكل الموضح أعلاه. يمكن إدخال هذه الأوامر في موجه الأوامر عن طريق النسخ واللصق.

تثبيت الحزم ( "np" ) مكتبة ( np ) # مكتبة غير بارامترية بيانات ( cps71 ) إرفاق ( cps71 )m <- npreg ( logwage ~ age )plot ( m , plot.errors.method = "asymptotic" , plot.errors.style = "band" , ylim = c ( 11 , 15.2 ))نقاط ( العمر ، لوغاريتم الأجر ، cex = 0.25 ) فصل ( cps71 )

بحسب ديفيد سالسبورغ ، فإن الخوارزميات المستخدمة في الانحدار النواة قد تم تطويرها واستخدامها بشكل مستقل في الأنظمة الضبابية : "يبدو أن الأنظمة الضبابية والانحدارات القائمة على كثافة النواة قد تم تطويرها بشكل مستقل تمامًا عن بعضها البعض، حيث توصلت إلى نفس خوارزمية الكمبيوتر تقريبًا." [ 5 ]

التنفيذ الإحصائي

  • حزمة برامج الرياضيات GNU Octave
  • جوليا : KernelEstimator.jl
  • MATLAB : تتوفر على هذه الصفحات مجموعة أدوات MATLAB مجانية مع تطبيق لانحدار النواة، وتقدير كثافة النواة، وتقدير النواة لدالة المخاطر وغيرها الكثير (تُعد مجموعة الأدوات هذه جزءًا من الكتاب [ 6 ] ).
  • بايثون : KernelRegالفئة الخاصة بأنواع البيانات المختلطة في statsmodels.nonparametricالحزمة الفرعية (تتضمن فئات أخرى متعلقة بكثافة النواة)، وحزمة kernel_regression كامتداد لـ scikit-learn (غير فعالة من حيث الذاكرة، ومفيدة فقط لمجموعات البيانات الصغيرة).
  • R : يمكن لوظيفة npregحزمة np إجراء الانحدار باستخدام النواة. [ 7 ] [ 8 ]
  • Stata : npregress ، kernreg2

انظر أيضاً

مراجع

  1. ↑ ناداريا، إي. أ. (1964). "حول تقدير الانحدار". نظرية الاحتمالات وتطبيقاتها . 9 (1): 141-142 . doi : 10.1137/1109020 .
  2. ↑ واتسون، جي إس (1964). "تحليل الانحدار السلس". سانخيا: المجلة الهندية للإحصاء، السلسلة أ . 26 (4): 359-372 . JSTOR 25049340 . 
  3. ↑ بيرينز، هيرمان ج. (1994). "مُقدِّر دالة الانحدار باستخدام نواة ناداريا-واتسون" . مواضيع في الاقتصاد القياسي المتقدم . نيويورك: مطبعة جامعة كامبريدج. ص 212-247 . ISBN  0-521-41900-X.
  4. ↑ جاسر، ثيو؛ مولر، هانز-جورج (1979). "تقدير النواة لدوال الانحدار". تقنيات التنعيم لتقدير المنحنيات (وقائع ورشة عمل، هايدلبرغ، 1979) . سلسلة محاضرات في الرياضيات. المجلد 757. سبرينغر، برلين. الصفحات 23-68 . ISBN   3-540-09706-6MR 0564251 .​ 
  5. ↑ سالسبورغ، د. (2002). السيدة التي تتذوق الشاي: كيف أحدثت الإحصاءات ثورة في العلوم في القرن العشرين . دبليو إتش فريمان. ص 290-291 . ISBN  0-8050-7134-2.
  6. ^ هوروفا، آي. كولاتشيك، J.؛ زيلينكا، ج. (2012). تجانس النواة في MATLAB: نظرية وممارسة تجانس النواة . سنغافورة: النشر العلمي العالمي. رقم ISBN 978-981-4405-48-5.
  7. ↑ np : طرق التنعيم غير البارامتري باستخدام النواة لأنواع البيانات المختلطة
  8. ↑ كلوك، جون؛ ماكين، جوزيف و. (2014). الأساليب الإحصائية غير البارامترية باستخدام لغة البرمجة R. مطبعة CRC. الصفحات 98-106 . ISBN  978-1-4398-7343-4.

للمزيد من القراءة