طريقة المربعات الصغرى

📅 آخر تحديث: ٣٠ يوليو ٢٠٢٦
✍️ نُشر في: ٣٠ يوليو ٢٠٢٦
📷 يحتوي على 72 صور
الموسوعة الحرة
نتيجة مطابقة مجموعة من نقاط البيانات بدالة تربيعية
تركيب القطع المخروطي لمجموعة من النقاط باستخدام تقريب المربعات الصغرى

في تحليل الانحدار ، تعتبر طريقة المربعات الصغرى طريقة لتحديد أفضل نموذج ملائم عن طريق تقليل مجموع مربعات البواقي - الفروق بين القيم المرصودة والقيم المتوقعة من النموذج.

تنقسم مسائل المربعات الصغرى إلى فئتين: المربعات الصغرى الخطية أو العادية ، والمربعات الصغرى غير الخطية ، وذلك بحسب ما إذا كانت دوال النموذج خطية في جميع المتغيرات المجهولة أم لا. تظهر مسألة المربعات الصغرى الخطية في تحليل الانحدار الإحصائي ، ولها حل مغلق . أما المسألة غير الخطية، فتُحل عادةً بالتحسين التكراري ؛ ففي كل تكرار، يُقارب النظام بنظام خطي، وبالتالي تكون الحسابات الأساسية متشابهة في كلتا الحالتين.

تصف طريقة المربعات الصغرى متعددة الحدود التباين في التنبؤ بالمتغير التابع كدالة للمتغير المستقل والانحرافات عن المنحنى الملائم.

عندما تأتي المشاهدات من عائلة أسية ذات إحصائيات كافية طبيعية وشروط معتدلة مُحققة (مثل التوزيعات الطبيعية والأسية وبواسون وذات الحدين )، فإن تقديرات المربعات الصغرى المعيارية وتقديرات الاحتمال الأقصى تكون متطابقة. [ 1 ] ويمكن أيضًا اشتقاق طريقة المربعات الصغرى كمُقدِّر لطريقة العزوم .

تاريخ

كانت هذه الطريقة تتويجاً لعدة تطورات حدثت خلال القرن الثامن عشر: [ 2 ]

  • إن الجمع بين الملاحظات المختلفة باعتباره أفضل تقدير للقيمة الحقيقية؛ حيث تقل الأخطاء مع التجميع بدلاً من أن تزداد، ظهر لأول مرة في عمل إسحاق نيوتن في عام 1671، على الرغم من أنه لم يُنشر، ومرة ​​أخرى في عام 1700. [ 3 ] [ 4 ] ربما تم التعبير عنه رسميًا لأول مرة بواسطة روجر كوتس في عام 1722.
  • يجمع هذا الأسلوب بين عدة ملاحظات تُجرى في ظل ظروف متماثلة ، بدلاً من الاكتفاء بمحاولة رصد وتسجيل ملاحظة واحدة بدقة. عُرف هذا الأسلوب باسم "طريقة المتوسطات". وقد استخدمه نيوتن بشكل ملحوظ أثناء دراسته للاعتدالين في عام 1700، حيث دوّن أولى "المعادلات الطبيعية" المعروفة من طريقة المربعات الصغرى العادية ، [ 5 ] كما استخدمه توبياس ماير أثناء دراسته لتذبذبات القمر في عام 1750، وبيير سيمون لابلاس في عمله لتفسير الاختلافات في حركة كوكبَي المشتري وزحل في عام 1788.
  • تعتمد هذه الطريقة على دمج ملاحظات مختلفة أُجريت في ظروف متباينة ، وقد عُرفت لاحقًا باسم طريقة الانحراف المطلق الأدنى . وقد طبّقها روجر جوزيف بوسكوفيتش في دراسته لشكل الأرض عام 1757، وبيير سيمون لابلاس في دراسة مماثلة عامي 1789 و1799.
  • يهدف هذا البحث إلى تطوير معيار يُمكن تقييمه لتحديد متى يتم التوصل إلى الحل الأمثل بأقل خطأ. حاول لابلاس تحديد صيغة رياضية لكثافة الاحتمال للأخطاء، وتعريف طريقة تقدير تُقلل من خطأ التقدير. ولتحقيق هذا الغرض، استخدم لابلاس توزيعًا أُسّيًا متناظرًا ثنائي الجانب، يُعرف الآن بتوزيع لابلاس، لنمذجة توزيع الخطأ، واستخدم مجموع الانحراف المطلق كخطأ تقدير. وقد اعتبر هذه الافتراضات أبسط ما يُمكنه تقديمه، وكان يأمل في الحصول على المتوسط ​​الحسابي كأفضل تقدير. ولكن بدلاً من ذلك، كان مُقدِّره هو الوسيط اللاحق.

الطريقة

كارل فريدريش جاوس

نُشر أول شرح واضح وموجز لطريقة المربعات الصغرى على يد ليجندر عام 1805. [ 6 ] وُصفت هذه التقنية بأنها إجراء جبري لمطابقة المعادلات الخطية مع البيانات، وقد برهن ليجندر على هذه الطريقة الجديدة بتحليل البيانات نفسها التي استخدمها لابلاس لتحليل شكل الأرض. في غضون عشر سنوات من نشر ليجندر لشرحه، اعتُمدت طريقة المربعات الصغرى كأداة قياسية في علم الفلك والجيوديسيا في فرنسا وإيطاليا وبروسيا ، مما يُعد قبولًا سريعًا للغاية لتقنية علمية. [ 2 ]

في عام 1809، نشر كارل فريدريش غاوس طريقته لحساب مدارات الأجرام السماوية. وادعى في ذلك العمل أنه كان يمتلك طريقة المربعات الصغرى منذ عام 1795. [ 7 ] وقد أدى هذا بطبيعة الحال إلى نزاع حول الأسبقية مع ليجندر. ومع ذلك، يُحسب لغوس أنه تجاوز ليجندر ونجح في ربط طريقة المربعات الصغرى بمبادئ الاحتمالات والتوزيع الطبيعي . وقد تمكن من إكمال برنامج لابلاس لتحديد شكل رياضي لكثافة الاحتمال للملاحظات، اعتمادًا على عدد محدود من المعلمات المجهولة، وتحديد طريقة تقدير تُقلل من خطأ التقدير. وأظهر غاوس أن المتوسط ​​الحسابي هو بالفعل أفضل تقدير لمعلمة الموقع عن طريق تغيير كل من كثافة الاحتمال وطريقة التقدير. ثم عكس المسألة بسؤاله عن الشكل الذي يجب أن تتخذه الكثافة وطريقة التقدير التي يجب استخدامها للحصول على المتوسط ​​الحسابي كتقدير لمعلمة الموقع. وفي هذه المحاولة، ابتكر التوزيع الطبيعي.

تجلّت برهان مبكر على قوة طريقة غاوس عندما استُخدمت للتنبؤ بموقع الكويكب سيريس المكتشف حديثًا . ففي الأول من يناير عام ١٨٠١، اكتشف الفلكي الإيطالي جوزيبي بيازي سيريس، وتمكن من تتبع مساره لمدة أربعين يومًا قبل أن يختفي في وهج الشمس. وبناءً على هذه البيانات، رغب الفلكيون في تحديد موقع سيريس بعد ظهوره من خلف الشمس دون الحاجة إلى حل معادلات كبلر المعقدة غير الخطية لحركة الكواكب. وكانت التنبؤات الوحيدة التي نجحت في تمكين الفلكي المجري فرانز زافير فون زاخ من إعادة تحديد موقع سيريس هي تلك التي أجراها غاوس، البالغ من العمر ٢٤ عامًا آنذاك، باستخدام تحليل المربعات الصغرى.

في عام 1810، وبعد قراءة أعمال غاوس، استخدم لابلاس، بعد إثبات نظرية النهاية المركزية ، هذه النظرية لتبرير استخدام طريقة المربعات الصغرى والتوزيع الطبيعي في عينة كبيرة. وفي عام 1822، تمكن غاوس من إثبات أن طريقة المربعات الصغرى في تحليل الانحدار هي الأمثل، بمعنى أنه في نموذج خطي تكون فيه الأخطاء ذات متوسط ​​يساوي صفرًا، وغير مترابطة، وموزعة توزيعًا طبيعيًا، ومتساوية التباينات، فإن أفضل مُقدِّر خطي غير متحيز للمعاملات هو مُقدِّر المربعات الصغرى. وتُعرف نسخة موسعة من هذه النتيجة باسم نظرية غاوس-ماركوف .

وقد صاغ الأمريكي روبرت أدريان فكرة تحليل المربعات الصغرى بشكل مستقل في عام 1808. وفي القرنين التاليين، وجد الباحثون في نظرية الأخطاء والإحصاء العديد من الطرق المختلفة لتطبيق المربعات الصغرى. [ 8 ]

بيان المشكلة

يتمثل الهدف في ضبط معلمات دالة النموذج لتناسب مجموعة البيانات على أفضل وجه. تتكون مجموعة البيانات البسيطة من n نقطة (أزواج بيانات).(xأنا،yأنا){\displaystyle (x_{i},y_{i})\!}، حيث i = 1، …، n ،xأنا{\displaystyle x_{i}\!}متغير مستقل وyأنا{\displaystyle y_{i}\!}هو متغير تابع تُحدد قيمته من خلال الملاحظة. تأخذ دالة النموذج الشكل التالي:و(x،β){\displaystyle f(x,{\boldsymbol {\beta }})}حيث يتم الاحتفاظ بـ m من المعلمات القابلة للتعديل في المتجهβ{\displaystyle {\boldsymbol {\beta }}}الهدف هو إيجاد قيم المعلمات للنموذج الذي يُطابق البيانات "بأفضل شكل". ويُقاس مدى تطابق النموذج مع نقطة بيانات من خلال الباقي ، والذي يُعرَّف بأنه الفرق بين القيمة المرصودة للمتغير التابع والقيمة المتوقعة من النموذج. رأنا=yأنا-و(xأنا،β).{\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}

الy{\displaystyle y}يتم رسم القيم والبواقي مقابل القيم المقابلة لهاx{\displaystyle x}القيم. التقلبات العشوائية حولر=0{\displaystyle r=0}يشير ذلك إلى أن النموذج الخطي مناسب.

تجد طريقة المربعات الصغرى القيم المثلى للمعلمات عن طريق تقليل مجموع مربعات البواقي .S{\displaystyle S}[ 9 ]​S=∑أنا=1نرأنا2.{\displaystyle S=\sum _{i=1}^{n}r_{i}^{2}.}

في أبسط الحالات،و(xأنا،β)=β{\displaystyle f(x_{i},{\boldsymbol {\beta }})={\boldsymbol {\beta }}}ونتيجة طريقة المربعات الصغرى هي المتوسط ​​الحسابي لبيانات الإدخال.

من الأمثلة على النماذج ثنائية الأبعاد نموذج الخط المستقيم. ويمكن تسمية نقطة تقاطع الخط مع المحور الصادي بـβ0{\displaystyle \beta _{0}}والميل كـβ1{\displaystyle \beta _{1}}، تُعطى دالة النموذج بواسطةو(x،β)=β0+β1x{\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{0}+\beta _{1}x}انظر إلى المربعات الصغرى الخطية للحصول على مثال مفصل لهذا النموذج.

قد تتكون نقطة البيانات من أكثر من متغير مستقل. على سبيل المثال، عند مطابقة مستوى مع مجموعة من قياسات الارتفاع، يكون المستوى دالةً لمتغيرين مستقلين، ولنقل x و z . في الحالة العامة، قد يكون هناك متغير مستقل واحد أو أكثر، ومتغير تابع واحد أو أكثر عند كل نقطة بيانات.

يوجد على اليمين رسم بياني للبواقي يوضح التقلبات العشوائية حولرأنا=0{\displaystyle r_{i}=0}مما يشير إلى أن النموذج الخطي(Yأنا=β0+β1xأنا+يوأنا){\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+U_{i})}مناسب.يوأنا{\displaystyle U_{i}}هو متغير عشوائي مستقل. [ 9 ]  

الy{\displaystyle y}يتم رسم القيم والبواقي مقابل القيم المقابلة لها.x{\displaystyle x}القيم. الشكل القطعي المكافئ للتقلبات حولر=0{\displaystyle r=0}يشير ذلك إلى أن النموذج المكافئ سيكون أكثر ملاءمة.

إذا كانت النقاط المتبقية ذات شكل محدد ولم تكن تتذبذب عشوائيًا، فلن يكون النموذج الخطي مناسبًا. على سبيل المثال، إذا كان مخطط النقاط المتبقية على شكل قطع مكافئ كما هو موضح على اليمين، فإن النموذج القطعي المكافئ غير مناسب.(Yأنا=β0+β1xأنا+β2xأنا2+يوأنا){\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+U_{i})}سيكون ذلك مناسبًا للبيانات. يمكن حساب البواقي لنموذج القطع المكافئ عبررأنا=yأنا-β^0-β^1xأنا-β^2xأنا2{\displaystyle r_{i}=y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}-{\hat {\beta }}_{2}x_{i}^{2}}[ 9 ]​

القيود

لا تأخذ صيغة الانحدار هذه في الحسبان سوى أخطاء الملاحظة في المتغير التابع (بينما يمكن لانحدار المربعات الصغرى الكلي البديل أن يأخذ في الحسبان الأخطاء في كلا المتغيرين). وهناك سياقان مختلفان تمامًا لهما دلالات مختلفة:

  • الانحدار للتنبؤ. هنا، يتم تركيب نموذج لتوفير قاعدة تنبؤية لتطبيقها في حالة مشابهة لتلك التي تنطبق عليها البيانات المستخدمة في التركيب. في هذه الحالة، ستخضع المتغيرات التابعة المقابلة لهذا التطبيق المستقبلي لنفس أنواع أخطاء الملاحظة الموجودة في البيانات المستخدمة في التركيب. لذلك، من المنطقي استخدام قاعدة التنبؤ بالمربعات الصغرى لمثل هذه البيانات.
  • الانحدار لتحديد "العلاقة الحقيقية". في تحليل الانحدار القياسي الذي يؤدي إلى المطابقة باستخدام طريقة المربعات الصغرى، يوجد افتراض ضمني بأن أخطاء المتغير المستقل معدومة أو مضبوطة بدقة بحيث تكون ضئيلة. عندما تكون أخطاء المتغير المستقل غير ضئيلة، يمكن استخدام نماذج خطأ القياس ؛ إذ يمكن لهذه الطرق أن تؤدي إلى تقديرات المعلمات ، واختبار الفرضيات ، وفترات الثقة التي تأخذ في الاعتبار وجود أخطاء الملاحظة في المتغيرات المستقلة. [ 10 ] يتمثل نهج بديل في مطابقة النموذج باستخدام طريقة المربعات الصغرى الكلية ؛ ويمكن اعتبار هذا النهج بمثابة اتباع نهج عملي لموازنة آثار مصادر الخطأ المختلفة عند صياغة دالة الهدف لاستخدامها في مطابقة النموذج.

حل مسألة المربعات الصغرى

يُحسب الحد الأدنى لمجموع المربعات بجعل التدرج يساوي صفرًا. وبما أن النموذج يحتوي على m من المعاملات، فهناك m من معادلات التدرج: ∂S∂βج=2∑أنارأنا∂رأنا∂βج=0، ج=1،...،م،{\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,} ومنذ ذلك الحينرأنا=yأنا-و(xأنا،β){\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})}تصبح معادلات التدرج -2∑أنارأنا∂و(xأنا،β)∂βج=0، ج=1،...،م.{\displaystyle -2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.}

تنطبق معادلات التدرج على جميع مسائل المربعات الصغرى. تتطلب كل مسألة على حدة تعبيرات خاصة للنموذج ومشتقاته الجزئية . [ 11 ]

المربعات الصغرى الخطية

يكون نموذج الانحدار خطيًا عندما يتألف النموذج من توليفة خطية من المعلمات، أي و(x،β)=∑ج=1مβجϕج(x)،{\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x),} حيث الدالةϕج{\displaystyle \phi _{j}}هي وظيفة منx{\displaystyle x}[ 11 ]​

تأجيرXأناج=ϕج(xأنا){\displaystyle X_{ij}=\phi _{j}(x_{i})}ووضع المتغيرات المستقلة والتابعة في مصفوفاتX{\displaystyle X}وY،{\displaystyle Y,}وبالتالي، يمكننا حساب المربعات الصغرى بالطريقة التالية. لاحظ أند{\displaystyle D}هي مجموعة جميع البيانات. [ 11 ] [ 12 ]ل(د،β)=‖Y-Xβ‖2=(Y-Xβ)تي(Y-Xβ){\displaystyle L(D,{\boldsymbol {\beta }})=\left\|YX{\boldsymbol {\beta }}\right\|^{2}=(YX{\boldsymbol {\beta }})^{\mathsf {T}}(YX{\boldsymbol {\beta }})}=YتيY-2YتيXβ+βتيXتيXβ{\displaystyle =Y^{\mathsf {T}}Y-2Y^{\mathsf {T}}X{\boldsymbol {\beta }}+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}}

ميل الخسارة هو: ∂ل(د،β)∂β=∂(YتيY-2YتيXβ+βتيXتيXβ)∂β=-2XتيY+2XتيXβ{\displaystyle {\frac {\partial L(D,{\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\frac {\partial \left(Y^{\mathsf {T}}Y-2Y^{\mathsf {T}}X{\boldsymbol {\beta }}+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}\right)}{\partial {\boldsymbol {\beta }}}}=-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}}

ضبط تدرج دالة الخسارة على الصفر وحل المعادلة لإيجادβ{\displaystyle {\boldsymbol {\beta }}}، نحصل على: [ 12 ] [ 11 ]-2XتيY+2XتيXβ=0⇒XتيY=XتيXβ{\displaystyle -2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}=0\Rightarrow X^{\mathsf {T}}Y=X^{\mathsf {T}}X{\boldsymbol {\beta }}}β^=(XتيX)-1XتيY{\displaystyle {\boldsymbol {\hat {\beta }}}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y}

المربعات الصغرى غير الخطية

يوجد، في بعض الحالات، حلٌّ مغلق لمسألة المربعات الصغرى غير الخطية، ولكن في الغالب لا يوجد. في حالة عدم وجود حل مغلق، تُستخدم خوارزميات عددية لإيجاد قيمة المعاملات.β{\displaystyle \beta }الذي يقلل من قيمة الهدف. تتضمن معظم الخوارزميات اختيار قيم أولية للمعاملات. ثم يتم تحسين المعاملات بشكل تكراري، أي يتم الحصول على القيم من خلال التقريب المتتالي: βجك+1=βجك+Δβج،{\displaystyle {\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j},} حيث يمثل الرمز العلوي k رقم التكرار، ومتجه الزياداتΔβج{\displaystyle \Delta \beta _{j}}يُطلق عليه اسم متجه الإزاحة. في بعض الخوارزميات الشائعة الاستخدام، في كل تكرار، يمكن تبسيط النموذج خطيًا عن طريق تقريبه بتوسيع متسلسلة تايلور من الدرجة الأولى حولβك{\displaystyle {\boldsymbol {\beta }}^{k}}: و(xأنا،β)=وك(xأنا،β)+∑ج∂و(xأنا،β)∂βج(βج-βجك)=وك(xأنا،β)+∑ججأناجΔβج.{\displaystyle {\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\left(\beta _{j}-{\beta _{j}}^{k}\right)\\[1ex]&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}.\end{aligned}}}

المصفوفة اليعقوبية J هي دالة للثوابت والمتغير المستقل والمعاملات ، لذا فهي تتغير من تكرار لآخر. أما البواقي فتُعطى بالصيغة التالية: رأنا=yأنا-وك(xأنا،β)-∑ك=1مجأناكΔβك=Δyأنا-∑ج=1مجأناجΔβج.{\displaystyle r_{i}=y_{i}-f^{k}(x_{i},{\boldsymbol {\beta }})-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\,\Delta \beta _{j}.}

لتقليل مجموع مربعاترأنا{\displaystyle r_{i}}يتم ضبط معادلة التدرج على الصفر وحلها لإيجادΔβج{\displaystyle \Delta \beta _{j}}: -2∑أنا=1نجأناج(Δyأنا-∑ك=1مجأناكΔβك)=0،{\displaystyle -2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}\right)=0,} والتي، عند إعادة ترتيبها، تصبح معادلات خطية متزامنة، وهي المعادلات العادية : ∑أنا=1ن∑ك=1مجأناججأناكΔβك=∑أنا=1نجأناجΔyأنا(ج=1،...،م).{\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\,\Delta \beta _{k}=\sum _{i=1}^{n}J_{ij}\,\Delta y_{i}\qquad (j=1,\ldots ,m).}

تُكتب المعادلات العادية بصيغة المصفوفات كما يلي: (جتيج)Δβ=جتيΔy.{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\Delta \mathbf {y} .}

هذه هي المعادلات الأساسية لخوارزمية جاوس-نيوتن .

الاختلافات بين طريقة المربعات الصغرى الخطية وغير الخطية

  • الدالة النموذجية، f ، في طريقة المربعات الصغرى الخطية (LLSQ) هي توليفة خطية من المعاملات على النحو التالي:و=Xأنا1β1+Xأنا2β2+⋯{\displaystyle f=X_{i1}\beta _{1}+X_{i2}\beta _{2}+\cdots }قد يُمثل النموذج خطًا مستقيمًا، أو قطعًا مكافئًا، أو أي تركيبة خطية أخرى من الدوال. في طريقة المربعات الصغرى غير الخطية (NLLSQ)، تظهر المعاملات كدوال، مثل:β2،هـβx{\displaystyle \beta ^{2},e^{\beta x}}وهكذا دواليك. إذا كانت المشتقات∂و/∂βج{\displaystyle \partial f/\partial \beta _{j}}إذا كانت قيم المعاملات ثابتة أو تعتمد فقط على قيم المتغير المستقل، فإن النموذج يكون خطيًا في المعاملات. وإلا، فإن النموذج يكون غير خطي.
  • نحتاج إلى قيم أولية للمعاملات لإيجاد حل لمشكلة NLLSQ؛ أما LLSQ فلا تتطلبها.
  • تتطلب خوارزميات حل مشكلة المربعات الصغرى غير الخطية (NLLSQ) غالبًا إمكانية حساب مصفوفة جاكوبي بطريقة مشابهة لخوارزمية المربعات الصغرى الخطية (LLSQ). قد تكون الصيغ التحليلية للمشتقات الجزئية معقدة. إذا تعذر الحصول على صيغ تحليلية، فيجب إما حساب المشتقات الجزئية بالتقريب العددي أو تقدير مصفوفة جاكوبي، غالبًا باستخدام الفروق المحدودة .
  • عدم التقارب (فشل الخوارزمية في إيجاد الحد الأدنى) هو ظاهرة شائعة في NLLSQ.
  • LLSQ مقعرة عالميًا، لذا فإن عدم التقارب ليس مشكلة.
  • يُعدّ حلّ مسائل المربعات الصغرى غير الخطية (NLLSQ) عملية تكرارية عادةً، ويجب إيقافها عند استيفاء معيار التقارب. يمكن حساب حلول مسائل المربعات الصغرى الخطية (LLSQ) باستخدام الطرق المباشرة، على الرغم من أن المسائل ذات العدد الكبير من المعاملات تُحلّ عادةً باستخدام الطرق التكرارية، مثل طريقة جاوس-سيدل .
  • في LLSQ يكون الحل فريدًا، ولكن في NLLSQ قد يكون هناك العديد من القيم الدنيا في مجموع المربعات.
  • في ظل شرط عدم وجود ارتباط بين الأخطاء والمتغيرات التنبؤية، فإن LLSQ ينتج تقديرات غير متحيزة، ولكن حتى في ظل هذا الشرط تكون تقديرات NLLSQ متحيزة بشكل عام.

يجب مراعاة هذه الاختلافات كلما تم البحث عن حل لمسألة المربعات الصغرى غير الخطية. [ 11 ]

مثال

لنأخذ مثالاً بسيطاً مستمداً من الفيزياء. يجب أن يخضع الزنبرك لقانون هوك الذي ينص على أن استطالة الزنبرك y تتناسب طردياً مع القوة F المؤثرة عليه. y=و(F،ك)=كF{\displaystyle y=f(F,k)=kF} يشكل هذا النموذج، حيث F هو المتغير المستقل. ولتقدير ثابت القوة k ، نجري سلسلة من n قياسات بقوى مختلفة لإنتاج مجموعة من البيانات.(Fأنا،yأنا)، أنا=1،...،ن{\displaystyle (F_{i},y_{i}),\ i=1,\dots ,n\!}حيث يمثل yᵢ مقدار استطالة الزنبرك المقاسة. [ 13 ] ستتضمن كل ملاحظة تجريبية بعض الخطأ.ε{\displaystyle \varepsilon }وبالتالي يمكننا تحديد نموذج تجريبي لملاحظاتنا، yأنا=كFأنا+εأنا.{\displaystyle y_{i}=kF_{i}+\varepsilon _{i}.}

توجد طرق عديدة لتقدير المعلمة المجهولة k . ولأن المعادلات n في المتغيرات m في بياناتنا تُشكل نظامًا زائد التحديد بمجهول واحد و n معادلة، فإننا نقدّر k باستخدام طريقة المربعات الصغرى. مجموع المربعات المطلوب تقليله هو [ 11 ].S=∑أنا=1ن(yأنا-كFأنا)2.{\displaystyle S=\sum _{i=1}^{n}\left(y_{i}-kF_{i}\right)^{2}.}

يُعطى تقدير المربعات الصغرى لثابت القوة، k ، بالصيغة التالية:ك^=∑أناFأناyأنا∑أناFأنا2.{\displaystyle {\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.}

نفترض أن تطبيق القوة يؤدي إلى تمدد الزنبرك. بعد استنتاج ثابت القوة باستخدام طريقة المربعات الصغرى، نتوقع مقدار التمدد من قانون هوك.

تحديد كمية عدم اليقين

في حسابات المربعات الصغرى باستخدام أوزان الوحدة، أو في الانحدار الخطي، يُشار إلى التباين في المعامل j بالرمز التالي:متغير⁡(β^ج){\displaystyle \operatorname {var} ({\hat {\beta }}_{j})}، ويتم تقديرها عادة باستخدام متغير⁡(β^ج)=σ2([XتيX]-1)جج≈σ^2ججج،{\displaystyle \operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{-1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj},}σ^2≈Sن-م{\displaystyle {\hat {\sigma }}^{2}\approx {\frac {S}{n-m}}}ج=(XتيX)-1،{\displaystyle C=\left(X^{\mathsf {T}}X\right)^{-1},} حيث يُستبدل تباين الخطأ الحقيقي σ² بتقدير، وهو إحصائية مربع كاي المُختزلة ، بناءً على القيمة المُصغّرة لمجموع مربعات البواقي (دالة الهدف)، S. المقام ، n − m ، هو درجات الحرية الإحصائية ؛ انظر درجات الحرية الفعّالة للتعميمات. [ 11 ] C هي مصفوفة التغاير .  

الاختبارات الإحصائية

إذا عُرف التوزيع الاحتمالي للمعلمات أو تم إجراء تقريب تقاربي، يُمكن إيجاد حدود الثقة . وبالمثل، يُمكن إجراء اختبارات إحصائية على البواقي إذا عُرف التوزيع الاحتمالي للبواقي أو تم افتراضه. يُمكننا استنتاج التوزيع الاحتمالي لأي توليفة خطية من المتغيرات التابعة إذا عُرف التوزيع الاحتمالي للأخطاء التجريبية أو تم افتراضه. يكون الاستدلال سهلاً عند افتراض أن الأخطاء تتبع التوزيع الطبيعي، مما يعني بالتالي أن تقديرات المعلمات والبواقي ستكون موزعة توزيعًا طبيعيًا أيضًا بشرط قيم المتغيرات المستقلة. [ 11 ]

من الضروري وضع افتراضات حول طبيعة الأخطاء التجريبية لاختبار النتائج إحصائيًا. أحد الافتراضات الشائعة هو أن الأخطاء تتبع التوزيع الطبيعي. وتؤكد نظرية النهاية المركزية أن هذا التقريب جيد في كثير من الحالات.

  • تنص نظرية غاوس -ماركوف على أنه في نموذج خطي تكون فيه الأخطاء ذات توقع يساوي صفرًا بشرط ثبات المتغيرات المستقلة، وغير مترابطة ، ومتساوية التباين ، فإن أفضل مُقدِّر خطي غير متحيز لأي توليفة خطية من المشاهدات هو مُقدِّر المربعات الصغرى. و"الأفضل" يعني أن مُقدِّرات المربعات الصغرى للمعلمات لها أقل تباين. ويصح افتراض تساوي التباين عندما تنتمي جميع الأخطاء إلى نفس التوزيع. [ 14 ]
  • إذا كانت الأخطاء تنتمي إلى التوزيع الطبيعي، فإن مقدرات المربعات الصغرى هي أيضًا مقدرات الاحتمال الأقصى في النموذج الخطي.

مع ذلك، لنفترض أن الأخطاء لا تتبع التوزيع الطبيعي. في هذه الحالة، غالبًا ما تشير نظرية النهاية المركزية إلى أن تقديرات المعلمات ستكون موزعة توزيعًا طبيعيًا تقريبًا طالما كانت العينة كبيرة نسبيًا. لهذا السبب، ونظرًا لأهمية استقلال متوسط ​​الخطأ عن المتغيرات المستقلة، فإن توزيع حد الخطأ ليس مسألة جوهرية في تحليل الانحدار. تحديدًا، ليس من المهم عادةً ما إذا كان حد الخطأ يتبع التوزيع الطبيعي أم لا.

المربعات الصغرى الموزونة

تأثير "التشعب" الناتج عن عدم تجانس التباين

تحدث حالة خاصة من طريقة المربعات الصغرى المعممة، تُسمى المربعات الصغرى الموزونة، عندما تكون جميع العناصر غير القطرية لمصفوفة الارتباط Ω (مصفوفة ارتباط البواقي) صفرًا؛ وقد تظل تباينات المشاهدات (على طول قطر مصفوفة التغاير) غير متساوية ( تباين غير متجانس ). بعبارة أبسط، يحدث التباين غير المتجانس عندما يكون تباينYأنا{\displaystyle Y_{i}}يعتمد ذلك على قيمةxأنا{\displaystyle x_{i}}مما يتسبب في ظهور تأثير "التفرع" في الرسم البياني المتبقي باتجاه قيم أكبر أو أصغرYأنا{\displaystyle Y_{i}}القيم كما هو موضح في الرسم البياني للبواقي على اليمين. من ناحية أخرى، يفترض تجانس التباين أن تباينYأنا{\displaystyle Y_{i}}وتباينيوأنا{\displaystyle U_{i}}متساويان. [ 9 ]  

العلاقة بالمكونات الرئيسية

يمكن تمثيل المكون الرئيسي الأول حول متوسط ​​مجموعة من النقاط بالخط الذي يقترب أكثر من نقاط البيانات (كما يُقاس بمربع مسافة أقرب اقتراب، أي عمودي على الخط). في المقابل، تحاول طريقة المربعات الصغرى الخطية تقليل المسافة فيy{\displaystyle y}الاتجاه فقط. وبالتالي، على الرغم من أن كليهما يستخدم مقياس خطأ مماثل، فإن طريقة المربعات الصغرى الخطية هي طريقة تعامل بُعدًا واحدًا من البيانات بشكل تفضيلي، بينما تعامل طريقة تحليل المكونات الرئيسية جميع الأبعاد بالتساوي.

العلاقة بنظرية القياس

استخدمت الإحصائية البارزة سارة فان دي جير نظرية العمليات التجريبية وبُعد فابنيك-تشيرفونينكيس لإثبات أن تقدير المربعات الصغرى يمكن تفسيره على أنه مقياس على فضاء الدوال القابلة للتكامل التربيعي . [ 15 ]

التنظيم

تنظيم تيخونوف

في بعض السياقات، قد يكون استخدام نسخة مُنظَّمة من حل المربعات الصغرى أفضل. يُضيف تنظيم تيكهونوف (أو انحدار ريدج ) قيدًا يتمثل في‖β‖22{\displaystyle \left\|\beta \right\|_{2}^{2}}، المربعℓ2{\displaystyle \ell _{2}}لا يتجاوز معيار -norm لمتجه المعاملات قيمةً معينةً في صيغة المربعات الصغرى، مما يؤدي إلى مسألة تصغير مقيدة. وهذا يُكافئ مسألة التصغير غير المقيدة حيث تكون دالة الهدف هي مجموع مربعات البواقي مضافًا إليها حد جزائي.α‖β‖22{\displaystyle \alpha \left\|\beta \right\|_{2}^{2}}وα{\displaystyle \alpha }هو مُعامل ضبط (وهذا هو الشكل اللاغرانجي لمسألة التصغير المقيد). [ 16 ]

في سياق بايزي ، هذا يعادل وضع توزيع طبيعي مسبق بمتوسط ​​صفري على متجه المعلمات.

طريقة لاسو

يُعدّ Lasso (مُعامل الانكماش والاختيار المطلق الأدنى) نسخةً بديلةً مُنتظمةً من طريقة المربعات الصغرى ، والتي تستخدم القيد التالي:‖β‖1{\displaystyle \|\beta \|_{1}}، وهو المعيار L1 لمتجه المعاملات، لا يتجاوز قيمة معينة. [ 17 ] [ 18 ] [ 19 ] (يمكن إثبات ذلك كما سبق باستخدام معاملات لاغرانج ، حيث يُكافئ ذلك تقليلًا غير مقيد لعقوبة المربعات الصغرى معα‖β‖1{\displaystyle \alpha \|\beta \|_{1}}(أُضيف). في سياق بايزي ، يُعادل هذا وضع توزيع لابلاس مسبق بمتوسط ​​صفري على متجه المعلمات. [ 20 ] يمكن حل مسألة التحسين باستخدام البرمجة التربيعية أو طرق التحسين المحدب الأكثر عمومية ، بالإضافة إلى خوارزميات محددة مثل خوارزمية الانحدار بأقل زاوية .

أحد الفروق الرئيسية بين انحدار لاسّو وانحدار ريدج هو أنه في انحدار ريدج، مع زيادة قيمة الجزاء، تنخفض جميع المعاملات مع بقائها غير صفرية، بينما في لاسّو، تؤدي زيادة قيمة الجزاء إلى دفع المزيد من المعاملات نحو الصفر. هذه ميزة للاسّو على انحدار ريدج، حيث أن دفع المعاملات نحو الصفر يُلغي اختيار الميزات من الانحدار. وبالتالي، يختار لاسّو تلقائيًا الميزات الأكثر صلة ويتجاهل الباقي، بينما لا يتجاهل انحدار ريدج أي ميزات بشكل كامل. تم تطوير بعض تقنيات اختيار الميزات بناءً على لاسّو، بما في ذلك بولاسو الذي يستخدم إعادة التوزيع العشوائي للعينات [ 21 ] ، وفياليكت الذي يحلل معاملات الانحدار المقابلة لقيم مختلفة لـα{\displaystyle \alpha }لتقييم جميع الميزات. [ 22 ]

تُعدّ الصيغة المُنتظمة L1 مفيدة في بعض السياقات نظرًا لميلها إلى تفضيل الحلول التي يكون فيها عدد أكبر من المعاملات صفرًا، مما يُنتج حلولًا تعتمد على عدد أقل من المتغيرات. [ 17 ] لهذا السبب، تُعتبر طريقة لاسّو ومشتقاتها أساسية في مجال الاستشعار المضغوط . ويُعدّ تنظيم الشبكة المرنة امتدادًا لهذا النهج .

انظر أيضاً

مراجع

  1. ↑ تشارنز، أ.؛ فروم، إي. إل.؛ يو، ب. إل. (1976). "تكافؤ تقديرات المربعات الصغرى المعممة وتقديرات الاحتمال الأقصى في العائلة الأسية". مجلة الجمعية الإحصائية الأمريكية . 71 (353): 169-171 . doi : 10.1080/01621459.1976.10481508 .
  2. 1 2 ستيجلر، ستيفن م. (1986). تاريخ الإحصاء: قياس عدم اليقين قبل عام 1900. كامبريدج، ماساتشوستس: مطبعة بيلكناب التابعة لجامعة هارفارد. ISBN 978-0-674-40340-6.
  3. ↑ بوخوالد، جيد ز.؛ فينغولد، موردخاي (2013). نيوتن وأصل الحضارة . برينستون أكسفورد: مطبعة جامعة برينستون. الصفحات 90-93 ، 101-103 . ISBN  978-0-691-15478-7.
  4. ↑ درام، كيفن (10 مايو 2013). "اختراع إسحاق نيوتن الرائد الذي لم تسمع به من قبل" . مجلة ماذر جونز . تاريخ الاسترجاع: 21 ديسمبر 2024 .
  5. ↑ بيلينكي، آري؛ إتشاغ، إدواردو فيلا (2008). "الخوض في تحليل الانحدار الخطي: تحليل نيوتن لملاحظات هيبارخوس عن الاعتدال". arXiv : 0810.4948 [ physics.hist-ph ].
  6. ^ Legendre، Adrien-Marie (1805)، Nouvelles méthodes pour la déternation des المدارات des comètes [ طرق جديدة لتحديد مدارات المذنبات ] (بالفرنسية)، باريس: ف. ديدوت، hdl : 2027/nyp.33433069112559
  7. ↑ "اكتشاف الانحدار الإحصائي" . برايسونوميكس . 2015-11-06 . تم الاطلاع عليه بتاريخ 2023-04-04 .
  8. ↑ ألدريتش، ج. (1998). "تطبيق طريقة المربعات الصغرى: منظورات من غاوس ويول". المجلة الإحصائية الدولية . 66 (1): 61-81 . doi : 10.1111/j.1751-5823.1998.tb00406.x . S2CID 121471194 . 
  9. 1 2 3 4 ديكينج، فريدريك ميشيل؛ كرايكامب، كورنيليس؛ لوبوها، هندريك "ريك"؛ ميستر، لودولف إي. (2005). مقدمة حديثة في الاحتمالات والإحصاء: فهم لماذا وكيف . نصوص سبرينغر في الإحصاء. دار نشر سبرينغر . ISBN 9781852338961.
  10. ↑ للحصول على مقدمة جيدة حول الخطأ في المتغيرات، يرجى الاطلاع على: فولر، دبليو إيه (1987). نماذج خطأ القياس . جون وايلي وأولاده. ISBN 978-0-471-86187-4.
  11. 1 2 3 4 5 6 7 8 ويليامز، جيفري هـ. (جيفري هيو)، 1956- (نوفمبر 2016). قياس الكميات: طغيان الأرقام . دار مورغان وكلايبول للنشر، معهد الفيزياء (بريطانيا العظمى). سان رافائيل [كاليفورنيا] (40 أوك درايف، سان رافائيل، كاليفورنيا، 94903، الولايات المتحدة الأمريكية). ISBN 978-1-68174-433-9. OCLC 962422324 . {{cite book}}: CS1 maint: location ( link ) CS1 maint: location missing publisher ( link ) CS1 maint: multiple names: authors list ( link ) CS1 maint: numeric names: authors list ( link )
  12. 1 2 رينشر، ألفين سي؛ كريستنسن، ويليام إف. (15 أغسطس 2012). أساليب التحليل متعدد المتغيرات . جون وايلي وأولاده. ص 155. ISBN  978-1-118-39167-9.
  13. ↑ جير، جيمس م.؛ جودنو، باري ج. (2013). ميكانيكا المواد ( الطبعة الثامنة). ستامفورد، كونيتيكت: سينجج ليرنينج. ISBN  978-1-111-57773-5. OCLC 741541348 . 
  14. ↑ هالين، مارك (2012). "نظرية جاوس-ماركوف" . موسوعة القياسات البيئية . وايلي. doi : 10.1002/9780470057339.vnn102 . ISBN 978-0-471-89997-6تم الاطلاع عليه بتاريخ 18 أكتوبر 2023 .
  15. ↑ فان دي جير، سارة (يونيو 1987). "نهج جديد لتقدير المربعات الصغرى، مع تطبيقات" . حوليات الإحصاء . 15 (2): 587-602 . doi : 10.1214/aos/1176350362 . S2CID 123088844 . 
  16. ^ فان ويرينجن ، فيسيل ن. (2021). “ملاحظات محاضرة عن انحدار التلال”. أرخايف : 1509.09169 [ stat.ME ].
  17. 1 2 تيبشيراني، ر. (1996). "انكماش الانحدار والاختيار عبر طريقة لاسو". مجلة الجمعية الإحصائية الملكية، السلسلة ب . 58 (1): 267-288 . doi : 10.1111/j.2517-6161.1996.tb02080.x . JSTOR 2346178 . 
  18. ↑ هاستي، تريفور ؛ تيبشيراني، روبرت؛ فريدمان، جيروم هـ. (2009). عناصر التعلم الإحصائي ( الطبعة الثانية). سبرينغر-فيرلاغ. ISBN  978-0-387-84858-7تمت أرشفة النسخة الأصلية بتاريخ 10-11-2009.
  19. ↑ بوهلمان، بيتر؛ فان دي جير، سارة (2011). إحصاءات البيانات عالية الأبعاد: الأساليب والنظرية والتطبيقات . سبرينغر. ISBN 9783642201929.
  20. ↑ بارك، تريفور؛ كاسيلا، جورج (2008). "طريقة لاسو البايزية". مجلة الجمعية الإحصائية الأمريكية . 103 (482): 681-686 . doi : 10.1198/016214508000000337 . S2CID 11797924 . 
  21. ↑ باخ، فرانسيس ر. (2008). "بولاسو" . وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . الصفحات 33-40 . arXiv : 0804.1302 . Bibcode : 2008arXiv0804.1302B . doi : 10.1145/1390156.1390161 . ISBN  9781605582054. S2CID 609778 . 
  22. ↑ زاري، هابيل (2013). "تقييم أهمية السمات بناءً على التحليل التوافقي لـ Lasso مع تطبيق على تشخيص سرطان الغدد الليمفاوية" . BMC Genomics . 14 (ملحق 1): S14. doi : 10.1186/1471-2164-14-S1-S14 . PMC 3549810. PMID 23369194 .  

للمزيد من القراءة

  • بيورك، Å. (1996). الطرق العددية لمشاكل المربعات الصغرى . سيام. رقم ISBN 978-0-89871-360-2.
  • كاريا، ت.؛ كوراتا، هـ. (2004). المربعات الصغرى المعممة . هوبوكين: وايلي. رقم ISBN 978-0-470-86697-9.
  • لونبرغر، دي جي (1997) [1969]. "تقدير المربعات الصغرى" . التحسين باستخدام طرق الفضاء المتجهي . نيويورك: جون وايلي وأولاده. ص 78-102 . ISBN  978-0-471-18117-0.
  • راو، سي آر ؛ توتنبرغ، إتش ؛ وآخرون  (2008). النماذج الخطية: المربعات الصغرى والبدائل . سلسلة سبرينغر في الإحصاء (  الطبعة الثالثة). برلين: سبرينغر. ISBN 978-3-540-74226-5.
  • ستروتز، ت. (2016). ملاءمة البيانات وعدم اليقين: مقدمة عملية للمربعات الصغرى الموزونة وما بعدها (  الطبعة الثانية). سبرينغر فيويغ. ISBN 978-3-658-11455-8.
  • Van de moortel, كوين (أبريل 2021). "تحليل الانحدار متعدد الاتجاهات" .
  • وولبرغ، ج. (2005). تحليل البيانات باستخدام طريقة المربعات الصغرى: استخلاص أكبر قدر من المعلومات من التجارب . برلين: سبرينغر. ISBN 978-3-540-25674-8.
  • شعار ويكيميديا ​​كومنزالوسائط المتعلقة بطريقة المربعات الصغرى على ويكيميديا ​​كومنز