المربعات الصغرى غير الخطية

📅 آخر تحديث: ٢٨ يوليو ٢٠٢٦
✍️ نُشر في: ٢٨ يوليو ٢٠٢٦
📷 يحتوي على 90 صور
الموسوعة الحرة

المربعات الصغرى غير الخطية هي شكل من أشكال تحليل المربعات الصغرى يُستخدم لملاءمة مجموعة من m مشاهدة مع نموذج غير خطي في n معلمات مجهولة ( m  ≥ n ). تُستخدم هذه الطريقة في بعض أشكال الانحدار غير الخطي . أساس هذه الطريقة هو تقريب النموذج بنموذج خطي وتحسين المعلمات من خلال تكرارات متتالية. هناك العديد من أوجه التشابه مع المربعات الصغرى الخطية ، ولكن هناك أيضًا بعض الاختلافات الهامة . في النظرية الاقتصادية، تُطبق طريقة المربعات الصغرى غير الخطية في (1) انحدار بروبيت، (2) انحدار العتبة، (3) الانحدار السلس، (4) انحدار الارتباط اللوجستي، (5) المتغيرات المستقلة المحولة بواسطة بوكس-كوكس. م(x،θأنا)=θ1+θ2x(θ3){\displaystyle m(x,\theta _{i})=\theta _{1}+\theta _{2}x^{(\theta _{3})}}).

نظرية

لنفترض مجموعة منم{\displaystyle m}نقاط البيانات،(x1،y1)،(x2،y2)،...،(xم،yم)،{\displaystyle (x_{1},y_{1}),(x_{2},y_{2}),\dots ,(x_{m},y_{m}),}ومنحنى (دالة نموذجية)y^=و(x،β)،{\displaystyle {\hat {y}}=f(x,{\boldsymbol {\beta }}),}بالإضافة إلى المتغيرx{\displaystyle x}يعتمد ذلك أيضًا علىن{\displaystyle n}حدود،β=(β1،β2،...،βن)،{\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}معم≥ن.{\displaystyle m\geq n.}المطلوب إيجاد المتجه β{\displaystyle {\boldsymbol {\beta }}}من المعاملات التي تجعل المنحنى يطابق البيانات المعطاة على أفضل وجه بمعنى المربعات الصغرى، أي مجموع المربعات S=∑أنا=1مرأنا2{\displaystyle S=\sum _{i=1}^{m}r_{i}^{2}} يتم تقليلها، حيث تُعطى البواقي (أخطاء التنبؤ داخل العينة) r i بواسطةرأنا=yأنا-و(xأنا،β){\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})} لأنا=1،2،...،م.{\displaystyle i=1,2,\dots ,m.}

تتحقق القيمة الدنيا لـ S عندما يكون التدرج صفراً. وبما أن النموذج يحتوي على n من المعاملات، فهناك n من معادلات التدرج: ∂S∂βج=2∑أنارأنا∂رأنا∂βج=0(ج=1،...،ن).{\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0\quad (j=1,\ldots ,n).}

في النظام غير الخطي، تكون المشتقات∂رأنا∂βج{\textstyle {\frac {\partial r_{i}}{\partial \beta _{j}}}}هي دوال لكل من المتغير المستقل والمعاملات، لذا فإن معادلات التدرج هذه لا تملك حلاً مغلقاً بشكل عام. بدلاً من ذلك، يجب اختيار قيم ابتدائية للمعاملات. ثم يتم تحسين المعاملات بشكل تكراري، أي يتم الحصول على القيم من خلال التقريب المتتالي. βج≈βجك+1=βجك+Δβج.{\displaystyle \beta _{j}\approx \beta _{j}^{k+1}=\beta _{j}^{k}+\Delta \beta _{j}.}

هنا، k هو رقم التكرار ومتجه الزيادات،Δβ{\displaystyle \Delta {\boldsymbol {\beta }}}يُعرف باسم متجه الإزاحة. في كل تكرار، يتم تبسيط النموذج عن طريق تقريبه إلى متسلسلة تايلور من الدرجة الأولى حولβك{\displaystyle {\boldsymbol {\beta }}^{k}}و(xأنا،β)≈و(xأنا،βك)+∑ج∂و(xأنا،βك)∂βج(βج-βجك)=و(xأنا،βك)+∑ججأناجΔβج.{\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta _{j}}}\left(\beta _{j}-\beta _{j}^{k}\right)=f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}J_{ij}\,\Delta \beta _{j}.} مصفوفة جاكوبي ، J ، هي دالة للثوابت والمتغير المستقل والمعاملات ، لذا فهي تتغير من تكرار لآخر. وبالتالي، من حيث النموذج الخطي، ∂رأنا∂βج=-جأناج{\displaystyle {\frac {\partial r_{i}}{\partial \beta _{j}}}=-J_{ij}} والبواقي تُعطى بواسطة Δyأنا=yأنا-و(xأنا،βك)،{\displaystyle \Delta y_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k}),}رأنا=yأنا-و(xأنا،β)=(yأنا-و(xأنا،βك))+(و(xأنا،βك)-و(xأنا،β))≈Δyأنا-∑s=1نجأناsΔβs.{\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})=\left(y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k})\right)+\left(f(x_{i},{\boldsymbol {\beta }}^{k})-f(x_{i},{\boldsymbol {\beta }})\right)\approx \Delta y_{i}-\sum _{s=1}^{n}J_{is}\Delta \beta _{s}.}

وبإدخال هذه التعبيرات في معادلات التدرج، تصبح -2∑أنا=1مجأناج(Δyأنا-∑s=1نجأناs Δβs)=0،{\displaystyle -2\sum _{i=1}^{m}J_{ij}\left(\Delta y_{i}-\sum _{s=1}^{n}J_{is}\ \Delta \beta _{s}\right)=0,} والتي، عند إعادة ترتيبها، تصبح n معادلة خطية متزامنة، وهي المعادلات العادية.∑أنا=1م∑s=1نجأناججأناs Δβs=∑أنا=1مجأناج Δyأنا(ج=1،...،ن).{\displaystyle \sum _{i=1}^{m}\sum _{s=1}^{n}J_{ij}J_{is}\ \Delta \beta _{s}=\sum _{i=1}^{m}J_{ij}\ \Delta y_{i}\qquad (j=1,\dots ,n).}

تُكتب المعادلات العادية بصيغة المصفوفات كما يلي: (جتيج)Δβ=جتي Δy.{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\ \Delta \mathbf {y} .}

تشكل هذه المعادلات الأساس لخوارزمية جاوس-نيوتن لمسألة المربعات الصغرى غير الخطية.

لاحظ اصطلاح الإشارة في تعريف مصفوفة جاكوبي بدلالة المشتقات. الصيغ الخطية فيج{\displaystyle J}قد يظهر بعامل-1{\displaystyle -1}في مقالات أخرى أو في الأدبيات.

تمارين التمدد بالأوزان

عندما لا تكون الملاحظات موثوقة بنفس القدر، يمكن تقليل مجموع المربعات المرجح. S=∑أنا=1مدبليوأناأنارأنا2.{\displaystyle S=\sum _{i=1}^{m}W_{ii}r_{i}^{2}.}

من الناحية المثالية، ينبغي أن يكون كل عنصر من عناصر مصفوفة الأوزان القطرية W مساويًا لمقلوب تباين خطأ القياس . [ 1 ] وتكون المعادلات العادية، بشكل عام، كما يلي: (جتيدبليوج)Δβ=جتيدبليو Δy.{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .}

التفسير الهندسي

في طريقة المربعات الصغرى الخطية ، تكون دالة الهدف ، S ، دالة تربيعية للمعاملات. S=∑أنادبليوأناأنا(yأنا-∑جXأناجβج)2{\displaystyle S=\sum _{i}W_{ii}\left(y_{i}-\sum _{j}X_{ij}\beta _{j}\right)^{2}} عندما يكون هناك مُعامل واحد فقط، يكون رسم S بالنسبة لهذا المُعامل قطعًا مكافئًا . أما مع وجود مُعاملين أو أكثر، فتكون خطوط S بالنسبة لأي زوج من المُعاملات قطعًا ناقصًا متحدة المركز (بافتراض أن مصفوفة المعادلات العاديةXتيدبليوX{\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {WX} }(موجبة تمامًا ). تُوجد القيم الدنيا للمعاملات في مركز القطع الناقص. يمكن وصف هندسة دالة الهدف العامة بأنها قطع مكافئ ناقصي. في طريقة المربعات الصغرى غير الخطية (NLLSQ)، تكون دالة الهدف تربيعية بالنسبة للمعاملات فقط في منطقة قريبة من قيمتها الدنيا، حيث تُعدّ متسلسلة تايلور المقتطعة تقريبًا جيدًا للنموذج. S≈∑أنادبليوأناأنا(yأنا-∑ججأناجβج)2{\displaystyle S\approx \sum _{i}W_{ii}\left(y_{i}-\sum _{j}J_{ij}\beta _{j}\right)^{2}} كلما زاد اختلاف قيم المعاملات عن قيمها المثلى، زاد انحراف الخطوط الكنتورية عن الشكل الإهليلجي. ونتيجةً لذلك، ينبغي أن تكون التقديرات الأولية للمعاملات أقرب ما يمكن إلى قيمها المثلى (غير المعروفة!). كما يفسر هذا كيف يمكن أن يحدث التباعد، إذ لا تتقارب خوارزمية جاوس-نيوتن إلا عندما تكون دالة الهدف تربيعية تقريبًا في المعاملات.

حساب

تقديرات المعلمات الأولية

يمكن تصحيح بعض مشاكل سوء التكييف والتباعد من خلال إيجاد تقديرات أولية للمعلمات قريبة من القيم المثلى. ومن الطرق الجيدة لتحقيق ذلك المحاكاة الحاسوبية . حيث تُعرض البيانات المرصودة والمحسوبة على الشاشة، ثم تُعدّل معلمات النموذج يدويًا حتى يتحقق توافق معقول بين البيانات المرصودة والمحسوبة. ورغم أن هذا التقييم سيكون تقديرًا شخصيًا، إلا أنه كافٍ لإيجاد نقطة انطلاق جيدة للتحسين غير الخطي. ويمكن إنشاء تقديرات أولية للمعلمات باستخدام التحويلات أو التخطيطات الخطية. والأفضل من ذلك، أن الخوارزميات التطورية، مثل خوارزمية القمع العشوائي، يمكن أن تؤدي إلى حوض جذب محدب يحيط بتقديرات المعلمات المثلى. وقد أثبتت الخوارزميات الهجينة التي تستخدم العشوائية والنخبوية، متبوعة بطرق نيوتن، جدواها وكفاءتها الحسابية .

حل

يمكن تطبيق أي طريقة من الطرق الموضحة أدناه لإيجاد حل.

معايير التقارب

المعيار المنطقي للتقارب هو ألا يزيد مجموع المربعات من تكرار إلى آخر. مع ذلك، يصعب تطبيق هذا المعيار عمليًا في كثير من الأحيان لأسباب مختلفة. ومن معايير التقارب المفيدة ما يلي: |Sك-Sك+1Sك|<0.0001.{\displaystyle \left|{\frac {S^{k}-S^{k+1}}{S^{k}}}\right|<0.0001.} إن القيمة 0.0001 قيمة اعتباطية إلى حد ما وقد يلزم تغييرها. وعلى وجه الخصوص، قد يلزم زيادتها عندما تكون الأخطاء التجريبية كبيرة. وهناك معيار بديل هو |Δβجβج|<0.001،ج=1،...،ن.{\displaystyle \left|{\frac {\Delta \beta _{j}}{\beta _{j}}}\right|<0.001,\qquad j=1,\dots ,n.}

مرة أخرى، القيمة العددية اختيارية إلى حد ما؛ فـ 0.001 تعادل تحديد أن كل مُعامل يجب تحسينه بدقة 0.1%. وهذا معقول عندما تكون أقل من أكبر انحراف معياري نسبي للمُعاملات.

حساب مصفوفة جاكوبي بالتقريب العددي

توجد نماذج يصعب أو حتى يستحيل فيها اشتقاق تعابير تحليلية لعناصر مصفوفة جاكوبي. عندئذٍ، يصبح التقريب العددي... ∂و(xأنا،β)∂βج≈دلتاو(xأنا،β)دلتاβج{\displaystyle {\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\approx {\frac {\delta f(x_{i},{\boldsymbol {\beta }})}{\delta \beta _{j}}}} يتم الحصول عليها عن طريق حسابو(xأنا،β){\displaystyle f(x_{i},{\boldsymbol {\beta }})}لβج{\displaystyle \beta _{j}}وβج+دلتاβج{\displaystyle \beta _{j}+\delta \beta _{j}}الزيادة،دلتاβج{\displaystyle \delta \beta _{j}}، يجب اختيار الحجم بحيث لا يكون المشتق العددي عرضة لخطأ التقريب بسبب كونه كبيرًا جدًا، أو خطأ التقريب بسبب كونه صغيرًا جدًا.

أخطاء المعلمات، وحدود الثقة، والبواقي، إلخ.

بعض المعلومات متوفرة في القسم المقابل في صفحة المربعات الصغرى الموزونة .

الحد الأدنى المتعدد

يمكن أن تحدث عدة نقاط دنيا في ظروف متنوعة، منها ما يلي:

  • يتم رفع أحد المعاملات إلى قوة اثنين أو أكثر. على سبيل المثال، عند مطابقة البيانات مع منحنى لورنتزيو(xأنا،β)=α1+(γ-xأناβ)2{\displaystyle f(x_{i},{\boldsymbol {\beta }})={\frac {\alpha }{1+\left({\frac {\gamma -x_{i}}{\beta }}\right)^{2}}}}أينα{\displaystyle \alpha }هو الارتفاع،γ{\displaystyle \gamma }هو المنصب وβ{\displaystyle \beta }إذا كان نصف العرض عند نصف الارتفاع، فهناك حلان لنصف العرض.β^{\displaystyle {\hat {\beta }}}و-β^{\displaystyle -{\hat {\beta }}}والتي تعطي نفس القيمة المثلى لدالة الهدف.
  • يمكن تبديل معلَمَين دون تغيير قيمة النموذج. مثال بسيط على ذلك هو عندما يحتوي النموذج على حاصل ضرب معلَمَين، لأنαβ{\displaystyle \alpha \beta }سيعطي نفس القيمة مثلβα{\displaystyle \beta \alpha }.
  • يوجد أحد المعاملات في دالة مثلثية، مثلالخطيئة⁡β{\displaystyle \sin \beta }، والتي لها قيم متطابقة عندβ^+2نπ{\displaystyle {\hat {\beta }}+2n\pi }انظر إلى خوارزمية ليفنبرغ-ماركوارت كمثال.

لا تتساوى جميع القيم الدنيا المتعددة في دالة الهدف. تحدث القيم الدنيا الزائفة، أو القيم الدنيا المحلية، عندما تكون قيمة دالة الهدف أكبر من قيمتها عند ما يُسمى بالقيمة الدنيا العالمية. وللتأكد من أن القيمة الدنيا المُكتشفة هي القيمة الدنيا العالمية، ينبغي بدء عملية التحسين بقيم ابتدائية مختلفة بشكل كبير للمعاملات. وعندما يتم العثور على القيمة الدنيا نفسها بغض النظر عن نقطة البداية، فمن المرجح أن تكون هي القيمة الدنيا العالمية.

عند وجود عدة نقاط دنيا، يترتب على ذلك نتيجة هامة: ستكون لدالة الهدف نقطة ثابتة (مثل نقطة عظمى أو نقطة سرجية ) في مكان ما بين نقطتين دنيا. لا تكون مصفوفة المعادلات العادية موجبة التحديد عند نقطة ثابتة في دالة الهدف، لأن التدرج يتلاشى ولا يوجد اتجاه هبوط فريد. يؤدي التحسين من نقطة (مجموعة من قيم المعلمات) قريبة من نقطة ثابتة إلى حالة سيئة التكييف، ويجب تجنبها كنقطة بداية. على سبيل المثال، عند تركيب دالة لورنتزية، لا تكون مصفوفة المعادلات العادية موجبة التحديد عندما يكون نصف عرض الدالة اللورنتزية صفرًا. [ 2 ]

التحويل إلى نموذج خطي

يمكن أحيانًا تحويل النموذج غير الخطي إلى نموذج خطي. هذا التقريب، على سبيل المثال، غالبًا ما يكون قابلاً للتطبيق في جوار أفضل مُقدِّر، وهو أحد الافتراضات الأساسية في معظم خوارزميات التصغير التكرارية. عندما يكون التقريب الخطي صالحًا، يمكن استخدام النموذج مباشرةً للاستدلال باستخدام طريقة المربعات الصغرى المعممة ، حيث تنطبق معادلات ملاءمة القالب الخطي [ 3 ] .

ومن الأمثلة الأخرى على التقريب الخطي، عندما يكون النموذج عبارة عن دالة أسية بسيطة. و(xأنا،β)=αهـβxأنا،{\displaystyle f(x_{i},{\boldsymbol {\beta }})=\alpha e^{\beta x_{i}},} والتي يمكن تحويلها إلى نموذج خطي عن طريق أخذ اللوغاريتمات. سجل⁡و(xأنا،β)=سجل⁡α+βxأنا{\displaystyle \log f(x_{i},{\boldsymbol {\beta }})=\log \alpha +\beta x_{i}} بيانيًا، يتوافق هذا مع العمل على رسم بياني شبه لوغاريتمي . يصبح مجموع المربعات S=∑أنا(سجل⁡yأنا-سجل⁡α-βxأنا)2.{\displaystyle S=\sum _{i}(\log y_{i}-\log \alpha -\beta x_{i})^{2}.} ينبغي تجنب هذه الطريقة إلا إذا كانت الأخطاء ضربية وموزعة توزيعًا لوغاريتميًا طبيعيًا، لأنها قد تُعطي نتائج مُضللة. ويعود ذلك إلى أن الأخطاء في لوغاريتم y تختلف باختلاف قيمة الخطأ التجريبي في y . لذا، عند تقليل مجموع المربعات المُحوَّل، نحصل على نتائج مختلفة لكلٍّ من قيم المعلمات وانحرافاتها المعيارية المحسوبة. مع ذلك، في حالة الأخطاء الضربية الموزعة توزيعًا لوغاريتميًا طبيعيًا، تُعطي هذه الطريقة تقديرات غير متحيزة ومتسقة للمعلمات.

مثال آخر هو حركية ميكايليس - مينتين ، المستخدمة لتحديد معلمتينVالأعلى{\displaystyle V_{\max }}وكم{\displaystyle K_{m}}: v=Vالأعلى[S]كم+[S].{\displaystyle v={\frac {V_{\max }[S]}{K_{m}+[S]}}.} مخطط لاينويفر -بيرك1v=1Vالأعلى+كمVالأعلى[S]{\displaystyle {\frac {1}{v}}={\frac {1}{V_{\max }}}+{\frac {K_{m}}{V_{\max }[S]}}} ل1v{\textstyle {\frac {1}{v}}}ضد1[S]{\textstyle {\frac {1}{[S]}}}خطي في المعاملات1Vالأعلى{\textstyle {\frac {1}{V_{\max }}}}وكمVالأعلى{\textstyle {\frac {K_{m}}{V_{\max }}}}لكنها حساسة للغاية لأخطاء البيانات ومنحازة بشدة نحو ملاءمة البيانات في نطاق معين من المتغير المستقل[S]{\displaystyle [S]}.

الخوارزميات

طريقة جاوس-نيوتن

المعادلات العادية (جتيدبليوج)Δβ=(جتيدبليو)Δy{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\left(\mathbf {J} ^{\mathsf {T}}\mathbf {W} \right)\Delta \mathbf {y} } قد يتم حلها لـΔβ{\displaystyle \Delta {\boldsymbol {\beta }}}باستخدام تحليل تشوليسكي ، كما هو موضح في طريقة المربعات الصغرى الخطية . يتم تحديث المعاملات بشكل تكراري. βك+1=βك+Δβ{\displaystyle {\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+\Delta {\boldsymbol {\beta }}} حيث k هو رقم التكرار. مع أن هذه الطريقة قد تكون مناسبة للنماذج البسيطة، إلا أنها ستفشل في حال حدوث تباعد. لذا، فإن الحماية من التباعد ضرورية.

تقليص الورديات

في حالة حدوث تباعد، فإن الحل البسيط هو تقليل طول متجه الإزاحة.Δβ{\displaystyle \Delta {\boldsymbol {\beta }}}، بكسر، fβك+1=βك+و Δβ.{\displaystyle {\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+f\ \Delta {\boldsymbol {\beta }}.} على سبيل المثال، يمكن تقليل طول متجه الإزاحة إلى النصف تدريجيًا حتى تصبح القيمة الجديدة لدالة الهدف أقل من قيمتها في التكرار الأخير. ويمكن تحسين الكسر f باستخدام البحث الخطي . [ 4 ] ولأن كل قيمة تجريبية لـ f تتطلب إعادة حساب دالة الهدف، فليس من المجدي تحسين قيمتها بشكل صارم للغاية.

عند استخدام تقنية القطع بالإزاحة، يظل اتجاه متجه الإزاحة ثابتًا. وهذا يحد من إمكانية تطبيق هذه الطريقة في الحالات التي لا يختلف فيها اتجاه متجه الإزاحة كثيرًا عما سيكون عليه الحال لو كانت دالة الهدف تربيعية تقريبًا في المعاملات.βك.{\displaystyle {\boldsymbol {\beta }}^{k}.}

معامل ماركوارت

إذا حدث تباعد وكان اتجاه متجه الإزاحة بعيدًا جدًا عن اتجاهه "المثالي" بحيث لا يكون قطع الإزاحة فعالًا جدًا، أي أن الكسر f المطلوب لتجنب التباعد صغير جدًا، فيجب تغيير الاتجاه. يمكن تحقيق ذلك باستخدام معامل ماركوارت . [ 5 ] في هذه الطريقة، يتم تعديل المعادلات العادية. (جتيدبليوج+λأنا)Δβ=(جتيدبليو)Δy{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} +\lambda \mathbf {I} \right)\Delta {\boldsymbol {\beta }}=\left(\mathbf {J} ^{\mathsf {T}}\mathbf {W} \right)\Delta \mathbf {y} } أينλ{\displaystyle \lambda }يمثل μ معامل ماركوارت، و I مصفوفة الوحدة. زيادة قيمة μλ{\displaystyle \lambda }يؤدي ذلك إلى تغيير كل من اتجاه وطول متجه الإزاحة. يدور متجه الإزاحة باتجاه اتجاه الانحدار الأشد عندما λأنا≫جتيدبليوج، Δβ≈1λجتيدبليو Δy.{\displaystyle \lambda \mathbf {I} \gg \mathbf {J} ^{\mathsf {T}}\mathbf {WJ} ,\ {\Delta {\boldsymbol {\beta }}}\approx {\frac {1}{\lambda }}\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .}جتيدبليوΔy{\displaystyle \mathbf {J} ^{\mathsf {T}}\mathbf {W} \,\Delta \mathbf {y} }هو متجه الانحدار الأسرع. لذا، عندماλ{\displaystyle \lambda }عندما يصبح كبيرًا جدًا، يصبح متجه الإزاحة جزءًا صغيرًا من متجه الانحدار الأسرع.

طُرحت استراتيجيات متنوعة لتحديد معامل ماركوارت. وكما هو الحال مع تقنية القطع بالإزاحة، فإن تحسين هذا المعامل بشكل مفرط يُعدّ تبذيرًا للموارد. بدلًا من ذلك، بمجرد إيجاد قيمة تُؤدي إلى تقليل قيمة دالة الهدف، تُنقل هذه القيمة إلى التكرار التالي، مع تقليلها إن أمكن، أو زيادتها عند الحاجة. عند تقليل قيمة معامل ماركوارت، توجد قيمة حدية يُمكن عندها ضبطه على الصفر بأمان، أي الاستمرار في استخدام طريقة غاوس-نيوتن غير المُعدّلة. يُمكن ضبط القيمة الحدية مساوية لأصغر قيمة مفردة لمصفوفة جاكوبي. [ 6 ] ويُعطى حدٌّ لهذه القيمة بواسطة1/tr⁡(جتيدبليوج)-1{\displaystyle 1/\operatorname {tr} \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)^{-1}}حيث tr هي دالة التتبع . [ 7 ]

تحليل QR

يمكن إيجاد الحد الأدنى لمجموع المربعات بطريقة لا تتضمن صياغة المعادلات العادية. ويمكن كتابة البواقي مع النموذج الخطي على النحو التالي: ر=Δy-جΔβ.{\displaystyle \mathbf {r} =\Delta \mathbf {y} -\mathbf {J} \,\Delta {\boldsymbol {\beta }}.} يخضع المصفوفة اليعقوبية لتحليل متعامد؛ وسيعمل تحليل QR على توضيح العملية.ج=سؤالR{\displaystyle \mathbf {J} =\mathbf {QR} } حيث Q متعامد​م×م{\displaystyle m\times m}المصفوفة و R هيم×ن{\displaystyle m\times n}مصفوفة مقسمة إلىن×ن{\displaystyle n\times n}حاجز،Rن{\displaystyle \mathbf {R} _{n}}و(م-ن)×ن{\displaystyle (m-n)\times n}كتلة الصفر.Rن{\displaystyle \mathbf {R} _{n}}هو مثلث علوي.

R=[Rن0]{\displaystyle \mathbf {R} ={\begin{bmatrix}\mathbf {R} _{n}\\\mathbf {0} \end{bmatrix}}}

يتم ضرب متجه الباقي من اليسار بـسؤالتي{\displaystyle \mathbf {Q} ^{\mathsf {T}}}.

سؤالتير=سؤالتي Δy-R Δβ=[(سؤالتي Δy-R Δβ)ن(سؤالتي Δy)م-ن]{\displaystyle \mathbf {Q} ^{\mathsf {T}}\mathbf {r} =\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} -\mathbf {R} \ \Delta {\boldsymbol {\beta }}={\begin{bmatrix}\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} -\mathbf {R} \ \Delta {\boldsymbol {\beta }}\right)_{n}\\\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{m-n}\end{bmatrix}}}

لا يؤثر هذا على مجموع المربعات لأنS=رتيسؤالسؤالتير=رتير{\displaystyle S=\mathbf {r} ^{\mathsf {T}}\mathbf {Q} \mathbf {Q} ^{\mathsf {T}}\mathbf {r} =\mathbf {r} ^{\mathsf {T}}\mathbf {r} }لأن Q متعامد . تُحقق القيمة الدنيا لـ S عندما يكون الجزء العلوي صفرًا. لذلك، يُحسب متجه الإزاحة بحل المعادلة .Rن Δβ=(سؤالتي Δy)ن.{\displaystyle \mathbf {R} _{n}\ \Delta {\boldsymbol {\beta }}=\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{n}.}

يمكن حل هذه المعادلات بسهولة لأن R عبارة عن مصفوفة مثلثية علوية.

تحليل القيم المفردة

يتضمن أحد أشكال طريقة التحلل المتعامد تحليل القيم المفردة ، حيث يتم تحويل R إلى شكل قطري من خلال تحويلات متعامدة أخرى.

ج=يوΣVتي{\displaystyle \mathbf {J} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{\mathsf {T}}} أينيو{\displaystyle \mathbf {U} }متعامد،Σ{\displaystyle {\boldsymbol {\Sigma }}}هي مصفوفة قطرية من القيم المفردة وV{\displaystyle \mathbf {V} }هي المصفوفة المتعامدة للمتجهات الذاتية لـجتيج{\displaystyle \mathbf {J} ^{\mathsf {T}}\mathbf {J} }أو ما يعادلها من المتجهات المفردة اليمنى لـج{\displaystyle \mathbf {J} }في هذه الحالة، يُعطى متجه الإزاحة بواسطة Δβ=VΣ-1(يوتي Δy)ن.{\displaystyle \Delta {\boldsymbol {\beta }}=\mathbf {V} {\boldsymbol {\Sigma }}^{-1}\left(\mathbf {U} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{n}.}

تُعدّ البساطة النسبية لهذا التعبير مفيدة للغاية في التحليل النظري للمربعات الصغرى غير الخطية. وقد نُوقش تطبيق تحليل القيم المفردة بالتفصيل في كتاب لوسون وهانسون. [ 6 ]

طرق التدرج

توجد العديد من الأمثلة في الأدبيات العلمية حيث تم استخدام طرق مختلفة لحل مشاكل ملاءمة البيانات غير الخطية.

  • تضمين المشتقات الثانية في متسلسلة تايلور لتوسيع دالة النموذج. هذه هي طريقة نيوتن في التحسين .و(xأنا،β)=وك(xأنا،β)+∑ججأناجΔβج+12∑ج∑كΔβجΔβكحجك(أنا)، حجك(أنا)=∂2و(xأنا،β)∂βج∂βك.{\displaystyle f(x_{i},{\boldsymbol {\beta }})=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}+{\frac {1}{2}}\sum _{j}\sum _{k}\Delta \beta _{j}\,\Delta \beta _{k}\,H_{jk_{(i)}},\ H_{jk_{(i)}}={\frac {\partial ^{2}f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}\,\partial \beta _{k}}}.}تُعرف المصفوفة H باسم مصفوفة هيسيان . على الرغم من أن هذا النموذج يتمتع بخصائص تقارب أفضل بالقرب من القيمة الدنيا، إلا أنه يصبح أسوأ بكثير عندما تكون المعاملات بعيدة عن قيمها المثلى. يُضيف حساب مصفوفة هيسيان إلى تعقيد الخوارزمية. هذه الطريقة غير شائعة الاستخدام.
  • طريقة ديفيدون-فليتشر-باول . هذه الطريقة، وهي شكل من أشكال طريقة نيوتن الزائفة، تشبه الطريقة المذكورة أعلاه ولكنها تحسب مصفوفة هيسيان عن طريق التقريب المتتالي، لتجنب الحاجة إلى استخدام التعبيرات التحليلية للمشتقات الثانية.
  • الانحدار الأسرع . على الرغم من ضمان انخفاض مجموع المربعات عندما يشير متجه الإزاحة في اتجاه الانحدار الأسرع، إلا أن أداء هذه الطريقة غالبًا ما يكون ضعيفًا. فعندما تكون قيم المعلمات بعيدة عن القيم المثلى، يختلف اتجاه متجه الانحدار الأسرع، العمودي على منحنيات دالة الهدف، اختلافًا كبيرًا عن اتجاه متجه جاوس-نيوتن. وهذا يزيد من احتمالية التباعد، خاصةً وأن الحد الأدنى على طول اتجاه الانحدار الأسرع قد يمثل جزءًا صغيرًا من طول متجه الانحدار الأسرع. وعندما تكون منحنيات دالة الهدف شديدة اللامركزية، نتيجةً لوجود ارتباط قوي بين المعلمات، فإن تكرارات الانحدار الأسرع، مع قطع الإزاحة، تتبع مسارًا متعرجًا بطيئًا نحو الحد الأدنى.
  • بحث التدرج المترافق . هذه طريقة محسّنة تعتمد على أسلوب الانحدار الأسرع، وتتميز بخصائص تقارب نظرية جيدة، على الرغم من أنها قد تفشل على الحواسيب الرقمية ذات الدقة المحدودة حتى عند استخدامها في المسائل التربيعية. [ 8 ]

أساليب البحث المباشر

تعتمد طرق البحث المباشر على تقييم دالة الهدف عند قيم مختلفة للمعاملات، ولا تستخدم المشتقات إطلاقاً. وهي توفر بدائل لاستخدام المشتقات العددية في طريقة جاوس-نيوتن وطرق التدرج.

  • البحث المتغير المتناوب. [ 4 ] يتم تغيير كل مُعامل بدوره بإضافة زيادة ثابتة أو متغيرة إليه، مع الاحتفاظ بالقيمة التي تُقلل مجموع المربعات. هذه الطريقة بسيطة وفعالة عندما لا تكون المُعاملات مُرتبطة ارتباطًا وثيقًا. على الرغم من ضعف خصائص التقارب، إلا أنها قد تكون مفيدة لإيجاد تقديرات أولية للمُعاملات.
  • بحث نيلدر-ميد (السيمبلكس) . السيمبلكس في هذا السياق هو متعدد السطوح ذو n  +  1 رأسًا في n بُعدًا؛ مثلث على مستوى، أو رباعي الأوجه في فضاء ثلاثي الأبعاد، وهكذا. يتوافق كل رأس مع قيمة دالة الهدف لمجموعة معينة من المعاملات. يتم ضبط شكل وحجم السيمبلكس بتغيير المعاملات بحيث تتناقص قيمة دالة الهدف عند أعلى رأس دائمًا. على الرغم من أن مجموع المربعات قد يتناقص بسرعة في البداية، إلا أنه يمكن أن يتقارب إلى نقطة غير ثابتة في المسائل شبه المحدبة، كما في مثال إم جيه دي باول.

تتوفر أوصاف أكثر تفصيلاً لهذه الطرق وغيرها في كتاب " الوصفات العددية" ، بالإضافة إلى شفرة الكمبيوتر بلغات مختلفة.

انظر أيضاً

مراجع

  1. ↑ هذا يعني أن المشاهدات غير مترابطة. إذا كانت المشاهدات مترابطة ، فإن التعبيرS=∑ك∑جركدبليوكجرج{\displaystyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}}ينطبق هذا. في هذه الحالة، من الناحية المثالية، يجب أن تكون مصفوفة الأوزان مساوية لمعكوس مصفوفة تباين -تغاير الخطأ للمشاهدات.
  2. ↑ في حال عدم وجود خطأ تقريب أو خطأ تجريبي في المتغير المستقل، ستكون مصفوفة المعادلات العادية شاذة.
  3. ↑ بريتزجر، دانيال (2022). "ملاءمة القالب الخطي" . المجلة الأوروبية للفيزياء ج . 82 (8): 731. arXiv : 2112.01548 . Bibcode : 2022EPJC...82..731B . doi : 10.1140/epjc/s10052-022-10581-w .
  4. 1 2 إم. جيه. بوكس، دي. ديفيز، و دبليو إتش سوان، تقنيات التحسين غير الخطي، أوليفر وبويد، 1969
  5. ↑ طُرحت هذه التقنية بشكل مستقل من قِبل ليفنبرغ (1944)، وجيرارد (1958)، ووين (1959)، وموريسون (1960)، وماركوارت (1963). ويُستخدم اسم ماركوارت وحده للإشارة إليها في معظم الأدبيات العلمية. انظر المقالة الرئيسية للاطلاع على مراجع الاستشهاد.
  6. 1 2 سي. إل. لوسون و آر. جيه. هانسون، حل مسائل المربعات الصغرى، برنتيس هول، 1974
  7. ↑ ر. فليتشر، تقرير هيئة الطاقة الذرية البريطانية AERE-R 6799، مكتب القرطاسية الملكية، 1971
  8. ^ مجدي باول، مجلة الكمبيوتر، (1964)، 7 ، 155.

للمزيد من القراءة

  • كيلي، سي تي (1999). الطرق التكرارية للتحسين (ملف PDF) . فيلادلفيا: جمعية الرياضيات الصناعية والتطبيقية. ISBN 0-89871-433-8.
  • ستروتز، ت. (2016). ملاءمة البيانات وعدم اليقين: مقدمة عملية للمربعات الصغرى الموزونة وما بعدها (  الطبعة الثانية). سبرينغر فيويغ. ISBN 978-3-658-11455-8.