خوارزمية ليفنبرغ-ماركوارت

الموسوعة الحرة

في الرياضيات والحوسبة، تُستخدم خوارزمية ليفنبرغ-ماركوارت ( LMA أو اختصارًا LM )، والمعروفة أيضًا باسم طريقة المربعات الصغرى المُخمدة ( DLS )، لحل مسائل المربعات الصغرى غير الخطية . وتبرز هذه المسائل التصغيرية بشكل خاص في عملية مطابقة المنحنيات باستخدام المربعات الصغرى . تُعتبر خوارزمية LMA وسيطًا بين خوارزمية جاوس-نيوتن (GNA) وطريقة التدرج الهبوطي . تتميز خوارزمية LMA بمتانتها العالية مقارنةً بخوارزمية GNA، مما يعني أنها في كثير من الحالات تجد حلاً حتى لو بدأت بعيدًا جدًا عن الحد الأدنى النهائي. بالنسبة للدوال المنتظمة ومعاملات البداية المعقولة، تميل خوارزمية LMA إلى أن تكون أبطأ من خوارزمية GNA. ويمكن أيضًا اعتبار خوارزمية LMA بمثابة خوارزمية جاوس-نيوتن باستخدام منهجية منطقة الثقة .

نُشرت الخوارزمية لأول مرة عام 1944 على يد كينيث ليفنبرغ ، [ 1 ] أثناء عمله في ترسانة فرانكفورد العسكرية . وأُعيد اكتشافها عام 1963 على يد دونالد ماركوارت ، [ 2 ] الذي كان يعمل إحصائيًا في شركة دوبونت ، وبشكل مستقل من قبل جيرارد، [ 3 ] ووين، [ 4 ] وموريسون. [ 5 ]

تُستخدم خوارزمية LMA في العديد من تطبيقات البرمجيات لحل مسائل مطابقة المنحنيات العامة. وباستخدام خوارزمية جاوس-نيوتن، غالبًا ما تتقارب أسرع من طرق الرتبة الأولى. [ 6 ] ومع ذلك، وكغيرها من خوارزميات التحسين التكرارية، لا تجد خوارزمية LMA سوى الحد الأدنى المحلي ، والذي ليس بالضرورة الحد الأدنى العالمي .

المشكلة

يتمثل التطبيق الأساسي لخوارزمية ليفنبرغ-ماركوارت في مشكلة ملاءمة المنحنيات باستخدام طريقة المربعات الصغرى: بالنظر إلى مجموعة منم{\displaystyle m}أزواج تجريبية(xأنا،yأنا){\displaystyle \left(x_{i},y_{i}\right)}إيجاد المعاملات للمتغيرات المستقلة والتابعةβ{\displaystyle {\boldsymbol {\beta }}}منحنى النموذجو(x،β){\displaystyle f{\left(x,{\boldsymbol {\beta }}\right)}}بحيث يكون مجموع مربعات الانحرافاتS(β){\displaystyle S{\left({\boldsymbol {\beta }}\right)}}يتم تقليلها إلى الحد الأدنى:

β^∈أرجينينβ⁡S(β)≡أرجينينβ⁡∑أنا=1م[yأنا-و(xأنا،β)]2،{\displaystyle {\hat {\boldsymbol {\beta }}}\in \mathop {\operatorname {argmin} } _{\boldsymbol {\beta }}S{\left({\boldsymbol {\beta }}\right)}\equiv \mathop {\operatorname {argmin} } _{\boldsymbol {\beta }}\sum _{i=1}^{m}\left[y_{i}-f{\left(x_{i},{\boldsymbol {\beta }}\right)}\right]^{2},}والتي يُفترض أنها غير فارغة.

الحل

مثل خوارزميات التصغير العددي الأخرى، تُعد خوارزمية ليفنبرغ-ماركوارت إجراءً تكراريًا . لبدء عملية التصغير، يتعين على المستخدم تقديم قيمة أولية لمتجه المعاملات .β{\displaystyle {\boldsymbol {\beta }}}في الحالات التي يكون فيها حد أدنى واحد فقط ، يكون التخمين القياسي غير المدروس مثلβتي=(1، 1، ...، 1){\displaystyle {\boldsymbol {\beta }}^{\text{T}}={\begin{pmatrix}1,\ 1,\ \dots ,\ 1\end{pmatrix}}}سيعمل بشكل جيد؛ في الحالات التي تحتوي على نقاط دنيا متعددة ، تتقارب الخوارزمية إلى الحد الأدنى العالمي فقط إذا كانت التخمينات الأولية قريبة إلى حد ما من الحل النهائي.

في كل خطوة تكرارية ، متجه المعلماتβ{\displaystyle {\boldsymbol {\beta }}}يتم استبدالها بتقدير جديدβ+دلتا{\displaystyle {\boldsymbol {\beta }}+{\boldsymbol {\delta }}}لتحديد​​دلتا{\displaystyle {\boldsymbol {\delta }}}، الوظيفةو(xأنا،β+دلتا){\displaystyle f{\left(x_{i},{\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)}}يتم تقريبها من خلال خطيتها :

و(xأنا،β+دلتا)≈و(xأنا،β)+جأنادلتا،{\displaystyle f{\left(x_{i},{\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)}\approx f{\left(x_{i},{\boldsymbol {\beta }}\right)}+\mathbf {J} _{i}{\boldsymbol {\delta }},}

أين جأنا=∂و(xأنا،β)∂β{\displaystyle \mathbf {J} _{i}={\frac {\partial f{\left(x_{i},{\boldsymbol {\beta }}\right)}}{\partial {\boldsymbol {\beta }}}}} هو تدرج (متجه صف في هذه الحالة) لـو{\displaystyle f}فيما يتعلق بـβ{\displaystyle {\boldsymbol {\beta }}}⁠ .

المجموعS(β){\displaystyle S\left({\boldsymbol {\beta }}\right)}يبلغ متوسط ​​الانحرافات التربيعية أدنى قيمة له عند ميل صفري بالنسبة إلىβ{\displaystyle {\boldsymbol {\beta }}}. التقريب من الدرجة الأولى المذكور أعلاه لـو(xأنا،β+دلتا){\displaystyle f{\left(x_{i},{\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)}}أعطِ S(β+دلتا)≈∑أنا=1م[yأنا-و(xأنا،β)-جأنادلتا]2،{\displaystyle S\left({\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)\approx \sum _{i=1}^{m}\left[y_{i}-f\left(x_{i},{\boldsymbol {\beta }}\right)-\mathbf {J} _{i}{\boldsymbol {\delta }}\right]^{2},} أو في تدوين المتجهات، S(β+دلتا)≈‖y-و(β)-جدلتا‖2=[y-و(β)-جدلتا]تي[y-و(β)-جدلتا]=[y-و(β)]تي[y-و(β)]-[y-و(β)]تيجدلتا-(جدلتا)تي[y-و(β)]+دلتاتيجتيجدلتا=[y-و(β)]تي[y-و(β)]-2[y-و(β)]تيجدلتا+دلتاتيجتيجدلتا.{\displaystyle {\begin{aligned}S\left({\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)&\approx \left\|\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}-\mathbf {J} {\boldsymbol {\delta }}\right\|^{2}\\&=\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}-\mathbf {J} {\boldsymbol {\delta }}\right]^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}-\mathbf {J} {\boldsymbol {\delta }}\right]\\&=\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]-\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}-\left(\mathbf {J} {\boldsymbol {\delta }}\right)^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]+{\boldsymbol {\delta }}^{\mathrm {T} }\mathbf {J} ^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}\\&=\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]-2\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}+{\boldsymbol {\delta }}^{\mathrm {T} }\mathbf {J} ^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}.\end{aligned}}} بأخذ مشتقة هذا التقريب لـS(β+دلتا){\displaystyle S\left({\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)}فيما يتعلق بـدلتا{\displaystyle {\boldsymbol {\delta }}}وتعيين النتيجة إلى الصفر يعطي

(جتيج)دلتا=جتي[y-و(β)]،{\displaystyle \left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} \right){\boldsymbol {\delta }}=\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right],}

أينج{\displaystyle \mathbf {J} }هي مصفوفة جاكوبيان ، التيأنا{\displaystyle i}الصف رقم - يساويجأنا{\displaystyle \mathbf {J} _{i}}وحيثو(β){\displaystyle \mathbf {f} \left({\boldsymbol {\beta }}\right)}وy{\displaystyle \mathbf {y} }هي متجهات مع ⁠أنا{\displaystyle i}المكون رقم -و(xأنا،β){\displaystyle f\left(x_{i},{\boldsymbol {\beta }}\right)}وyأنا{\displaystyle y_{i}}على التوالي. تم الحصول على التعبير أعلاه لـβ{\displaystyle {\boldsymbol {\beta }}}يندرج هذا تحت طريقة جاوس-نيوتن. مصفوفة جاكوبي كما عُرّفت أعلاه ليست (بشكل عام) مصفوفة مربعة، بل مصفوفة مستطيلة من الحجمم×ن{\displaystyle m\times n}، أينن{\displaystyle n}يمثل عدد المعاملات (حجم المتجه)β{\displaystyle {\boldsymbol {\beta }}}). ضرب المصفوفات(جتيج){\displaystyle \left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} \right)}ويؤدي إلى المطلوبن×ن{\displaystyle n\times n}المصفوفة المربعة، وضرب المصفوفة في المتجه في الطرف الأيمن ينتج متجهًا بحجمن{\displaystyle n}والنتيجة هي مجموعة منن{\displaystyle n}المعادلات الخطية، التي يمكن حلها لإيجاد ⁠دلتا{\displaystyle {\boldsymbol {\delta }}}⁠ .

تتمثل مساهمة ليفنبرغ في استبدال هذه المعادلة بـ "نسخة مخمدة":

(جتيج+λأنا)دلتا=جتي[y-و(β)]،{\displaystyle \left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} +\lambda \mathbf {I} \right){\boldsymbol {\delta }}=\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right],}

أين​أنا{\displaystyle \mathbf {I} }هي مصفوفة الوحدة، وتعطي الزيادة ⁠دلتا{\displaystyle {\boldsymbol {\delta }}}إلى متجه المعلمات المقدرβ{\displaystyle {\boldsymbol {\beta }}}⁠ .

معامل التخميد (غير السالب )λ{\displaystyle \lambda }يتم تعديلها في كل تكرار. إذا تم تقليلS{\displaystyle S}إذا كانت العملية سريعة، يمكن استخدام قيمة أصغر، مما يجعل الخوارزمية أقرب إلى خوارزمية جاوس-نيوتن ، بينما إذا لم تُحقق عملية التكرار انخفاضًا كافيًا في الباقي ،λ{\displaystyle \lambda }يمكن زيادة قيمة ، مما يُقرّبنا خطوةً نحو اتجاه الانحدار التدريجي. لاحظ أن تدرجS{\displaystyle S}فيما يتعلق بـβ{\displaystyle {\boldsymbol {\beta }}}يساوي​-2(جتي[y-و(β)])تي{\displaystyle -2\left(\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]\right)^{\mathrm {T} }}لذلك، بالنسبة للقيم الكبيرة لـλ{\displaystyle \lambda }، ستُتخذ الخطوة تقريبًا في الاتجاه المعاكس للميل. إذا كان طول الخطوة المحسوبةدلتا{\displaystyle {\boldsymbol {\delta }}}أو تقليل مجموع المربعات من أحدث متجه للمعاملاتβ+دلتا{\displaystyle {\boldsymbol {\beta }}+{\boldsymbol {\delta }}}إذا انخفضت القيمة عن الحدود المحددة مسبقًا، تتوقف عملية التكرار، ويصل متجه المعلمات الأخير إلى القيمة المطلوبة .β{\displaystyle {\boldsymbol {\beta }}}يُعتبر هذا هو الحل .

عندما يكون عامل التخميدλ{\displaystyle \lambda }كبير نسبياً‖جتيج‖{\displaystyle \|\mathbf {J} ^{\mathrm {T} }\mathbf {J} \|}، عكسجتيج+λأنا{\displaystyle \mathbf {J} ^{\mathrm {T} }\mathbf {J} +\lambda \mathbf {I} }ليس ذلك ضرورياً، حيث يتم تقريب التحديث بشكل جيد بواسطة خطوة التدرج الصغيرةλ-1جتي[y-و(β)]{\displaystyle \lambda ^{-1}\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right]}.

لجعل الحل ثابتًا من حيث المقياس، حلت خوارزمية ماركوارت مسألة معدلة حيث تم تغيير مقياس كل مكون من مكونات التدرج وفقًا للانحناء. يوفر هذا حركة أكبر على طول الاتجاهات التي يكون فيها التدرج أصغر، مما يتجنب التقارب البطيء في اتجاه التدرج الصغير. قام فليتشر في ورقته البحثية لعام 1971 بعنوان "روتين فرعي معدل لماركوارت للمربعات الصغرى غير الخطية" بتبسيط الشكل، واستبدال مصفوفة الوحدة .أنا{\displaystyle \mathbf {I} }مع المصفوفة القطرية التي تتكون من العناصر القطرية لـجتيج{\displaystyle \mathbf {J} ^{\text{T}}\mathbf {J} }⁠ :

[جتيج+λالتشخيص⁡(جتيج)]دلتا=جتي[y-و(β)].{\displaystyle \left[\mathbf {J} ^{\mathrm {T} }\mathbf {J} +\lambda \operatorname {diag} \left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} \right)\right]{\boldsymbol {\delta }}=\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} {\left({\boldsymbol {\beta }}\right)}\right].}

يظهر عامل تخميد مماثل في تنظيم تيكهونوف ، والذي يستخدم لحل المشكلات الخطية غير المحددة جيدًا ، وكذلك في انحدار ريدج ، وهو أسلوب تقدير في الإحصاء .

اختيار معامل التخميد

تم طرح العديد من الحجج الاستدلالية، بدرجات متفاوتة، لاختيار أفضل قيمة لمعامل التخميد .λ{\displaystyle \lambda }توجد حجج نظرية توضح لماذا تضمن بعض هذه الخيارات التقارب المحلي للخوارزمية؛ ومع ذلك، يمكن أن تؤدي هذه الخيارات إلى معاناة التقارب العالمي للخوارزمية من الخصائص غير المرغوب فيها لأسلوب الانحدار الأسرع ، ولا سيما التقارب البطيء للغاية بالقرب من الحل الأمثل.

تعتمد القيم المطلقة لأي اختيار على مدى دقة قياس المسألة الأولية. وقد أوصى ماركوارت بالبدء بقيمة معينة .λ0{\displaystyle \lambda _{0}}وعامل​​ν>1{\displaystyle \nu >1}. الإعداد الأوليλ=λ0{\displaystyle \lambda =\lambda _{0}}وحساب مجموع مربعات البواقيS(β){\displaystyle S\left({\boldsymbol {\beta }}\right)}بعد خطوة واحدة من نقطة البداية بمعامل التخميد التالي:λ=λ0{\displaystyle \lambda =\lambda _{0}}وثانياً معλ0/ν{\displaystyle \lambda _{0}/\nu }إذا كان كلا هذين الأمرين أسوأ من النقطة الأولية، فسيتم زيادة التخميد عن طريق الضرب المتتالي بـν{\displaystyle \nu }إلى أن يتم العثور على نقطة أفضل بمعامل تخميد جديد قدرهλ0νك{\displaystyle \lambda _{0}\nu ^{k}}بالنسبة للبعض​ك{\displaystyle k}⁠ .

في حالة استخدام عامل التخميدλ/ν{\displaystyle \lambda /\nu }ينتج عن ذلك انخفاض في مربع الباقي، ثم يتم اعتبار هذا هو القيمة الجديدة لـλ{\displaystyle \lambda }( ويُعتبر الموقع الأمثل الجديد هو الموقع الذي تم الحصول عليه باستخدام عامل التخميد هذا) وتستمر العملية؛ في حالة استخدامλ/ν{\displaystyle \lambda /\nu }نتج عن ذلك بقايا أسوأ، ولكن باستخدامλ{\displaystyle \lambda }نتج عن ذلك قيمة متبقية أفضل، ثمλ{\displaystyle \lambda }يتم ترك ⁠ دون تغيير ويتم اعتبار القيمة المثلى الجديدة هي القيمة التي تم الحصول عليها باستخدام ⁠λ{\displaystyle \lambda }كعامل تخميد.

تتمثل إحدى الاستراتيجيات الفعّالة للتحكم في معامل التخميد، والمعروفة باسم "التأجيل المُرضي" ، في زيادة قيمة المعامل بمقدار ضئيل في كل خطوة صعودية، وخفضها بمقدار كبير في كل خطوة هبوطية. وتكمن فكرة هذه الاستراتيجية في تجنب الانحدار السريع في بداية عملية التحسين، مما يحد من عدد الخطوات المتاحة في التكرارات اللاحقة، وبالتالي يبطئ التقارب. [ 7 ] وقد ثبتت فعالية زيادة المعامل بمقدار الضعف وخفضه بمقدار ثلاثة أضعاف في معظم الحالات، بينما في المسائل الكبيرة، قد تكون القيم القصوى أكثر فعالية، كزيادة المعامل بمقدار 1.5 وخفضه بمقدار خمسة أضعاف. [ 8 ]

التسارع الجيوديسي

عند تفسير خطوة ليفنبرغ-ماركوارت على أنها السرعةvك{\displaystyle {\boldsymbol {v}}_{k}}على طول مسار جيوديسي في فضاء المعلمات، من الممكن تحسين الطريقة بإضافة حد من الدرجة الثانية يأخذ في الاعتبار التسارعأك{\displaystyle {\boldsymbol {a}}_{k}}على طول الخط الجيوديسي

vك+12أك{\displaystyle {\boldsymbol {v}}_{k}+{\tfrac {1}{2}}{\boldsymbol {a}}_{k}}

أينأك{\displaystyle {\boldsymbol {a}}_{k}}هو حل

جكأك=-وvv.{\displaystyle {\boldsymbol {J}}_{k}{\boldsymbol {a}}_{k}=-f_{vv}.}

بما أن مصطلح تسارع المسار الجيوديسي هذا يعتمد فقط على المشتق الاتجاهيوvv=∑μνvμvν∂μ∂νو(x){\textstyle f_{vv}=\sum _{\mu \nu }v_{\mu }v_{\nu }\partial _{\mu }\partial _{\nu }f({\boldsymbol {x}})}على طول اتجاه السرعةv{\displaystyle {\boldsymbol {v}}}لا يتطلب ذلك حساب مصفوفة المشتقة الثانية كاملةً، مما يستلزم تكلفة حسابية إضافية بسيطة. [ 9 ] ولأن المشتقة الثانية قد تكون تعبيرًا معقدًا إلى حد ما، فقد يكون من الملائم استبدالها بتقريب الفروق المحدودة .

وvvأنا≈وأنا(x+حدلتا)-2وأنا(x)+وأنا(x-حدلتا)ح2=2ح(وأنا(x+حدلتا)-وأنا(x)ح-جأنادلتا){\displaystyle {\begin{aligned}f_{vv}^{i}&\approx {\frac {f_{i}({\boldsymbol {x}}+h{\boldsymbol {\delta }})-2f_{i}({\boldsymbol {x}})+f_{i}({\boldsymbol {x}}-h{\boldsymbol {\delta }})}{h^{2}}}\\&={\frac {2}{h}}\left({\frac {f_{i}({\boldsymbol {x}}+h{\boldsymbol {\delta }})-f_{i}({\boldsymbol {x}})}{h}}-{\boldsymbol {J}}_{i}{\boldsymbol {\delta }}\right)\end{aligned}}}

أينو(x){\displaystyle f({\boldsymbol {x}})}وج{\displaystyle {\boldsymbol {J}}}تم حسابها بالفعل بواسطة الخوارزمية، وبالتالي لا يتطلب الأمر سوى تقييم دالة إضافي واحد لحسابهاو(x+حدلتا){\displaystyle f({\boldsymbol {x}}+h{\boldsymbol {\delta }})}اختيار خطوة الفروق المحدودةح{\displaystyle h}يمكن أن يؤثر ذلك على استقرار الخوارزمية، وعادةً ما تكون قيمة حوالي 0.1 معقولة بشكل عام. [ 8 ]

بما أن التسارع قد يشير في اتجاه معاكس للسرعة، ولمنع توقف الطريقة في حالة كون التخميد صغيرًا جدًا، تتم إضافة معيار إضافي على التسارع لقبول الخطوة، ويتطلب ذلك أن

2‖أك‖‖vك‖≤α{\displaystyle {\frac {2\left\|{\boldsymbol {a}}_{k}\right\|}{\left\|{\boldsymbol {v}}_{k}\right\|}}\leq \alpha }

أينα{\displaystyle \alpha }عادة ما يتم تثبيتها على قيمة أقل من 1، مع قيم أصغر للمسائل الأكثر صعوبة. [ 8 ]

يمكن أن تؤدي إضافة حد تسريع جيوديسي إلى زيادة كبيرة في سرعة التقارب، وهي مفيدة بشكل خاص عندما تتحرك الخوارزمية عبر ممرات ضيقة في مجال دالة الهدف، حيث تكون الخطوات المسموح بها أصغر، وتؤدي الدقة الأعلى الناتجة عن الحد من الدرجة الثانية إلى تحسينات كبيرة. [ 8 ]

مثال

غير مناسب
ملاءمة أفضل
الأنسب

في هذا المثال نحاول مطابقة الدالةy=أكوس⁡(بX)+بالخطيئة⁡(أX){\displaystyle y=a\cos \left(bX\right)+b\sin \left(aX\right)}باستخدام خوارزمية ليفنبرغ-ماركوارت المُطبقة في برنامج GNU Octave كدالة leasqr . تُظهر الرسوم البيانية تحسنًا تدريجيًا في مطابقة المعلماتأ=100{\displaystyle a=100}،ب=102{\displaystyle b=102}تُستخدم هذه القيم في المنحنى الأولي. فقط عندما تُختار المعاملات في الرسم البياني الأخير بأقرب ما يكون إلى القيم الأصلية، تتطابق المنحنيات تمامًا. تُعد هذه المعادلة مثالًا على الشروط الأولية شديدة الحساسية لخوارزمية ليفنبرغ-ماركوارت. أحد أسباب هذه الحساسية هو وجود نقاط دنيا متعددة - الدالةكوس⁡(βx){\displaystyle \cos \left(\beta x\right)}له قيمة دنيا عند قيمة المعاملβ^{\displaystyle {\hat {\beta }}}وβ^+2نπ{\displaystyle {\hat {\beta }}+2n\pi }.

انظر أيضاً

مراجع

  1. ↑ ليفنبرغ، كينيث (1944). "طريقة لحل بعض المسائل غير الخطية في المربعات الصغرى" . مجلة الرياضيات التطبيقية الفصلية . 2 (2): 164-168 . doi : 10.1090/qam/10666 .
  2. ↑ ماركوارت، دونالد (1963). "خوارزمية لتقدير المربعات الصغرى للمعاملات غير الخطية". مجلة SIAM للرياضيات التطبيقية . 11 (2): 431-441 . doi : 10.1137/0111030 . hdl : 10338.dmlcz/104299 .
  3. ^ جيرار ، أندريه (1958). "مقتطف من Revue d'optique théorique et Instrumentale ". القس التقيد . 37 : 225 – 241 ، 397 – 424.
  4. ↑ وين، سي جي (1959). "تصميم العدسات باستخدام الحاسوب الرقمي الإلكتروني: الجزء الأول". وقائع الجمعية الفيزيائية بلندن . 73 (5): 777-787 . رمز Bibcode : 1959PPS....73..777W . doi : 10.1088/0370-1328/73/5/310 .
  5. ↑ موريسون، ديفيد د. (1960). "طرق لحل مسائل المربعات الصغرى غير الخطية وإثباتات التقارب". وقائع ندوة مختبر الدفع النفاث حول برامج التتبع وتحديد المدار : 1-9 .
  6. ↑ ويلياموفسكي، بوغدان؛ يو، هاو (يونيو 2010). "تحسين الحساب لتدريب ليفنبرغ-ماركوارت" (ملف PDF) . معاملات IEEE في الشبكات العصبية وأنظمة التعلم . 21 (6).
  7. ↑ ترانستروم، مارك ك؛ ماختا، بنجامين ب؛ سيثنا، جيمس ب (2011). "هندسة المربعات الصغرى غير الخطية مع تطبيقات على النماذج غير الدقيقة والتحسين". مجلة Physical Review E. 83 ( 3) 036701. APS. arXiv : 1010.1449 . Bibcode : 2011PhRvE..83c6701T . doi : 10.1103/PhysRevE.83.036701 . PMID 21517619. S2CID 15361707 .  
  8. 1 2 3 4 ترانستروم، مارك ك؛ سيثنا، جيمس ب (2012). "تحسينات على خوارزمية ليفنبرغ-ماركوارت لتقليل المربعات الصغرى غير الخطية". arXiv : 1201.5885 [ physics.data-an ].
  9. ↑ "التوفيق غير الخطي للمربعات الصغرى" . مكتبة جنو العلمية. مؤرشف من الأصل بتاريخ 14-04-2020.
  10. ↑ كانزو، كريستيان؛ ياماشيتا، نوبو؛ فوكوشيما، ماساو (2004). "طرق ليفنبرغ-ماركوارت ذات خصائص التقارب المحلي القوي لحل المعادلات غير الخطية ذات القيود المحدبة" . مجلة الرياضيات الحسابية والتطبيقية . 172 (2): 375-397 . Bibcode : 2004JCoAM.172..375K . doi : 10.1016/j.cam.2004.02.013 .

للمزيد من القراءة

  • موريه، خورخي ج.؛ سورنسن، دانيال س. (1983). "حساب خطوة منطقة الثقة" (ملف PDF) . مجلة SIAM للعلوم والإحصاء والحوسبة . 4 (3): 553-572 . doi : 10.1137/0904038 .
  • جيل، فيليب إي.؛ موراي، والتر (1978). "خوارزميات لحل مسألة المربعات الصغرى غير الخطية". مجلة SIAM للتحليل العددي . 15 (5): 977-992 . Bibcode : 1978SJNA...15..977G . doi : 10.1137/0715063 .
  • بوجول، خوسيه (2007). "حل المسائل العكسية غير الخطية وطريقة ليفنبرغ-ماركوارت". الجيوفيزياء . 72 (4). SEG: W1– W16. Bibcode : 2007Geop...72W...1P . doi : 10.1190/1.2732552 .
  • نوسيدال، خورخي؛ رايت، ستيفن جيه. (2006). التحسين العددي (  الطبعة الثانية). سبرينغر. ISBN 978-0-387-30303-1.