أقل الانحرافات المطلقة

الموسوعة الحرة

أقل الانحرافات المطلقة ( LAD )، والمعروفة أيضًا بأقل الأخطاء المطلقة ( LAE ) أو أقل البواقي المطلقة ( LAR ) أو أقل القيم المطلقة ( LAV )، هي معيار إحصائي للأمثلية وتقنية تحسين إحصائي تعتمد على تقليل مجموع الانحرافات المطلقة (أو مجموع البواقي المطلقة أو مجموع الأخطاء المطلقة ) أو معيار L1 لهذه القيم . وهي مشابهة لتقنية المربعات الصغرى ، إلا أنها تعتمد على القيم المطلقة بدلًا من القيم المربعة . وتسعى هذه التقنية إلى إيجاد دالة تُقارب مجموعة بيانات بدقة عن طريق تقليل البواقي بين النقاط التي تولدها الدالة ونقاط البيانات المقابلة. كما يظهر تقدير LAD كتقدير الاحتمال الأقصى إذا كانت الأخطاء تتبع توزيع لابلاس . وقد طُورت هذه التقنية عام 1757 على يد روجر جوزيف بوسكوفيتش . [ 1 ]

التركيبة

لنفترض أن مجموعة البيانات تتكون من النقاط ( xᵢ , yᵢ ) حيث i = 1, 2, ..., n . نريد إيجاد دالة f بحيثو(xأنا)≈yأنا.{\displaystyle f(x_{i})\approx y_{i}.}

لتحقيق هذا الهدف، نفترض أن الدالة f تأخذ شكلاً معيناً يحتوي على بعض المعاملات التي يجب تحديدها. على سبيل المثال، أبسط شكل لها هو الشكل الخطي: f ( x ) = bx + c ، حيث b و c معاملان غير معروفين ، ولكننا نرغب في تقدير قيمهما. وبشكل أكثر تعقيداً، نفترض أن f ( x ) دالة تربيعية ، أي f ( x ) = ax² + bx + c ، حيث a و b و c غير معروفة. (بشكل أعم، قد لا يكون هناك مُفسِّر واحد x فقط ، بل مُفسِّرات متعددة، تظهر جميعها كمعاملات للدالة f ).

نسعى الآن إلى إيجاد القيم التقديرية للمعلمات المجهولة التي تقلل من مجموع القيم المطلقة للبواقي:

S=∑أنا=1ن|yأنا-و(xأنا)|.{\displaystyle S=\sum _{i=1}^{n}|y_{i}-f(x_{i})|.}

حل

على الرغم من أن فكرة انحدار الانحرافات المطلقة الصغرى بسيطة تمامًا كفكرة انحدار المربعات الصغرى، إلا أن حساب خط الانحرافات المطلقة الصغرى ليس بالسهولة نفسها. فعلى عكس انحدار المربعات الصغرى، لا يمتلك انحدار الانحرافات المطلقة الصغرى طريقة حل تحليلية، لذا يتطلب الأمر اتباع نهج تكراري. فيما يلي قائمة ببعض طرق حل الانحرافات المطلقة الصغرى.

تُعدّ الطرق القائمة على طريقة سيمبلكس الطريقة "المفضلة" لحلّ مشكلة أقل انحرافات مطلقة. [ 7 ] طريقة سيمبلكس هي طريقة لحلّ مشكلة في البرمجة الخطية. الخوارزمية الأكثر شيوعًا هي خوارزمية باروديل-روبرتس المُعدّلة لسيمبلكس. يمكن إيجاد خوارزميات IRLS، وطريقة ويسولوسكي، وطريقة لي في الملحق أ من [ 7 ]، بالإضافة إلى طرق أخرى. يُعدّ فحص جميع تركيبات الخطوط التي تمرّ بأي نقطتي بيانات (x,y) طريقة أخرى لإيجاد خط أقل انحرافات مطلقة. بما أنه من المعروف أن خطًا واحدًا على الأقل من خطوط أقل الانحرافات المطلقة يمرّ بنقطتي بيانات على الأقل، فإن هذه الطريقة تجد خطًا بمقارنة أصغر خطأ مطلق (SAE) لكل خط، واختيار الخط ذي أصغر قيمة SAE. بالإضافة إلى ذلك، إذا كان لعدة خطوط نفس أصغر قيمة SAE، فإن هذه الخطوط تُحدّد منطقة الحلول المتعددة. على الرغم من بساطة هذه الطريقة الأخيرة، إلا أنها غير فعّالة مع مجموعات البيانات الكبيرة.

الحل باستخدام البرمجة الخطية

يمكن حل المشكلة باستخدام أي تقنية من تقنيات البرمجة الخطية وفقًا لمواصفات المشكلة التالية. نريد أن

التقليل∑أنا=1ن|yأنا-أ0-أ1xأنا1-أ2xأنا2-⋯-أكxأناك|{\displaystyle {\text{تقليل}}\sum _{i=1}^{n}|y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}|}

فيما يتعلق باختيار قيم المعلماتأ0،...،أك{\displaystyle a_{0},\ldots ,a_{k}}حيث يمثل yᵢ قيمة المشاهدة رقم i للمتغير التابع، ويمثل xᵢⱼ قيمة المشاهدة رقم i للمتغير المستقل رقم j (حيث j = 1، ...، k ). نعيد كتابة هذه المسألة بدلالة المتغيرات الاصطناعية uᵢ كما يلي:

التقليل∑أنا=1نuأنا{\displaystyle {\text{تقليل}}\sum _{i=1}^{n}u_{i}}
بالنسبة إلىأ0،...،أك{\displaystyle a_{0},\ldots ,a_{k}}وu1،...،uن{\displaystyle u_{1},\ldots ,u_{n}}
رهناً بـ
uأنا≥yأنا-أ0-أ1xأنا1-أ2xأنا2-⋯-أكxأناك     ل أنا=1،...،ن{\displaystyle u_{i}\geq y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}\,\ \,\ \,\ \,\ \,\ {\text{لـ }}i=1,\ldots ,n}
uأنا≥-[yأنا-أ0-أ1xأنا1-أ2xأنا2-⋯-أكxأناك]   ل أنا=1،...،ن.{\displaystyle u_{i}\geq -[y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}]\,\ \,\ {\text{ لـ }}i=1,\ldots ,n.}

تؤدي هذه القيود إلى إجبار كلuأنا{\displaystyle u_{i}}يساوي|yأنا-أ0-أ1xأنا1-أ2xأنا2-⋯-أكxأناك|{\displaystyle |y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}|}عند تصغيرها، تصبح دالة الهدف مكافئة لدالة الهدف الأصلية. ولأن هذه الصيغة من المسألة لا تحتوي على عامل القيمة المطلقة، فهي بصيغة يمكن حلها باستخدام أي برنامج برمجة خطية.

ملكيات

توجد خصائص فريدة أخرى لخط الانحرافات المطلقة الدنيا. ففي حالة مجموعة بيانات ( س ، ص )، يمر خط الانحرافات المطلقة الدنيا دائمًا بنقطتين على الأقل من نقاط البيانات، ما لم توجد حلول متعددة. وفي حال وجود حلول متعددة، فإن منطقة حلول الانحرافات المطلقة الدنيا الصالحة ستكون محصورة بخطين على الأقل، يمر كل منهما بنقطتين على الأقل من نقاط البيانات. وبشكل أعم، إذا كان هناك k من المتغيرات المستقلة (بما في ذلك الثابت)، فإن سطح انحدار أمثل واحد على الأقل سيمر بـ k من نقاط البيانات. [ 8 ] : ص 936

يُساعد هذا "الارتباط" بين الخط ونقاط البيانات على فهم خاصية "عدم الاستقرار": فإذا كان الخط يرتبط دائمًا بنقطتين على الأقل، فإنه سينتقل بين مجموعات مختلفة من النقاط عند تغيير البيانات. كما يُساعد هذا الارتباط على فهم خاصية "المتانة": فإذا وُجدت قيمة شاذة، وكان على خط الانحرافات المطلقة الأدنى أن يرتبط بنقطتين من البيانات، فمن المرجح ألا تكون القيمة الشاذة إحدى هاتين النقطتين، لأن ذلك لن يُقلل مجموع الانحرافات المطلقة في معظم الحالات.

إحدى الحالات المعروفة التي توجد فيها حلول متعددة هي مجموعة من النقاط المتناظرة حول خط أفقي، كما هو موضح في الشكل أ أدناه.

الشكل أ: مجموعة من نقاط البيانات ذات تناظر انعكاسي وحلول متعددة لأقل انحرافات مطلقة. تظهر "منطقة الحل" باللون الأخضر. تمثل الخطوط الزرقاء الرأسية الأخطاء المطلقة من الخط الوردي إلى كل نقطة بيانات. الخط الوردي هو واحد من عدد لا نهائي من الحلول داخل المنطقة الخضراء.

لفهم سبب وجود حلول متعددة في الحالة الموضحة في الشكل (أ)، لننظر إلى الخط الوردي في المنطقة الخضراء. مجموع أخطائه المطلقة هو قيمة معينة (S). إذا قمنا بإمالة الخط لأعلى قليلاً، مع إبقائه ضمن المنطقة الخضراء، فسيظل مجموع الأخطاء هو (S). لن يتغير هذا المجموع لأن المسافة من كل نقطة إلى الخط تزداد على أحد جانبي الخط، بينما تتناقص المسافة إلى كل نقطة على الجانب الآخر من الخط بنفس المقدار تمامًا. وبالتالي، يبقى مجموع الأخطاء المطلقة ثابتًا. أيضًا، بما أنه يمكن إمالة الخط بزيادات متناهية الصغر، فهذا يدل على أنه إذا كان هناك أكثر من حل واحد، فسيكون هناك عدد لا نهائي من الحلول.

المزايا والعيوب

فيما يلي جدول يقارن بعض خصائص طريقة الانحرافات المطلقة الصغرى مع خصائص طريقة المربعات الصغرى (للمسائل غير المنفردة). [ 9 ] [ 10 ]

الانحدار الخطي العاديانحدار الانحرافات المطلقة الصغرى
ليس متيناً جداًقوي
محلول مستقرحل غير مستقر
حل واحد*ربما حلول متعددة

* بشرط أن يكون عدد نقاط البيانات أكبر من أو يساوي عدد الميزات.

تُستخدم طريقة الانحرافات المطلقة الصغرى في العديد من المجالات، نظرًا لمتانتها مقارنةً بطريقة المربعات الصغرى. تتميز هذه الطريقة بمقاومتها للقيم الشاذة في البيانات، حيث تُعطي جميع المشاهدات نفس القدر من الأهمية، على عكس طريقة المربعات الصغرى العادية التي تُعطي وزنًا أكبر للقيم الشاذة الكبيرة، أي القيم التي تكون فيها القيم المتوقعة بعيدة عن المشاهدات الفعلية، وذلك عن طريق تربيع البواقي. قد يكون هذا مفيدًا في الدراسات التي لا تتطلب إعطاء القيم الشاذة وزنًا أكبر من المشاهدات الأخرى. أما إذا كان من المهم إعطاء وزن أكبر للقيم الشاذة، فإن طريقة المربعات الصغرى تُعد الخيار الأمثل.

التباينات، والتوسعات، والتخصصات

إذا عممنا دالة القيمة المطلقة في مجموع القيم المطلقة للبواقي إلى دالة قيمة مطلقة مائلة، والتي يكون ميلها على نصف الخط الأيسرτ-1{\displaystyle \tau -1}وفي النصف الأيمن من الخط يوجد ميلτ{\displaystyle \tau }، أين0<τ<1{\displaystyle 0<\tau <1}، نحصل على انحدار الكميات . حالةτ=1/2{\displaystyle \tau =1/2}يُعطي الانحدار القياسي بأقل الانحرافات المطلقة ويُعرف أيضًا باسم انحدار الوسيط .

يمكن توسيع مشكلة الانحراف المطلق الأدنى لتشمل تفسيرات متعددة وقيودًا وتنظيمًا ، على سبيل المثال، نموذج خطي مع قيود خطية: [ 11 ]

تقليلS(β،ب)=∑أنا|xأنا′β+ب-yأنا|{\displaystyle S(\mathbf {\beta } ,b)=\sum _{i}|\mathbf {x} '_{i}\mathbf {\beta } +b-y_{i}|}
رهناً بـ، على سبيل المثال،x1′β+ب-y1≤ك{\displaystyle \mathbf {x} '_{1}\mathbf {\beta} +b-y_{1}\leq k}

أينβ{\displaystyle \mathbf {\beta } }يمثل متجه عمودي للمعاملات المراد تقديرها، و b هو التقاطع المراد تقديره، و x i هو متجه عمودي للملاحظات رقم i على مختلف المتغيرات التفسيرية، و y i هي الملاحظة رقم i على المتغير التابع، و k هو ثابت معروف.

يمكن أيضًا دمج التنظيم باستخدام LASSO (أقل انكماش مطلق ومعامل اختيار) مع LAD. [ 12 ]

انظر أيضاً

مراجع

  1. ↑ "انحدار الانحراف المطلق الأدنى". الموسوعة الموجزة للإحصاء . سبرينغر. 2008. ص 299-302 . doi : 10.1007/978-0-387-32833-1_225 . ISBN  9780387328331.
  2. ↑ باروديل، آي.؛ روبرتس، إف. دي. كيه. (1973). "خوارزمية محسّنة للتقريب الخطي المنفصل L1". مجلة SIAM للتحليل العددي . 10 (5): 839-848 . Bibcode : 1973SJNA...10..839B . doi : 10.1137/0710069 . hdl : 1828/11491 . JSTOR 2156318 . 
  3. ↑ شلوسماخر، إي جيه (ديسمبر 1973). "تقنية تكرارية لملاءمة منحنى الانحرافات المطلقة". مجلة الجمعية الإحصائية الأمريكية . 68 (344): 857-859 . doi : 10.2307/2284512 . JSTOR 2284512 . 
  4. ↑ ويسولوسكي، جي أو (1981). "خوارزمية هبوط جديدة لمسألة الانحدار بأقل قيمة مطلقة". الاتصالات في الإحصاء - المحاكاة والحساب . B10 (5): 479-491 . doi : 10.1080/03610918108812224 .
  5. ↑ لي، ينبو؛ آرس، غونزالو ر. (2004). "نهج الاحتمال الأقصى لانحدار الانحراف المطلق الأدنى" . مجلة EURASIP لمعالجة الإشارات التطبيقية . 2004 (12): 1762-1769 . Bibcode : 2004EJASP2004...61L . doi : 10.1155/S1110865704401139 .
  6. ^ كرزيتش، آنا سوفيتش؛ سيرسيتش، دامير (2018). “تصغير L1 باستخدام التخفيض العودي للأبعاد”. معالجة الإشارات . 151 : 119 – 129. بيب كود : 2018SigPr.151..119S . دوى : 10.1016/j.sigpro.2018.05.002 .
  7. 1 2 ويليام أ. فايل، وسائل تعليمية إحصائية ، أطروحة بكالوريوس العلوم، معهد ورسستر للفنون التطبيقية ، 2006
  8. ↑ برانهام، آر إل، الابن، "بدائل للمربعات الصغرى"، المجلة الفلكية 87، يونيو 1982، 928-937.في نظام بيانات الفيزياء الفلكية التابع لـ SAO/NASA (ADS)
  9. ↑ للاطلاع على مجموعة من التطبيقات المصغرة التي توضح هذه الاختلافات، يُرجى زيارة الموقع التالي: http://www.math.wpi.edu/Course_Materials/SAS/lablets/7.3/73_choices.html
  10. ↑ لمناقشة الفرق بين LAD و OLS، انظر هذه الأوراق والتقارير الأكاديمية: http://www.econ.uiuc.edu/~roger/research/rq/QRJEP.pdf و https://www.leeds.ac.uk/educol/documents/00003759.htm
  11. ↑ شي، مينغرين؛ مارك أ.، لوكاس (مارس 2002). "خوارزمية تقدير L1 مع الانحلال والقيود الخطية" . الإحصاءات الحاسوبية وتحليل البيانات . 39 (1): 35-55 . doi : 10.1016/S0167-9473(01)00049-4 .
  12. ↑ وانغ، لي؛ غوردون، مايكل د.؛ تشو، جي (ديسمبر 2006). "انحدار الانحرافات المطلقة الصغرى المنتظمة وخوارزمية فعالة لضبط المعلمات". وقائع المؤتمر الدولي السادس حول استخراج البيانات . الصفحات 690-700 . doi : 10.1109/ICDM.2006.134 . 

للمزيد من القراءة