مسافة ماهلانوبيس

مسافة ماهالانوبيس هي مقياس للمسافة بين نقطة وتوزيع ، قدمها ب. سي. ماهالانوبيس في عام 1933. ^[1] ظهرت التفاصيل الرياضية لمسافة ماهالانوبيس لأول مرة في مجلة الجمعية الآسيوية في البنغال في عام 1933. ^{[2] كان} تعريف ماهالانوبيس مدفوعًا بمشكلة تحديد أوجه التشابه بين الجماجم بناءً على القياسات (أقدم عمل متعلق بأوجه التشابه بين الجماجم يعود إلى عام 1922 وعمل لاحق آخر يعود إلى عام 1927). ^{[3] [4] حصل} آر سي بوس لاحقًا على توزيع العينات لمسافة ماهالانوبيس، على افتراض التشتت المتساوي. ^[5]${\displaystyle P}$ ${\displaystyle D}$

إنه تعميم متعدد المتغيرات لمربع الدرجة المعيارية : كم عدد الانحرافات المعيارية بعيدًا عن متوسط ​​. هذه المسافة تساوي صفرًا عند متوسط ​​وتنمو مع الابتعاد عن المتوسط ​​على طول كل محور مكون رئيسي . إذا تم إعادة قياس كل من هذه المحاور ليكون له تباين وحدوي، فإن مسافة ماهالانوبيس تتوافق مع المسافة الإقليدية القياسية في الفضاء المحول. وبالتالي فإن مسافة ماهالانوبيس لا وحدة لها ، ولا تتغير مع المقياس ، وتأخذ في الاعتبار ارتباطات مجموعة البيانات . ${\displaystyle z=(x-\mu )/\sigma }$${\displaystyle P}$${\displaystyle D}$${\displaystyle P}$${\displaystyle D}$${\displaystyle P}$

بالنظر إلى توزيع الاحتمالات على ، بمتوسط ​​ومصفوفة تباين شبه محددة موجبة ، فإن مسافة ماهالانوبيس لنقطة من هي ^[6] بالنظر إلى نقطتين و في ، فإن مسافة ماهالانوبيس بينهما بالنسبة إلى هي مما يعني أن . ${\displaystyle س}$${\displaystyle \mathbb {R} ^{N}}$${\displaystyle {\vec {\mu }}=(\mu _{1},\mu _{2},\mu _{3},\dots ,\mu _{N})^{\mathsf {T }}}$ ${\displaystyle \mathbf {\سيجما } }$${\displaystyle {\vec {x}}=(x_{1},x_{2},x_{3},\dots ,x_{N})^{\mathsf {T}}}$${\displaystyle س}$$${\displaystyle d_{M}({\vec {x}},Q)={\sqrt {({\vec {x}}-{\vec {\mu }})^{\mathsf {T}}\mathbf {\Sigma } ^{-1}({\vec {x}}-{\vec {\mu }})}}.}$$${\displaystyle {\vec {x}}}$${\displaystyle {\vec {y}}}$${\displaystyle \mathbb {R} ^{N}}$${\displaystyle س}$$${\displaystyle d_{M}({\vec {x}},{\vec {y}};Q)={\sqrt {({\vec {x}}-{\vec {y}})^{ \mathsf {T}}\mathbf {\Sigma } ^{-1}({\vec {x}}-{\vec {y}})}}.}$$${\displaystyle d_{M}({\vec {x}},Q)=d_{M}({\vec {x}},{\vec {\mu }};Q)}$

نظرًا لأن هو موجب شبه محدد ، فإن ، وبالتالي فإن الجذور التربيعية تكون دائمًا محددة. ${\displaystyle \mathbf {\سيجما } }$${\displaystyle \mathbf {\سيجما } ^{-1}}$

يمكننا العثور على تحليلات مفيدة لمسافة ماهالانوبيس التربيعية التي تساعد في تفسير بعض أسباب تطرف الملاحظات المتعددة المتغيرات وتوفر أيضًا أداة بيانية لتحديد القيم المتطرفة. ^[7]

من خلال النظرية الطيفية ، يمكن تحليلها كما هو الحال بالنسبة لبعض المصفوفات الحقيقية . أحد الخيارات لـ هو الجذر التربيعي المتماثل لـ ، وهو مصفوفة الانحراف المعياري . ^[8] وهذا يعطينا التعريف المكافئ حيث هو المعيار الإقليدي. أي أن مسافة ماهالانوبيس هي المسافة الإقليدية بعد تحويل التبييض . ${\displaystyle \mathbf {\سيجما } }$${\displaystyle \mathbf {\Sigma } =\mathbf {S} ^{T}\mathbf {S} }$${\displaystyle N\times N}$${\displaystyle \mathbf {S} }$${\displaystyle \mathbf {\سيجما } }$$${\displaystyle d_{M}({\vec {x}},{\vec {y}};Q)=\|\mathbf {S} ^{-1}({\vec {x}}-{\vec {y}})\|}$$${\displaystyle \|\cdot \|}$

إن وجوده مضمون بواسطة نظرية الطيف، لكنه ليس فريدًا. فالاختيارات المختلفة لها مزايا نظرية وعملية مختلفة. ^[9]${\displaystyle W}$

في الممارسة العملية، يكون التوزيع عادةً هو توزيع العينة من مجموعة من عينات IID من توزيع غير معروف أساسي، وكذلك متوسط ​​العينة، وهو مصفوفة التباين للعينات. ${\displaystyle Q}$${\displaystyle \mu }$${\displaystyle \mathbf {\Sigma } }$

عندما لا يكون الامتداد الأفيني للعينات هو بالكامل ، فلن تكون مصفوفة التباين موجبة محددة، مما يعني أن التعريف أعلاه لن يعمل. ومع ذلك، بشكل عام، يتم الحفاظ على مسافة ماهالانوبيس تحت أي تحويل أفيني كامل الرتبة للامتداد الأفيني للعينات. لذا في حالة عدم كون الامتداد الأفيني هو بالكامل ، يمكن أولاً إسقاط العينات بشكل عمودي على ، حيث هو بُعد الامتداد الأفيني للعينات، ثم يمكن حساب مسافة ماهالانوبيس كالمعتاد. ${\displaystyle \mathbb {R} ^{N}}$${\displaystyle \mathbb {R} ^{N}}$${\displaystyle \mathbb {R} ^{n}}$${\displaystyle n}$

This section does not cite any sources. Please help improve this section by adding citations to reliable sources. Unsourced material may be challenged and removed. (May 2021) (Learn how and when to remove this message)

لنتأمل مشكلة تقدير احتمالية انتماء نقطة اختبار في فضاء إقليدي ذي أبعاد N إلى مجموعة، حيث يتم إعطاؤنا نقاط عينة تنتمي بالتأكيد إلى تلك المجموعة. ستكون خطوتنا الأولى هي إيجاد مركز الكتلة أو مركز كتلة نقاط العينة. وبشكل بديهي، كلما اقتربت النقطة المعنية من مركز الكتلة هذا، زادت احتمالية انتمائها إلى المجموعة.

ومع ذلك، نحتاج أيضًا إلى معرفة ما إذا كانت المجموعة ممتدة على نطاق كبير أو نطاق صغير، حتى نتمكن من تحديد ما إذا كانت المسافة المعينة من المركز جديرة بالملاحظة أم لا. النهج التبسيطي هو تقدير الانحراف المعياري لمسافات نقاط العينة من مركز الكتلة. إذا كانت المسافة بين نقطة الاختبار ومركز الكتلة أقل من انحراف معياري واحد، فقد نستنتج أنه من المحتمل جدًا أن تنتمي نقطة الاختبار إلى المجموعة. وكلما كانت أبعد، زادت احتمالية عدم تصنيف نقطة الاختبار على أنها تنتمي إلى المجموعة.

يمكن جعل هذا النهج البديهي كميًا من خلال تحديد المسافة الطبيعية بين نقطة الاختبار والمجموعة لتكون ، والتي تقرأ: . من خلال إدخال هذا في التوزيع الطبيعي، يمكننا استنتاج احتمالية انتماء نقطة الاختبار إلى المجموعة. ${\displaystyle {\frac {\lVert x-\mu \rVert _{2}}{\sigma }}}$${\displaystyle {\frac {{\text{testpoint}}-{\text{sample mean}}}{\text{standard deviation}}}}$

كان العيب في النهج المذكور أعلاه هو أننا افترضنا أن نقاط العينة موزعة حول مركز الكتلة بطريقة كروية. وإذا كان التوزيع غير كروي بشكل واضح، على سبيل المثال، فإن احتمالية انتماء نقطة الاختبار إلى المجموعة لا تعتمد فقط على المسافة من مركز الكتلة، بل وأيضًا على الاتجاه. في تلك الاتجاهات حيث يكون للقطع الناقص محور قصير، يجب أن تكون نقطة الاختبار أقرب، بينما في تلك الاتجاهات حيث يكون المحور طويلًا، يمكن أن تكون نقطة الاختبار أبعد عن المركز.

وبوضع هذا على أساس رياضي، يمكن تقدير القطع الناقص الذي يمثل توزيع احتمالات المجموعة على أفضل نحو من خلال بناء مصفوفة التغاير للعينات. ومسافة ماهالانوبيس هي المسافة بين نقطة الاختبار ومركز الكتلة مقسومة على عرض القطع الناقص في اتجاه نقطة الاختبار.

بالنسبة للتوزيع الطبيعي في أي عدد من الأبعاد، يتم تحديد كثافة احتمال الملاحظة بشكل فريد من خلال مسافة ماهالانوبيس : ${\displaystyle {\vec {x}}}$${\displaystyle d}$

${\displaystyle {\begin{aligned}\Pr[{\vec {x}}]\,d{\vec {x}}&={\frac {1}{\sqrt {\det(2\pi \mathbf {\Sigma } )}}}\exp \left(-{\frac {({\vec {x}}-{\vec {\mu }})^{\mathsf {T}}\mathbf {\Sigma } ^{-1}({\vec {x}}-{\vec {\mu }})}{2}}\right)\,d{\vec {x}}\\[6pt]&={\frac {1}{\sqrt {\det(2\pi \mathbf {\Sigma } )}}}\exp \left(-{\frac {d^{2}}{2}}\right)\,d{\vec {x}}.\end{aligned}}}$

على وجه التحديد، يتبع توزيع مربع كاي بدرجات الحرية، حيث هو عدد أبعاد التوزيع الطبيعي. إذا كان عدد الأبعاد 2، على سبيل المثال، فإن احتمال أن يكون حساب معين أقل من حد معين هو . لتحديد حد لتحقيق احتمال معين، استخدم , لبعدين. بالنسبة لعدد الأبعاد بخلاف 2، يجب الرجوع إلى توزيع مربع كاي التراكمي. ${\displaystyle d^{2}}$${\displaystyle n}$${\displaystyle n}$${\displaystyle d}$${\displaystyle t}$${\displaystyle 1-e^{-t^{2}/2}}$${\displaystyle p}$${\displaystyle t={\sqrt {-2\ln(1-p)}}}$

في التوزيع الطبيعي، المنطقة التي تكون فيها مسافة ماهالانوبيس أقل من واحد (أي المنطقة داخل القطع الناقص على مسافة واحد) هي بالضبط المنطقة التي يكون فيها توزيع الاحتمال مقعرًا .

مسافة ماهالانوبيس تتناسب، بالنسبة للتوزيع الطبيعي، مع الجذر التربيعي لاحتمال اللوغاريتم السلبي (بعد إضافة ثابت بحيث يكون الحد الأدنى عند الصفر).

يمكن أن تكون مصفوفة متوسط ​​العينة والتغاير حساسة للغاية للقيم المتطرفة، وبالتالي تُستخدم أيضًا طرق أخرى لحساب الموقع المتعدد المتغيرات وتشتت البيانات بشكل شائع عند حساب مسافة ماهالانوبيس. يقدر نهج محدد التباين الأدنى الموقع المتعدد المتغيرات والتشتت من مجموعة فرعية من نقاط بيانات الترقيم التي تحتوي على أصغر محدد لمصفوفة التباين والتغاير. ^[10] يشبه نهج القطع الناقص للحجم الأدنى نهج محدد التباين الأدنى من حيث أنه يعمل مع مجموعة فرعية من نقاط بيانات الحجم، لكن القطع الناقص للحجم الأدنى يقدر الموقع المتعدد المتغيرات والتشتت من القطع الناقص للحجم الأدنى الذي يغلف نقاط البيانات. ^[11] تختلف كل طريقة في تعريفها لتوزيع البيانات، وبالتالي تنتج مسافات ماهالانوبيس مختلفة. تعد طرق محدد التباين الأدنى والقطع الناقص للحجم الأدنى أكثر قوة للعينات التي تحتوي على قيم متطرفة، بينما تميل مصفوفة متوسط ​​العينة والتغاير إلى أن تكون أكثر موثوقية مع مجموعات البيانات الصغيرة والمتحيزة. ^[12]${\displaystyle h}$${\displaystyle h}$${\displaystyle h}$

بشكل عام، إذا كان لدينا متغير عشوائي طبيعي ( غاوسي ) ذو تباين ومتوسط ، فيمكن تعريف أي متغير عشوائي طبيعي آخر (ذو متوسط ​​وتباين ) من حيث المعادلة وعلى العكس من ذلك، لاستعادة متغير عشوائي طبيعي من أي متغير عشوائي طبيعي، يمكننا عادةً حل المعادلة لـ . إذا قمنا بتربيع كلا الطرفين، وأخذنا الجذر التربيعي، فسنحصل على معادلة لمقياس يشبه إلى حد كبير مسافة ماهالانوبيس: ${\displaystyle X}$${\displaystyle S=1}$${\displaystyle \mu =0}$${\displaystyle R}$${\displaystyle \mu _{1}}$${\displaystyle S_{1}}$${\displaystyle X}$${\displaystyle R=\mu _{1}+{\sqrt {S_{1}}}X.}$${\displaystyle X=(R-\mu _{1})/{\sqrt {S_{1}}}}$

$${\displaystyle D={\sqrt {X^{2}}}={\sqrt {(R-\mu _{1})^{2}/S_{1}}}={\sqrt {(R-\mu _{1})S_{1}^{-1}(R-\mu _{1})}}.}$$

إن المقدار الناتج يكون دائمًا غير سلبي ويختلف وفقًا للمسافة بين البيانات والمتوسط، وهي سمات ملائمة عند محاولة تعريف نموذج للبيانات.

ترتبط مسافة ماهالانوبيس ارتباطًا وثيقًا بإحصائية الرافعة المالية ، ، ولكن لها مقياس مختلف: ${\displaystyle h}$

$${\displaystyle D^{2}=(N-1)\left(h-{\tfrac {1}{N}}\right).}$$

تُستخدم مسافة ماهالانوبيس على نطاق واسع في تحليل المجموعات وتقنيات التصنيف . وهي وثيقة الصلة بتوزيع T-square لهوتيلينج المستخدم في الاختبار الإحصائي المتعدد المتغيرات وتحليل التمييز الخطي لفيشر المستخدم في التصنيف الخاضع للإشراف . ^[13]

من أجل استخدام مسافة ماهالانوبيس لتصنيف نقطة اختبار على أنها تنتمي إلى إحدى فئات N ، يجب أولاً تقدير مصفوفة التباين لكل فئة، عادةً بناءً على عينات معروفة بأنها تنتمي إلى كل فئة. بعد ذلك، بالنظر إلى عينة اختبار، يتم حساب مسافة ماهالانوبيس لكل فئة، وتصنيف نقطة الاختبار على أنها تنتمي إلى تلك الفئة التي تكون فيها مسافة ماهالانوبيس ضئيلة.

غالبًا ما تُستخدم مسافة ماهالانوبيس والرافعة المالية للكشف عن القيم المتطرفة ، وخاصةً في تطوير نماذج الانحدار الخطي . يُقال إن النقطة التي لها مسافة ماهالانوبيس أكبر من بقية عينة النقاط من السكان لها رافعة مالية أعلى لأنها لها تأثير أكبر على منحدر أو معاملات معادلة الانحدار. تُستخدم مسافة ماهالانوبيس أيضًا لتحديد القيم المتطرفة متعددة المتغيرات. يمكن استخدام تقنيات الانحدار لتحديد ما إذا كانت حالة معينة داخل عينة السكان هي قيمة متطرفة من خلال الجمع بين درجتين متغيرين أو أكثر. حتى بالنسبة للتوزيعات الطبيعية، يمكن أن تكون النقطة قيمة متطرفة متعددة المتغيرات حتى لو لم تكن قيمة متطرفة أحادية المتغير لأي متغير (ضع في اعتبارك كثافة الاحتمالات المركزة على طول الخط ، على سبيل المثال)، مما يجعل مسافة ماهالانوبيس مقياسًا أكثر حساسية من التحقق من الأبعاد بشكل فردي. ${\displaystyle x_{1}=x_{2}}$

تم استخدام مسافة ماهالانوبيس أيضًا في نمذجة المجال البيئي ، ^{[14] [15]} حيث أن الشكل الإهليلجي المحدب للمسافات يرتبط جيدًا بمفهوم المجال الأساسي .

هناك مثال آخر على الاستخدام في مجال التمويل، حيث تم استخدام مسافة ماهالانوبيس لحساب مؤشر يسمى "مؤشر الاضطراب"، ^[16] وهو مقياس إحصائي للسلوك غير الطبيعي للأسواق المالية. يتوفر تنفيذ لهذا المؤشر كواجهة برمجة تطبيقات ويب عبر الإنترنت. ^[17]

تتضمن العديد من لغات البرمجة والحزم الإحصائية، مثل R و Python وما إلى ذلك، تنفيذات لمسافة Mahalanobis.

اللغة/البرنامج	وظيفة	المرجع
جوليا	mahalanobis(x, y, Q)	[1]
ماتلاب	mahal(x, y)	[2]
ر	mahalanobis(x, center, cov, inverted = FALSE, ...)	[3]
SciPy ( بايثون )	mahalanobis(u, v, VI)	[4]

• تباعد بريجمان (مسافة ماهالانوبيس هي مثال على تباعد بريجمان)
• المسافة المرتبطة بـ Bhattacharyya، لقياس التشابه بين مجموعات البيانات (وليس بين نقطة ومجموعة بيانات)
• تحدد مسافة هامينج الفرق بين سلسلتين شيئًا فشيئًا
• مسافة هيلينجر ، وهي أيضًا مقياس للمسافة بين مجموعات البيانات
• التعلم بالتشابه ، لطرق أخرى لتعلم مقياس المسافة من الأمثلة.

• "مسافة ماهالانوبيس"، موسوعة الرياضيات ، EMS Press ، 2001 [1994]
• برنامج تعليمي لقياس المسافة باستخدام برنامج ماهلانوبيس – برنامج تفاعلي عبر الإنترنت وحساب جدول بيانات
• مسافة ماهلانوبيس (17 نوفمبر 2006) - نظرة عامة على مسافة ماهلانوبيس، بما في ذلك كود MATLAB
• ما هي مسافة ماهلانوبيس؟ – شرح بديهي ومصوّر من ريك ويكلين على blogs.sas.com