تحليل القيم المفردة

توضيح لتحليل القيم المفردة UΣV * لمصفوفة حقيقية 2 × 2 M.
  • أعلى: تأثير M ، المشار إليه من خلال تأثيره على القرص D ومتجهي الوحدة الكنسيين e 1 و e 2 .
  • اليسار: تأثير V * ، وهو دوران ، على D ، e 1 ، و e 2 .
  • أسفل: تأثير Σ ، وهو قياس بواسطة القيم المفردة σ 1 أفقيًا، و σ 2 رأسيًا.
  • على اليمين: حركة U ، دوران آخر.

في الجبر الخطي ، يُعد تحليل القيم المفردة ( SVD ) عملية تحليل لمصفوفة حقيقية أو مركبة إلى دوران، متبوعًا بتغيير المقياس، ثم دوران آخر. وهو يُعمم تحليل القيم الذاتية لمصفوفة مربعة عادية ذات أساس ذاتي متعامد إلى أيم×ن{\displaystyle m\times n}المصفوفة . وهي مرتبطة بالتحليل القطبي ، وهي وسيلة شائعة لتنفيذ تقريب الرتبة المنخفضة للمصفوفات.

على وجه التحديد، تحليل القيم المفردة لـم×ن{\displaystyle m\times n}المصفوفة المعقدةم{\displaystyle \mathbf {M} } هو تحليل إلى عوامل من الشكلم=يوΣV*{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}، حيثيو{\displaystyle \mathbf {U} }هوم×م{\displaystyle m\times m}المصفوفة الوحدوية المعقدة ،Σ{\displaystyle \mathbf {\Sigma } }هوم×ن{\displaystyle m\times n}مصفوفة قطرية مستطيلة تحتوي على أعداد حقيقية غير سالبة على القطر الرئيسي ،V{\displaystyle \mathbf {V} }هون×ن{\displaystyle n\times n}المصفوفة الوحدوية المعقدة، وV*{\displaystyle \mathbf {V} ^{*}} هو المنقول المرافق لـV{\displaystyle \mathbf {V} }توجد مثل هذه التحليلات دائمًا لأي مصفوفة معقدة. إذام{\displaystyle \mathbf {M} }إذا كان حقيقياً ، فبعضيو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }يمكن إيجاد مصفوفات حقيقية ( متعامدة )؛ وغالبًا ما يُرمز إلى تحليل القيم المفردة ذي القيم الحقيقية بـيوΣVتي{\displaystyle \mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{\mathsf {T}}}، حيثVتي{\displaystyle \mathbf {V} ^{\mathsf {T}}} هو منقولV{\displaystyle \mathbf {V} } .

المدخلات القطريةσأنا=Σأنا،أنا{\displaystyle \sigma _{i}=\mathbf {\Sigma } _{i,i}}لΣ{\displaystyle \mathbf {\Sigma } }يتم تحديدها بشكل فريد بواسطةم{\displaystyle \mathbf {M} }، حتى إعادة الترتيب ، وتُعرف باسم القيم المفردة لـم{\displaystyle \mathbf {M} }. عادةً ما يتم ترتيبها تنازليًا (من الأكبر إلى الأصغر)، وهو ما يحدد بشكل فريدΣ{\displaystyle \mathbf {\Sigma } }عدد القيم المفردة غير الصفرية، مع السماح بالتكرارات ، يساوير{\displaystyle r}، رتبةم{\displaystyle \mathbf {M} } .

أعمدة يو{\displaystyle \mathbf {U} }وأعمدةV{\displaystyle \mathbf {V} }تُسمى هذه المتجهات بالمتجهات المنفردة اليسرى والمتجهات المنفردة اليمنى لـم{\displaystyle \mathbf {M} }على التوالي . يشكلان قاعدتين متعامدتين ،{u1،...،uم}{\displaystyle \{\mathbf {u} _{1},\ldots ,\mathbf {u} _{m}\}}و{v1،...،vن}{\displaystyle \{\mathbf {v} _{1},\ldots ,\mathbf {v} _{n}\}}. بشكل عام، لا يكون تحليل القيم المفردة (SVD) فريدًا، مع وجود تحويلات وحدوية معينة منيو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }إنتاج تحليلات بديلة صالحة.

يشير مصطلح SVD أحيانًا إلى SVD المضغوط ، وهو تحليل مشابه .م=يورΣرVر*{\displaystyle \mathbf {M} =\mathbf {U} _{r}\mathbf {\Sigma } _{r}\mathbf {V} _{r}^{*}}، حيثΣر{\displaystyle \mathbf {\Sigma } _{r}}هور×ر{\displaystyle r\times r}مصفوفة تحتوي فقط على القيم المفردة غير الصفرية (مع السماح بالتكرار) على قطرها الرئيسي. في هذا الشكل ،يور{\displaystyle \mathbf {U} _{r}}هوم×ر{\displaystyle m\times r}مصفوفة شبه وحدوية أعمدتها{u1،...،uر}{\displaystyle \{\mathbf {u} _{1},\ldots ,\mathbf {u} _{r}\}}تمتد على أعمدةم{\displaystyle \mathbf {M} }، وVر{\displaystyle \mathbf {V} _{r}}هو ن×ر{\displaystyle n\times r}مصفوفة شبه وحدوية أعمدتها{v1،...،vر}{\displaystyle \{\mathbf {v} _{1},\ldots ,\mathbf {v} _{r}\}}تمتد على أعمدةم*{\displaystyle \mathbf {M} ^{*}\!} .

يقسم تحليل القيم المفردة (SVD) القيم المفردة المرتبة .م{\displaystyle \mathbf {M} }إلى مجموعر{\displaystyle r}رتبة-1{\displaystyle 1}المصفوفات ،م=σ1u1v1*+σ2u2v2*++σرuرvر*{\displaystyle \textstyle \mathbf {M} =\sigma _{1}\mathbf {u} _{1}\mathbf {v} _{1}^{*}+\sigma _{2}\mathbf {u} _{2}\mathbf {v} _{2}^{*}+\cdots +\sigma _{r}\mathbf {u} _{r}\mathbf {v} _{r}^{*}\!}.

تشمل التطبيقات الرياضية لتحليل القيم المفردة (SVD) حساب المعكوس الزائف ، وتقريب المصفوفات، وتحديد رتبة المصفوفة، ومدى عناصرها، وفضاءها الصفري. كما يُعد تحليل القيم المفردة مفيدًا للغاية في العديد من مجالات العلوم والهندسة والإحصاء ، مثل معالجة الإشارات ، وملاءمة البيانات باستخدام طريقة المربعات الصغرى ، والتحكم في العمليات .

تفسيرات بديهية

رسم توضيحي متحرك لتحليل القيم المفردة (SVD) لمصفوفة قص حقيقية ثنائية الأبعاد M. في البداية، نرى القرص الواحدي باللون الأزرق مع متجهي الوحدة الأساسيين . ثم نرى تأثيرات M ، التي تشوه القرص إلى شكل بيضاوي . يحلل تحليل القيم المفردة M إلى ثلاثة تحويلات بسيطة: دوران أولي V * ، وتغيير في المقياس Σ على طول محاور الإحداثيات، ودوران نهائي U. يمثل طولا نصفي محوري القطع الناقص σ1 و σ2 القيم المفردة لـ M ، وهما Σ1,1 و Σ2,2 .
تصوير عمليات ضرب المصفوفات في تحليل القيم المفردة

الدوران/الانعكاس، تغيير مقياس الإحداثيات، الدوران/الانعكاس

في الحالة الخاصة عندمام{\displaystyle \mathbf {M} }هوم×م{\displaystyle m\times m}المصفوفة المربعة الحقيقية ، المصفوفاتيو{\displaystyle \mathbf {U} }وV*{\displaystyle \mathbf {V} ^{*}}يمكن اختيارها لتكون متعامدة حقيقيةم×م{\displaystyle m\times m}المصفوفات .م{\displaystyle \mathbf {M} }يمكن تفسير ذلك على أنه يمثل تحويلاً خطياًxمx{\displaystyle \mathbf {x} \mapsto \mathbf {M} \mathbf {x} }من الفضاء الإقليديRم{\displaystyle \mathbb {R} ^{m}}ثم المصفوفاتيو{\displaystyle \mathbf {U} }وV*{\displaystyle \mathbf {V} ^{*}}تمثل هذه الرموز دورانات أو انعكاسات الفضاء، بينماΣ{\displaystyle \mathbf {\Sigma } }يمثل هذا مقياس كل إحداثيةxأنا{\displaystyle \mathbf {x} _{i}}بمعاملσأنا{\displaystyle \sigma _{i}}وبالتالي ، فإن تحليل القيم المفردة (SVD) يُفشل أي تحويل خطي لـRم{\displaystyle \mathbb {R} ^{m}}إلى تركيبةمن ثلاثة تحويلات هندسية : دوران أو انعكاسV*{\displaystyle \mathbf {V} ^{*}}ثم يتم إجراء تغيير في المقياس من إحداثية إلى أخرى .Σ{\displaystyle \mathbf {\Sigma } }ثم يتبع ذلك دوران أو انعكاس آخريو{\displaystyle \mathbf {U} } .

على وجه الخصوص، إذام{\displaystyle \mathbf {M} }إذا كان له محدد موجب، فإنيو{\displaystyle \mathbf {U} }وV*{\displaystyle \mathbf {V} ^{*}}يمكن اختيار كلا الدورانين بحيث يكون أحدهما مع انعكاس، والآخر بدون انعكاس.إذا كانت قيمة المحدد سالبة، فسيكون لأحدهما فقط انعكاس. أما إذا كانت قيمة المحدد صفرًا، فيمكن اختيار كل منهما بشكل مستقل ليكون من أي نوع.

في الحالة الأكثر عمومية عندما تكون المصفوفةم{\displaystyle \mathbf {M} }حقيقي ولكنه ليس مربعًا، أيم×ن{\displaystyle m\times n}معمن{\displaystyle m\neq n}، ويمكن تفسير ذلك على أنه تحويل خطي منRن{\displaystyle \mathbb {R} ^{n}}إلىRم{\displaystyle \mathbb {R} ^{m}}ثميو{\displaystyle \mathbf {U} }وV*{\displaystyle \mathbf {V} ^{*}}يمكن اختيارها لتكون دورانات/انعكاسات لـRم{\displaystyle \mathbb {R} ^{m}}وRن{\displaystyle \mathbb {R} ^{n}}على التوالي ؛ وΣ{\displaystyle \mathbf {\Sigma } }بالإضافة إلى توسيع نطاق الأولمين{م،ن}{\displaystyle \min\{m,n\}}تُضيف الدالة Σ، بالإضافة إلى تغيير مقياس أول إحداثيات min {m, n} للمتجه، عددًا من الأصفار يساوي m − n إذا كان m > n، أو تُزيل آخر n − m إحداثيات إذا كان m < n، أي تُزيلالإحداثيات اللاحقة، وذلك لتحويل المتجه إلىRن{\displaystyle \mathbb {R} ^{n}}إلىRم{\displaystyle \mathbb {R} ^{m}} .

القيم المفردة كأنصاف محاور لقطع ناقص أو مجسم إهليلجي

كما هو موضح في الشكل، يمكن تفسير القيم المفردة على أنها مقدار أنصاف محاور القطع الناقص في بعدين. ويمكن تعميم هذا المفهوم إلىن{\displaystyle n}الفضاء الإقليدي ذو الأبعاد، مع القيم المفردة لأين×ن{\displaystyle n\times n}المصفوفة المربعة التي تُنظر إليها على أنها مقدار نصف محورن{\displaystyle n}القطع الناقص ذو الأبعاد. وبالمثل، فإن القيم المفردة لأيم×ن{\displaystyle m\times n}يمكن اعتبار المصفوفة بمثابة مقدار نصف المحور لـن{\displaystyle n}مجسم بيضاوي ذو أبعاد فيم{\displaystyle m}الفضاء ذو ​​الأبعاد n ، على سبيل المثال كقطع ناقص في مستوى ثنائي الأبعاد (مائل) في فضاء ثلاثي الأبعاد. تشير القيم المفردة إلى مقدار نصف المحور، بينما تشير المتجهات المفردة إلى الاتجاه. انظر أدناه لمزيد من التفاصيل.

أعمدة U و V هي قواعد متعامدة.

منذيو{\displaystyle \mathbf {U} }وV*{\displaystyle \mathbf {V} ^{*}}بما أن المصفوفات أحادية، فإن أعمدة كل منها تشكل مجموعة من المتجهات المتعامدة ، والتي يمكن اعتبارها متجهات أساسية . المصفوفةم{\displaystyle \mathbf {M} } يحدد متجه الأساسvأنا{\displaystyle \mathbf {v} _{i}}إلى متجه الوحدة الممتدσأناuأنا{\displaystyle \sigma _{i}\mathbf {u} _{i}}وبحسب تعريف المصفوفة الوحدوية، ينطبق الأمر نفسه على منقولاتها المرافقة .يو*{\displaystyle \mathbf {U} ^{*}}وV{\displaystyle \mathbf {V} }باستثناء أن التفسير الهندسي للقيم المفردة على أنها امتدادات يضيع . باختصار، أعمدةيو{\displaystyle \mathbf {U} }،يو*{\displaystyle \mathbf {U} ^{*}}،V{\displaystyle \mathbf {V} }وV*{\displaystyle \mathbf {V} ^{*}} هي قواعد متعامدة . متىم{\displaystyle \mathbf {M} }هيمصفوفة هيرميتية شبه موجبة ،يو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }كلاهما يساويان المصفوفة الوحدوية المستخدمة في عملية التقطير .م{\displaystyle \mathbf {M} }ومع ذلك، عندمام{\displaystyle \mathbf {M} } ليس شبه موجب محدد وهيرميتي ولكنه لا يزال قابلاً للتقطير ، فإن تحليل القيم الذاتية وتحليل القيم المفردة له متميزان.

العلاقة بالفضاءات الفرعية الأساسية الأربعة

  • الأولر{\displaystyle r}أعمدة منيو{\displaystyle \mathbf {U} } هي أساس فضاء الأعمدة لـم{\displaystyle \mathbf {M} } .
  • الأخيرم-ر{\displaystyle mr}أعمدة منيو{\displaystyle \mathbf {U} } هي أساس الفضاء الصفري لـم*{\displaystyle \mathbf {M} ^{*}} .
  • الأولر{\displaystyle r}أعمدة منV{\displaystyle \mathbf {V} } هي أساس فضاء الأعمدة لـم*{\displaystyle \mathbf {M} ^{*}}( مساحة الصفلـم{\displaystyle \mathbf {M} }( في الحالة الحقيقية).
  • الأخيرن-ر{\displaystyle nr}أعمدة منV{\displaystyle \mathbf {V} } هي أساس الفضاء الصفري لـم{\displaystyle \mathbf {M} } .

المعنى الهندسي

لأنيو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }الأعمدة أحادية الوحدةu1،...،uم{\displaystyle \mathbf {u} _{1},\ldots ,\mathbf {u} _{m}}منيو{\displaystyle \mathbf {U} } هي أساس متعامد لـجم{\displaystyle \mathbb {C} ^{m}}والأعمدةv1،...،vن{\displaystyle \mathbf {v} _{1},\ldots ,\mathbf {v} _{n}}منV{\displaystyle \mathbf {V} } هي أساس متعامد لـجن{\displaystyle \mathbb {C} ^{n}}( فيما يتعلق بالضرب القياسي القياسي على هذه المساحات).

التحويل الخطيتي:{جنجمxمx{\displaystyle T\colon \left\{{\begin{aligned}\mathbb {C} ^{n}&\to \mathbb {C} ^{m}\\\mathbf {x} &\mapsto \mathbf {Mx} \end{aligned}}\right.} يتميز هذا النظام بوصف بسيط للغاية فيما يتعلق بهذه القواعد المتعامدة: لدينا تي(vأنا)=σأناuأنا،أنا=1،...،مين{م،ن}،{\displaystyle T(\mathbf {v} _{i})=\sigma _{i}\mathbf {u} _{i},\qquad i=1,\ldots ,\min\{m,n\},} أينσأنا{\displaystyle \sigma _{i}}هوأنا{\displaystyle i}المدخل القطري رقم - منΣ{\displaystyle \mathbf {\Sigma } }وتي(vأنا)=0{\displaystyle T(\mathbf {v} _{i})=\mathbf {0} }لـأنا>مين{م،ن}{\displaystyle i>\min\{m,n\}} .

وبالتالي، يمكن تلخيص المحتوى الهندسي لنظرية SVD على النحو التالي: لكل تحويل خطي تي:جنجم{\displaystyle T\colon \mathbb {C} ^{n}\to \mathbb {C} ^{m}}يمكن للمرء أن يجد قواعد متعامدة لـجن{\displaystyle \mathbb {C} ^{n}}وجم{\displaystyle \mathbb {C} ^{m}}بحيثتي{\displaystyle T}خرائطأنا{\displaystyle i}متجه الأساس رقم -th لـجن{\displaystyle \mathbb {C} ^{n}}إلى مضاعف غير سالب لـأنا{\displaystyle i}متجه الأساس رقم -th لـجم{\displaystyle \mathbb {C} ^{m}}، ويرسل متجهات الأساس المتبقية إلى الصفر. بالنسبة لهذه الأسس، فإن الخريطةتي{\displaystyle T}وبالتالي يتم تمثيلها بواسطة مصفوفة قطرية ذات عناصر قطرية حقيقية غير سالبة.

للحصول على فهم بصري أفضل للقيم المفردة وتحليل القيم المفردة - على الأقل عند العمل على فضاءات متجهة حقيقية - ضع في اعتبارك كرة الوحدة .S{\displaystyle S}فيRن{\displaystyle \mathbb {R} ^{n}}الخريطة الخطيةتي{\displaystyle T} يرسم هذه الكرة على شكل قطع ناقص فيRم{\displaystyle \mathbb {R} ^{m}}القيم المفردة غير الصفرية هي ببساطة أطوال أنصاف محاور هذا القطع الناقص. خاصة عندمان=م{\displaystyle n=m}، وجميع القيم المفردة متميزة وغير صفرية، تحليل القيم المفردة للخريطة الخطيةتي{\displaystyle T}يمكن تحليلها بسهولة على أنها سلسلة من ثلاث حركات متتالية: لنأخذ القطع الناقص كمثالتي(S){\displaystyle T(S)}وبالتحديد محاورها؛ ثم انظر إلى الاتجاهات فيRن{\displaystyle \mathbb {R} ^{n}}أُرسل بواسطةتي{\displaystyle T}على هذه المحاور. هذه الاتجاهات متعامدة فيما بينها. قم أولاً بتطبيق قياس متساوي القياس .V*{\displaystyle \mathbf {V} ^{*}}إرسال هذه التوجيهات إلى محاور الإحداثيات الخاصة بـRن{\displaystyle \mathbb {R} ^{n}}. في الخطوة الثانية، قم بتطبيق تحويل داخلي د{\displaystyle \mathbf {D} }يتم تحويلها قطريًا على طول محاور الإحداثيات، مع تمديدها أو تقليصها في كل اتجاه، باستخدام أطوال نصف المحور لـتي(S){\displaystyle T(S)}كمعاملات قياس . التركيبدV*{\displaystyle \mathbf {D} \circ \mathbf {V} ^{*}}ثم يرسل الكرة الوحدة إلى شكل بيضاوي متساوي القياس إلىتي(S){\displaystyle T(S)}لتحديد الحركة الثالثة والأخيرة، قم بتطبيق التماثل الهندسي .يو{\displaystyle \mathbf {U} }إلى هذا الشكل الإهليلجي للحصول علىتي(S){\displaystyle T(S)}. كما يمكن التحقق بسهولة، فإن التركيبيودV*{\displaystyle \mathbf {U} \circ \mathbf {D} \circ \mathbf {V} ^{*}}يتزامن معتي{\displaystyle T} .

مثال

على سبيل المثال، ما يلي4×5{\displaystyle 4\times 5}مصفوفةم{\displaystyle \mathbf {M} }يمكن تحليلها إلىيوΣV*{\displaystyle \mathbf {U\Sigma V} ^{*}} : م=[ 4 8 8 0 0-3-6-6 0 0-4 4-2 0 0 0 0 0-4 3]=[ 45 0 0 35-35 0 0 45 011 1 0 0 011 0 1 0]يو[15110000011600001105000110000]Σ[ 13 23 23 0 0-23 23-13 0 0 0 0 0-45 35-23-13 23 0 0 0 0 0 35 45]V*.{\displaystyle {\begin{aligned}\mathbf {M} &={\begin{bmatrix}~4&~8&~8&~0&~0\\-3&-6&-6&~0&~0\\-4&~4&-2&~0&~0\\~0&~0&~0&-4&~3\end{bmatrix}}\\&=\,\underbrace {\!{\begin{bmatrix}\color {PineGreen}~{\frac {4}{5}}&\color {BrickRed}~0&\color {BlueViolet}~0&\color {CadetBlue}~{\frac {3}{5}}\\\color {PineGreen}-{\frac {3}{5}}&\color {BrickRed}~0&\color {BlueViolet}~0&\color {CadetBlue}~{\frac {4}{5}}\\\color {PineGreen}~0{\vphantom {\frac {1}{1}}}&\color {BrickRed}~1&\color {BlueViolet}~0&\color {CadetBlue}~0\\\color {PineGreen}~0{\vphantom {\frac {1}{1}}}&\color {BrickRed}~0&\color {BlueViolet}~1&\color {CadetBlue}~0\end{bmatrix}}\!} _{\textstyle \mathbf {U} }\,\,\underbrace {\!{\begin{bmatrix}\color {PineGreen}15{\vphantom {\frac {1}{1}}}&\color {Gray}0&\color {Gray}0&\color {Gray}0&\color {Gray}0\\\color {Gray}0{\vphantom {\frac {1}{1}}}&\color {BrickRed}6&\color {Gray}0&\color {Gray}0&\color {Gray}0\\\color {Gray}0{\vphantom {\frac {1}{1}}}&\color {Gray}0&\color {BlueViolet}5&\color {Gray}0&\color {Gray}0\\\color {Gray}0{\vphantom {\frac {1}{1}}}&\color {Gray}0&\color {Gray}0&\color {CadetBlue}0&\color {Gray}0\end{bmatrix}}\!} _{\textstyle \mathbf {\Sigma } }\,\,\underbrace {\!{\begin{bmatrix}\color {PineGreen}~{\frac {1}{3}}&\color {PineGreen}~{\frac {2}{3}}&\color {PineGreen}~{\frac {2}{3}}&\color {PineGreen}~0&\color {PineGreen}~0\\\color {BrickRed}-{\frac {2}{3}}&\color {BrickRed}~{\frac {2}{3}}&\color {BrickRed}-{\frac {1}{3}}&\color {BrickRed}~0&\color {BrickRed}~0\\\color {BlueViolet}~0&\color {BlueViolet}~0&\color {BlueViolet}~0&\color {BlueViolet}-{\frac {4}{5}}&\color {BlueViolet}~{\frac {3}{5}}\\\color {CadetBlue}-{\frac {2}{3}}&\color {CadetBlue}-{\frac {1}{3}}&\color {CadetBlue}~{\frac {2}{3}}&\color {CadetBlue}~0&\color {CadetBlue}~0\\\color {CadetBlue}~0&\color {CadetBlue}~0&\color {CadetBlue}~0&\color {CadetBlue}~{\frac {3}{5}}&\color {CadetBlue}~{\frac {4}{5}}\end{bmatrix}}\!} _{\textstyle \mathbf {V} ^{*}}\,.\end{aligned}}}

القيم المفردة لـم{\displaystyle \mathbf {M} } هي المدخلات القطرية لـΣ{\displaystyle \mathbf {\Sigma } } :15{\displaystyle \color {PineGreen}15}،6{\displaystyle \color {BrickRed}6}،5{\displaystyle \color {BlueViolet}5}،0{\displaystyle \color {CadetBlue}0} . المتجهات المفردة اليسرى واليمنى المقابلة هي الأعمدةuج{\displaystyle \mathbf {u} _{j}}منيو{\displaystyle \mathbf {U} }والصفوفvج*{\displaystyle \mathbf {v} _{j}^{*}}منV*{\displaystyle \mathbf {V} ^{*}}، على التوالي. أي، مv1=15u1،u1*م=15v1*،مv2=6u2،u2*م=6v2*،مv3=5u3،u3*م=5v3*،مv4=0u4=0،u4*م=0v4*=0،مv5=0.// {PineGreen} 15\mathbf {v} _{1}^{*}},\\\mathbf {M} {\color {BrickRed}\mathbf {v} _{2}}&={\color {BrickRed}6\mathbf {u} _{2}},&{\color {BrickRed}\mathbf {u} _{2}^{*}}\mathbf {م} &={\لون {BrickRed}6\mathbf {v} _{2}^{*}},\\\mathbf {M} {\color {BlueViolet}\mathbf {v} _{3}}&={\color {BlueViolet}5\mathbf {u} _{3}},&{\color {BlueViolet}\mathbf {u} _ {3}^{*}}\mathbf {M} &={\color {BlueViolet}5\mathbf {v} _{3}^{*}},\\\mathbf {M} {\color {CadetBlue}\mathbf {v} _{4}}&={\color {CadetBlue}0\mathbf {u} _{4}}={\color {CadetBlue}\mathbf {0} },&{\color {كاديت بلو}\mathbf {u} _ {4}^ {*}}\mathbf {M} &={\color {CadetBlue}0\mathbf {v} _{4}^{*}}={\color {CadetBlue}\mathbf {0} },\\\mathbf {M} {\color {CadetBlue}\mathbf {v} _{5}}&={\color {CadetBlue}\mathbf {0} }.\end{محاذاة}}}

المصفوفاتيو{\displaystyle \mathbf {U} }وV*{\displaystyle \mathbf {V} ^{*}}هي مصفوفات وحدوية (ومصفوفات متعامدة ، باعتبارها مصفوفات ذات قيم حقيقية)، مما يعنييويو*=أنا4{\displaystyle \mathbf {U} \mathbf {U} ^{*}=\mathbf {I} _{4}}وVV*=أنا5{\displaystyle \mathbf {V} \mathbf {V} ^{*}=\mathbf {I} _{5}}، حيثأناك{\displaystyle \mathbf {I} _{ك}}هوك×ك{\displaystyle k\times k}مصفوفة الوحدة .

المصفوفةم{\displaystyle \mathbf {M} }لديه رتبةر=3{\displaystyle r=3}لذلك ، لا تحتوي إلا على ثلاث قيم مفردة غير صفرية. هذا التحليل المحدد للقيم المفردة ليس فريدًا. (انظر §  القيم المفردة، والمتجهات المفردة، وعلاقتها بتحليل القيم المفردة ، أدناه). أي عمود منيو{\displaystyle \mathbf {U} }والصف المقابل منV*{\displaystyle \mathbf {V} ^{*}}يمكن ضربها في آن واحد بـ±1{\displaystyle \pm 1}( أو، إذام{\displaystyle \mathbf {M} }تُعتبر المصفوفة ذات قيم مركبة، وذلك باستخدام أي عدد مركب يساوي 1 للحصول على تحليل قيم مفردة صحيح. الصفان الأخيران من المصفوفةV*{\displaystyle \mathbf {V} ^{*}}لا تُساهم هذه العناصر في الناتج لأنها تُضرب في صفر، لذا فهي اختيارية إلى حد كبير، ويمكن استبدالها بأي زوج من متجهات الصفوف الوحدوية المتعامدة مع بعضها البعض ومع الصفوف الأخرى. وبالمثل، فإن العمود الأخير منيو{\displaystyle \mathbf {U} }يمكن ضربها في±1{\displaystyle \pm 1}( أو بأي عدد مركب وحدة).

تزيل تقنية SVD المضغوطة الصفوف والأعمدة منΣ{\displaystyle \mathbf {\Sigma } }والتي تتكون بالكامل من أصفار، وكذلك الأعمدة المقابلة الزائدة منيو{\displaystyle \mathbf {U} }وصفوف منV*{\displaystyle \mathbf {V} ^{*}} : م=[ 45 0 0-35 0 0 110 1 0 110 0 1]يور[1511000116001105]Σر[ 13 23 23 0 0-23 23-13 0 0 0 0 0-45 35]Vر*.{\displaystyle \mathbf {M} =\,\underbrace {\!{\begin{bmatrix}\color {PineGreen}~{\frac {4}{5}}&\color {BrickRed}~0&\color {BlueViolet}~0\\\color {PineGreen}-{\frac {3}{5}}&\color {BrickRed}~0&\color {BlueViolet}~0\\\color {PineGreen}~{\vphantom {\frac {1}{1}}}0&\color {BrickRed}~1&\color {BlueViolet}~0\\\color {PineGreen}~{\vphantom {\frac {1}{1}}}0&\color {BrickRed}~0&\color {BlueViolet}~1\end{bmatrix}}\!} _{\textstyle \mathbf {U} _{r}}\,\,\underbrace {\!{\begin{bmatrix}\color {PineGreen}15{\vphantom {\frac {1}{1}}}&\color {Gray}0&\color {Gray}0\\\color {Gray}0{\vphantom {\frac {1}{1}}}&\color {BrickRed}6&\color {Gray}0\\\color {Gray}0{\vphantom {\frac {1}{1}}}&\color {Gray}0&\color {BlueViolet}5\end{bmatrix}}\!} _{\textstyle \mathbf {\Sigma } _{r}}\,\,\underbrace {\!{\begin{bmatrix}\color {PineGreen}~{\frac {1}{3}}&\color {PineGreen}~{\frac {2}{3}}&\color {PineGreen}~{\frac {2}{3}}&\color {PineGreen}~0&\color {PineGreen}~0\\\color {BrickRed}-{\frac {2}{3}}&\color {BrickRed}~{\frac {2}{3}}&\color {BrickRed}-{\frac {1}{3}}&\color {BrickRed}~0&\color {BrickRed}~0\\\color {BlueViolet}~0&\color {BlueViolet}~0&\color {BlueViolet}-{\frac {4}{5}}&\color {BlueViolet}~{\frac {3}{5}}\end{bmatrix}}\!} _{\textstyle \mathbf {V} _{r}^{*}}\,.}

بدلاً من حاصل ضرب ثلاث مصفوفات، فإن تحليل القيم المفردة لـم{\displaystyle \mathbf {M} }يمكن كتابة ⁠ كمجموعر{\displaystyle r}رتبة-1{\displaystyle 1}المصفوفات ، كل منها مُشكَّلة كحاصل ضرب خارجي لعمود واحدuج{\displaystyle \mathbf {u} _{ي}}منيو{\displaystyle \mathbf {U} }مضروبًا في الصف المقابلvج*{\displaystyle \mathbf {v} _{j}^{*}}منV*{\displaystyle \mathbf {V} ^{*}}، مضروبًا في القيمة المفردة المقابلةσج{\displaystyle \sigma _{j}} :

م=ج=1رσجuجvج*=15u1v1*+6u2v2*+5u3v3*=[ 4 8 8 0 0-3-6-6 0 0 0 0 0 0 0 0 0 0 0 0]+[ 0 0 0 0 0 0 0 0 0 0-4 4-2 0 0 0 0 0 0 0]+[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0-4 3].{\displaystyle {\begin{aligned}\mathbf {M} &=\sum _{j=1}^{r}\sigma _{j}\mathbf {u} _{j}\mathbf {v} _{j}^{*}={\color {PineGreen}15\,\mathbf {u} _{1}\mathbf {v} _{1}^{*}}+{\color {BrickRed}6\,\mathbf {u} _{2}\mathbf {v} _{2}^{*}}+{\color {BlueViolet}5\,\mathbf {u} _{3}\mathbf {v} _{3}^{*}}\\&={\color {PineGreen}{\begin{bmatrix}~4&~8&~8&~0&~0\\-3&-6&-6&~0&~0\\~0&~0&~0&~0&~0\\~0&~0&~0&~0&~0\end{bmatrix}}}+{\color {BrickRed}{\begin{bmatrix}~0&~0&~0&~0&~0\\~0&~0&~0&~0&~0\\-4&~4&-2&~0&~0\\~0&~0&~0&~0&~0\end{bmatrix}}}+{\color {BlueViolet}{\begin{bmatrix}~0&~0&~0&~0&~0\\~0&~0&~0&~0&~0\\~0&~0&~0&~0&~0\\~0&~0&~0&-4&~3\end{bmatrix}}}.\end{aligned}}}

تحليل القيم المفردة والتحليل الطيفي

القيم المفردة، والمتجهات المفردة، وعلاقتها بتحليل القيم المفردة (SVD).

عدد حقيقي غير سالبσ{\displaystyle \sigma } هي قيمة مفردة لـم{\displaystyle \mathbf {M} }إذا وفقط إذا وُجدت متجهات وحدةu{\displaystyle \mathbf {u} }فيجم{\displaystyle \mathbb {C} ^{m}}وv{\displaystyle \mathbf {v} }فيجن{\displaystyle \mathbb {C} ^{n}}بحيثمv=σu،م*u=σv.{\displaystyle {\begin{aligned}\mathbf {Mv} &=\sigma \mathbf {u} ,\\[3mu]\mathbf {M} ^{*}\mathbf {u} &=\sigma \mathbf {v} .\end{aligned}}}

المتجهاتu{\displaystyle \mathbf {u} }وv{\displaystyle \mathbf {v} }تُسمى هذه المتجهات بالمتجهات المنفردة اليسرى والمتجهات المنفردة اليمنى لـσ{\displaystyle \sigma }، على التوالي.

في أي تحليل للقيم المفردةم=يوΣV*{\displaystyle \mathbf {M} =\mathbf {U\Sigma V} ^{*}}المدخلات القطرية لـΣ{\displaystyle \mathbf {\Sigma } }تتضمن القيم المفردة لـم{\displaystyle \mathbf {M} }الأولص=مين{م،ن}{\displaystyle p=\min\{m,n\}}أعمدة منيو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }تمثل هذه المتجهات، على التوالي، متجهات مفردة يسارية ويمنية للقيم المفردة المقابلة. وبالتالي،

  • أنم×ن{\displaystyle m\times n}مصفوفةم{\displaystyle \mathbf {M} }يحتوي على الأكثرص{\displaystyle p}قيم مفردة مميزة .
  • من الممكن دائمًا إيجاد أساس وحدوييو{\displaystyle \mathbf {U} }لـجم{\displaystyle \mathbb {C} ^{m}}مع مجموعة فرعية من متجهات الأساس التي تغطي متجهات القيم المفردة اليسرى لكل قيمة مفردة منم{\displaystyle \mathbf {M} } .
  • من الممكن دائمًا إيجاد أساس وحدويV{\displaystyle \mathbf {V} }لـجن{\displaystyle \mathbb {C} ^{n}}مع مجموعة فرعية من متجهات الأساس التي تغطي متجهات القيم المفردة اليمنى لكل قيمة مفردة منم{\displaystyle \mathbf {M} } .

المدخلات القطرية لـ Σ{\displaystyle \Sigma }لا يشترط أن تكون القيم متميزة . القيمة المفردةσ{\displaystyle \sigma }والتي تظهر من بينهاك{\displaystyle k} تايمز لديهاك{\displaystyle k}فضاء جزئي ذو بُعد n من المتجهات المنفردة اليسرى المناظرة. يمكن اعتبار أي أساس متعامد لهذا الفضاء الجزئي بمثابة الأعمدة المناظرة لمصفوفة ما .يو{\displaystyle \mathbf {U} }، ويحدد بشكل فريد أساسًا متعامدًا لـك{\displaystyle k}فضاء جزئي ذو أبعاد n من المتجهات المفردة اليمنى التي تشكل الأعمدة المقابلة لمصفوفةV{\displaystyle \mathbf {V} }. عندماσ0{\displaystyle \sigma \neq 0}وك=1{\displaystyle k=1}تُسمى القيمة المفردة غير مُنحلة ، ويكون المتجه المفرد الأيسر والمتجه المفرد الأيمن المقابلين فريدين حتى الضرب بعامل طور (عدد مركب يساوي 1)، أو، في الحالة الحقيقية، فريدين حتى الإشارة. عندماك>1{\displaystyle k>1}، القيمة المفردةσ{\displaystyle \sigma }يُطلق عليه اسم المنحط .

المتجهات المفردة اليسرى واليمنى ذات القيمة المفردة0{\displaystyle 0}تتضمن جميع متجهات الوحدة في النواة المشتركة والنواة، على التوالي، منم{\displaystyle \mathbf {M} }بحسب نظرية الرتبة والفراغ ، لا يمكن أن يكون لهذه الفضاءات الجزئية نفس البعد إذامن{\displaystyle m\neq n}حتى عندما تكون جميع القيم المفردة غير صفرية، إذام>ن{\displaystyle m>n}إذاً ، فإن النواة المشتركة غير تافهة، وفي هذه الحالة ...يو{\displaystyle \mathbf {U} }مبطن بـم-ن{\displaystyle m-n}متجهات الوحدة المتعامدة من النواة المشتركة. على العكس من ذلك ، إذام<ن{\displaystyle m<n}ثمV{\displaystyle \mathbf {V} }يتم حشوها بواسطةن-م{\displaystyle n-m}متجهات الوحدة المتعامدة من النواة. ومع ذلك، إذا كانت القيمة المفردة0{\displaystyle 0}موجودة ، الأعمدة الإضافية منيو{\displaystyle \mathbf {U} }أوV{\displaystyle \mathbf {V} }تظهر بالفعل كمتجهات مفردة يسارية أو يمينية. [...، إذا كانت القيمة المفردة 0 موجودة، فلا يجب أن تكرر الأعمدة الإضافية من U أو V المتجهات المفردة اليسارية أو اليمينية المقابلة.] [وإلا، فلن يكون لـ U أو V رتبة عمودية كاملة.]

إذا كانت جميع القيم المفردة لمصفوفة مربعةم{\displaystyle \mathbf {M} }إذا كانت القيم غير صفرية وغير منحلة، فإن تحليلها إلى قيم مفردة يكون فريدًا حتى ضرب أي عمود منيو{\displaystyle \mathbf {U} }والعمود المقابل منV{\displaystyle \mathbf {V} }بواسطة عامل طور عشوائي. وبشكل أعم، فإن تحليل القيم المفردة لأي مصفوفةم{\displaystyle \mathbf {M} } فريد من نوعه حتى التحويلات الوحدوية المطبقة بشكل موحد على متجهات الأعمدة لكليهمايو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }( والتي لا تخلط الأعمدة التي تتوافق مع القيم المفردة المتميزة).

العلاقة بتحليل القيم الذاتية

يُعد تحليل القيم المفردة عامًا جدًا بمعنى أنه يمكن تطبيقه على أيم×ن{\displaystyle m\times n}المصفوفة ، بينمالا يمكن تطبيق تحليل القيم الذاتية إلا على المصفوفات القابلة للتقطير المربع . ومع ذلك، فإن التحليلين مرتبطان.

إذام{\displaystyle \mathbf {M} }لديه SVDم=يوΣV*{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}، تتحقق العلاقتان التاليتان: م*م=VΣ*يو*يوΣV*=V(Σ*Σ)V*،مم*=يوΣV*VΣ*يو*=يو(ΣΣ*)يو*.{\displaystyle {\begin{aligned}\mathbf {M} ^{*}\mathbf {M} &=\mathbf {V} \mathbf {\Sigma } ^{*}\mathbf {U} ^{*}\,\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}=\mathbf {V} (\mathbf {\Sigma } ^{*}\mathbf {\Sigma } )\mathbf {V} ^{*},\\[3mu]\mathbf {M} \mathbf {M} ^{*}&=\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}\,\mathbf {V} \mathbf {\Sigma } ^{*}\mathbf {U} ^{*}=\mathbf {U} (\mathbf {\Sigma } \mathbf {\Sigma } ^{*})\mathbf {U} ^{*}.\end{aligned}}}

تصف الأطراف اليمنى لهذه العلاقات تحليلات القيم الذاتية للأطراف اليسرى. وبالتالي:

  • أعمدة V{\displaystyle \mathbf {V} }( يشار إليها باسم المتجهات المنفردة اليمنى) هي المتجهات الذاتية لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} } .
  • أعمدة يو{\displaystyle \mathbf {U} }( يشار إليها باسم المتجهات المنفردة اليسرى) هي المتجهات الذاتية لـمم*{\displaystyle \mathbf {M} \mathbf {M} ^{*}} .
  • العناصر غير الصفرية لـ Σ{\displaystyle \mathbf {\Sigma } }( القيم المفردة غير الصفرية) هي الجذور التربيعية للقيم الذاتية غير الصفرية لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }أومم*{\displaystyle \mathbf {M} \mathbf {M} ^{*}} .

في الحالة الخاصة لـم{\displaystyle \mathbf {M} }بما أن المصفوفة عادية ، وبالتالي مربعة أيضًا، فإن نظرية الطيف تضمن إمكانية تحويلها إلى مصفوفة قطرية أحادية باستخدام أساس من المتجهات الذاتية، وبالتالي تحليلها إلىم=يوديو*{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}}لبعض المصفوفات الوحدويةيو{\displaystyle \mathbf {U} }والمصفوفة القطريةد{\displaystyle \mathbf {D} }بعناصر معقدةσأنا{\displaystyle \sigma _{i}}على طول القطر. عندمام{\displaystyle \mathbf {M} } موجبة شبه محددة ، الـσأنا{\displaystyle \sigma _{i}}ستكون أعدادًا حقيقية غير سالبة، لذا فإن التفكيكم=يوديو*{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}} هو أيضًا تحليل للقيم المفردة. وإلا، فيمكن إعادة صياغته كتحليل للقيم المفردة عن طريق تحريك الطورهـأناφ{\displaystyle e^{i\varphi }}من كلσأنا{\displaystyle \sigma _{i}}إما إلى ما يقابلهvأنا{\displaystyle \mathbf {v} _{i}}أوuأنا{\displaystyle \mathbf {u} _{i}}. يرتبط تحليل القيم المفردة (SVD) بالمصفوفات غير الطبيعية بشكل طبيعي من خلال نظرية التحليل القطبي :م=SR{\displaystyle \mathbf {M} =\mathbf {S} \mathbf {R} }، حيثS=يوΣيو*{\displaystyle \mathbf {S} =\mathbf {U} \mathbf {\Sigma } \mathbf {U} ^{*}}هي شبه موجبة ومتجانسة، وR=يوV*{\displaystyle \mathbf {R} =\mathbf {U} \mathbf {V} ^{*}}هو وحدة.

وبالتالي، باستثناء المصفوفات شبه الموجبة المحددة، فإن تحليل القيم الذاتية وتحليل القيم المفردة لـم{\displaystyle \mathbf {M} }على الرغم من ارتباطهما، إلا أنهما يختلفان: تحليل القيم الذاتية هوم=يوديو-1{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{-1}}، حيثيو{\displaystyle \mathbf {U} }ليس بالضرورة أن يكون موحدًا ود{\displaystyle \mathbf {D} }لا تكون بالضرورة موجبة شبه محددة، بينما تكون SVD كذلك.م=يوΣV*{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}، حيثΣ{\displaystyle \mathbf {\Sigma } }هي قطرية وشبه موجبة، ويو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }هي مصفوفات وحدوية لا ترتبط بالضرورة ببعضها إلا من خلال المصفوفةم{\displaystyle \mathbf {M} }بينما لا تمتلك المصفوفات المربعة غير المعيبة فقطتحليلًا للقيم الذاتية، فإن أيم×ن{\displaystyle m\times n}تحتوي المصفوفة على تحليل القيم المفردة (SVD).

تطبيقات تحليل القيم المفردة

المعكوس الزائف

يمكن استخدام تحليل القيم المفردة لحساب المعكوس الزائف للمصفوفة. المعكوس الزائف للمصفوفةم{\displaystyle \mathbf {M} }باستخدام تحليل القيم المفردةم=يوΣV*{\displaystyle \mathbf {M} =\mathbf {U\Sigma V} ^{*}}هوم+=VΣ+يو*،{\displaystyle \mathbf {M} ^{+}=\mathbf {V} \mathbf {\Sigma } ^{+}\mathbf {U} ^{*},} أينΣ+{\displaystyle \mathbf {\Sigma } ^{+}}هو المعكوس الزائف لـ Σ{\displaystyle \mathbf {\Sigma } }، والتي تتكون من استبدال كل عنصر قطري غير صفري فيΣ{\displaystyle \mathbf {\Sigma } }عن طريق مقلوبها ونقل المصفوفة الناتجة. المعكوس الزائف هو إحدى طرق حلمسائل المربعات الصغرى الخطية .

حل المعادلات الخطية المتجانسة

يمكن كتابة مجموعة من المعادلات الخطية المتجانسة على النحو التالي :أx=0{\displaystyle \mathbf {A} \mathbf {x} =\mathbf {0} }للمصفوفةأ{\displaystyle \mathbf {A} }متجهx{\displaystyle \mathbf {x} }، والمتجه الصفري0{\displaystyle \mathbf {0} }الوضع النموذجي هو أنأ{\displaystyle \mathbf {A} }معروف وغير صفريx{\displaystyle \mathbf {x} }يجب تحديد القيمة التي تحقق المعادلة. مثل هذه القيمةx{\displaystyle \mathbf {x} }ينتمي إلىأ{\displaystyle \mathbf {A} }الفضاء الصفري لـ ويُطلق عليه أحيانًا اسم متجه صفري (يميني) لـأ{\displaystyle \mathbf {A} }المتجهx{\displaystyle \mathbf {x} }يمكن وصف ⁠ بأنه متجه مفرد يميني يتوافق مع قيمة مفردة لـأ{\displaystyle \mathbf {A} }هذا يساوي صفرًا. هذه الملاحظة تعني أنه إذاأ{\displaystyle \mathbf {A} }إذا كانت المصفوفة مربعة وليس لها قيمة مفردة معدومة، فإن المعادلة ليس لها قيمة غير صفرية .x{\displaystyle \mathbf {x} }كحل . ويعني هذا أيضًا أنه إذا كانت هناك عدة قيم مفردة معدومة، فإن أي توليفة خطية من متجهات القيم المفردة اليمنى المقابلة تُعد حلاً صالحًا. وبالمثل لتعريف المتجه الصفري (اليميني)، فإن قيمة غير صفريةx{\displaystyle \mathbf {x} }مُرضٍx*أ=0{\displaystyle \mathbf {x} ^{*}\mathbf {A} =\mathbf {0} }، حيثx*{\displaystyle \mathbf {x} ^{*}}يرمز إلى منقولة المرافق لـx{\displaystyle \mathbf {x} }يُطلق عليه اسم متجه الصفر الأيسر لـأ{\displaystyle \mathbf {A} } .

تقليل المربعات الصغرى الكلية

تهدف مسألة المربعات الصغرى الكلية إلى إيجاد المتجه x{\displaystyle \mathbf {x} }الذي يقلل من معيار 2 لمتجهأx{\displaystyle \mathbf {A} \mathbf {x} }في ظل القيدx=1{\displaystyle \|\mathbf {x} \|=1}. اتضح أن الحل هو المتجه المفرد الأيمن لـ أ{\displaystyle \mathbf {A} } المقابل لأصغر قيمة مفردة.

المدى، والفضاء الصفري، والرتبة

من التطبيقات الأخرى لتحليل القيم المفردة (SVD) أنه يوفر تمثيلاً صريحاً لمدى وفضاء الصفر للمصفوفة .م{\displaystyle \mathbf {M} }. المتجهات الشاذة اليمنى المقابلة للقيم الشاذة المتلاشية لـم{\displaystyle \mathbf {M} } تمتد على الفضاء الصفري لـم{\displaystyle \mathbf {M} }والمتجهات المفردة اليسرى المقابلة للقيم المفردة غير الصفرية لـم{\displaystyle \mathbf {M} } تمتد على نطاقم{\displaystyle \mathbf {M} } .

ونتيجة لذلك، فإن رتبةم{\displaystyle \mathbf {M} }يساوي عدد القيم المفردة غير الصفرية، وهو نفس عدد العناصر القطرية غير الصفرية فيΣ{\displaystyle \mathbf {\Sigma } }في الجبر الخطي العددي ، يمكن استخدام القيم المفردة لتحديد الرتبة الفعلية للمصفوفة، حيث قد يؤدي خطأ التقريب إلى قيم مفردة صغيرة ولكنها غير صفرية في مصفوفة ناقصة الرتبة. ويُفترض أن القيم المفردة التي تتجاوز فجوة كبيرة تُعادل الصفر عدديًا .

تقريب المصفوفة منخفضة الرتبة

تتطلب بعض التطبيقات العملية حل مشكلة تقريب المصفوفةم{\displaystyle \mathbf {M} }باستخدام مصفوفة أخرىم~{\displaystyle {\tilde {\mathbf {M} }}}، يقال إنه مبتور ، وله رتبة محددةت{\displaystyle t}في حالة أن التقريب يعتمد على تقليل معيار فروبينيوس للفرق بينم{\displaystyle \mathbf {M} }وم~{\displaystyle {\tilde {\mathbf {M} }}}مع مراعاة القيد الذيرتبة(م~)=ت{\displaystyle \operatorname {rank} \!{\bigl (}{\tilde {\mathbf {M} }}{\bigr )}=t}، اتضح أن الحل يُعطى بواسطة تحليل القيم المفردة لـم{\displaystyle \mathbf {M} }، أي م~=يوΣ~V*،{\displaystyle {\tilde {\mathbf {M} }}=\mathbf {U} {\tilde {\mathbf {\Sigma } }}\mathbf {V} ^{*},} أينΣ~{\displaystyle {\tilde {\mathbf {\Sigma } }}}هي نفس المصفوفةΣ{\displaystyle \mathbf {\Sigma } }باستثناء أنه لا يحتوي إلا علىت{\displaystyle t}أكبر القيم المفردة (تُستبدل القيم المفردة الأخرى بالصفر). أو، بصورة مكافئة، بواسطة تحليل القيم المفردة المقتطع . يُعرف هذا باسم نظرية إيكارت-يونغ ، حيث أثبتها هذان المؤلفان في عام 1936. [ أ ]

ضغط الصور

إذا تم تفسير صورة نقطية على أنها مصفوفة، فيمكن استخدام تحليل القيم المفردة (SVD) لضغط الصورة. هنا تتم مقارنة صورة فوتوغرافية أصلية (أعلى اليسار) مع تقريبات منخفضة الرتبة من الرتبة 1 و 10 و 100 .

إحدى النتائج العملية لتقريب الرتبة المنخفضة الذي يوفره تحليل القيم المفردة (SVD) هي أن الصورة الرمادية ، المُمثلة كـم×ن{\displaystyle m\times n}مصفوفةأ{\displaystyle \mathbf {A} }، ويمكن تمثيلها بكفاءة عن طريق الاحتفاظ بالأولك{\displaystyle k}القيم المفردة والمتجهات المقابلة لها. التفكيك المقتطع أك=ج=1كσجuجvجتي{\displaystyle \mathbf {A} _{k}=\sum _{j=1}^{k}\sigma _{j}\mathbf {u} _{j}\mathbf {v} _{j}^{\mathsf {T}}} يُعطي صورة بأفضل ما في2{\displaystyle 2}-خطأ المعيار من بين جميع الرتب-ك{\displaystyle k}التقريبات . وبالتالي، تصبح المهمة إيجاد تقريب يوازن بين الحفاظ على الدقة الإدراكية وعدد المتجهات المطلوبة لإعادة بناء الصورة. التخزينأك{\displaystyle \mathbf {A} _{k}}لا يتطلب الأمر سوىك(ن+م+1){\displaystyle k(n+m+1)}مقارنة الأرقام العشرية بـنم{\displaystyle nm}الأعداد الصحيحة. وينطبق هذا المبدأ نفسه على الصور الملونة من خلال تطبيق هذه العملية على كل قناة أو تكديس القنوات في مصفوفة واحدة.

بما أن القيم المفردة لمعظم الصور الطبيعية تتلاشى بسرعة، فإن معظم تباينها غالباً ما يتم التقاطه بواسطة قيمة صغيرة .ك{\displaystyle k}. لـ1528×1225{\displaystyle 1528\times 1225}في الصورة الرمادية، يمكننا تحقيق خطأ نسبي قدره0.7%{\displaystyle 0.7\%}بأقل من ك=100{\displaystyle k=100} . [ 1 ] من الناحية العملية، يمكن أن يكون حساب SVD مكلفًا حسابيًا للغاية، وعادة ما يكون الضغط الناتج أقل كفاءة في استخدام التخزين من خوارزمية متخصصة مثل JPEG .

نماذج قابلة للفصل

يمكن اعتبار تحليل القيم المفردة (SVD) بمثابة تفكيك مصفوفة إلى مجموع مرتب ومرجح من الرتب-1{\displaystyle 1}المصفوفات . كل رتبة-1{\displaystyle 1}مصفوفةأ{\displaystyle \mathbf {A} } قابلة للفصل ، بمعنى أنه يمكن كتابتها كحاصل ضرب خارجي لمتجهين:أ=uv*{\displaystyle \mathbf {A} =\mathbf {u} \mathbf {v} ^{*}}كل عنصر من عناصر هذه المصفوفةأ{\displaystyle \mathbf {A} }هو ناتج ضرب عنصر واحد من متجه عموديu{\displaystyle \mathbf {u} }مضروبًا في عنصر واحد من متجه الصفv*{\displaystyle \mathbf {v} ^{*}}أي ،أأنا،ج=uأناvج¯{\displaystyle \mathbf {A} _{i,j}=u_{i}{\overline {v_{j}}}} .

وبشكلٍ أدق، يقوم تحليل القيم المفردة (SVD) بتحليل المصفوفة .م{\displaystyle \mathbf {M} }كمجموع عدة رتب-1{\displaystyle 1}المصفوفاتأأنا{\displaystyle \mathbf {A} _{i}} : م=أناأأنا=أناσأناuأناvأنا*،{\displaystyle \mathbf {M} =\sum _{i}\mathbf {A} _{i}=\sum _{i}\sigma _{i}\mathbf {u} _{i}\mathbf {v} _{i}^{*},} أينuأنا{\displaystyle \mathbf {u} _{i}}وvأنا{\displaystyle \mathbf {v} _{i}}تمثل هذه المتجهات المفردة اليسرى واليمنى المقابلة لكل قيمة مفردة .σأنا{\displaystyle \sigma _{i}}عدد القيم غير الصفريةσأنا{\displaystyle \sigma _{i}} هو بالضبط رتبة المصفوفة.

يمكن استخدام تحليل القيم المفردة (SVD) لإيجاد تفكيك مرشح معالجة الصور إلى مرشحين منفصلين، أفقي ورأسي. غالبًا ما تظهر النماذج المنفصلة في الأنظمة البيولوجية، ويُعد تحليل القيم المفردة مفيدًا لتحليل هذه الأنظمة. على سبيل المثال، يمكن وصف بعض الحقول الاستقبالية للخلايا البسيطة في المنطقة البصرية V1 وصفًا دقيقًا [ 2 ] بواسطة مرشح غابور في المجال المكاني مضروبًا بدالة تعديل في المجال الزمني. وبالتالي، عند إعطاء مرشح خطي مُقَيَّم، على سبيل المثال، من خلال الارتباط العكسي ، يمكن إعادة ترتيب البُعدين المكانيين في بُعد واحد، مما ينتج عنه مرشح ثنائي الأبعاد (مكان، زمن) يمكن تفكيكه باستخدام تحليل القيم المفردة. العمود الأول منيو{\displaystyle \mathbf {U} }في تحليل القيم المفردة ، يكون الناتج دالة غابور، بينما يكون العمود الأول منV{\displaystyle \mathbf {V} }يمثل هذا التعديل الزمني (أو العكس). ويمكن بعد ذلك تحديد مؤشر قابلية الفصل. α=σ12أناσأنا2،{\displaystyle \alpha ={\frac {\sigma _{1}^{2}}{\sum _{i}\sigma _{i}^{2}}},} وهو جزء من القوة في المصفوفةم{\displaystyle \mathbf {M} }[ 3 ]

أقرب مصفوفة متعامدة

من الممكن استخدام تحليل القيم المفردة لمصفوفة مربعةأ{\displaystyle \mathbf {A} }لتحديد المصفوفة المتعامدةسؤال{\displaystyle \mathbf {Q} }الأقرب إلىأ{\displaystyle \mathbf {A} } . يتم قياس مدى التطابق باستخداممعيار فروبينيوس سؤال-أ{\displaystyle \mathbf {Q} -\mathbf {A} }الحل هو الناتجيوV*{\displaystyle \mathbf {U} \mathbf {V} ^{*}}[ 4 ] [ 5 ] وهذا منطقي بديهيًا لأن المصفوفة المتعامدة سيكون لها التفكيك التالي :يوأناV*{\displaystyle \mathbf {U} \mathbf {I} \mathbf {V} ^{*}}أينأنا{\displaystyle \mathbf {I} }هي مصفوفة الوحدة؛ لذا، إذاأ=يوΣV*{\displaystyle \mathbf {A} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}ثم المنتجسؤال=يوV*{\displaystyle \mathbf {Q} =\mathbf {U} \mathbf {V} ^{*}}يُعادل ذلك استبدال القيم المفردة بالواحدات. وبصورة مكافئة، يكون الحل هو المصفوفة الوحدوية .R=يوV*{\displaystyle \mathbf {R} =\mathbf {U} \mathbf {V} ^{*}}من التحلل القطبيأ=RP=PR{\displaystyle \mathbf {A} =\mathbf {R} \mathbf {P} =\mathbf {P} '\mathbf {R} }بأي ترتيب من التمدد والدوران، كما هو موضح أعلاه.

تُعدّ مسألة بروكروستس المتعامدة مشكلة مشابهة، ولها تطبيقات مثيرة للاهتمام في تحليل الأشكال ، وتتمثل في إيجاد مصفوفة متعامدة .سؤال{\displaystyle \mathbf {Q} }والتي تُطابق بشكل أدقأ{\displaystyle \mathbf {A} }إلىب{\displaystyle \mathbf {B} }. على وجه التحديد، سؤال=أرجينينΩأΩ-بFرهناً بـΩتيΩ=أنا،{\displaystyle \mathbf {Q} ={\underset {\Omega }{\operatorname {argmin} }}\|\mathbf {A} \mathbf {\Omega } -\mathbf {B} \|_{F}\quad {\text{subject to}}\quad \mathbf {\Omega } ^{\mathsf {T}}\mathbf {\Omega } =\mathbf {I} ,} أينF{\displaystyle \|\cdot \|_{F}}يشير إلى معيار فروبينيوس.

تُعادل هذه المسألة إيجاد أقرب مصفوفة متعامدة لمصفوفة معطاة .م=أتيب{\displaystyle \mathbf {M} =\mathbf {A} ^{\mathsf {T}}\mathbf {B} } .

خوارزمية كابش

تستخدم خوارزمية كابش (المعروفة بمسألة وهبة في مجالات أخرى) تحليل القيم المفردة لحساب الدوران الأمثل (بالنسبة لتقليل المربعات الصغرى) الذي يُحاذي مجموعة من النقاط مع مجموعة نقاط مقابلة. وتُستخدم، من بين تطبيقات أخرى، لمقارنة هياكل الجزيئات.

تحليل المكونات الرئيسية

يمكن استخدام SVD لإنشاء المكونات الرئيسية في تحليل المكونات الرئيسية على النحو التالي: [ 6 ]

يتركXRشمال×ص{\displaystyle \mathbf {X} \in \mathbb {R} ^{N\times p}}لنفترض أن لدينا مصفوفة بيانات حيث كل عنصر من عناصرهاشمال{\displaystyle N}تمثل الصفوف ملاحظة مركزية متوسطة (من حيث الميزات)، كل منها ذو بُعد ص{\displaystyle p} .

تحليل القيم المفردة لـX{\displaystyle \mathbf {X} }يكون: X=VΣيو*.{\displaystyle \mathbf {X} =\mathbf {V} \mathbf {\Sigma } \mathbf {U} ^{*}.}

نرى ذلكVΣ{\displaystyle \mathbf {V} \mathbf {\Sigma } }يحتوي على درجات صفوفX{\displaystyle \mathbf {X} }(أي كل ملاحظة)،يو{\displaystyle \mathbf {U} }هي المصفوفة التي أعمدتها عبارة عن متجهات تحميل المكونات الرئيسية. [ 6 ]

معالجة الإشارات

تم تطبيق تحليل القيم المفردة (SVD) والمعكوس الزائف بنجاح في معالجة الإشارات [ 7 ] ، ومعالجة الصور [ 8 ] ، والبيانات الضخمة (على سبيل المثال، في معالجة الإشارات الجينومية) [ 9 ] [ 10 ] [ 11 ] [ 12 ] .

أمثلة أخرى

يُستخدم تحليل القيم المفردة (SVD) على نطاق واسع في دراسة مسائل المعكوس الخطي ، وهو مفيد في تحليل أساليب التنظيم مثل أسلوب تيخونوف . كما يُستخدم بكثرة في الإحصاء، حيث يرتبط بتحليل المكونات الرئيسية وتحليل التطابق ، وفي معالجة الإشارات والتعرف على الأنماط . ويُستخدم أيضًا في تحليل الأنماط باستخدام المخرجات فقط، حيث يمكن تحديد أشكال الأنماط غير المُقاسة من المتجهات المفردة. ومن استخداماته الأخرى الفهرسة الدلالية الكامنة في معالجة النصوص باللغة الطبيعية.

في الحسابات العددية العامة التي تتضمن أنظمة خطية أو مُخطّطة، يوجد ثابت عالمي يُحدد انتظام أو تفرد المسألة، وهو "رقم حالة" النظام .κ=σالأعلى/σمين{\displaystyle \kappa =\sigma _{\text{max}}/\sigma _{\text{min}}}. غالبًا ما يتحكم في معدل الخطأ أو معدل التقارب لخوارزمية حسابية معينة على هذه الأنظمة. [ 13 ] [ 14 ]

يلعب تحليل القيم المفردة (SVD) دورًا حاسمًا في مجال المعلومات الكمومية ، في شكل يُشار إليه غالبًا باسم تحليل شميدت . من خلاله، يتم تحليل حالات نظامين كموميين بشكل طبيعي، مما يوفر شرطًا ضروريًا وكافيًا لتشابكهما : إذا كانت رتبة المصفوفةΣ{\displaystyle \mathbf {\Sigma } }أكبر من واحد.

يُستخدم تحليل القيم المفردة (SVD) في التنبؤ العددي بالطقس ، حيث تُستخدم طرق لانكزوس لتقدير الاضطرابات القليلة الأسرع نموًا خطيًا للتنبؤ العددي المركزي بالطقس خلال فترة زمنية أولية محددة؛ أي المتجهات المفردة التي تُقابل أكبر القيم المفردة للمُوَصِّل الخطي للطقس العالمي خلال تلك الفترة. في هذه الحالة، تُمثل المتجهات المفردة الناتجة أنظمة الطقس بأكملها. تُمرَّر هذه الاضطرابات بعد ذلك عبر النموذج غير الخطي الكامل لتوليد تنبؤ جماعي ، مما يُتيح فهمًا لبعض جوانب عدم اليقين التي يجب أخذها في الاعتبار حول التنبؤ المركزي الحالي.

تم تطبيق تحليل القيم المفردة (SVD) أيضًا على نمذجة الرتبة المنخفضة. يهدف هذا النوع من النمذجة إلى تقليل عدد درجات الحرية في نظام معقد يُراد نمذجته. وقد تم دمج تحليل القيم المفردة مع دوال الأساس الشعاعية لاستكمال حلول مسائل التدفق غير المستقر ثلاثي الأبعاد. [ 15 ]

ومن المثير للاهتمام أن تحليل القيم المفردة (SVD) قد استُخدم لتحسين نمذجة شكل الموجة الثقالية بواسطة مقياس التداخل الأرضي للموجات الثقالية aLIGO. [ 16 ] يمكن أن يساعد تحليل القيم المفردة في زيادة دقة وسرعة توليد شكل الموجة لدعم عمليات البحث عن الموجات الثقالية وتحديث نموذجين مختلفين لشكل الموجة.

يُستخدم تحليل القيم المفردة في أنظمة التوصية للتنبؤ بتقييمات المستخدمين للمنتجات. [ 17 ] وقد طُوّرت خوارزميات موزعة لغرض حساب تحليل القيم المفردة على مجموعات من أجهزة الحاسوب. [ 18 ]

استُخدم تحليل القيم المفردة منخفض الرتبة للكشف عن النقاط الساخنة من البيانات المكانية والزمانية، مع تطبيق ذلك في الكشف عن تفشي الأمراض . [ 19 ] كما استُخدم مزيج من تحليل القيم المفردة وتحليل القيم المفردة عالي الرتبة للكشف عن الأحداث في الوقت الحقيقي من تدفقات البيانات المعقدة (البيانات متعددة المتغيرات ذات الأبعاد المكانية والزمانية) في مراقبة الأمراض . [ 20 ]

في ديناميكيات الفضاء ، يتم استخدام تحليل القيم المفردة (SVD) ومتغيراته كخيار لتحديد اتجاهات المناورة المناسبة لتصميم مسار النقل [ 21 ] والحفاظ على الموقع المداري . [ 22 ]

يمكن استخدام تحليل القيم المفردة (SVD) لقياس التشابه بين المصفوفات ذات القيم الحقيقية. [ 23 ] من خلال قياس الزوايا بين المتجهات المفردة، يتم مراعاة البنية ثنائية الأبعاد المتأصلة في المصفوفات. وقد أظهرت هذه الطريقة تفوقها على تشابه جيب التمام ومعيار فروبينيوس في معظم الحالات، بما في ذلك قياسات نشاط الدماغ من تجارب علم الأعصاب .

إثبات الوجود

قيمة ذاتية λ{\displaystyle \lambda }من مصفوفةم{\displaystyle \mathbf {M} }تتميز بالعلاقة الجبريةمu=λu{\displaystyle \mathbf {M} \mathbf {u} =\lambda \mathbf {u} }. عندمام{\displaystyle \mathbf {M} }إذا كانت الدالة هيرميتية ، فإن التوصيف التبايني متاح أيضًا. ليكنم{\displaystyle \mathbf {M} }كن حقيقياًن×ن{\displaystyle n\times n}المصفوفة المتناظرة . تعريف و:{RنRxxتيمx.{\displaystyle f\colon \left\{{\begin{aligned}\mathbb {R} ^{n}&\to \mathbb {R} \\\mathbf {x} &\mapsto \mathbf {x} ^{\mathsf {T}}\mathbf {M} \mathbf {x} \end{aligned}}\right..} بحسب نظرية القيمة القصوى ، فإن هذه الدالة المتصلة تصل إلى قيمة عظمى عند نقطة ما .u{\displaystyle \mathbf {u} }عند تقييدها بكرة الوحدة{x=1}.{\displaystyle \{\|\mathbf {x} \|=1\}.}بحسب نظرية مضاعفات لاغرانج ،u{\displaystyle \mathbf {u} }يرضي بالضرورةuتيمu-λuتيu=0{\displaystyle \nabla \mathbf {u} ^{\mathsf {T}}\mathbf {M} \mathbf {u} -\lambda \cdot \nabla \mathbf {u} ^{\mathsf {T}}\mathbf {u} =\mathbf {0} } لبعض الأعداد الحقيقيةλ{\displaystyle \lambda }. رمز نابلا،{\displaystyle \nabla }، هو عامل الاختزال (التفاضل بالنسبة إلىx{\displaystyle \mathbf {x} }) .باستخدام تناظرم{\displaystyle \mathbf {M} }، نحصل xتيمx-λxتيx=2(م-λأنا)x.{\displaystyle \nabla \mathbf {x} ^{\mathsf {T}}\mathbf {M} \mathbf {x} -\lambda \cdot \nabla \mathbf {x} ^{\mathsf {T}}\mathbf {x} =2(\mathbf {M} -\lambda \mathbf {I} )\mathbf {x} .}

لذلكمu=λu{\displaystyle \mathbf {M} \mathbf {u} =\lambda \mathbf {u} }، لذاu{\displaystyle \mathbf {u} } هو متجه ذاتي ذو طول وحدة لـم{\displaystyle \mathbf {M} }لكل متجه ذاتي طوله وحدة واحدةv{\displaystyle \mathbf {v} }منم{\displaystyle \mathbf {M} }، وقيمتها الذاتية هيو(v){\displaystyle f(\mathbf {v} )}، لذاλ{\displaystyle \lambda } هي أكبر قيمة ذاتية لـم{\displaystyle \mathbf {M} }. تم إجراء نفس الحساب على المتمم المتعامد لـu{\displaystyle \mathbf {u} }يُعطي القيمة الذاتية الأكبر التالية، وهكذا. الحالة الهرميتية المعقدة مماثلة؛ هناكو(x)=x*مx{\displaystyle f(\mathbf {x} )=\mathbf {x} ^{*}\mathbf {M} \mathbf {x} }هي دالة حقيقية القيمة لـ2ن{\displaystyle 2n}المتغيرات الحقيقية .

تتشابه القيم المفردة في إمكانية وصفها جبريًا أو باستخدام مبادئ حساب التفاضل والتكامل. مع ذلك، وعلى عكس حالة القيم الذاتية، فإن خاصية الهرميتية، أو التناظر، لـم{\displaystyle \mathbf {M} }لم يعد ذلك مطلوبًا .

يقدم هذا القسم هاتين الحجتين لإثبات وجود تحليل القيم المفردة.

استنادًا إلى نظرية الطيف

يتركم{\displaystyle \mathbf {M} }كن م×ن{\displaystyle m\times n}المصفوفة المركبة . بما أنم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }بما أن المصفوفة شبه موجبة ومصفوفة هيرميتية، فبحسب نظرية الطيف ، يوجدن×ن{\displaystyle n\times n}مصفوفة وحدويةV{\displaystyle \mathbf {V} }بحيث V*م*مV=د¯=[د000]،{\displaystyle \mathbf {V} ^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} ={\bar {\mathbf {D} }}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}},} أيند{\displaystyle \mathbf {D} }قطري ومحدد إيجابي، ذو بُعد×{\displaystyle \ell \times \ell }، مع{\displaystyle \ell }عدد القيم الذاتية غير الصفرية لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }(والذي يمكن إثباته)مين(ن،م){\displaystyle \ell \leq \min(n,m)}). لاحظ أنV{\displaystyle \mathbf {V} }هي هنا بحكم التعريف مصفوفةأنا{\displaystyle i}العمود رقم - هوأنا{\displaystyle i}المتجه الذاتي رقم - لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }، بما يتوافق مع القيمة الذاتيةد¯أناأنا{\displaystyle {\bar {\mathbf {D} }}_{ii}}علاوة على ذلك،ج{\displaystyle j}العمود رقم - منV{\displaystyle \mathbf {V} }، لج>{\displaystyle j>\ell }، هو متجه ذاتي لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }مع القيمة الذاتيةد¯جج=0{\displaystyle {\bar {\mathbf {D} }}_{jj}=0}ويمكن التعبير عن ذلك بالكتابةV{\displaystyle \mathbf {V} }مثلV=[V1V2]{\displaystyle \mathbf {V} ={\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}}، حيث أعمدةV1{\displaystyle \mathbf {V} _{1}}وV2{\displaystyle \mathbf {V} _{2}}وبالتالي تحتوي على المتجهات الذاتية لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }بما يتوافق مع القيم الذاتية غير الصفرية والصفرية، على التوالي. باستخدام هذه الكتابة الجديدة لـV{\displaystyle \mathbf {V} }تصبح المعادلة كالتالي: [V1*V2*]م*م[V1V2]=[V1*م*مV1V1*م*مV2V2*م*مV1V2*م*مV2]=[د000].{\displaystyle {\begin{bmatrix}\mathbf {V} _{1}^{*}\\\mathbf {V} _{2}^{*}\end{bmatrix}}\mathbf {M} ^{*}\mathbf {M} \,{\begin{bmatrix}\mathbf {V} _{1}&\!\!\mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\\\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}}.}

وهذا يعني أن V1*م*مV1=د،V2*م*مV2=0.{\displaystyle \mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}=\mathbf {D} ,\quad \mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}=\mathbf {0} .}

علاوة على ذلك، تشير المعادلة الثانية إلىمV2=0{\displaystyle \mathbf {M} \mathbf {V} _{2}=\mathbf {0} }[ ب ] وأخيرًا ، وحدةV{\displaystyle \mathbf {V} }يترجم، من حيثV1{\displaystyle \mathbf {V} _{1}}وV2{\displaystyle \mathbf {V} _{2}}، إلى الشروط التالية: V1*V1=أنا1،V2*V2=أنا2،V1V1*+V2V2*=أنا12،{\displaystyle {\begin{aligned}\mathbf {V} _{1}^{*}\mathbf {V} _{1}&=\mathbf {I} _{1},\\\mathbf {V} _{2}^{*}\mathbf {V} _{2}&=\mathbf {I} _{2},\\\mathbf {V} _{1}\mathbf {V} _{1}^{*}+\mathbf {V} _{2}\mathbf {V} _{2}^{*}&=\mathbf {I} _{12},\end{aligned}}} حيث تُستخدم الرموز السفلية على مصفوفات الوحدة للإشارة إلى أنها ذات أبعاد مختلفة.

لنقم الآن بتعريف يو1=مV1د-12.{\displaystyle \mathbf {U} _{1}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}.}

ثم، يو1د12V1*=مV1د-12د12V1*=م(أنا-V2V2*)=م-(مV2)V2*=م،{\displaystyle \mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} (\mathbf {I} -\mathbf {V} _{2}\mathbf {V} _{2}^{*})=\mathbf {M} -(\mathbf {M} \mathbf {V} _{2})\mathbf {V} _{2}^{*}=\mathbf {M} ,}

منذمV2=0.{\displaystyle \mathbf {M} \mathbf {V} _{2}=\mathbf {0} .}ويمكن اعتبار ذلك أيضاً نتيجة مباشرة لحقيقة أنمV1V1*=م{\displaystyle \mathbf {M} \mathbf {V} _{1}\mathbf {V} _{1}^{*}=\mathbf {M} }وهذا يعادل الملاحظة القائلة بأنه إذا{vأنا}أنا=1{\displaystyle \{\mathbf {v} _{i}\}_{i=1}^{\ell }}هي مجموعة المتجهات الذاتية لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }المقابل للقيم الذاتية غير الصفرية{λأنا}أنا=1{\displaystyle \{\lambda _{i}\}_{i=1}^{\ell }}، ثم{مvأنا}أنا=1{\displaystyle \{\mathbf {M} \mathbf {v} _{i}\}_{i=1}^{\ell }}هي مجموعة من المتجهات المتعامدة، و{λأنا-1/2مvأنا}|أنا=1{\displaystyle {\bigl \{}\lambda _{i}^{-1/2}\mathbf {M} \mathbf {v} _{i}{\bigr \}}{\vphantom {|}}_{i=1}^{\ell }}هي مجموعة (غير كاملة عمومًا) من المتجهات المتعامدة . يتوافق هذا مع الصيغة المصفوفية المستخدمة أعلاه والتي تشير إلى بـV1{\displaystyle \mathbf {V} _{1}}المصفوفة التي أعمدتها هي{vأنا}أنا=1{\displaystyle \{\mathbf {v} _{i}\}_{i=1}^{\ell }}، معV2{\displaystyle \mathbf {V} _{2}}المصفوفة التي أعمدتها هي المتجهات الذاتية لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }بقيمة ذاتية معدومة، ويو1{\displaystyle \mathbf {U} _{1}}المصفوفة التي أعمدتها هي المتجهات{λأنا-1/2مvأنا}|أنا=1{\displaystyle {\bigl \{}\lambda _{i}^{-1/2}\mathbf {M} \mathbf {v} _{i}{\bigr \}}{\vphantom {|}}_{i=1}^{\ell }}.

نرى أن هذه هي النتيجة المرجوة تقريباً، باستثناء أنيو1{\displaystyle \mathbf {U} _{1}}وV1{\displaystyle \mathbf {V} _{1}}بشكل عام، لا تكون هذه الأنظمة أحادية، لأنها قد لا تكون مربعة. ومع ذلك، نعلم أن عدد صفوفيو1{\displaystyle \mathbf {U} _{1}}لا يقل عن عدد الأعمدة، لأن أبعادد{\displaystyle \mathbf {D} }لا يزيد عنم{\displaystyle m}ون{\displaystyle n}أيضًا، بما أن يو1*يو1=د-12V1*م*مV1د-12=د-12دد-12=أنا1،// ^{-{\frac {1}{2}}}=\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} \mathbf {D} ^{-{\frac {1}{2}}}=\mathbf {I_{1}} ,} الأعمدة فييو1{\displaystyle \mathbf {U} _{1}}هي متعامدة ويمكن تمديدها إلى أساس متعامد. هذا يعني أنه يمكننا الاختياريو2{\displaystyle \mathbf {U} _{2}}بحيثيو=[يو1يو2]{\displaystyle \mathbf {U} ={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}}هو نظام أحادي.

لـV1{\displaystyle \mathbf {V} _{1}}لدينا بالفعلV2{\displaystyle \mathbf {V} _{2}}لجعلها موحدة. الآن، عرّف Σ=[[د12000]0]،{\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}},}

حيث تتم إضافة أو إزالة صفوف صفرية إضافية لجعل عدد الصفوف الصفرية مساوياً لعدد أعمدة يو2،{\displaystyle \mathbf {U} _{2},}وبالتالي الأبعاد الكلية لـΣ{\displaystyle \mathbf {\Sigma } }يساويم×ن{\displaystyle m\times n}. ثم [يو1يو2][[د12000]0][V1V2]*=[يو1يو2][د12V1*0]=يو1د12V1*=م،{\displaystyle {\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}{\begin{bmatrix}\mathbf {} D^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}}{\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}^{*}={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}\\0\end{bmatrix}}=\mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} ,} وهي النتيجة المرجوة: م=يوΣV*.{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}.}

لاحظ أن الحجة يمكن أن تبدأ بالتحويل إلى شكل قطريمم*{\displaystyle \mathbf {M} \mathbf {M} ^{*}}بدلاً منم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }( هذا يوضح بشكل مباشر أنمم*{\displaystyle \mathbf {M} \mathbf {M} ^{*}}وم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }( لها نفس القيم الذاتية غير الصفرية).

استنادًا إلى التوصيف التبايني

يمكن أيضًا وصف القيم المفردة بأنها القيم القصوى لـuتيمv{\displaystyle \mathbf {u} ^{\mathrm {T} }\mathbf {M} \mathbf {v} }، باعتبارها دالة لـu{\displaystyle \mathbf {u} }وv{\displaystyle \mathbf {v} }، على فضاءات فرعية معينة. المتجهات المفردة هي قيمu{\displaystyle \mathbf {u} }وv{\displaystyle \mathbf {v} }حيث يتم الوصول إلى هذه القيم القصوى.

دعم{\displaystyle \mathbf {M} } يشير إلىم×ن{\displaystyle m\times n}مصفوفة ذات عناصر حقيقية. ليكنSك-1{\displaystyle S^{k-1}}كن الوحدة(ك-1){\displaystyle (k-1)}-المجال فيRك{\displaystyle \mathbb {R} ^{k}}، وتحديدσ(u،v)=uتيمv،{\displaystyle \sigma (\mathbf {u} ,\mathbf {v} )=\mathbf {u} ^{\mathsf {T}}\mathbf {M} \mathbf {v} ,}uSم-1،{\displaystyle \mathbf {u} \in S^{m-1},}vSن-1.{\displaystyle \mathbf {v} \in S^{n-1}.}

ضع في اعتبارك الدالة σ{\displaystyle \sigma }يقتصر علىSم-1×Sن-1.{\displaystyle S^{m-1}\times S^{n-1}.}بما أن كليهماSم-1{\displaystyle S^{m-1}}وSن-1{\displaystyle S^{n-1}}بما أن هذهالمجموعات صغيرة الحجم ، فإن منتجاتها صغيرة الحجم أيضاً. علاوة على ذلك، بما أنσ{\displaystyle \sigma }إذا كانت الدالة متصلة، فإنها تصل إلى أكبر قيمة لها على الأقل لزوج واحد من المتجهات .u{\displaystyle \mathbf {u} }فيSم-1{\displaystyle S^{m-1}}وv{\displaystyle \mathbf {v} }فيSن-1{\displaystyle S^{n-1}}. يُشار إلى هذه القيمة الأكبر بـ ⁠σ1{\displaystyle \sigma _{1}}والمتجهات المقابلة لها يُرمز لها بـu1{\displaystyle \mathbf {u} _{1}}وv1{\displaystyle \mathbf {v} _{1}}منذσ1{\displaystyle \sigma _{1}} هي أكبر قيمة لـσ(u،v){\displaystyle \sigma (\mathbf {u} ,\mathbf {v} )}يجب أن يكون غير سالب. إذا كان سالبًا، فإن تغيير إشارة أي منهماu1{\displaystyle \mathbf {u} _{1}}أوv1{\displaystyle \mathbf {v} _{1}}سيجعلها إيجابية وبالتالي أكبر.

بيان u1{\displaystyle \mathbf {u} _{1}}وv1{\displaystyle \mathbf {v} _{1}} هي متجهات مفردة يسارية ويمينية لـم{\displaystyle \mathbf {M} }مع القيمة المفردة المقابلةσ1{\displaystyle \sigma _{1}} .

دليل

على غرار حالة القيم الذاتية، بافتراض أن المتجهين يحققان معادلة مضاعف لاغرانج: σ=uتيمv-λ1uتيu-λ2vتيv{\displaystyle \nabla \sigma =\nabla \mathbf {u} ^{\mathsf {T}}\mathbf {M} \mathbf {v} -\lambda _{1}\cdot \nabla \mathbf {u} ^{\mathsf {T}}\mathbf {u} -\lambda _{2}\cdot \nabla \mathbf {v} ^{\mathsf {T}}\mathbf {v} }

بعد بعض العمليات الجبرية، يصبح هذا مv1=2λ1u1+0،متيu1=0+2λ2v1.{\displaystyle {\begin{aligned}\mathbf {M} \mathbf {v} _{1}&=2\lambda _{1}\mathbf {u} _{1}+0,\\\mathbf {M} ^{\mathsf {T}}\mathbf {u} _{1}&=0+2\lambda _{2}\mathbf {v} _ {1}.\end{محاذاة}}}

بضرب المعادلة الأولى من اليسار فيu1تي{\displaystyle \mathbf {u} _{1}^{\mathsf {T}}}والمعادلة الثانية من اليسار هيv1تي{\displaystyle \mathbf {v} _{1}^{\mathsf {T}}}وأخذu=v=1{\displaystyle \|\mathbf {u} \|=\|\mathbf {v} \|=1}في الحسابات يعطي σ1=2λ1=2λ2.{\displaystyle \sigma _{1}=2\lambda _{1}=2\lambda _{2}.}

وبإدخال هذا في المعادلتين أعلاه، نحصل على مv1=σ1u1،متيu1=σ1v1.{\displaystyle {\begin{aligned}\mathbf {M} \mathbf {v} _{1}&=\sigma _{1}\mathbf {u} _{1},\\\mathbf {M} ^{\mathsf {T}}\mathbf {u} _{1}&=\sigma _{1}\mathbf {v} _{1}.\end{aligned}}}

وهذا يثبت صحة العبارة.

يمكن إيجاد المزيد من المتجهات والقيم المفردة عن طريق تعظيم σ(u،v){\displaystyle \sigma (\mathbf {u} ,\mathbf {v} )}مُفرط في التطبيعu{\displaystyle \mathbf {u} }وv{\displaystyle \mathbf {v} }والتي تكون متعامدة معu1{\displaystyle \mathbf {u} _{1}}وv1{\displaystyle \mathbf {v} _{1}}، على التوالي.

إن الانتقال من الأعداد الحقيقية إلى الأعداد المركبة يشبه حالة القيم الذاتية.

حساب تحليل القيم المفردة (SVD)

خوارزمية جاكوبي أحادية الجانب

خوارزمية جاكوبي أحادية الجانب هي خوارزمية تكرارية، [ 24 ] حيث يتم تحويل المصفوفة بشكل تكراري إلى مصفوفة ذات أعمدة متعامدة. ويُعطى التكرار الأولي على شكل دوران جاكوبي . ممج(ص،q،θ)،{\displaystyle M\leftarrow MJ(p,q,\theta ),} حيث الزاويةθ{\displaystyle \theta }مصفوفة دوران جاكوبيج(ص،q،θ){\displaystyle J(p,q,\theta )}يتم اختيارها بحيث بعد التدوير، تكون الأعمدة التي تحتوي على أرقامص{\displaystyle p}وq{\displaystyle q}تصبح متعامدة. المؤشرات(ص،q){\displaystyle (p,q)}يتم مسحها بشكل دوري ،(ص=1...م،q=ص+1...م){\displaystyle (p=1\dots m,q=p+1\dots m)}، حيثم{\displaystyle m}هو عدد الأعمدة.

بعد تقارب الخوارزمية، يتم إجراء تحليل القيم المفردة.م=يوSVتي{\displaystyle M=USV^{\mathsf {T}}}يتم استعادتها على النحو التالي: المصفوفةV{\displaystyle V}هو تراكم مصفوفات دوران جاكوبي، المصفوفةيو{\displaystyle U}يتم الحصول عليها عن طريق تطبيع أعمدة المصفوفة المحولةم{\displaystyle M}، وتُعطى القيم المفردة كمعايير لأعمدة المصفوفة المحولةم{\displaystyle M} .

خوارزمية جاكوبي ثنائية الجانب

خوارزمية جاكوبي SVD ثنائية الجانب - وهي تعميم لخوارزمية جاكوبي للقيم الذاتية - هي خوارزمية تكرارية يتم فيها تحويل مصفوفة مربعة بشكل تكراري إلى مصفوفة قطرية. إذا لم تكن المصفوفة مربعة، يتم إجراء تحليل QR أولاً، ثم يتم تطبيق الخوارزمية عليها.R{\displaystyle R}المصفوفة. تقوم عملية التكرار الأولية بتصفير زوج من العناصر غير القطرية عن طريق تطبيق دوران جيفنز أولاً لتناظر زوج العناصر ثم تطبيق تحويل جاكوبي لتصفيرها: مجتيجيمج،{\displaystyle M\leftarrow J^{\mathsf {T}}GMJ,} أينجي{\displaystyle G}هي مصفوفة دوران جيفنز بزاوية مختارة بحيث يصبح الزوج المعطى من العناصر غير القطرية متساويًا بعد الدوران، وج{\displaystyle J}هي مصفوفة تحويل جاكوبي التي تُصفّر هذه العناصر غير القطرية. وتتم التكرارات تمامًا كما في خوارزمية جاكوبي للقيم الذاتية: من خلال مسح دوري لجميع العناصر غير القطرية.

بعد أن تتقارب الخوارزمية، تحتوي المصفوفة القطرية الناتجة على القيم المفردة.

المصفوفاتيو{\displaystyle U}وV{\displaystyle V}يتم تجميعها على النحو التالي: يويوجيتيج،VVج.{\displaystyle {\begin{aligned}U&\leftarrow UG^{\mathsf {T}}J,\\V&\leftarrow VJ.\end{aligned}}}

النهج العددي

يمكن حساب تحليل القيم المفردة باستخدام الملاحظات التالية:

  • المتجهات المفردة اليسرى لـ م{\displaystyle \mathbf {M} } هي مجموعة من المتجهات الذاتية المتعامدة لـمم*{\displaystyle \mathbf {M} \mathbf {M} ^{*}} .
  • المتجهات المفردة اليمنى لـ م{\displaystyle \mathbf {M} } هي مجموعة من المتجهات الذاتية المتعامدة لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} } .
  • القيم المفردة غير الصفرية لـم{\displaystyle \mathbf {M} }( موجودة في المدخلات القطرية لـΣ{\displaystyle \mathbf {\Sigma } }) هي الجذور التربيعية للقيم الذاتية غير الصفرية لكل منم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }ومم*{\displaystyle \mathbf {M} \mathbf {M} ^{*}} .

تحليل القيم المفردة للمصفوفةم{\displaystyle \mathbf {M} }يتم حسابها عادةً من خلال إجراء من خطوتين. في الخطوة الأولى، يتم اختزال المصفوفة إلى مصفوفة ثنائية القطر . وهذا يأخذ الرتبة يا(من2){\displaystyle O(mn^{2})}عمليات الفاصلة العائمة ( flop ) ، بافتراض أنمن{\displaystyle m\geq n}الخطوة الثانية هي حساب تحليل القيم المفردة (SVD) للمصفوفة ثنائية القطر. لا يمكن إتمام هذه الخطوة إلا باستخدام طريقة تكرارية (كما هو الحال مع خوارزميات القيم الذاتية ). مع ذلك، عمليًا، يكفي حساب تحليل القيم المفردة بدقة معينة، مثل دقة الآلة ( إبسيلون ). إذا اعتُبرت هذه الدقة ثابتة، فإن الخطوة الثانية تستغرق ...يا(ن){\displaystyle O(n)}تكرارات ، تكلفة كل منهايا(ن){\displaystyle O(n)}يفشل . وبالتالي، فإن الخطوة الأولى أكثر تكلفة، والتكلفة الإجمالية هييا(من2){\displaystyle O(mn^{2})}فشل . [ 25 ]

يمكن القيام بالخطوة الأولى باستخدام انعكاسات هاوسهولدر بتكلفة قدرها4من2-4ن3/3{\displaystyle 4mn^{2}-4n^{3}/3}يفشل ، بافتراض أن القيم المفردة فقط هي المطلوبة وليس المتجهات المفردة. إذام{\displaystyle m}أكبر بكثير منن{\displaystyle n}إذاً ، من المفيد أولاً اختزال المصفوفة .م{\displaystyle \mathbf {M} } إلى مصفوفة مثلثية باستخدام تحليل QR ، ثم استخدام انعكاسات هاوسهولدر لتقليل المصفوفة بشكل أكبر إلى شكل ثنائي القطر؛ التكلفة الإجمالية هي2من2+2ن3{\displaystyle 2mn^{2}+2n^{3}}فشل . [ 25 ]

يمكن تنفيذ الخطوة الثانية باستخدام صيغة معدلة من خوارزمية QR لحساب القيم الذاتية، والتي وصفها غولوب وكاهان لأول مرة عام 1965. [ 26 ] تُنفذ روتينية LAPACK الفرعية DBDSQR[ 27 ] هذه الطريقة التكرارية، مع بعض التعديلات لتغطية الحالة التي تكون فيها القيم المفردة صغيرة جدًا. [ 28 ] إلى جانب خطوة أولى تستخدم انعكاسات هاوسهولدر، وتحليل QR عند الاقتضاء، تُشكل هذه الخطوة DGESVDالروتينية [ 29 ] لحساب تحليل القيم المفردة.

تُطبَّق الخوارزمية نفسها في مكتبة جنو العلمية (GSL). كما تُقدِّم مكتبة جنو العلمية طريقةً بديلةً تستخدم تعامد جاكوبي أحادي الجانب في الخطوة الثانية. [ 30 ] تحسب هذه الطريقة تحليل القيم المفردة للمصفوفة ثنائية القطر عن طريق حل سلسلة من2×2{\displaystyle 2\times 2}مشاكل تحليل القيم المفردة ، على غرار كيفية حل خوارزمية جاكوبي للقيم الذاتية لسلسلة من2×2{\displaystyle 2\times 2}طرق القيم الذاتية. [ 31 ] وهناك طريقة أخرى للخطوة 2 تستخدم فكرة خوارزميات القيم الذاتية القائمة على أسلوب فرق تسد . [ 25 ]

هناك طريقة بديلة لا تستخدم تحليل القيم الذاتية بشكل صريح. [ 32 ] عادةً ما تكون مسألة القيمة المفردة للمصفوفةم{\displaystyle \mathbf {M} }يتم تحويلها إلى مسألة قيم ذاتية متناظرة مكافئة مثلمم*{\displaystyle \mathbf {M} \mathbf {M} ^{*}}،م*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }أو[0مم*0].{\displaystyle {\begin{bmatrix}\mathbf {0} &\mathbf {M} \\\mathbf {M} ^{*}&\mathbf {0} \end{bmatrix}}.}

تعتمد الطرق التي تستخدم تحليل القيم الذاتية على خوارزمية QR ، وهي خوارزمية متطورة تتميز بالاستقرار والسرعة. تجدر الإشارة إلى أن القيم المفردة حقيقية، ولا يلزم إجراء تحويلات تشابه على متجهي القيم المفردة اليمنى واليسرى. يمكن التبديل بشكل متكرر بين تحليل QR وتحليل LQ لإيجاد المصفوفات الهيرميتية القطرية الحقيقية . يعطي تحليل QR ما يلي:مسؤالR{\displaystyle \mathbf {M} \Rightarrow \mathbf {Q} \mathbf {R} }وتفكيك LQ لـR{\displaystyle \mathbf {R} }يعطيRلP*{\displaystyle \mathbf {R} \Rightarrow \mathbf {L} \mathbf {P} ^{*}}وبالتالي ، في كل تكرار ، لدينامسؤاللP*{\displaystyle \mathbf {M} \Rightarrow \mathbf {Q} \mathbf {L} \mathbf {P} ^{*}}، تحديثمل{\displaystyle \mathbf {M} \Leftarrow \mathbf {L} }ثم تُكرر عمليات التعامد. في النهاية،هذه العملية التكرارية بين تحليل QR وتحليل LQ مصفوفات مفردة أحادية يسارية ويمنية. لا يُمكن تسريع هذه الطريقة بسهولة كما هو الحال مع خوارزمية QR باستخدام الإزاحات الطيفية أو الانكماش. وذلك لأن طريقة الإزاحة لا يُمكن تعريفها بسهولة دون استخدام تحويلات التشابه. مع ذلك، فإن هذه الطريقة التكرارية سهلة التنفيذ للغاية، لذا فهي خيار جيد عندما لا تكون السرعة مهمة. كما تُقدم هذه الطريقة نظرة ثاقبة حول كيفية الحصول على تحليل القيم المفردة (SVD) باستخدام التحويلات المتعامدة/الوحدوية البحتة.

التعقيد الحسابي لتحليل القيم المفردة

تؤدي الطرق المذكورة أعلاه إلىيا(من2){\displaystyle O{\big (}m\,n^{2}{\big )}}خوارزميات لتحليل القيم المفردة لـم×ن{\displaystyle m\times n}مصفوفةم{\displaystyle M}معمن{\displaystyle m\geq n} .

أظهر ديميل ودوميتريو وهولتز [ 33 ] أنه بالنسبة للمصفوفة المتناظرةم{\displaystyle M}(لذا م=ن{\displaystyle m=n}) ، يمكن حساب تحليل القيم المفردة (SVD) بشكل مستقر معياريًا فييا(نω+η){\displaystyle O{\big (}n^{\omega +\eta }{\big )}}العمليات الحسابية، حيثω{\displaystyle \omega }هو أس ضرب المصفوفات وη>0{\displaystyle \eta >0}أي ثابت، أي أساسًا في وقت ضرب المصفوفات.

النتيجة التحليلية لـ 2 × 2 SVD

القيم المفردة لـ a2×2{\displaystyle 2\times 2}يمكن إيجاد المصفوفة تحليليًا. ولتكن المصفوفة

م=z0أنا+z1σ1+z2σ2+z3σ3{\displaystyle \mathbf {M} =z_{0}\mathbf {I} +z_{1}\sigma _{1}+z_{2}\sigma _{2}+z_{3}\sigma _{3}}،

حيث الأربعةzأنا{\displaystyle z_{i}}هي أعداد مركبة تُستخدم لتمثيل المصفوفة ،أنا{\displaystyle \mathbf {I} }هي مصفوفة الوحدة، والثلاثةσأنا{\displaystyle \sigma _{i}}لنرمز إلى مصفوفات باولي . عندئذٍ، القيمتان المفردتان لـم{\displaystyle \mathbf {M} }يتم تقديمها بواسطة σ±=|z0|2+|z1|2+|z2|2+|z3|2±(|z0|2+|z1|2+|z2|2+|z3|2)2-|z02-z12-z22-z32|2=|z0|2+|z1|2+|z2|2+|z3|2±2(يكررz0z1*)2+(يكررz0z2*)2+(يكررz0z3*)2+(أناz1z2*)2+(أناz2z3*)2+(أناz3z1*)2.{\displaystyle {\begin{aligned}\sigma _{\pm }&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm {\sqrt {{\bigl (}|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}{\bigr )}^{2}-|z_{0}^{2}-z_{1}^{2}-z_{2}^{2}-z_{3}^{2}|^{2}}}}}\\&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm 2{\sqrt {(\operatorname {Re} z_{0}z_{1}^{*})^{2}+(\operatorname {Re} z_{0}z_{2}^{*})^{2}+(\operatorname {Re} z_{0}z_{3}^{*})^{2}+(\operatorname {Im} z_{1}z_{2}^{*})^{2}+(\operatorname {Im} z_{2}z_{3}^{*})^{2}+(\operatorname {Im} z_{3}z_{1}^{*})^{2}}}}}.\end{aligned}}}

انخفاض حالات مرض الأوعية الدموية الصغيرة

تصور لمتغيرات SVD المختزلة. من الأعلى إلى الأسفل: 1: SVD كامل، 2: SVD رقيق (إزالة أعمدة U التي لا تتوافق مع صفوف V * )، 3: SVD مضغوط (إزالة القيم المفردة الصفرية والأعمدة/الصفوف المقابلة في U و V * )، 4: SVD مقطوع (الاحتفاظ فقط بأكبر t قيمة مفردة والأعمدة/الصفوف المقابلة في U و V * ).

في التطبيقات، من النادر جدًا الحاجة إلى تحليل القيم المفردة الكامل، بما في ذلك التحليل الوحدوي الكامل للفضاء الصفري للمصفوفة. بدلًا من ذلك، غالبًا ما يكون كافيًا (وأسرع، وأكثر اقتصادًا في التخزين) حساب نسخة مُختزلة من تحليل القيم المفردة. يمكن تمييز ما يلي لـ م×ن{\displaystyle m\times n}مصفوفةم{\displaystyle \mathbf {M} }من الرتبةر{\displaystyle r} :

SVD رقيق

تحليل القيم المفردة الرقيق أو الاقتصادي للمصفوفةم{\displaystyle \mathbf {M} }يتم تحديدها بواسطة [ 34 ]م=يوكΣكVك*،{\displaystyle \mathbf {M} =\mathbf {U} _{k}\mathbf {\Sigma } _{k}\mathbf {V} _{k}^{*},} أينك=مين{م،ن}{\displaystyle k=\min\{m,n\}}، المصفوفاتيوك{\displaystyle \mathbf {U} _{k}}وVك{\displaystyle \mathbf {V} _{k}}تحتوي فقط على الأولك{\displaystyle k}أعمدة منيو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }وΣك{\displaystyle \mathbf {\Sigma } _{k}}يحتوي فقط على الأولك{\displaystyle k}القيم المفردة منΣ{\displaystyle \mathbf {\Sigma } }. المصفوفةيوك{\displaystyle \mathbf {U} _{k}}وبالتاليم×ك{\displaystyle m\times k}،Σك{\displaystyle \mathbf {\Sigma } _{k}}هوك×ك{\displaystyle k\times k}قطريًا ، وVك*{\displaystyle \mathbf {V} _{k}^{*}}هوك×ن{\displaystyle k\times n} .

يستخدم تحليل القيم المفردة الرقيق مساحة أقل بكثير ووقت حساب أقل إذا كالأعلى{م،ن}{\displaystyle k\ll \max\{m,n\}}. عادةً ما تكون المرحلة الأولى في حسابها هي تحليل QR لـم{\displaystyle \mathbf {M} }، مما قد يؤدي إلى حساب أسرع بكثير في هذه الحالة.

SVD صغير الحجم

التحليل المفرد المضغوط للمصفوفةم{\displaystyle \mathbf {M} }يتم إعطاؤها بواسطة م=يورΣرVر*.{\displaystyle \mathbf {M} =\mathbf {U} _{r}\mathbf {\Sigma } _{r}\mathbf {V} _{r}^{*}.} الأول فقطر{\displaystyle r}أعمدة منيو{\displaystyle \mathbf {U} }ور{\displaystyle r}صفوف منV*{\displaystyle \mathbf {V} ^{*}}يتم حساب القيم المفردة غير الصفرية المقابلة؛ وهذا يتطلب حسابًا أقل وتخزينًا أقل من تحليل القيم المفردة الرقيق، وإذام{\displaystyle \mathbf {M} }رتبته منخفضة، بل أقل بكثير. وهذا يجعليور{\displaystyle \mathbf {U} _{r}} anم×ر{\displaystyle m\times r}مصفوفة شبه وحدوية أعمدتها{u1،...،uر}{\displaystyle \{\mathbf {u} _{1},\ldots ,\mathbf {u} _{r}\}}تمتد على أعمدةم{\displaystyle \mathbf {M} }،Σر{\displaystyle \mathbf {\Sigma } _{r}} anر×ر{\displaystyle r\times r}مصفوفة قطرية من القيم المفردة غير الصفرية، وVر*{\displaystyle \mathbf {V} _{r}^{*}} anر×ن{\displaystyle r\times n}مصفوفة شبه وحدوية صفوفها{v1*،...،vر*}{\displaystyle \{\mathbf {v} _{1}^{*},\ldots ,\mathbf {v} _{r}^{*}\}}تمتد على صفوفم{\displaystyle \mathbf {M} } .

SVD المقتطع

في بعض التطبيقات، الرتبةر{\displaystyle r}لا يزال جزء من المصفوفة كبيرًا بما يكفي بحيث يكون حساب SVD المضغوط مكلفًا بشكل غير عملي، أو أن بعض القيم المفردة أصغر بكثير من البقية ولا تقدم مساهمة مهمة عمليًا في المصفوفة.

في مثل هذه الحالات، قد يكون من المفيد حساب تحليل القيم المفردة المقتطع، والذي يتضمن فقط أكبر قيمة .ت{\displaystyle t}القيم المفردة غير الصفرية والمتجهات المفردة المقابلة لها، لبعضت<ر{\displaystyle t<r}لم يعد تحليل القيم المفردة المقتطع يمثل تحليلاً دقيقاً للمصفوفة الأصلية .م{\displaystyle \mathbf {M} }، ولكن بدلاً من ذلك ، فهي عبارة عن تحليل القيم المفردة المضغوط لمصفوفة قريبةم~م{\displaystyle {\tilde {\mathbf {M} }}\approx \mathbf {M} } : م~=يوتΣتVت*،{\displaystyle {\tilde {\mathbf {M} }}=\mathbf {U} _{t}\mathbf {\Sigma } _{t}\mathbf {V} _{t}^{*},} حيث المصفوفةيوت{\displaystyle \mathbf {U} _{t}}هوم×ت{\displaystyle m\times t}،Σت{\displaystyle \mathbf {\Sigma } _{t}}هوت×ت{\displaystyle t\times t}قطريًا ، وVت*{\displaystyle \mathbf {V} _{t}^{*}}هوت×ن{\displaystyle t\times n} .

م~{\displaystyle {\tilde {\mathbf {M} }}} هو أفضل تقريب لـم{\displaystyle \mathbf {M} }بواسطة أي مصفوفة رتبتها أقل من أو تساويت{\displaystyle t}، وفقًا لمعيار فروبينيوس . قد يتطلب هذا حسابًا وتخزينًا أقل بكثير من تحليل القيم المفردة المضغوط إذات{\displaystyle t}أصغر بكثير منر{\displaystyle r}، ولكن عادةً ما يتطلب ذلك تطبيقًا منفصلاً تمامًا.

في التطبيقات التي تتطلب تقريبًا لمعكوس مور-بنروز للمصفوفةم{\displaystyle \mathbf {M} }أصغر القيم المفردة لـم{\displaystyle \mathbf {M} } ذات أهمية، والتي يصعب حسابها أكثر من أكبرها.

يتم استخدام SVD المقتطع في الفهرسة الدلالية الكامنة . [ 35 ]

المعايير

معايير معجبي كي

مجموعك{\displaystyle k}أكبر القيم المفردة للمصفوفةم{\displaystyle \mathbf {M} } هو معيار المصفوفة ، Ky Fan ك{\displaystyle k}-معيار منم{\displaystyle \mathbf {M} }[ 36 ]

أولى معايير كي فان، كي فان1{\displaystyle 1}المعيار -، أكبر قيمة مفردة لـم{\displaystyle \mathbf {M} }، هو نفسه معيار المؤثر لـم{\displaystyle \mathbf {M} }كعامل خطي بالنسبة للمعايير الإقليدية لـجم{\displaystyle \mathbb {C} ^{m}}وجن{\displaystyle \mathbb {C} ^{n}}، أيمop=رشفة{مv2: v21، vV}{\displaystyle \|\mathbf {M} \|_{\text{op}}=\sup\{\|\mathbf {Mv} \|_{2}:~\|\mathbf {v} \|_{2}\leq 1,~\mathbf {v} \in V\}}بمعنى آخر، معجبو كي1{\displaystyle 1}المعيار - هو معيار المشغل المستحث بواسطة المعيار2{\displaystyle \ell ^{2}}الضرب الداخلي الإقليدي . ولهذا السبب، يُطلق عليه أيضًا اسم المؤثر .2{\displaystyle 2}-المعيار . يمكن للمرء بسهولة التحقق من العلاقة بين كي فان1{\displaystyle 1}المعيار - والقيم المفردة. في الواقع، هذا صحيح بشكل عام، بالنسبة لمؤثر محدود .م{\displaystyle \mathbf {M} }على فضاء هيلبرت (ربما لانهائي الأبعاد)، ذلك مop=م*مop.{\displaystyle \|\mathbf {M} \|_{\text{op}}={\sqrt {\|\mathbf {M} ^{*}\mathbf {M} \|_{\text{op}}}}.}

لكن في حالة المصفوفة،م*م{\displaystyle {\sqrt {\mathbf {M} ^{*}\mathbf {M} }}}هي مصفوفة عادية ، لذام*مop{\displaystyle {\sqrt {\|\mathbf {M} ^{*}\mathbf {M} \|_{\text{op}}}}}هي أكبر قيمة ذاتية لـم*م{\displaystyle {\sqrt {\mathbf {M} ^{*}\mathbf {M} }}}، أيمop{\displaystyle \|\mathbf {M} \|_{\text{op}}}هي أكبر قيمة مفردة لـم{\displaystyle \mathbf {M} } .

آخر معايير كي فان، وهو مجموع جميع القيم المفردة، هو معيار الأثر (المعروف أيضًا باسم "المعيار النووي")، والذي يُعرَّف بواسطة مtr=trم*م{\displaystyle \|\mathbf {M} \|_{\text{tr}}=\operatorname {tr} {\sqrt {\mathbf {M} ^{*}\mathbf {M} }}} (القيم الذاتية لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }هي مربعات القيم المفردة لـم{\displaystyle \mathbf {M} }) .

معيار الأثر (المعيار النووي) هو حالة خاصة من معيار شاتن .

معيار هيلبرت-شميدت أو معيار فروبينيوس

ترتبط القيم المفردة بمعيار آخر على فضاء المؤثرات. لننظر في الجداء الداخلي لهيلبرت- شميدت علىن×ن{\displaystyle n\times n}المصفوفات ، المعرفة بواسطة م،شمال=tr(شمال*م).{\displaystyle \langle \mathbf {M} ,\mathbf {N} \rangle =\operatorname {tr} \left(\mathbf {N} ^{*}\mathbf {M} \right).}

إذن ، المعيار المستحث، والذي يُسمى معيار فروبينيوس ، شاتن2{\displaystyle 2}المعيار - ، أومعيار هيلبرت- شميدت لـم{\displaystyle \mathbf {M} }، هو مF=م،م=tr(م*م).{\displaystyle \|\mathbf {M} \|_{\text{F}}={\sqrt {\langle \mathbf {M} ,\mathbf {M} \rangle }}={\sqrt {\operatorname {tr} \left(\mathbf {M} ^{*}\mathbf {M} \right)}}.}

تُظهر الحسابات المباشرة أن معيار فروبينيوس لـم=(مأنا،ج){\displaystyle \mathbf {M} =(m_{i,j})}هومF=|أنا،ج|مأنا،ج|2.{\displaystyle \|\mathbf {M} \|_{\text{F}}={\sqrt {{\vphantom {\bigg |}}\sum _{i,j}|m_{i,j}|^{2}}}.}

إضافة إلى ذلك، بما أن الأثر ثابت تحت التكافؤ الوحدوي ، مF=tr(Σ*Σ)=|أناσأنا2،{\displaystyle \|\mathbf {M} \|_{\text{F}}={\sqrt {\operatorname {tr} \left(\mathbf {\Sigma } ^{*}\mathbf {\Sigma } \right)}}={\sqrt {{\vphantom {\bigg |}}\sum _{i}\sigma _ {أنا} ^ {2}}}،} أينΣ{\displaystyle \mathbf {\Sigma } } هي المصفوفة القطرية التي عناصرها القطرية هي القيم المفردةσأنا{\displaystyle \sigma _{i}}منم{\displaystyle \mathbf {M} } .

معيار فروبينيوس هو حالة خاصة أخرى من معيار شاتن.

الاختلافات والتعميمات

تحليل القيم المفردة غير المتغير بالمقياس

القيم المفردة للمصفوفةأ{\displaystyle \mathbf {A} }تُعرَّف هذه العناصر بشكل فريد، وهي ثابتة بالنسبة للتحويلات الوحدوية اليسرى و/أو اليمنى لـأ{\displaystyle \mathbf {A} }. بعبارة أخرى، القيم المفردة لـيوأV{\displaystyle \mathbf {U} \mathbf {A} \mathbf {V} }، بالنسبة للمصفوفات الوحدويةيو{\displaystyle \mathbf {U} }وV{\displaystyle \mathbf {V} }، تساوي القيم المفردة لـأ{\displaystyle \mathbf {A} } . هذه خاصية مهمة للتطبيقات التي يكون من الضروري فيها الحفاظ على المسافات الإقليدية والثبات فيما يتعلق بالدوران.

إن تحليل القيم المفردة الثابت المقياس، أو SI-SVD، [ 37 ] مماثل لتحليل القيم المفردة التقليدي باستثناء أن قيمه المفردة المحددة بشكل فريد ثابتة بالنسبة للتحويلات القطرية لـأ{\displaystyle \mathbf {A} }. بعبارة أخرى، القيم المفردة لـدأهـ{\displaystyle \mathbf {D} \mathbf {A} \mathbf {E} }، بالنسبة للمصفوفات القطرية القابلة للعكسد{\displaystyle \mathbf {D} }وهـ{\displaystyle \mathbf {E} }، تساوي القيم المفردة لـأ{\displaystyle \mathbf {A} } . هذه خاصية مهمة للتطبيقات التي تتطلب عدم التأثر باختيار الوحدات على المتغيرات (مثل الوحدات المترية مقابل الوحدات الإمبراطورية).

المؤثرات المحدودة على فضاءات هيلبرت

التحليل إلى عواملم=يوΣV*{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}يمكن توسيعها لتشمل عاملًا محدودًام{\displaystyle \mathbf {M} }على فضاء هيلبرت قابل للفصلح{\displaystyle H}. أي، بالنسبة لأي عامل محدودم{\displaystyle \mathbf {M} }، يوجد تماثل جزئييو{\displaystyle \mathbf {U} }، وحدةV{\displaystyle \mathbf {V} }، مساحة قياس(X،μ){\displaystyle (X,\mu )}، وقابل للقياس غير سالبو{\displaystyle f}بحيثم=يوتيوV*،{\displaystyle \mathbf {M} =\mathbf {U} T_{f}\mathbf {V} ^{*},} أينتيو{\displaystyle T_{f}} هو الضرب في و{\displaystyle f}علىل2(X،μ){\displaystyle L^{2}(X,\mu )} .

ويمكن إثبات ذلك من خلال محاكاة الحجة الجبرية الخطية لحالة المصفوفة المذكورة أعلاه .VتيوV*{\displaystyle \mathbf {V} T_{f}\mathbf {V} ^{*}} هو الجذر التربيعي الموجب الوحيد لـم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }، كما هو موضح في حساب بوريل الوظيفي للمؤثرات الذاتية المرافقة . والسبب في ذلك هويو{\displaystyle \mathbf {U} }ليس بالضرورة أن تكون وحدوية، وذلك على عكس الحالة ذات الأبعاد المحدودة، عند إعطاء قياس متساوي القياسيو1{\displaystyle U_{1}}مع نواة غير تافهة، مناسبةيو2{\displaystyle U_{2}}قد لا يتم العثور عليها بحيث [يو1يو2]{\displaystyle {\begin{bmatrix}U_{1}\\U_{2}\end{bmatrix}}} هو عامل وحدوي.

أما بالنسبة للمصفوفات، فإن تحليل القيم المفردة يكافئ التحليل القطبي للمؤثرات: يمكننا ببساطة كتابة م=يوV*VتيوV*،{\displaystyle \mathbf {M} =\mathbf {U} \mathbf {V} ^{*}\cdot \mathbf {V} T_{f}\mathbf {V} ^{*},} ولاحظ أنيوV*{\displaystyle \mathbf {U} \mathbf {V} ^{*}}لا يزال ⁠ قياسًا متساويًا جزئيًا بينما VتيوV*{\displaystyle \mathbf {V} T_{f}\mathbf {V} ^{*}}إيجابي .

القيم المفردة والمؤثرات المدمجة

يمكن توسيع مفهوم القيم المفردة والمتجهات المفردة اليسرى/اليمنى ليشمل المؤثرات المدمجة على فضاء هيلبرت، حيث أن لها طيفًا منفصلاً. إذاتي{\displaystyle T}مضغوطة ، كل قيمة غير صفريةλ{\displaystyle \lambda }في طيفه توجد قيمة ذاتية. علاوة على ذلك، يمكن تحويل المؤثر الذاتي المرافق المضغوط إلى مصفوفة قطرية باستخدام متجهاته الذاتية . إذام{\displaystyle \mathbf {M} }مضغوط ، وكذلكم*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }بتطبيق نتيجة عملية القطرنة، نحصل على الصورة الوحدوية لجذرها التربيعي الموجب .تيو{\displaystyle T_{f}}يحتوي على مجموعة من المتجهات الذاتية المتعامدة{هـأنا}{\displaystyle \{e_{i}\}} المقابلة للقيم الذاتية الموجبة تمامًا{σأنا}{\displaystyle \{\sigma _{i}\}}لأيψ{\displaystyle \psi }فيح{\displaystyle H}،مψ=يوتيوV*ψ=أنايوتيوV*ψ،يوهـأنايوهـأنا=أناσأناψ،Vهـأنايوهـأنا،{\displaystyle \mathbf {M} \psi =\mathbf {U} T_{f}\mathbf {V} ^{*}\psi =\sum _{i}\left\langle \mathbf {U} T_{f}\mathbf {V} ^{*}\psi ,\mathbf {U} e_{i}\right\rangle \mathbf {U} e_{i}=\sum _{i}\sigma _{i}\left\langle \psi ,\mathbf {V} e_{i}\right\rangle \mathbf {U} e_{i},} حيث تتقارب السلسلة في طوبولوجيا المعيار علىح{\displaystyle H}لاحظ كيف يشبه هذا التعبير من الحالة ذات الأبعاد المحدودة .σأنا{\displaystyle \sigma _{i}}تُسمى القيم المفردة لـم{\displaystyle \mathbf {M} }. الـ{يوهـأنا}{\displaystyle \{\mathbf {U} e_{i}\}}( على التوالي ){Vهـأنا}{\displaystyle \{\mathbf {V} e_{i}\}}يمكن اعتبار ) متجهات مفردة يسارية (أو مفردة يمينية) لـم{\displaystyle \mathbf {M} } .

المؤثرات المدمجة على فضاء هيلبرت هي إغلاق المؤثرات ذات الرتبة المحدودة في طوبولوجيا المؤثرات المنتظمة. تعطي صيغة المتسلسلة أعلاه تمثيلاً صريحاً لهذا النوع من المؤثرات. ومن النتائج المباشرة لذلك ما يلي:

نظرية .م{\displaystyle \mathbf {M} }تكون مضغوطة إذا وفقط إذام*م{\displaystyle \mathbf {M} ^{*}\mathbf {M} }صغير الحجم.

تاريخ

طُوِّر تحليل القيم المفردة في الأصل على يد علماء الهندسة التفاضلية ، الذين سعوا إلى تحديد ما إذا كان من الممكن جعل شكل ثنائي خطي حقيقي مساويًا لآخر عن طريق تحويلات متعامدة مستقلة للفضاءين اللذين يؤثر عليهما. اكتشف كلٌّ من يوجينيو بلترامي وكاميل جوردان ، بشكل مستقل، في عامي 1873 و1874 على التوالي، أن القيم المفردة للأشكال الثنائية الخطية، المُمثَّلة كمصفوفة، تُشكِّل مجموعة كاملة من الثوابت للأشكال الثنائية الخطية تحت الاستبدالات المتعامدة. كما توصل جيمس جوزيف سيلفستر إلى تحليل القيم المفردة للمصفوفات المربعة الحقيقية في عام 1889، على ما يبدو بشكل مستقل عن كلٍّ من بلترامي وجوردان. أطلق سيلفستر على القيم المفردة اسم المضاعفات القانونية للمصفوفة .أ{\displaystyle \mathbf {A} }كان أوتون رابع عالم رياضيات يكتشف تحليل القيم المفردة بشكل مستقلعام 1915، وذلك عبر التحليل القطبي . ويبدو أن أول برهان لتحليل القيم المفردة للمصفوفات المستطيلة والمركبة كان من كارل إيكارت وجيل ج. يونغ عام 1936؛ [ 38 ] وقد اعتبراه تعميمًالتحويل المحور الرئيسي للمصفوفات الهرميتية .

في عام 1907، عرّف إرهارد شميدت نظيرًا للقيم المفردة للمؤثرات التكاملية (التي تكون متراصة، في ظل بعض الافتراضات التقنية البسيطة)؛ ويبدو أنه لم يكن على دراية بالعمل الموازي حول القيم المفردة للمصفوفات المنتهية. وقد طوّر إميل بيكار هذه النظرية لاحقًا في عام 1910، وهو أول من أطلق على هذه الأعداد اسمσك{\displaystyle \sigma _{k}}القيم المفردة (أو بالفرنسية، valeurs Singulières ).

تعود الطرق العملية لحساب تحليل القيم المفردة (SVD) إلى كوغبتليانتز في الفترة 1954-1955 وهيستينز في عام 1958، [ 39 ] وهي تشبه إلى حد كبير خوارزمية جاكوبي للقيم الذاتية ، التي تستخدم دورانات مستوية أو دورانات جيفنز . ومع ذلك، فقد استُبدلت هذه الطرق بطريقة جين غولوب وويليام كاهان المنشورة عام 1965، [ 26 ] والتي تستخدم تحويلات هاوسهولدر أو الانعكاسات. وفي عام 1970، نشر غولوب وكريستيان راينش نسخة معدلة من خوارزمية غولوب/كاهان [ 40 ] والتي لا تزال الأكثر استخدامًا حتى اليوم.

انظر أيضاً

ملحوظات

  1. على الرغم من أنه تبين لاحقًا أنه كان معروفًا لدى مؤلفين سابقين؛ انظر ستيوارت (1993) .
  2. لرؤية ذلك، علينا فقط أن نلاحظ أنTr(V2*م*مV2)=مV22،{\textstyle \operatorname {Tr} (\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2})=\|\mathbf {M} \mathbf {V} _{2}\|^{2},}وتذكر ذلكأ=0أ=0{\displaystyle \|A\|=0\Leftrightarrow A=0}.

الحواشي

  1. هولمز، مارك (2023). مقدمة في الحوسبة العلمية وتحليل البيانات، الطبعة الثانية . سبرينغر. ISBN 978-3-031-22429-4.
  2. دي أنجيليس، جي سي؛ أوزاوا، آي؛ فريمان، آر دي (أكتوبر 1995). "ديناميكيات المجال الاستقبالي في المسارات البصرية المركزية". تريندز نيوروساينس . 18 (10): 451-458 . doi : 10.1016/0166-2236(95)94496-R . PMID 8545912 . 
  3. ديبيرو، د.أ.؛ سيمون، ج.ز.؛ كلاين، د.ج.؛ شما، س.أ. (مارس 2001). "توصيف مجال الاستجابة الطيفية الزمنية باستخدام التموجات الديناميكية في القشرة السمعية الأولية لحيوان ابن عرس". مجلة علم وظائف الأعصاب . 85 (3): 1220-1234 . doi : 10.1152/jn.2001.85.3.1220 . PMID 11247991 . 
  4. تحليل القيم المفردة في التعامد المتناظر (لودين) وضغط البيانات
  5. ^ جولوب وفان لون (1996) ، §12.4.
  6. 1 2 هاستي، تيبشيراني وفريدمان (2009) ، ص 535-536.
  7. شهيد الله، محمد؛ كينونين، تومي (مارس 2016). "خصائص التباين الطيفي المحلي للتحقق من هوية المتحدث" . معالجة الإشارات الرقمية . 50 : 1-11 . doi : 10.1016/j.dsp.2015.10.011 .
  8. مادمليس، يوانيس؛ تيفاس، أناستاسيوس؛ بيتا، يوانيس (2018). "تمييز إطارات الفيديو باستخدام تحليل القيم المفردة المنتظم لتلخيص فيديوهات الأنشطة غير الخاضعة للإشراف". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات (ICASSP) لعام 2018. معهد مهندسي الكهرباء والإلكترونيات. الصفحات 2691-2695 . doi : 10.1109/ICASSP.2018.8462274 . ISBN  978-1-5386-4658-8.
  9. ألتر، أو.؛ ​​براون، ب. أو.؛ ​​بوتستين، د. (سبتمبر 2000). "تحليل القيم المفردة لمعالجة بيانات التعبير الجيني على مستوى الجينوم ونمذجتها" . وقائع الأكاديمية الوطنية للعلوم . 97 (18): 10101-10106 . doi : 10.1073/pnas.97.18.10101 . PMC 27718. PMID 10963673 .  
  10. ألتر، أو.؛ ​​غولوب، جي إتش (نوفمبر 2004). "تحليل تكاملي لبيانات على نطاق الجينوم باستخدام إسقاط شبه معكوس يتنبأ بعلاقة جديدة بين تضاعف الحمض النووي ونسخ الحمض النووي الريبي" . وقائع الأكاديمية الوطنية للعلوم . 101 ( 47): 16577-16582 . doi : 10.1073/pnas.0406767101 . PMC 534520. PMID 15545604 .  
  11. ألتر، أو.؛ ​​غولوب، جي إتش (أغسطس 2006). "تحليل القيم المفردة لتوزيع أطوال الحمض النووي الريبوزي الرسول على نطاق الجينوم يكشف عن عدم تناظر في اتساع نطاقات الترحيل الكهربائي للهلام الحمض النووي الريبوزي" . وقائع الأكاديمية الوطنية للعلوم . 103 ( 32): 11828-11833 . doi : 10.1073/pnas.0604756103 . PMC 1524674. PMID 16877539 .  
  12. بيرتانيولي، ن.م.؛ دريك، ج.أ.؛ تينيسن، ج.م.؛ ألتر، أ. (نوفمبر 2013). "تحليل القيم المفردة يحدد وظائف توزيع طول النسخ من بيانات مصفوفة الحمض النووي ويكشف عن القوى التطورية التي تؤثر عالميًا على استقلاب ورم الأرومة الدبقية متعددة الأشكال" . PLOS ONE . 8 ( 11) e78913. doi : 10.1371/journal.pone.0078913 . PMC 3839928. PMID 24282503. مُلخص .  
  13. إيدلمان، آلان (1992). "حول توزيع رقم الحالة المُقاس" (ملف PDF) . الرياضيات الحاسوبية 58 (197): 185-190 . doi : 10.1090/S0025-5718-1992-1106966-2 .
  14. شين، جيان هونغ (جاكي) (2001). "حول القيم المفردة للمصفوفات العشوائية الغاوسية" . الجبر الخطي وتطبيقاته . 326 ( 1-3 ): 1-14 . doi : 10.1016/S0024-3795(00)00322-0 .
  15. والتون، س.؛ حسن، أ.؛ مورغان، ك. (2013). "نمذجة منخفضة الرتبة لتدفق الموائع غير المستقر باستخدام التحلل المتعامد المناسب ودوال الأساس الشعاعي" . النمذجة الرياضية التطبيقية . 37 ( 20-21 ): 8930-8945 . doi : 10.1016/j.apm.2013.04.025 .
  16. سيتياواتي، ي.؛ أوم، ف.؛ خان، س. (2019). "تحسين نموذج شكل الموجة الثقالية من خلال المعايرة الديناميكية". مجلة Physical Review D. 99 ( 2) 024010. arXiv : 1810.07060 . doi : 10.1103/PhysRevD.99.024010 .
  17. ساروار، بدرول؛ كاريبس، جورج؛ كونستان، جوزيف أ. وريدل ، جون ت. (2000). تطبيق تقليل الأبعاد في نظام التوصية - دراسة حالة (تقرير فني 00-043). جامعة مينيسوتا . hdl : 11299/215429 .
  18. بوساغ زاده، رضا؛ كارلسون، غونار (2013). "مربع المصفوفة المستقل عن الأبعاد باستخدام MapReduce". arXiv : 1304.1467 [ cs.DS ].
  19. فانائي تورك، هادي؛ غاما، جواو (سبتمبر 2014). "طريقة الفضاء الذاتي للكشف عن النقاط الساخنة المكانية والزمانية". أنظمة الخبراء . 32 (3): 454-464 . arXiv : 1406.3506 . doi : 10.1111/exsy.12088 .
  20. فانائي تورك، هادي؛ غاما، جواو (مايو 2015). "EigenEvent: خوارزمية للكشف عن الأحداث من تدفقات البيانات المعقدة في المراقبة المتلازمية". تحليل البيانات الذكية . 19 (3): 597-616 . arXiv : 1406.3496 . doi : 10.3233/IDA-150734 .
  21. موراليداران، فيفيك؛ هاول، كاثلين (2023). "اتجاهات التمدد في الفضاء القريب من القمر: تطبيقات لتصميم عمليات المغادرة والنقل". علم الديناميكا الفلكية . 7 (2): 153-178 . doi : 10.1007/s42064-022-0147-z .
  22. موراليداران، فيفيك؛ هاول، كاثلين (2022). "الاستفادة من اتجاهات التمدد للحفاظ على الموقع في مدارات هالة الأرض والقمر". التقدم في أبحاث الفضاء . 69 (1): 620-646 . doi : 10.1016/j.asr.2021.10.028 .
  23. ^ ألبرز ، جاسبر. كورث، أنو. جوتزن، روبن؛ موراليس-جريجوريو، أيتور؛ دنكر، مايكل. جروين، سونيا؛ فان ألبادا، ساشا؛ ديسمان، ماركوس (2025). “تقييم تشابه المصفوفات الحقيقية مع الشكل التعسفي”. حياة بي آر إكس . 3 (2) 023005. أرخايف : 2403.17687 . دوى : 10.1103/PRXLife.3.023005 .
  24. ريك، بي بي إم دي (1989). "خوارزمية جاكوبي أحادية الجانب لحساب تحليل القيم المفردة على حاسوب متجهي". مجلة SIAM للعلوم والإحصاء والحوسبة . 10 (2): 359-371 . doi : 10.1137/0910023 .
  25. 1 2 3 تريفثين وباو (1997) ، المحاضرة 31.
  26. 1 2 غولوب وكاهان (1965) .
  27. أندرسون وآخرون (1999) ، مصدر 'DBDSQR' .
  28. ديميل وكاهان (1990) .
  29. أندرسون وآخرون (1999) ، مصدر 'DGESVD' .
  30. فريق GSL (2007) .
  31. ^ جولوب وفان لون (1996) ، §8.6.3.
  32. mathworks.co.kr/matlabcentral/fileexchange/12674-simple-svd
  33. ديميل، ج.؛ دوميتريو، إ.؛ هولتز، أ. (2007). "الجبر الخطي السريع مستقر" . الرياضيات العددية . 108 : 59-91 . arXiv : math/0612264 . doi : 10.1007/s00211-007-0114-x .
  34. ^ ديميل، جيمس (2000). "التحللات" . نماذج لحل مسائل القيمة الذاتية الجبرية . بواسطة باي، تشاوجون؛ ديميل، جيمس. دونجارا، جاك ج. روهي، أكسل. فان دير فورست، هينك أ. جمعية الرياضيات الصناعية والتطبيقية. دوى : 10.1137/1.9780898719581 . رقم ISBN 978-0-89871-471-5.
  35. شيكو، د؛ ماسيرولي، م (2015). "مجموعة برامج للتنبؤ بتوصيف الجينات والبروتينات والبحث عن التشابه". معاملات IEEE/ACM في علم الأحياء الحاسوبي والمعلوماتية الحيوية . 12 (4): 837-843 . doi : 10.1109/TCBB.2014.2382127 . hdl : 11311/959408 . PMID 26357324 . 
  36. فان، كي (1951). "خصائص ومتباينات القيم القصوى للقيم الذاتية للمؤثرات المتصلة تمامًا" . وقائع الأكاديمية الوطنية للعلوم في الولايات المتحدة الأمريكية . 37 ( 11): 760-766 . doi : 10.1073/pnas.37.11.760 . PMC 1063464. PMID 16578416 .  
  37. أولمان، جيفري (2018). معكوس مصفوفة معمّم متسق مع التحويلات القطرية (ملف PDF) . مجلة SIAM لتحليل المصفوفات. المجلد 239. الصفحات 781-800 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 17 يونيو 2019.  
  38. إيكارت، سي .؛ يونغ، جي. (1936). "تقريب مصفوفة بأخرى ذات رتبة أقل". علم القياس النفسي . 1 (3): 211-218 . doi : 10.1007/BF02288367 .
  39. هيستينز، إم آر (1958). " عكس المصفوفات بالتعامد الثنائي والنتائج ذات الصلة". مجلة جمعية الرياضيات الصناعية والتطبيقية . 6 (1): 51-90 . doi : 10.1137/0106005 . JSTOR 2098862. MR 0092215 .  
  40. غولوب ورينش (1970) .

مراجع

  • أندرسون، إي.؛ باي، زد.؛ بيشوف، سي.؛ بلاكفورد، إس.؛ ديميل، جيه.؛ دونغارا، جيه.؛ دو كروز، جيه.؛ غرينباوم، إيه.؛ هامرلينغ، إس.؛ ماكيني، إيه.؛ سورنسن، دي. (1999). "دليل مستخدمي LAPACK" (  الطبعة الثالثة). فيلادلفيا: جمعية الرياضيات الصناعية والتطبيقية - عبر Netlib.org.
  • بانيرجي، سوديبتو؛ روي، أنينديا (2014). الجبر الخطي وتحليل المصفوفات للإحصاء . نصوص في العلوم الإحصائية (  الطبعة الأولى). تشابمان آند هول/سي آر سي. رقم ISBN 978-1-4200-9538-8.
  • بيسغارد، جيمس (2021). التحليل والجبر الخطي: تحليل القيم المفردة وتطبيقاتها . مكتبة الطلاب الرياضية (  الطبعة الأولى). الجمعية الأمريكية للرياضيات. ISBN 978-1-4704-6332-8.
  • شيكو، د؛ ماسيرولي، م (2015). "مجموعة برامج للتنبؤ بتوصيف الجينات والبروتينات والبحث عن التشابه". معاملات IEEE/ACM في علم الأحياء الحاسوبي والمعلوماتية الحيوية . 12 (4): 837-843 . doi : 10.1109/TCBB.2014.2382127 . hdl : 11311/959408 . PMID 26357324 . 
  • ديميل، جيمس ؛ كاهان، ويليام (1990). "القيم المفردة الدقيقة للمصفوفات ثنائية القطر". مجلة SIAM للحوسبة العلمية والإحصائية . 11 (5): 873-912 . CiteSeerX 10.1.1.48.3740 . doi : 10.1137/0911052 . 
  • جولوب، جين هـكاهان، ويليام (1965). "حساب القيم المفردة والمعكوس الزائف للمصفوفة". مجلة جمعية الرياضيات الصناعية والتطبيقية، السلسلة ب: التحليل العددي . 2 (2): 205-224 . doi : 10.1137/0702016 . JSTOR 2949777 . 
  • الأماكن القريبة : رينش، سي. (1970). “تحليل القيمة المفردة وحلول المربعات الصغرى”. الرياضيات الرقمية . 14 (5): 403-420 . دوى : 10.1007 / BF02163027 . السيد 1553974 . 
  • جولوب، جين هـفان لون، تشارلز ف. (1996). حسابات المصفوفات (  الطبعة الثالثة). جونز هوبكنز. ISBN 978-0-8018-5414-9.
  • فريق GSL (2007). "الفقرة 14.4: تحليل القيم المفردة" . مكتبة جنو العلمية. دليل مرجعي .
  • هالدور، بيورنسون؛ فينيغاس، سيلفيا أ. (1997). دليل لتحليلات EOF وSVD لبيانات المناخ (تقرير). مونتريال، كيبيك: جامعة ماكجيل. تقرير CCGCR رقم 97-1.
  • هانسن، بي سي (1987). "التحليل المفرد المقتطع كطريقة للتنظيم". BIT . 27 (4): 534-553 . doi : 10.1007/BF01937276 .
  • هاستي، تريفور؛ تيبشيراني، روبرت؛ فريدمان، جيروم (2009). عناصر التعلم الإحصائي (  الطبعة الثانية). نيويورك: سبرينغر. الصفحات 535-536 . ISBN  978-0-387-84857-0.
  • هورن، روجر أ.؛ جونسون، تشارلز ر. (1985). "القسم 7.3". تحليل المصفوفات . مطبعة جامعة كامبريدج. ISBN 978-0-521-38632-6.
  • هورن، روجر أ.؛ جونسون، تشارلز ر. (1991). "الفصل 3" . موضوعات في تحليل المصفوفات . مطبعة جامعة كامبريدج. ISBN 978-0-521-46713-1.
  • بريس، دبليو إتش؛ تيوكولسكي، إس إيه؛ فيترلينغ، دبليو تي؛ فلانيري، بي بي (2007). "القسم 2.6" . وصفات عددية: فن الحوسبة العلمية (  الطبعة الثالثة). نيويورك: مطبعة جامعة كامبريدج. ISBN 978-0-521-88068-8.
  • سامت، هـ. (2006). أسس هياكل البيانات متعددة الأبعاد والمترية . مورغان كوفمان. ISBN 978-0-12-369446-1.
  • سترانج، ج. (1998). "القسم 6.7". مقدمة في الجبر الخطي (  الطبعة الثالثة). مطبعة ويليسلي-كامبريدج. ISBN 978-0-9614088-5-5.
  • ستيوارت، جي دبليو (1993). "حول التاريخ المبكر لتحليل القيم المفردة". مجلة SIAM Review . 35 (4): 551-566 . CiteSeerX 10.1.1.23.1831 . doi : 10.1137/1035134 . hdl : 1903/566 . JSTOR 2132388 .  
  • تريفثين، لويد ن .؛ باو، ديفيد الثالث (1997). الجبر الخطي العددي . فيلادلفيا: جمعية الرياضيات الصناعية والتطبيقية. ISBN 978-0-89871-361-9.
  • وال، مايكل إي.؛ ريختشتاينر، أندرياس؛ روشا، لويس م. (2003). "تحليل القيم المفردة وتحليل المكونات الرئيسية" . في: بيرار، د.ب.؛ دوبيتزكي، و.؛ غرانزو، م. (محررون). منهج عملي لتحليل بيانات المصفوفات الدقيقة . نورويل، ماساتشوستس: كلوير. ص 91-109 .