فضاء هيلبرت ذو النواة المُستنسخة

في التحليل الوظيفي ، يُعرف فضاء هيلبرت ذو النواة المُستنسخة ( RKHS ) بأنه فضاء هيلبرت للدوال التي يكون فيها تقييم النقاط دالة خطية متصلة . وبالتحديد، فضاء هيلبرت${\displaystyle H}$مجموعة من الدوال من مجموعة${\displaystyle X}$(ل${\displaystyle \mathbb {R} }$أو${\displaystyle \mathbb {C} }$) يكون فضاء هيلبرت ذو النواة المقلوبة إذا كانت دالة تقييم النقطة${\displaystyle L_{x}:H\to \mathbb {C} }$،${\displaystyle L_{x}(f)=f(x)}$، متصلة لكل${\displaystyle x\in X}$أو بعبارة أخرى،${\displaystyle H}$تكون فضاء هيلبرت ذو النواة المقلوبة إذا وُجدت دالة${\displaystyle K_{x}\in H}$بحيث يكون ذلك، بالنسبة للجميع${\displaystyle f\in H}$،$${\displaystyle \langle f,K_{x}\rangle =f(x).}$$الوظيفة${\displaystyle K_{x}}$يُطلق عليها حينها اسم النواة المُستنسخة ، وهي تُعيد إنتاج قيمة${\displaystyle f}$في${\displaystyle x}$عن طريق المنتج الداخلي.

من النتائج المباشرة لهذه الخاصية أن التقارب في المعيار يستلزم التقارب المنتظم على أي مجموعة جزئية من${\displaystyle X}$على أي${\displaystyle \|K_{x}\|}$تكون محدودة. ومع ذلك، فإن العكس ليس صحيحًا بالضرورة. غالبًا ما تكون المجموعة${\displaystyle X}$يحمل بنية طوبولوجية، و${\displaystyle \|K_{x}\|}$يعتمد باستمرار على${\displaystyle x\in X}$وفي هذه الحالة: التقارب في المعيار يستلزم التقارب المنتظم على المجموعات الفرعية المدمجة من${\displaystyle X}$.

ليس من السهل تمامًا بناء أمثلة طبيعية لفضاء هيلبرت لا تُعدّ فضاء هيلبرت ذي النواة الحمراء (RKHS) بطريقة غير بديهية. ^{[ 1 ]} ومع ذلك، فقد تم العثور على بعض الأمثلة. ^{[ 2 ] [ 3 ]}

بينما تُعرَّف فضاءات L2 رسميًا على أنها فضاءات ^هيلبرت من فئة التكافؤبالنسبة لـ es من الدوال، يمكن توسيع هذا التعريف بسهولة إلى فضاء هيلبرت للدوال عن طريق اختيار دالة (كليّة) كممثل لكل فئة تكافؤ. ومع ذلك، لا يمكن لأي اختيار للممثلين أن يجعل هذا الفضاء فضاء هيلبرت ذي النواة المقلوبة (RKHS).${\displaystyle K_{0}}$^{(يجب أن تكون دالة ديراك دلتا غير موجودة). ومع ذلك، توجد فضاءات هاليدية ذات رتبة} RK يكون فيها المعيار هو معيار L2 ، مثل فضاء الدوال ذات النطاق المحدود (انظر المثال أدناه).

يرتبط فضاء هيلبرت ذو النواة المعاد إنتاجها (RKHS) بنواة تعيد إنتاج كل دالة في الفضاء، بمعنى أنه لكل${\displaystyle x}$في المجموعة التي تُعرَّف عليها الدوال، "التقييم عند${\displaystyle x}$يمكن إجراء ذلك عن طريق أخذ الضرب الداخلي مع دالة تحددها النواة. توجد مثل هذه النواة المُولِّدة إذا وفقط إذا كانت كل دالة تقييم متصلة.

طُرح مفهوم النواة المُستنسخة لأول مرة في عمل ستانيسواف زاريمبا عام 1907 ^{[ 4 ]} ، والذي تناول مسائل القيم الحدية للدوال التوافقية والثنائية التوافقية . وفي الوقت نفسه، درس جيمس ميرسر الدوال التي تُحقق خاصية الاستنساخ في نظرية المعادلات التكاملية . بقي مفهوم النواة المُستنسخة دون تغيير لما يقرب من عشرين عامًا حتى ظهر في أطروحات غابور سيغو ، وستيفان بيرغمان ، وسالومون بوخنر . وفي أوائل خمسينيات القرن العشرين، طُوّر هذا الموضوع بشكل منهجي على يد ناخمان أرونسزاين وستيفان بيرغمان. ^{[ 5 ]}

تتمتع هذه الفضاءات بتطبيقات واسعة، تشمل التحليل المركب ، والتحليل التوافقي ، وميكانيكا الكم . وتكتسب فضاءات هيلبرت ذات النواة المُستنسخة أهمية خاصة في مجال نظرية التعلم الإحصائي، وذلك بفضل نظرية المُمَثِّل الشهيرة التي تنص على أن أي دالة في فضاء هيلبرت ذي النواة المُستنسخة، والتي تُقلِّل دالة المخاطرة التجريبية، يُمكن كتابتها كتركيبة خطية لدالة النواة عند نقاط التدريب. تُعد هذه النتيجة مفيدة عمليًا، إذ تُبسِّط بشكل فعّال مسألة تقليل المخاطرة التجريبية من مسألة تحسين لا نهائية الأبعاد إلى مسألة تحسين محدودة الأبعاد.

لتبسيط الفهم، نقدم إطارًا لفضاءات هيلبرت ذات القيم الحقيقية. يمكن توسيع هذه النظرية بسهولة لتشمل فضاءات الدوال ذات القيم المركبة، وبالتالي تتضمن العديد من الأمثلة المهمة لفضاءات هيلبرت ذات النواة المُستنسخة، وهي فضاءات الدوال التحليلية . ^{[ 6 ]}

يترك${\displaystyle X}$لتكن مجموعة عشوائية و${\displaystyle H}$فضاء هيلبرت للدوال ذات القيم الحقيقية على${\displaystyle X}$مزودة بخاصيتي الجمع النقطي والضرب القياسي النقطي . دالة التقييم على فضاء هيلبرت للدوال${\displaystyle H}$هي دالة خطية تُقيّم كل دالة عند نقطة${\displaystyle x}$،

${\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.}$

نقول إن H فضاء هيلبرت ذو نواة مولدة إذا كان، لكل${\displaystyle x}$في${\displaystyle X}$،${\displaystyle L_{x}}$مستمر في كل${\displaystyle f}$في${\displaystyle H}$أو، على نحو مماثل، إذا${\displaystyle L_{x}}$هو عامل محدود على${\displaystyle H}$أي أن هناك بعض${\displaystyle M_{x}>0}$بحيث

${\displaystyle |L_{x}(f)|:=|f(x)|\leq M_{x}\,\|f\|_{H}\qquad \forall f\in H.\,}$

1

بالرغم من${\displaystyle M_{x}<\infty }$يفترض ذلك للجميع${\displaystyle x\in X}$قد يظل الأمر كذلك${\textstyle \sup _{x}M_{x}=\infty }$.

بينما تُعدّ الخاصية ( 1 ) أضعف شرط يضمن وجود كلٍّ من الضرب الداخلي وتقييم كل دالة في${\displaystyle H}$في كل نقطة من المجال، لا يُسهّل هذا المفهوم تطبيقه عمليًا. ويمكن الحصول على تعريف أكثر وضوحًا لـ RKHS من خلال ملاحظة أن هذه الخاصية تضمن إمكانية تمثيل دالة التقييم بأخذ الجداء الداخلي لـ${\displaystyle f}$مع وظيفة${\displaystyle K_{x}}$في${\displaystyle H}$تُعرف هذه الدالة باسم النواة المُستنسخة لفضاء هيلبرت .${\displaystyle H}$ومنها استمدت فضاءات هيلبرت ذات النواة المتغيرة اسمها. وبشكل أكثر دقة، تنص نظرية تمثيل ريز على أنه لكل${\displaystyle x}$في${\displaystyle X}$يوجد عنصر فريد${\displaystyle K_{x}}$ل${\displaystyle H}$مع خاصية التكاثر،

${\displaystyle f(x)=L_{x}(f)=\langle f,\ K_{x}\rangle _{H}\quad \forall f\in H.}$

2

منذ${\displaystyle K_{x}}$هي نفسها دالة معرفة على${\displaystyle X}$مع القيم في الحقل${\displaystyle \mathbb {R} }$(أو${\displaystyle \mathbb {C} }$(في حالة فضاءات هيلبرت المعقدة) و${\displaystyle K_{x}}$هو في${\displaystyle H}$لدينا ذلك

${\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},}$

أين ${\displaystyle K_{y}\in H}$هو العنصر في${\displaystyle H}$مرتبط بـ${\displaystyle L_{y}}$.

وهذا يسمح لنا بتحديد النواة المُستنسخة لـ${\displaystyle H}$كوظيفة${\displaystyle K:X\times X\to \mathbb {R} }$(أو${\displaystyle \mathbb {C} }$(في الحالة المعقدة) بواسطة

${\displaystyle K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.}$

من هذا التعريف يسهل أن نرى أن${\displaystyle K:X\times X\to \mathbb {R} }$(أو${\displaystyle \mathbb {C} }$في الحالة المعقدة) يكون متناظرًا (أو متناظرًا مترافقًا) وموجبًا تمامًا ، أي

${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0}$

لكل${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .}$^{[ 7 ]} تُعدّ نظرية مور-أرونزاين (انظر أدناه) نوعًا من عكس هذه النظرية: إذا كانت الدالة${\displaystyle K}$إذا استوفت هذه الشروط، فإنه يوجد فضاء هيلبرت للدوال على${\displaystyle X}$والتي تُعتبر نواة قابلة للتكاثر.

أبسط مثال على فضاء هيلبرت ذي النواة المُولِّدة هو الفضاء${\displaystyle L^{2}(X,\mu )}$أين${\displaystyle X}$هي مجموعة و${\displaystyle \mu }$هو مقياس العد على${\displaystyle X}$. ل${\displaystyle x\in X}$النواة المُستنسخة${\displaystyle K_{x}}$هي دالة المؤشر لمجموعة النقاط الواحدة${\displaystyle \{x\}\subset X}$.

غالبًا ما تتضمن فضاءات هيلبرت ذات النواة المُستنسخة غير التافهة دوالًا تحليلية ، كما سنوضح الآن من خلال مثال. لننظر إلى فضاء هيلبرت للدوال المتصلة ذات النطاق المحدود${\displaystyle H}$حدد تردد القطع${\displaystyle 0<a<\infty }$وتعريف فضاء هيلبرت

${\displaystyle H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}}$

أين${\displaystyle L^{2}(\mathbb {R} )}$هي مجموعة الدوال القابلة للتكامل التربيعي، و${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$هو تحويل فورييه لـ${\displaystyle f}$نستخدم كمنتج داخلي

${\displaystyle \langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.}$

بما أن هذا فضاء جزئي مغلق من${\displaystyle L^{2}(\mathbb {R} )}$إنها فضاء هيلبرت. علاوة على ذلك، فإن عناصر${\displaystyle H}$هي دوال سلسة على${\displaystyle \mathbb {R} }$التي تميل إلى الصفر عند اللانهاية، وذلك أساسًا وفقًا لفرضية ريمان-ليبيغ . في الواقع، عناصر${\displaystyle H}$هل القيود المفروضة على${\displaystyle \mathbb {R} }$من الدوال الهولومورفية الكاملة ، بواسطة نظرية بالي-وينر .

من نظرية انعكاس فورييه ، لدينا

${\displaystyle f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .}$

ويترتب على ذلك، من خلال متباينة كوشي-شفارتز ونظرية بلانشيريل ، أنه بالنسبة لجميع${\displaystyle x}$،

${\displaystyle |f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.}$

تُظهر هذه المتباينة أن دالة التقييم محدودة، مما يثبت أن${\displaystyle H}$هي بالفعل مدرسة RKHS.

دالة النواة${\displaystyle K_{x}}$في هذه الحالة يتم تحديدها بواسطة

${\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.}$

تحويل فورييه لـ${\displaystyle K_{x}(y)}$يُعطى التعريف المذكور أعلاه بواسطة

${\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}}$

وهذا نتيجة لخاصية إزاحة الزمن في تحويل فورييه . وبالتالي، باستخدام نظرية بلانشيريل ، لدينا

${\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).}$

وهكذا نحصل على خاصية الاستنساخ للنواة.

${\displaystyle K_{x}}$في هذه الحالة، هي "النسخة محدودة النطاق" من دالة ديراك دلتا ، و${\displaystyle K_{x}(y)}$يتقارب إلى${\displaystyle \delta (y-x)}$بالمعنى الضعيف كتردد القطع${\displaystyle a}$يميل إلى اللانهاية.

لقد رأينا كيف يُعرّف فضاء هيلبرت ذو النواة المُولِّدة دالة نواة مُولِّدة متناظرة وموجبة التحديد . أما نظرية مور-أرونزاين فتذهب في الاتجاه المعاكس؛ إذ تنص على أن كل نواة متناظرة وموجبة التحديد تُعرّف فضاء هيلبرت فريدًا ذو نواة مُولِّدة. ظهرت هذه النظرية لأول مرة في كتاب أرونزاين " نظرية النوى المُولِّدة" ، مع أنه ينسبها إلى إي. إتش. مور .

نظرية . لنفترض أن K هي نواة متناظرة وموجبة التحديد على مجموعة X. عندئذٍ يوجد فضاء هيلبرت وحيد للدوال على X حيث تكون K نواة مولدة.

البرهان _. لكل x في X ، نُعرّف Kx = _K ( x , ⋅). ليكن H0 هو الفضاء الخطي الممتد لـ { Kx : x ∈ X _} . نُعرّف جداءً داخليًا على H0 _كما يلي : 

${\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}$

وهذا يعني${\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}}$. ينبع تناظر هذا المنتج الداخلي من تناظر K وينبع عدم الانحلال من حقيقة أن K موجب تمامًا.

ليكن H هو إتمام H ₀ بالنسبة لهذا الجداء الداخلي. عندئذٍ يتكون H من دوال من الشكل التالي :

${\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.}$

والآن يمكننا التحقق من خاصية الاستنساخ ( 2 ):

${\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).}$

لإثبات التفرد، ليكن G فضاء هيلبرت آخر للدوال حيث K نواة مولدة. لكل x و y في X ، فإن ( 2 ) يستلزم أن

${\displaystyle \langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.}$

بالخطية،${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}}$على مدى${\displaystyle \{K_{x}:x\in X\}}$. ثم${\displaystyle H\subset G}$لأن G كاملة وتحتوي على H ₀ وبالتالي تحتوي على اكتمالها.

الآن نحتاج إلى إثبات أن كل عنصر من G ينتمي إلى H. ليكن${\displaystyle f}$ليكن عنصرًا من G. بما أن H فضاء جزئي مغلق من G ، يمكننا كتابة${\displaystyle f=f_{H}+f_{H^{\bot }}}$أين${\displaystyle f_{H}\in H}$و${\displaystyle f_{H^{\bot }}\in H^{\bot }}$الآن إذا${\displaystyle x\in X}$إذن، بما أن K هي نواة مولدة لـ G و H :

${\displaystyle f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),}$

حيث استخدمنا حقيقة أن${\displaystyle K_{x}}$ينتمي إلى H بحيث يكون حاصل ضربه الداخلي مع${\displaystyle f_{H^{\bot }}}$في G يساوي صفرًا. هذا يدل على أن${\displaystyle f=f_{H}}$في G ويختتم البرهان.

يمكننا وصف نواة متناظرة موجبة التحديد${\displaystyle K}$باستخدام المؤثر التكاملي ونظرية ميرسر ، نحصل على رؤية إضافية لـ RKHS. ليكن${\displaystyle X}$ليكن فضاءً مضغوطًا مزودًا بمقياس بوريل نهائي موجب تمامًا${\displaystyle \mu }$و${\displaystyle K:X\times X\to \mathbb {R} }$دالة متصلة ومتناظرة وموجبة تمامًا. عرّف المؤثر التكاملي${\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)}$مثل

${\displaystyle [T_{K}f](\cdot )=\int _{X}K({}\cdot {},t)f(t)\,d\mu (t)}$

أين${\displaystyle L_{2}(X)}$هو فضاء الدوال القابلة للتكامل التربيعي بالنسبة إلى${\displaystyle \mu }$.

تنص نظرية ميرسر على أن التحليل الطيفي للمؤثر التكاملي${\displaystyle T_{K}}$ل${\displaystyle K}$ينتج عنه تمثيل متسلسل لـ${\displaystyle K}$من حيث القيم الذاتية والدوال الذاتية لـ${\displaystyle T_{K}}$وهذا يعني ضمناً أن${\displaystyle K}$هي نواة مُولِّدة بحيث يمكن تعريف فضاء هيلبرت ذي النواة المُعاد إنتاجه (RKHS) المقابل بدلالة هذه القيم الذاتية والدوال الذاتية. نُقدِّم التفاصيل أدناه.

بناءً على هذه الافتراضات${\displaystyle T_{K}}$هو مؤثر مضغوط، ومتصل، وذاتي الترافق، وموجب . تنص نظرية الطيف للمؤثرات ذاتية الترافق على وجود متتالية متناقصة قابلة للعد على الأكثر${\displaystyle (\sigma _{i})_{i\geq 0}}$بحيث${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$و ${\displaystyle T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)}$، حيث${\displaystyle \{\varphi _{i}\}}$تشكل أساسًا متعامدًا لـ${\displaystyle L_{2}(X)}$بفضل إيجابية${\displaystyle T_{K},\sigma _{i}>0}$للجميع${\displaystyle i.}$ويمكن للمرء أن يثبت ذلك أيضاً${\displaystyle T_{K}}$يتم تحويلها بشكل مستمر إلى فضاء الدوال المتصلة${\displaystyle C(X)}$وبالتالي يمكننا اختيار الدوال المتصلة كمتجهات ذاتية، أي${\displaystyle \varphi _{i}\in C(X)}$للجميع${\displaystyle i.}$ثم بحسب نظرية ميرسر ${\displaystyle K}$يمكن كتابتها بدلالة القيم الذاتية والدوال الذاتية المستمرة كما يلي:

${\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)}$

للجميع${\displaystyle x,y\in X}$بحيث

${\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.}$

يُشار إلى تمثيل السلسلة المذكور أعلاه باسم نواة ميرسر أو تمثيل ميرسر لـ${\displaystyle K}$.

علاوة على ذلك، يمكن إثبات أن RKHS${\displaystyle H}$ل${\displaystyle K}$يُعطى بواسطة

${\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}}$

حيث يكون الناتج الداخلي لـ${\displaystyle H}$مقدم من

${\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}$

هذا التمثيل لـ RKHS له تطبيقات في الاحتمالات والإحصاء، على سبيل المثال في تمثيل Karhunen–Loève للعمليات العشوائية و kernel PCA .

خريطة المعالم هي خريطة${\displaystyle \varphi \colon X\rightarrow F}$، أين${\displaystyle F}$هي فضاء هيلبرت سنسميه فضاء الميزات. عرضت الأقسام الأولى العلاقة بين دوال التقييم المحدودة/المتصلة، والدوال الموجبة المحددة، والمؤثرات التكاملية، وفي هذا القسم نقدم تمثيلاً آخر لفضاء هيلبرت ذي النواة المقلوبة (RKHS) بدلالة خرائط الميزات.

تحدد كل خريطة مميزة نواة عبر

${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}.}$

3

بوضوح${\displaystyle K}$متناظرة، وتنتج خاصية الإيجابية المحددة من خصائص الضرب الداخلي في${\displaystyle F}$. على العكس من ذلك، فإن كل دالة موجبة محددة وفضاء هيلبرت ذي النواة المتكررة المقابل له عدد لا نهائي من خرائط الميزات المرتبطة بها بحيث يتحقق ( 3 ).

على سبيل المثال، يمكننا أن نأخذ بشكل بديهي${\displaystyle F=H}$و${\displaystyle \varphi (x)=K_{x}}$للجميع${\displaystyle x\in X}$ثم يتحقق الشرط ( 3 ) بواسطة خاصية الاستنساخ. مثال كلاسيكي آخر لخريطة الميزات يتعلق بالقسم السابق المتعلق بالمؤثرات التكاملية من خلال أخذ${\displaystyle F=\ell ^{2}}$و${\displaystyle \varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}}$.

يُتيح لنا هذا الربط بين النوى وخرائط الميزات طريقة جديدة لفهم الدوال الموجبة المحددة، وبالتالي إعادة إنتاج النوى كحاصل ضرب داخلي في${\displaystyle H}$علاوة على ذلك، يمكن لكل خريطة ميزات أن تحدد بشكل طبيعي فضاء هيلبرت ذي النواة الموجبة عن طريق تعريف دالة موجبة محددة.

وأخيرًا، تسمح لنا خرائط الميزات بإنشاء فضاءات وظيفية تكشف عن منظور آخر لـ RKHS. لنأخذ الفضاء الخطي كمثال.

${\displaystyle H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

يمكننا تعريف معيار على${\displaystyle H_{\varphi }}$ بواسطة

${\displaystyle \|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

يمكن إثبات ذلك${\displaystyle H_{\varphi }}$هي فضاء هيلبرت ذو النواة المحددة بواسطة${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}}$يشير هذا التمثيل إلى أن عناصر فضاء هيلبرت ذي النواة المُعاد ترتيبها (RKHS) هي نواتج داخلية لعناصر في فضاء الميزات، وبالتالي يمكن اعتبارها مستويات فائقة. يرتبط هذا التصور لفضاء هيلبرت ذي النواة المُعاد ترتيبها (RKHS) بحيلة النواة في التعلم الآلي. ^{[ 8 ]}

الخصائص المفيدة لأنظمة RKHS:

• يترك${\displaystyle (X_{i})_{i=1}^{p}}$أن تكون سلسلة من المجموعات و${\displaystyle (K_{i})_{i=1}^{p}}$لتكن مجموعة من الدوال الموجبة المحددة المناظرة على${\displaystyle (X_{i})_{i=1}^{p}.}$ويترتب على ذلك أن

  ${\displaystyle K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})}$

  هو نواة على${\displaystyle X=X_{1}\times \dots \times X_{p}.}$

• يترك${\displaystyle X_{0}\subset X,}$ثم تقييد${\displaystyle K}$ل${\displaystyle X_{0}\times X_{0}}$وهو أيضًا نواة قابلة للتكاثر.
• ضع في اعتبارك نواة معيارية${\displaystyle K}$بحيث${\displaystyle K(x,x)=1}$للجميع${\displaystyle x\in X}$عرّف مقياسًا زائفًا على X كما يلي:

  ${\displaystyle d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.}$

  بحسب متباينة كوشي-شفارتز ،

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.}$

  هذا التفاوت يسمح لنا برؤية${\displaystyle K}$كمقياس للتشابه بين المدخلات. إذا${\displaystyle x,y\in X}$إذا كانت متشابهة${\displaystyle K(x,y)}$سيكون أقرب إلى 1 بينما إذا${\displaystyle x,y\in X}$إذا كانت غير متشابهة${\displaystyle K(x,y)}$ستكون أقرب إلى الصفر.

• إغلاق امتداد${\displaystyle \{K_{x}\mid x\in X\}}$يتزامن مع${\displaystyle H}$[ ^{9 ]​}

في هذا القسم، نوسع تعريف فضاء هيلبرت ذي النواة المتكررة (RKHS) ليشمل فضاءات الدوال المتجهة، حيث أن هذا التوسع ذو أهمية خاصة في التعلم متعدد المهام وتنظيم المتشعبات . ويكمن الاختلاف الرئيسي في أن النواة المتكررة${\displaystyle \Gamma }$هي دالة متناظرة، وهي الآن مصفوفة شبه موجبة لكل${\displaystyle x,y}$في${\displaystyle X}$بصورة أكثر رسمية، نُعرّف فضاء هيلبرت ذو القيم المتجهة (vvRKHS) على أنه فضاء هيلبرت للدوال${\displaystyle f:X\to \mathbb {R} ^{T}}$بحيث يكون ذلك لجميع${\displaystyle c\in \mathbb {R} ^{T}}$و${\displaystyle x\in X}$

${\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X}$

و

${\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.}$

تُوازي هذه الخاصية الثانية خاصية الاستنساخ في حالة القيم العددية. ويمكن ربط هذا التعريف أيضًا بالمؤثرات التكاملية، ودوال التقييم المحدودة، وخرائط الميزات، كما رأينا في فضاء هيلبرت ذي النواة المُعاد إنتاجها ذي القيم العددية. ويمكننا تعريف فضاء هيلبرت ذي النواة المُعاد إنتاجها المتجهي (vvRKHS) بشكل مكافئ على أنه فضاء هيلبرت ذو قيم متجهة مع دالة تقييم محدودة، وإثبات أن هذا يستلزم وجود نواة استنساخ فريدة وفقًا لنظرية تمثيل ريز. كما يمكن توسيع نظرية ميرسر لتشمل حالة القيم المتجهة، وبالتالي يمكننا الحصول على عرض لخريطة الميزات لفضاء هيلبرت ذي النواة المُعاد إنتاجها المتجهي. وأخيرًا، يمكن أيضًا إثبات أن إغلاق امتداد${\displaystyle \{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}}$يتزامن مع${\displaystyle H}$، خاصية أخرى مشابهة للحالة ذات القيمة العددية.

يمكننا اكتساب فهم بديهي لـ vvRKHS من خلال النظر إلى هذه الفضاءات من منظور مكوناتها. على وجه الخصوص، نجد أن كل vvRKHS متماثل قياسيًا مع RKHS ذي قيم قياسية على فضاء إدخال معين.${\displaystyle \Lambda =\{1,\dots ,T\}}$ضع في اعتبارك المساحة${\displaystyle X\times \Lambda }$والنواة المُستنسخة المقابلة

${\displaystyle \gamma :X\times \Lambda \times X\times \Lambda \to \mathbb {R} .}$

4

كما ذُكر أعلاه، فإن فضاء هيلبرت ذو النواة المتكررة المرتبط بهذه النواة المتكررة يُعطى بواسطة إغلاق امتداد${\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}}$أين ${\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))}$لكل مجموعة من الأزواج${\displaystyle (x,t),(y,s)\in X\times \Lambda }$.

ويمكن بعد ذلك الربط بين فضاء هيلبرت ذي القيم العددية (RKHS) وحقيقة أن كل نواة ذات قيم مصفوفية يمكن تحديدها بنواة من الشكل ( 4 ) عبر

${\displaystyle \Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).}$

علاوة على ذلك، فإن كل نواة على شكل ( 4 ) تُعرّف نواة ذات قيم مصفوفية بالصيغة المذكورة أعلاه. الآن، لنفترض أن الخريطة${\displaystyle D:H_{\Gamma }\to H_{\gamma }}$يُعرَّف بأنه

${\displaystyle (Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}}$

أين${\displaystyle e_{t}}$هو${\displaystyle t^{\text{th}}}$مكون من الأساس المتعارف عليه لـ${\displaystyle \mathbb {R} ^{T}}$يمكن للمرء أن يثبت ذلك${\displaystyle D}$هي دالة تقابلية ومتساوية القياس بين${\displaystyle H_{\Gamma }}$و${\displaystyle H_{\gamma }}$.

على الرغم من أن هذا المنظور لـ vvRKHS قد يكون مفيدًا في التعلم متعدد المهام، إلا أن هذا التماثل لا يُختزل دراسة الحالة المتجهة إلى دراسة الحالة العددية. في الواقع، قد تجعل عملية التماثل هذه التعامل مع كل من النواة العددية ومساحة الإدخال صعبًا للغاية عمليًا، نظرًا لفقدان خصائص النوى الأصلية في كثير من الأحيان. ^{[ 12 ] [ 13 ] [ 14 ]}

تُعدّ النوى القابلة للفصل فئةً مهمةً من النوى المُستنسخة ذات القيم المصفوفية، والتي يمكن تحليلها إلى حاصل ضرب نواة ذات قيمة عددية و${\displaystyle T}$مصفوفة متناظرة شبه موجبة ذات بُعد n. في ضوء مناقشتنا السابقة، تكون هذه النوى على الشكل التالي:

${\displaystyle \gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)}$

للجميع${\displaystyle x,y}$في${\displaystyle X}$و${\displaystyle t,s}$في${\displaystyle T}$بما أن النواة ذات القيم العددية تشفر التبعيات بين المدخلات، يمكننا أن نلاحظ أن النواة ذات القيم المصفوفية تشفر التبعيات بين كل من المدخلات والمخرجات.

وأخيرًا، نلاحظ أن النظرية المذكورة أعلاه يمكن توسيعها لتشمل فضاءات الدوال ذات القيم في فضاءات الدوال، ولكن الحصول على النوى لهذه الفضاءات مهمة أكثر صعوبة. ^{[ 15 ]}

تُعرَّف دالة ReLU عادةً على النحو التالي :${\displaystyle f(x)=\max\{0,x\}}$وتُعدّ دالة ReLU عنصرًا أساسيًا في بنية الشبكات العصبية، حيث تُستخدم كدالة تنشيط. ويمكن بناء دالة غير خطية شبيهة بدالة ReLU باستخدام نظرية فضاءات هيلبرت ذات النواة المُستنسخة. فيما يلي، نستنتج هذا البناء ونُبيّن كيف يُؤثر على قدرة تمثيل الشبكات العصبية ذات دوال التنشيط ReLU.

سنعمل مع مساحة هيلبرت${\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )}$من الدوال المتصلة تمامًا مع${\displaystyle f(0)=0}$وقابل للتكامل التربيعي (أي${\displaystyle L_{2}}$مشتقة. لها حاصل ضرب داخلي

${\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.}$

لإنشاء النواة المُستنسخة، يكفي النظر في فضاء جزئي كثيف، لذا دع${\displaystyle f\in C^{1}[0,\infty )}$و${\displaystyle f(0)=0}$ثم تعطينا النظرية الأساسية للتفاضل والتكامل

${\displaystyle f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle }$

أين

${\displaystyle G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}}$

و${\displaystyle K_{y}'(x)=G(x,y),\ K_{y}(0)=0}$أي

${\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)}$

وهذا يعني${\displaystyle K_{y}=K(\cdot ,y)}$يعيد إنتاج${\displaystyle f}$.

علاوة على ذلك، فإن الدالة الدنيا على${\displaystyle X\times X=[0,\infty )\times [0,\infty )}$لها التمثيلات التالية باستخدام دالة ReLU:

${\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).}$

باستخدام هذه الصيغة، يمكننا تطبيق نظرية الممثل على RKHS، مما يسمح بإثبات أمثلية استخدام تنشيطات ReLU في إعدادات الشبكة العصبية.

• نواة موجبة محددة
• نظرية ميرسر
• خدعة النواة
• تضمين التوزيعات باستخدام النواة
• نظرية التمثيل

• ألفاريز، ماوريسيو، روساسكو، لورينزو ولورانس، نيل، "النوى للدوال ذات القيم المتجهة: مراجعة"، https://arxiv.org/abs/1106.6251 ، يونيو 2011.
• أرونسزاجن، ناخمان (1950). " نظرية النوى المُستنسخة" . معاملات الجمعية الرياضية الأمريكية . 68 (3): 337-404 . Bibcode : 1950TAMS...68..337A . doi : 10.1090/S0002-9947-1950-0051437-7 . JSTOR 1990404. MR 0051437 .  
• برلينيه، آلان وتوماس، كريستين. فضاءات هيلبرت ذات النواة المتكررة في الاحتمالات والإحصاء ، دار نشر كلوير الأكاديمية، 2004.
• كوكر، فيليبي؛ سميل، ستيف (2002). "حول الأسس الرياضية للتعلم" . نشرة الجمعية الرياضية الأمريكية . 39 (1): 1-49 . doi : 10.1090/S0273-0979-01-00923-5 . MR 1864085 . 
• دي فيتو، إرنست، أومانيتا، فيرونيكا، وفيلا، سيلفيا. "امتداد لنظرية ميرسر إلى النوى القابلة للقياس ذات القيم المتجهة"، arXiv : 1110.4017 ، يونيو 2013.
• دوريت، جريج. ملاحظات الدورة 9.520، معهد ماساتشوستس للتكنولوجيا، https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf ، فبراير 2010.
• كيميلدورف، جورج؛ وهبة، غريس (1971). "بعض النتائج حول دوال تشيبيشيف التكعيبية" (ملف PDF) . مجلة التحليل الرياضي وتطبيقاته . 33 (1): 82-95 . Bibcode : 1971JMAA...33...82K . doi : 10.1016/0022-247X(71)90184-3 . MR 0290013 . 
• أوكوتموستور، بافر. "إعادة إنتاج فضاءات هيلبرت النواة"، رسالة ماجستير، جامعة بيلكنت، https://users.metu.edu.tr/baver/MS.Thesis.pdf ، أغسطس 2005.
• بولسن، فيرن. "مقدمة لنظرية فضاءات هيلبرت ذات النواة المتكررة"، https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f33fccee87 .
• ستاينوارت، إنجو؛ سكوفيل، كلينت (2012). "نظرية ميرسر حول المجالات العامة: حول التفاعل بين المقاييس والنوى و RKHSs". Constr . Approx . 35 (3): 363–417 . doi : 10.1007/s00365-012-9153-3 . MR 2914365. S2CID 253885172 .  
• روساسكو، لورينزو وبوجيو، توماس. "جولة في تنظيم التعلم الآلي - ملاحظات محاضرة MIT 9.520" مخطوطة، ديسمبر 2014.
• وهبة، جريس ، نماذج السبلاين للبيانات الرصدية ، SIAM ، 1990.
• تشانغ، هاي تشانغ؛ شو، يو شنغ؛ تشانغ، تشينغ هوي (2012). "تحسين النوى المُستنسخة ذات القيم المُعاملية" (ملف PDF) . مجلة أبحاث تعلم الآلة . 13 : 91-136 .