شبكة وظائف الأساس الشعاعي

📅 آخر تحديث: ٢٥ يوليو ٢٠٢٦
✍️ نُشر في: ٢٥ يوليو ٢٠٢٦
📷 يحتوي على 97 صور
الموسوعة الحرة

في مجال النمذجة الرياضية ، تُعدّ شبكة الدوال الأساسية الشعاعية شبكة عصبية اصطناعية تستخدم الدوال الأساسية الشعاعية كدوال تنشيط . ويكون خرج الشبكة عبارة عن توليفة خطية من الدوال الأساسية الشعاعية للمدخلات ومعاملات الخلايا العصبية. تُستخدم شبكات الدوال الأساسية الشعاعية في العديد من التطبيقات، بما في ذلك تقريب الدوال ، والتنبؤ بالسلاسل الزمنية ، والتصنيف ، والتحكم في الأنظمة . وقد طُوّرت هذه الشبكات لأول مرة في ورقة بحثية نُشرت عام ١٩٨٨ من قِبل بروميد ولو، وكلاهما باحثان في المؤسسة الملكية للإشارات والرادار . [ ١ ] [ ٢ ] [ ٣ ]

بنية الشبكة

بنية شبكة دالة الأساس الشعاعي. متجه الإدخالx{\displaystyle x}يُستخدم كمدخل لجميع دوال الأساس الشعاعي، ولكل منها معلمات مختلفة. ويكون خرج الشبكة عبارة عن توليفة خطية من مخرجات دوال الأساس الشعاعي.

تتكون شبكات الدوال الأساسية الشعاعية (RBF) عادةً من ثلاث طبقات: طبقة إدخال، وطبقة مخفية ذات دالة تنشيط RBF غير خطية، وطبقة إخراج خطية. ويمكن نمذجة الإدخال كمتجه من الأعداد الحقيقية.x∈Rن{\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}وبالتالي، فإن مخرجات الشبكة هي دالة قياسية لمتجه الإدخال.φ:Rن→R{\displaystyle \varphi :\mathbb {R} ^{n}\to \mathbb {R} } , and is given by

φ(x)=∑أنا=1شمالأأناρ(||x-جأنا||){\displaystyle \varphi (\mathbf {x})=\sum _{i=1}^{N}a_{i}\rho (||\mathbf {x} -\mathbf {c} _{i}||)}

أينشمال{\displaystyle N}يمثل عدد الخلايا العصبية في الطبقة المخفية،جأنا{\displaystyle \mathbf {c} _{i}}هو متجه المركز للعصبونأنا{\displaystyle i}، وأأنا{\displaystyle a_{i}}وزن العصبونأنا{\displaystyle i}في عصبون الإخراج الخطي. الدوال التي تعتمد فقط على المسافة من متجه مركزي تكون متناظرة شعاعيًا حول ذلك المتجه، ومن هنا جاء اسم دالة الأساس الشعاعي. في الشكل الأساسي، تتصل جميع المدخلات بكل عصبون مخفي. يُختار عادةً معيار المسافة الإقليدية (مع أن مسافة ماهالانوبيس تبدو أكثر فعالية في التعرف على الأنماط [ 4 ] [ 5 ] )، وتُختار دالة الأساس الشعاعي عادةً دالة غاوسية.

ρ(‖x-جأنا‖)=خبرة⁡[-βأنا‖x-جأنا‖2]{\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]}.

تكون دوال الأساس الغاوسية محلية بالنسبة لمتجه المركز بمعنى أن

ليم||x||→∞ρ(‖x-جأنا‖)=0{\displaystyle \lim _{||x||\to \infty }\rho (\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert )=0}

أي أن تغيير معلمات عصبون واحد له تأثير ضئيل فقط على قيم الإدخال البعيدة عن مركز ذلك العصبون.

في ظل شروط معينة معتدلة على شكل دالة التنشيط، تعتبر شبكات RBF مقاربات عالمية على مجموعة فرعية مضغوطة منRن{\displaystyle \mathbb {R} ^{n}}[ 6 ] وهذا يعني أن شبكة RBF التي تحتوي على عدد كافٍ من الخلايا العصبية المخفية يمكنها تقريب أي دالة مستمرة على مجموعة مغلقة ومحدودة بدقة تعسفية.

المعاييرأأنا{\displaystyle a_{i}}،جأنا{\displaystyle \mathbf {c} _{i}}، وβأنا{\displaystyle \beta _{i}}يتم تحديدها بطريقة تُحسّن التوافق بينφ{\displaystyle \varphi }والبيانات.

دالتان أساسيتان شعاعيتان غير معياريتين في بُعد إدخال واحد. تقع مراكز الدالتين الأساسيتين عندج1=0.75{\displaystyle c_{1}=0.75}وج2=3.25{\displaystyle c_{2}=3.25}.

تطبيع

دالتان أساسيتان شعاعيتان معياريتان في بُعد إدخال واحد ( دوال سيجمويد ). تقع مراكز الدالتين الأساسيتين عندج1=0.75{\displaystyle c_{1}=0.75}وج2=3.25{\displaystyle c_{2}=3.25}.
ثلاث دوال أساسية شعاعية معيارية في بُعد إدخال واحد. مركز الدالة الأساسية الإضافية عندج3=2.75{\displaystyle c_{3}=2.75}.
أربع دوال أساسية شعاعية معيارية في بُعد إدخال واحد. مركز الدالة الأساسية الرابعة عندج4=0{\displaystyle c_{4}=0}لاحظ أن دالة الأساس الأولى (اللون الأزرق الداكن) أصبحت موضعية.

بنية معيارية

بالإضافة إلى البنية غير المُعَيَّرة المذكورة أعلاه ، يمكن تطبيع شبكات RBF . في هذه الحالة، يكون التعيين هو

φ(x) =دهـو ∑أنا=1شمالأأناρ(‖x-جأنا‖)∑أنا=1شمالρ(‖x-جأنا‖)=∑أنا=1شمالأأناu(‖x-جأنا‖){\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}a_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}

أين

u(‖x-جأنا‖) =دهـو ρ(‖x-جأنا‖)∑ج=1شمالρ(‖x-جج‖){\displaystyle u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{j=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{j}\right\Vert {\big )}}}}

تُعرف باسم دالة الأساس الشعاعي المعياري .

الدافع النظري للتطبيع

يوجد تبرير نظري لهذا التصميم في حالة تدفق البيانات العشوائي. لنفترض تقريبًا عشوائيًا لنواة دالة كثافة الاحتمال المشترك.

P(x∧y)=1شمال∑أنا=1شمالρ(‖x-جأنا‖)σ(|y-هـأنا|){\displaystyle P\left(\mathbf {x} \land y\right)={1 \over N}\sum _{i=1}^{N}\,\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\,\sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}}

حيث الأوزانجأنا{\displaystyle \mathbf {c} _{i}} وهـأنا{\displaystyle e_{i}}هي أمثلة من البيانات، ونحتاج إلى تطبيع النوى.

∫ρ(‖x-جأنا‖)دنx=1{\displaystyle \int \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\,d^{n}\mathbf {x} =1}

و

∫σ(|y-هـأنا|)دy=1{\displaystyle \int \sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}\,dy=1}.

كثافات الاحتمال في فضاءات الإدخال والإخراج هي

P(x)=∫P(x∧y)دy=1شمال∑أنا=1شمالρ(‖x-جأنا‖){\displaystyle P\left(\mathbf {x} \right)=\int P\left(\mathbf {x} \land y\right)\,dy={1 \over N}\sum _{i=1}^{N}\,\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}

و

القيمة المتوقعة لـ y عند إدخال قيمة معينةx{\displaystyle \mathbf {x} }يكون

φ(x) =دهـو هـ(y|x)=∫yP(y|x)دy{\displaystyle \varphi \left(\mathbf {x} \right)\ {\stackrel {\mathrm {def} }{=}}\ E\left(y\mid \mathbf {x} \right)=\int y\,P\left(y\mid \mathbf {x} \right)dy}

أين

P(y|x){\displaystyle P\left(y\mid \mathbf {x} \right)}

هي الاحتمالية الشرطية لـ y معطىx{\displaystyle \mathbf {x} }يرتبط الاحتمال الشرطي بالاحتمال المشترك من خلال نظرية بايز .

P(y|x)=P(x∧y)P(x){\displaystyle P\left(y\mid \mathbf {x} \right)={\frac {P\left(\mathbf {x} \land y\right)}{P\left(\mathbf {x} \right)}}}

مما ينتج عنه

φ(x)=∫yP(x∧y)P(x)دy{\displaystyle \varphi \left(\mathbf {x} \right)=\int y\,{\frac {P\left(\mathbf {x} \land y\right)}{P\left(\mathbf {x} \right)}}\,dy}.

يصبح هذا

φ(x)=∑أنا=1شمالهـأناρ(‖x-جأنا‖)∑أنا=1شمالρ(‖x-جأنا‖)=∑أنا=1شمالهـأناu(‖x-جأنا‖){\displaystyle \varphi \left(\mathbf {x} \right)={\frac {\sum _{i=1}^{N}e_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}e_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}

عند إجراء عمليات التكامل.

النماذج الخطية المحلية

قد يكون من المفيد أحيانًا توسيع بنية النظام لتشمل نماذج خطية محلية . في هذه الحالة، تصبح البنى، من الدرجة الأولى،

φ(x)=∑أنا=1شمال(أأنا+بأنا⋅(x-جأنا))ρ(‖x-جأنا‖){\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{N}\left(a_{i}+\mathbf {b} _{i}\cdot \left(\mathbf {x} -\mathbf {c} _{i}\right)\right)\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}

و

φ(x)=∑أنا=1شمال(أأنا+بأنا⋅(x-جأنا))u(‖x-جأنا‖){\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{N}\left(a_{i}+\mathbf {b} _{i}\cdot \left(\mathbf {x} -\mathbf {c} _{i}\right)\right)u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}

في الحالتين غير المعيارية والمعيارية، على التوالي. هنابأنا{\displaystyle \mathbf {b} _{i}}هناك أوزان يجب تحديدها. كما أن الحدود الخطية ذات الرتبة الأعلى ممكنة أيضاً.

يمكن كتابة هذه النتيجة

φ(x)=∑أنا=12شمال∑ج=1نهـأناجvأناج(x-جأنا){\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{2N}\sum _{j=1}^{n}e_{ij}v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}}

أين

هـأناج={أأنا،لو أنا∈[1،شمال]بأناج،لو أنا∈[شمال+1،2شمال]{\displaystyle e_{ij}={\begin{cases}a_{i},&{\mbox{if }}i\in [1,N]\\b_{ij},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}

و

vأناج(x-جأنا) =دهـو {دلتاأناجρ(‖x-جأنا‖)،لو أنا∈[1،شمال](xأناج-جأناج)ρ(‖x-جأنا‖)،لو أنا∈[شمال+1،2شمال]{\displaystyle v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\begin{cases}\delta _{ij}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [1,N]\\\left(x_{ij}-c_{ij}\right)\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}

في الحالة غير المعيارية وفي الحالة المعيارية. هنادلتاأناج{\displaystyle \delta _{ij}}دالة دلتا كرونكر معرفة على النحو التالي

دلتاأناج={1،لو أنا=ج0،لو أنا≠ج{\displaystyle \delta _{ij}={\begin{cases}1,&{\mbox{if }}i=j\\0,&{\mbox{if }}i\neq j\end{cases}}}.

تمرين

يتم تدريب شبكات RBF عادةً من أزواج من قيم الإدخال والقيمة المستهدفةx(ت)،y(ت){\displaystyle \mathbf {x} (t),y(t)}،ت=1،...،تي{\displaystyle t=1,\dots ,T}بواسطة خوارزمية من خطوتين.

في الخطوة الأولى، متجهات المركزجأنا{\displaystyle \mathbf {c} _{i}}يتم اختيار مراكز دوال RBF في الطبقة المخفية. يمكن تنفيذ هذه الخطوة بعدة طرق؛ إما باختيار المراكز عشوائيًا من مجموعة من الأمثلة، أو بتحديدها باستخدام خوارزمية التجميع k-means . تجدر الإشارة إلى أن هذه الخطوة غير خاضعة للإشراف .

تتمثل الخطوة الثانية ببساطة في ملاءمة نموذج خطي بمعاملاتwأنا{\displaystyle w_{i}}بالنسبة لمخرجات الطبقة المخفية فيما يتعلق بدالة هدف معينة. دالة الهدف الشائعة، على الأقل بالنسبة للانحدار/تقدير الدالة، هي دالة المربعات الصغرى :

ك(w) =دهـو ∑ت=1تيكت(w){\displaystyle K(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}K_{t}(\mathbf {w} )}

أين

كت(w) =دهـو [y(ت)-φ(x(ت)،w)]2{\displaystyle K_{t}(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}^{2}}.

لقد أدرجنا صراحةً الاعتماد على الأوزان. إن تقليل دالة الهدف للمربعات الصغرى عن طريق الاختيار الأمثل للأوزان يحسن دقة المطابقة.

توجد حالات تتطلب تحسين عدة أهداف، مثل السلاسة والدقة. في هذه الحالة، من المفيد تحسين دالة هدف منتظمة مثل:

ح(w) =دهـو ك(w)+λS(w) =دهـو ∑ت=1تيحت(w){\displaystyle H(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ K(\mathbf {w} )+\lambda S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}H_{t}(\mathbf {w} )}

أين

S(w) =دهـو ∑ت=1تيSت(w){\displaystyle S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}S_{t}(\mathbf {w} )}

و

حت(w) =دهـو كت(w)+λSت(w){\displaystyle H_{t}(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ K_{t}(\mathbf {w} )+\lambda S_{t}(\mathbf {w} )}

حيث تعمل عملية تحسين S على زيادة السلاسة إلى أقصى حد وλ{\displaystyle \lambda }يُعرف باسم معامل التنظيم .

يمكن إجراء خطوة ثالثة اختيارية للتراجع الخلفي لضبط جميع معلمات شبكة RBF بدقة. [ 3 ]

الاستيفاء

يمكن استخدام شبكات RBF لاستيفاء دالةy:Rن→R{\displaystyle y:\mathbb {R} ^{n}\to \mathbb {R} }عندما تكون قيم تلك الدالة معروفة على عدد محدود من النقاط:y(xأنا)=بأنا،أنا=1،...،شمال{\displaystyle y(\mathbf {x} _{i})=b_{i},i=1,\ldots ,N}أخذ النقاط المعروفةxأنا{\displaystyle \mathbf {x} _{i}}أن تكون مراكز دوال الأساس الشعاعية وتقييم قيم دوال الأساس عند نفس النقاطزأناج=ρ(||xج-xأنا||){\displaystyle g_{ij}=\rho (||\mathbf {x} _{j}-\mathbf {x} _{i}||)}يمكن حساب الأوزان من المعادلة

[ز11ز12⋯ز1شمالز21ز22⋯ز2شمال⋮⋱⋮زشمال1زشمال2⋯زشمالشمال][w1w2⋮wشمال]=[ب1ب2⋮بشمال]{\displaystyle \left[{\begin{matrix}g_{11}&g_{12}&\cdots &g_{1N}\\g_{21}&g_{22}&\cdots &g_{2N}\\\vdots &&\ddots &\vdots \\g_{N1}&g_{N2}&\cdots &g_{NN}\end{matrix}}\right]\left[{\begin{matrix}w_{1}\\w_{2}\\\vdots \\w_{N}\end{matrix}}\right]=\left[{\begin{matrix}b_{1}\\b_{2}\\\vdots \\b_{N}\end{matrix}}\right]}

يمكن إثبات أن مصفوفة الاستيفاء في المعادلة أعلاه غير منفردة، إذا كانت النقاطxأنا{\displaystyle \mathbf {x} _{i}}وهي متميزة، وبالتالي فإن الأوزانw{\displaystyle w}يمكن حلها باستخدام الجبر الخطي البسيط :

w=جي-1ب{\displaystyle \mathbf {w} =\mathbf {G} ^{-1}\mathbf {b} }

أينجي=(زأناج){\displaystyle G=(g_{ij})}.

تقريب الدالة

إذا لم يكن الهدف هو إجراء استيفاء دقيق، بل تقريب دالة أو تصنيف أكثر عمومية ، فإن عملية التحسين تصبح أكثر تعقيدًا نوعًا ما لعدم وجود خيار واضح للمراكز. عادةً ما يتم التدريب على مرحلتين: الأولى لتحديد العرض والمراكز، والثانية لتحديد الأوزان. ويمكن تبرير ذلك بالنظر إلى الطبيعة المختلفة للخلايا العصبية المخفية غير الخطية مقارنةً بالخلايا العصبية الخطية في المخرجات.

تدريب مراكز الوظائف الأساسية

يمكن أخذ مراكز الدوال الأساسية عشوائياً من بين حالات الإدخال أو الحصول عليها بواسطة خوارزمية التعلم المربع الأدنى المتعامد أو إيجادها عن طريق تجميع العينات واختيار متوسطات المجموعة كمراكز.

عادة ما يتم تثبيت عرض RBF على نفس القيمة التي تتناسب مع أقصى مسافة بين المراكز المختارة.

حل شبه معكوس للأوزان الخطية

بعد المراكزجأنا{\displaystyle c_{i}}بعد تثبيت القيم، يمكن حساب الأوزان التي تقلل الخطأ عند المخرجات باستخدام حل شبه معكوس خطي :

w=جي+ب{\displaystyle \mathbf {w} =\mathbf {G} ^{+}\mathbf {b} }،

حيث تمثل عناصر G قيم دوال الأساس الشعاعية المحسوبة عند النقاطxأنا{\displaystyle x_{i}}:زجأنا=ρ(||xج-جأنا||){\displaystyle g_{ji}=\rho (||x_{j}-c_{i}||)}.

إن وجود هذا الحل الخطي يعني أنه على عكس شبكات الإدراك متعددة الطبقات (MLP)، فإن شبكات RBF لديها مُصغِّر صريح (عندما تكون المراكز ثابتة).

تدريب الأوزان الخطية باستخدام خوارزمية التدرج الهبوطي

هناك خوارزمية تدريب أخرى محتملة وهي خوارزمية التدرج الهبوطي . في تدريب التدرج الهبوطي، يتم تعديل الأوزان في كل خطوة زمنية عن طريق تحريكها في اتجاه معاكس لتدرج دالة الهدف (مما يسمح بإيجاد الحد الأدنى لدالة الهدف).

w(ت+1)=w(ت)-νددwحت(w){\displaystyle \mathbf {w} (t+1)=\mathbf {w} (t)-\nu {\frac {d}{d\mathbf {w} }}H_{t}(\mathbf {w} )}

أينν{\displaystyle \nu }هو "معامل التعلم".

في حالة تدريب الأوزان الخطية،أأنا{\displaystyle a_{i}}تصبح الخوارزمية

أأنا(ت+1)=أأنا(ت)+ν[y(ت)-φ(x(ت)،w)]ρ(‖x(ت)-جأنا‖){\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}

في الحالة غير المعيارية و

أأنا(ت+1)=أأنا(ت)+ν[y(ت)-φ(x(ت)،w)]u(‖x(ت)-جأنا‖){\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}

في الحالة المعيارية.

بالنسبة للهياكل الخطية المحلية، فإن تدريب التدرج الهبوطي هو

هـأناج(ت+1)=هـأناج(ت)+ν[y(ت)-φ(x(ت)،w)]vأناج(x(ت)-جأنا){\displaystyle e_{ij}(t+1)=e_{ij}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}v_{ij}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}

تدريب مشغل الإسقاط على الأوزان الخطية

في حالة تدريب الأوزان الخطية،أأنا{\displaystyle a_{i}}وهـأناج{\displaystyle e_{ij}}تصبح الخوارزمية

أأنا(ت+1)=أأنا(ت)+ν[y(ت)-φ(x(ت)،w)]ρ(‖x(ت)-جأنا‖)∑أنا=1شمالρ2(‖x(ت)-جأنا‖){\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho ^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}

في الحالة غير المعيارية و

أأنا(ت+1)=أأنا(ت)+ν[y(ت)-φ(x(ت)،w)]u(‖x(ت)-جأنا‖)∑أنا=1شمالu2(‖x(ت)-جأنا‖){\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}

في الحالة المعيارية و

هـأناج(ت+1)=هـأناج(ت)+ν[y(ت)-φ(x(ت)،w)]vأناج(x(ت)-جأنا)∑أنا=1شمال∑ج=1نvأناج2(x(ت)-جأنا){\displaystyle e_{ij}(t+1)=e_{ij}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {v_{ij}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}{\sum _{i=1}^{N}\sum _{j=1}^{n}v_{ij}^{2}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}}}

في الحالة الخطية المحلية.

بالنسبة لدالة أساسية واحدة، فإن تدريب عامل الإسقاط يختزل إلى طريقة نيوتن .

الشكل 6: سلسلة زمنية لخريطة لوجستية. ينتج عن التكرار المتواصل للخريطة اللوجستية سلسلة زمنية فوضوية. تتراوح القيم بين الصفر والواحد. يعرض الشكل هنا 100 نقطة تدريبية استُخدمت لتدريب الأمثلة في هذا القسم. تمثل الأوزان (c) النقاط الخمس الأولى من هذه السلسلة الزمنية.

أمثلة

خريطة لوجستية

يمكن توضيح الخصائص الأساسية لدوال الأساس الشعاعي باستخدام خريطة رياضية بسيطة، وهي الخريطة اللوجستية ، التي تُسقط الفترة [0, 1] على نفسها. ويمكن استخدامها لإنشاء نموذج أولي مناسب لتدفق البيانات. كما يمكن استخدام الخريطة اللوجستية لاستكشاف تقريب الدوال ، والتنبؤ بالسلاسل الزمنية ، ونظرية التحكم . نشأت هذه الخريطة من مجال ديناميكيات السكان ، وأصبحت النموذج الأولي للسلاسل الزمنية الفوضوية . وتُعطى الخريطة، في النظام الفوضوي الكامل، بالصيغة التالية:

x(ت+1) =دهـو و[x(ت)]=4x(ت)[1-x(ت)]{\displaystyle x(t+1)\ {\stackrel {\mathrm {def} }{=}}\ f\left[x(t)\right]=4x(t)\left[1-x(t)\right]}

حيث يمثل t مؤشرًا زمنيًا. قيمة x عند الزمن t+1 هي دالة قطع مكافئ لـ x عند الزمن t. تمثل هذه المعادلة البنية الأساسية للسلسلة الزمنية الفوضوية الناتجة عن الخريطة اللوجستية.

توليد السلاسل الزمنية من هذه المعادلة هو المسألة المباشرة . توضح الأمثلة هنا المسألة العكسية ؛ أي تحديد الديناميكيات الأساسية، أو المعادلة الجوهرية، للخريطة اللوجستية من نماذج السلاسل الزمنية. والهدف هو إيجاد تقدير.

x(ت+1)=و[x(ت)]≈φ(ت)=φ[x(ت)]{\displaystyle x(t+1)=f\left[x(t)\right]\approx \varphi (t)=\varphi \left[x(t)\right]}

لـ f.

تقريب الدالة

وظائف أساس شعاعي غير طبيعية

الهندسة المعمارية هي

الشكل 7: دوال الأساس غير المعيارية. الخريطة اللوجستية (باللون الأزرق) والتقريب للخريطة اللوجستية (باللون الأحمر) بعد مرور واحد على مجموعة التدريب.
φ(x) =دهـو ∑أنا=1شمالأأناρ(‖x-جأنا‖){\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}

أين

ρ(‖x-جأنا‖)=خبرة⁡[-βأنا‖x-جأنا‖2]=خبرة⁡[-βأنا(x(ت)-جأنا)2]{\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]=\exp \left[-\beta _{i}\left(x(t)-c_{i}\right)^{2}\right]}.

بما أن المدخلات كمية قياسية وليست متجهة ، فإن بُعد المدخلات هو واحد. نختار عدد الدوال الأساسية N=5 وحجم مجموعة التدريب 100 مثال تم توليدها بواسطة السلاسل الزمنية الفوضوية. الوزنβ{\displaystyle \beta }تُعتبر قيمة ثابتة تساوي 5. الأوزانجأنا{\displaystyle c_{i}}هذه خمسة أمثلة من السلسلة الزمنية. الأوزانأأنا{\displaystyle a_{i}}يتم تدريبهم من خلال تدريب مشغلي أجهزة العرض:

أأنا(ت+1)=أأنا(ت)+ν[x(ت+1)-φ(x(ت)،w)]ρ(‖x(ت)-جأنا‖)∑أنا=1شمالρ2(‖x(ت)-جأنا‖){\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}x(t+1)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho ^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}

حيث معدل التعلمν{\displaystyle \nu }تُعتبر قيمة 0.3. يتم التدريب بتمرير واحد عبر نقاط التدريب المئة. يبلغ متوسط ​​الخطأ التربيعي 0.15.

الشكل 8: دوال الأساس المعيارية. خريطة لوجستية (باللون الأزرق) وتقريبها (باللون الأحمر) بعد تمريرة واحدة على مجموعة التدريب. لاحظ التحسن مقارنةً بالحالة غير المعيارية.

دوال الأساس الشعاعية المعيارية

بنية RBF المعيارية هي

φ(x) =دهـو ∑أنا=1شمالأأناρ(‖x-جأنا‖)∑أنا=1شمالρ(‖x-جأنا‖)=∑أنا=1شمالأأناu(‖x-جأنا‖){\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}a_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}

أين

u(‖x-جأنا‖) =دهـو ρ(‖x-جأنا‖)∑أنا=1شمالρ(‖x-جأنا‖){\displaystyle u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}}.

مرة أخرى:

ρ(‖x-جأنا‖)=خبرة⁡[-β‖x-جأنا‖2]=خبرة⁡[-β(x(ت)-جأنا)2]{\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta \left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]=\exp \left[-\beta \left(x(t)-c_{i}\right)^{2}\right]}.

مرة أخرى، نختار عدد الدوال الأساسية بخمسة، وحجم مجموعة التدريب بـ 100 مثال تم توليدها بواسطة السلاسل الزمنية الفوضوية. الوزنβ{\displaystyle \beta }يُعتبر ثابتًا يساوي 6. الأوزانجأنا{\displaystyle c_{i}}هذه خمسة أمثلة من السلسلة الزمنية. الأوزانأأنا{\displaystyle a_{i}}يتم تدريبهم من خلال تدريب مشغلي أجهزة العرض:

أأنا(ت+1)=أأنا(ت)+ν[x(ت+1)-φ(x(ت)،w)]u(‖x(ت)-جأنا‖)∑أنا=1شمالu2(‖x(ت)-جأنا‖){\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}x(t+1)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}

حيث معدل التعلمν{\displaystyle \nu }تُعتبر قيمة 0.3 مرة أخرى. يتم التدريب بتمرير واحد على نقاط التدريب المئة. يبلغ متوسط ​​الخطأ التربيعي على مجموعة اختبار مكونة من مئة مثال 0.084، وهو أقل من الخطأ غير المُعَيَّر. يُحسِّن التعيير الدقة. عادةً ما تزداد الدقة مع دوال الأساس المُعَيَّرة أكثر من الدوال غير المُعَيَّرة مع زيادة أبعاد المدخلات.

الشكل 9: دوال الأساس المعيارية. خريطة لوجستية (باللون الأزرق) وتقريبها (باللون الأحمر) كدالة للزمن. لاحظ أن التقريب جيد لبضع خطوات زمنية فقط. هذه سمة عامة للسلاسل الزمنية الفوضوية.

التنبؤ بالسلاسل الزمنية

بمجرد تقدير البنية الأساسية للسلسلة الزمنية كما في الأمثلة السابقة، يمكن إجراء تنبؤ للسلسلة الزمنية عن طريق التكرار:

φ(0)=x(1){\displaystyle \varphi (0)=x(1)}
x(ت)≈φ(ت-1){\displaystyle {x}(t)\approx \varphi (t-1)}
x(ت+1)≈φ(ت)=φ[φ(ت-1)]{\displaystyle {x}(t+1)\approx \varphi (t)=\varphi [\varphi (t-1)]}.

يُظهر الشكل مقارنة بين السلاسل الزمنية الفعلية والمُقدَّرة. تبدأ السلسلة الزمنية المُقدَّرة من الزمن صفر بمعرفة دقيقة لقيمة x(0). ثم تستخدم تقدير الديناميكيات لتحديث تقدير السلسلة الزمنية لعدة خطوات زمنية.

لاحظ أن التقدير دقيق لبضع خطوات زمنية فقط. هذه سمة عامة للسلاسل الزمنية الفوضوية، وهي خاصية شائعة في السلاسل الزمنية الفوضوية نظرًا لاعتمادها الشديد على الشروط الابتدائية. يتضخم الخطأ الابتدائي الصغير مع مرور الوقت. يُعرف مقياس تباعد السلاسل الزمنية ذات الشروط الابتدائية المتطابقة تقريبًا باسم مُعامل ليابونوف .

التحكم في سلسلة زمنية فوضوية

الشكل 10: التحكم في الخريطة اللوجستية. يُسمح للنظام بالتطور بشكل طبيعي لمدة 49 خطوة زمنية. عند الخطوة 50، يتم تفعيل التحكم. المسار المطلوب للسلسلة الزمنية مُلوّن باللون الأحمر. يتعلم النظام الخاضع للتحكم الديناميكيات الأساسية ويوجه السلسلة الزمنية نحو المخرجات المطلوبة. البنية هي نفسها المستخدمة في مثال التنبؤ بالسلسلة الزمنية.

نفترض أن مخرجات الخريطة اللوجستية يمكن التلاعب بها من خلال معلمة تحكمج[x(ت)،ت]{\displaystyle c[x(t),t]}بحيث

x(ت+1)=4x(ت)[1-x(ت)]+ج[x(ت)،ت]{\displaystyle {x}_{}^{}(t+1)=4x(t)[1-x(t)]+c[x(t),t]}.

الهدف هو اختيار معلمات التحكم بطريقة تدفع السلسلة الزمنية إلى مخرج مرغوب فيهد(ت){\displaystyle d(t)}يمكن تحقيق ذلك إذا اخترنا معيار التحكم ليكون

ج[x(ت)،ت] =دهـو -φ[x(ت)]+د(ت+1){\displaystyle c_{}^{}[x(t),t]\ {\stackrel {\mathrm {def} }{=}}\ -\varphi [x(t)]+d(t+1)}

أين

y[x(ت)]≈و[x(ت)]=x(ت+1)-ج[x(ت)،ت]{\displaystyle y[x(t)]\approx f[x(t)]=x(t+1)-c[x(t),t]}

هو تقريب للديناميكيات الطبيعية الكامنة للنظام.

تُعطى خوارزمية التعلم بواسطة

أأنا(ت+1)=أأنا(ت)+νεu(‖x(ت)-جأنا‖)∑أنا=1شمالu2(‖x(ت)-جأنا‖){\displaystyle a_{i}(t+1)=a_{i}(t)+\nu \varepsilon {\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}

أين

ε =دهـو و[x(ت)]-φ[x(ت)]=x(ت+1)-ج[x(ت)،ت]-φ[x(ت)]=x(ت+1)-د(ت+1){\displaystyle \varepsilon \ {\stackrel {\mathrm {def} }{=}}\ f[x(t)]-\varphi [x(t)]=x(t+1)-c[x(t),t]-\varphi [x(t)]=x(t+1)-d(t+1)}.

انظر أيضاً

مراجع

  1. ↑ بروميد، دي إس؛ لوي، ديفيد (1988). دوال الأساس الشعاعي، والاستيفاء الوظيفي متعدد المتغيرات، والشبكات التكيفية (تقرير فني). RSRE . 4148. مؤرشف من الأصل في 9 أبريل 2013.
  2. ↑ بروميد، دي إس؛ لوي، ديفيد (1988). "الاستيفاء الوظيفي متعدد المتغيرات والشبكات التكيفية" (ملف PDF) . الأنظمة المعقدة . 2 : 321-355 . مؤرشف (ملف PDF) من الأصل بتاريخ 2020-12-01 . تم الاسترجاع بتاريخ 2019-01-29 .
  3. 1 2 شوينكر، فريدهيلم؛ كيستلر، هانز أ.؛ بالم، غونتر (2001). "ثلاث مراحل تعلم لشبكات الدوال الأساسية الشعاعية". الشبكات العصبية . 14 ( 4-5 ): 439-458 . Bibcode : 2001NN.....14..439S . CiteSeerX 10.1.1.109.312 . doi : 10.1016/s0893-6080(01)00027-2 . PMID 11411631 .  
  4. ↑ بيهايم، العربي؛ زيتوني، عادل؛ بيلوار ، فابيان (يناير 2004). "مصنف الشبكة العصبية RBF الجديد مع عدد الخلايا العصبية المخفية الأمثل" .
  5. ↑ إبريكجي، تورجاي؛ براندت، إم إي؛ وانغ، غوانيو؛ أجيكار، مصطفى (23-26 أكتوبر 2002). مسافة ماهالانوبيس باستخدام شبكة دالة الأساس الشعاعي على البنى الثانوية للبروتين . وقائع المؤتمر السنوي المشترك الرابع والعشرين والاجتماع السنوي للخريف لجمعية الهندسة الطبية الحيوية . المجلد 3. هيوستن، تكساس، الولايات المتحدة الأمريكية (نُشر في 6 يناير 2003). الصفحات 2184-2185 . doi : 10.1109/IEMBS.2002.1053230 . ISBN   0-7803-7612-9ISSN 1094-687X​​ 
  6. ↑ بارك، ج.؛ وساندبرغ، آي دبليو (صيف 1991). " التقريب الشامل باستخدام شبكات الدوال الأساسية الشعاعية". الحوسبة العصبية . 3 (2): 246-257 . doi : 10.1162/neco.1991.3.2.246 . PMID 31167308. S2CID 34868087 .  

للمزيد من القراءة

  • ج. مودي وسي جيه داركن، "التعلم السريع في شبكات وحدات المعالجة المضبوطة محليًا"، الحوسبة العصبية، 1، 281-294 (1989). انظر أيضًا شبكات الدوال الأساسية الشعاعية وفقًا لمودي وداركن
  • T. Poggio and F. Girosi, “ Networks for approximation and learning ,” Proc. IEEE 78(9), 1484-1487 (1990).
  • روجر د. جونز، واي سي لي، سي دبليو بارنز، جي دبليو فليك، ك. لي، بي إس لويس، وإس. تشيان، تقريب الدوال والتنبؤ بالسلاسل الزمنية باستخدام الشبكات العصبية ، وقائع المؤتمر الدولي المشترك حول الشبكات العصبية، 17-21 يونيو، ص.  I-649 (1990).
  • مارتن د. بومان (2003). دوال الأساس الشعاعي: النظرية والتطبيقات . جامعة كامبريدج. ISBN 0-521-63338-9.
  • يي، بول ف. وهايكين، سيمون (2001). شبكات الدوال الأساسية الشعاعية المنتظمة: النظرية والتطبيقات . جون وايلي. ISBN 0-471-35349-3.
  • ديفيز، جون ر.؛ كوجيشال، ستيفن ف.؛ جونز، روجر د .؛ شوتزر، دانيال (1995). "أنظمة الأمن الذكية". في فريدمان، روي س.؛ فلين، روبرت أ.؛ ليدرمان، جيس (محررون). الذكاء الاصطناعي في أسواق رأس المال . شيكاغو: إيروين. ISBN 1-55738-811-3.
  • سايمون هايكين (1999). الشبكات العصبية: أساس شامل (  الطبعة الثانية). أبر سادل ريفر، نيوجيرسي: برنتيس هول. ISBN 0-13-908385-5.
  • S. Chen, CFN Cowan, and PM Grant, “ Orthogonal Least Squares Learning Algorithm for Radial Bases Function Networks “ IEEE Transactions on Neural Networks, Vol 2, No 2 (Mar) 1991.