وظيفة التنشيط

دوال ريدج هي دوال متعددة المتغيرات تعمل على توليفة خطية من متغيرات الإدخال. ومن الأمثلة الشائعة الاستخدام ما يلي:

• التنشيط الخطي :${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$،
• تفعيل ReLU :${\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )}$،
• تفعيل هيفسايد :${\displaystyle \phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}}$،
• التفعيل اللوجستي :${\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}}$.

في الشبكات العصبية المستوحاة من علم الأحياء ، عادةً ما تكون دالة التنشيط تجريدًا يمثل معدل إطلاق جهد الفعل في الخلية. ^{[ 9 ]} في أبسط صورها، تكون هذه الدالة ثنائية - أي إما أن العصبون يُطلق جهد الفعل أو لا يُطلقه. ^{[ 10 ]}

لا تستطيع الخلايا العصبية أيضاً إطلاق الإشارات بسرعة تتجاوز معدلاً معيناً. هذا القيد البيولوجي يحفز استخدام دوال التنشيط السينية، التي يقتصر نطاق مخرجاتها على فترة زمنية محددة.

تبدو الوظيفة كالتالي${\displaystyle \phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )}$، أين${\displaystyle U}$هي دالة الخطوة هيفسايد .

أما إذا كان للخط ميل موجب ، فقد يعكس ذلك الزيادة في معدل إطلاق النبضات التي تحدث مع زيادة تيار الإدخال. وستكون هذه الدالة على الشكل التالي:${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$.

تُستخدم فئة خاصة من دوال التنشيط تُعرف باسم دوال الأساس الشعاعي (RBFs) في شبكات RBF . يمكن أن تتخذ دوال التنشيط هذه أشكالًا عديدة، ولكنها عادةً ما توجد كإحدى الدوال التالية:

• التوزيع الغاوسي :${\displaystyle \,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}}\right)}$
• المعادلات التربيعية المتعددة:${\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}}$
• المعادلات التربيعية العكسية:${\displaystyle \,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}\right)^{-{\frac {1}{2}}}}$
• الانحناءات التوافقية المتعددة

أين${\displaystyle \mathbf {c} }$يمثل المتجه مركز الدالة و${\displaystyle a}$و${\displaystyle \sigma }$هي معايير تؤثر على انتشار نصف القطر.

يمكن استخدام الدوال الدورية كدوال تنشيط. وعادةً ما تُستخدم الدالة الجيبية ، حيث يمكن تحليل أي دالة دورية إلى دوال جيبية بواسطة تحويل فورييه . ^{[ 11 ]}

خرائط التنشيط التربيعي${\displaystyle x\mapsto x^{2}}$[ ^{12 ] [ 13 ]​}

تُستخدم دوال التنشيط القابلة للطي على نطاق واسع في طبقات التجميع في الشبكات العصبية الالتفافية ، وفي طبقات الإخراج في شبكات التصنيف متعدد الفئات . تُجري هذه الدوال عمليات تجميع على المدخلات، مثل حساب المتوسط ​​أو الحد الأدنى أو الحد الأقصى . في التصنيف متعدد الفئات، يُستخدم غالبًا تنشيط softmax .

يقارن الجدول التالي خصائص العديد من دوال التنشيط التي هي دوال لطبقة واحدة x من الطبقة أو الطبقات السابقة:

اسم	حبكة	وظيفة،${\displaystyle g(x)}$	مشتق من${\displaystyle g}$،${\displaystyle g'(x)}$	يتراوح	ترتيب الاستمرارية
هوية		${\displaystyle x}$	${\displaystyle 1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$
الخطوة الثنائية		${\displaystyle {\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle 0}$	${\displaystyle \{0,1\}}$	${\displaystyle C^{-1}}$
لوجستي ، أو سيجمويدي، أو  خطوة ناعمة		${\displaystyle \sigma (x)\doteq {\frac {1}{1+e^{-x}}}}$	${\displaystyle g(x)(1-g(x))}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
الظل الزائدي ( tanh )		${\displaystyle \tanh(x)\doteq {\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$	${\displaystyle 1-g(x)^{2}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
تعديل سوبوليفا للظل الزائدي (smht)		${\displaystyle \operatorname {smht} (x)\doteq {\frac {e^{ax}-e^{-bx}}{e^{cx}+e^{-dx}}}}$		${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
سوفت ساين		${\displaystyle {\frac {x}{1+|x|}}}$	${\displaystyle {\frac {1}{(1+|x|)^{2}}}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{1}}$
وحدة الخط المستقيم المعدلة (ReLU) [ 14 ]		${\displaystyle {\begin{aligned}(x)^{+}\doteq {}&{\begin{cases}0&{\text{إذا كان }}x\leq 0\\x&{\text{إذا كان }}x>0\end{cases}}\\={}&\max(0,x)=x{\textbf {1}}_{x>0}\end{aligned}}}$	${\displaystyle {\begin{cases}0&{\text{إذا كان }}x<0\\1&{\text{إذا كان }}x>0\end{cases}}}$	${\displaystyle [0,\infty )}$	${\displaystyle C^{0}}$
وحدة الخطأ الخطي الغاوسي (GELU) [ 5 ]		${\displaystyle {\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}}\right)\right)\\{}={}&x\Phi (x)\end{aligned}}}$أين${\displaystyle \mathrm {erf} }$هي دالة الخطأ الغاوسية .	${\displaystyle \Phi (x)+{\frac {1}{2}}x\phi (x)}$أين${\displaystyle \phi (x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}x^{2}}}$هي دالة كثافة الاحتمال للتوزيع الغاوسي القياسي.	${\displaystyle (-0.17\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
سوفت بلس [ 15 ]		${\displaystyle \ln \left(1+e^{x}\right)}$	${\displaystyle {\frac {1}{1+e^{-x}}}}$	${\displaystyle (0,\infty )}$	${\displaystyle C^{\infty }}$
الوحدة الخطية الأسية (ELU) [ 16 ]		${\displaystyle {\begin{cases}\alpha \left(e^{x}-1\right)&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}$ مع المعلمة${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}$	${\displaystyle (-\alpha ,\infty )}$	${\displaystyle {\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}}$
وحدة خطية أسية مُقاسة (SELU) [ 17 ]		${\displaystyle \lambda {\begin{cases}\alpha (e^{x}-1)&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$ مع المعلمات${\displaystyle \lambda =1.0507}$و${\displaystyle \alpha =1.67326}$	${\displaystyle \lambda {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle (-\lambda \alpha ,\infty )}$	${\displaystyle C^{0}}$
وحدة تصحيح خطية متسربة (ReLU المتسربة) [ 18 ]		${\displaystyle {\begin{cases}0.01x&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}$	${\displaystyle {\begin{cases}0.01&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
وحدة تصحيح خطية بارامترية (PReLU) [ 19 ]		${\displaystyle {\begin{cases}\alpha x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$ مع المعلمة${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha &{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
وحدات سيجمويد بارامترية معدلة (مرنة، 5 معلمات)		${\displaystyle \alpha (2x{1}_{\{x\geqslant \lambda \}}-g_{\lambda ,\sigma ,\mu ,\beta }(x))+(1-\alpha )g_{\lambda ,\sigma ,\mu ,\beta }(x)}$ أين ${\displaystyle g_{\lambda ,\sigma ,\mu ,\beta }(x)={\frac {(x-\lambda ){1}_{\{x\geqslant \lambda \}}}{1+e^{-\operatorname {sgn}(x-\mu )\left({\frac {\vert x-\mu \vert }{\sigma }}\right)^{\beta }}}}}$[ 20 ]	${\displaystyle -}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
وحدة خطية سيجمويد (SiLU، [ 5 ] انكماش سيجمويد، [ 21 ] SiL، [ 22 ] أو Swish - 1[ 23 ] )		${\displaystyle {\frac {x}{1+e^{-x}}}}$	${\displaystyle {\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}}$	${\displaystyle [-0.278\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
الضغط الخطي الأسي السيني (ELiSH) [ 24 ]		${\displaystyle {\begin{cases}{\frac {e^{x}-1}{1+e^{-x}}}&{\text{if }}x<0\\{\frac {x}{1+e^{-x}}}&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle {\begin{cases}{\frac {2e^{2x}+e^{3x}-e^{x}}{e^{2x}+2e^{x}+1}}&{\text{if }}x<0\\{\frac {xe^{x}+e^{2x}+e^{x}}{e^{2x}+2e^{x}+1}}&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle [-0.881\ldots ,\infty )}$	${\displaystyle C^{1}}$
التوزيع الغاوسي		${\displaystyle e^{-x^{2}}}$	${\displaystyle -2xe^{-x^{2}}}$	${\displaystyle (0,1]}$	${\displaystyle C^{\infty }}$
الجيب		${\displaystyle \sin x}$	${\displaystyle \cos x}$	${\displaystyle [-1,1]}$	${\displaystyle C^{\infty }}$

يسرد الجدول التالي دوال التنشيط التي لا تمثل دوال طية واحدة x من الطبقة أو الطبقات السابقة:

اسم	معادلة،${\displaystyle g_{i}\left({\vec {x}}\right)}$	المشتقات المالية ،${\displaystyle {\frac {\partial g_{i}\left({\vec {x}}\right)}{\partial x_{j}}}}$	يتراوح	ترتيب الاستمرارية
سوفتماكس	${\displaystyle {\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}$  لكل i = 1، ...، J	${\displaystyle g_{i}\left({\vec {x}}\right)\left(\delta _{ij}-g_{j}\left({\vec {x}}\right)\right)}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
ماكس أوت [ 25 ]	${\displaystyle \max _{i}x_{i}}$	${\displaystyle {\begin{cases}1&{\text{if }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{if }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$

^ هنا،${\displaystyle \delta _{ij}}$هي دلتا كرونكر .

على سبيل المثال ،${\displaystyle j}$قد يكون ذلك تكرارًا لعدد النوى في طبقة الشبكة العصبية السابقة بينما${\displaystyle i}$يتكرر عبر عدد النوى في الطبقة الحالية.

في الشبكات العصبية الكمومية المبرمجة على حواسيب كمومية تعتمد على نموذج البوابات ، والمبنية على وحدات الإدراك الكمومية بدلاً من الدوائر الكمومية التباينية، يمكن تطبيق اللاخطية في دالة التنشيط دون الحاجة إلى قياس خرج كل وحدة إدراك في كل طبقة. ويمكن الحفاظ على الخصائص الكمومية المحملة داخل الدائرة، مثل التراكب، من خلال إنشاء متسلسلة تايلور للوسيط الذي تحسبه وحدة الإدراك نفسها، مع دوائر كمومية مناسبة تحسب القوى حتى درجة التقريب المطلوبة. وبفضل مرونة هذه الدوائر الكمومية، يمكن تصميمها لتقريب أي دالة تنشيط كلاسيكية. ^{[ 26 ]}