سوفت بلس

في الرياضيات والتعلم الآلي ، دالة softplus هي

${\displaystyle f(x)=\ln(1+e^{x}).}$

هي تقريب سلس (في الواقع، دالة تحليلية ) لدالة المنحدر ، والمعروفة باسم المقوم أو وحدة ReLU (الوحدة الخطية المقومّة) في مجال تعلم الآلة. بالنسبة للقيم السالبة الكبيرة${\displaystyle x}$إنها${\displaystyle \ln(1+e^{x})=\ln(1+\epsilon )\gtrapprox \ln 1=0}$لذا فهي أعلى بقليل من الصفر، بينما بالنسبة للقيم الموجبة الكبيرة${\displaystyle x}$إنها${\displaystyle \ln(1+e^{x})\gtrapprox \ln(e^{x})=x}$، لذا فوق${\displaystyle x}$.

يُستخدم اسما softplus ^{[ 1 ] [ 2 ]} و SmoothReLU ^{[ 3 ]} في مجال تعلم الآلة. ويُفترض أن تسمية "softplus" (2000)، قياسًا على اسم softmax (1989) السابق، تعود إلى كونه تقريبًا سلسًا ( ناعمًا ) للجزء الموجب من x ، والذي يُشار إليه أحيانًا بعلامة زائد (+) في أعلى المصفوفة .${\displaystyle x^{+}:=\max(0,x)}$.

يمكن تقريب هذه الدالة على النحو التالي:

${\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

عن طريق تغيير المتغيرات${\displaystyle x=y\ln(2)}$وهذا يعادل

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0.\end{cases}}}$

معامل الحدة${\displaystyle k}$قد يشمل ذلك ما يلي:

${\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad \qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}.}$

بالإضافة إلى ذلك، فإن دالة softplus تعادل لوغاريتم دالة sigmoid بالطريقة التالية:

${\displaystyle -\ln({\text{sigmoid}}(-x))=-\ln \left({\frac {1}{1+e^{x}}}\right)=\ln \left(1+e^{x}\right)={\text{softplus}}(x)}$

مشتقة دالة softplus هي الدالة اللوجستية القياسية :

${\displaystyle f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}$

الدالة اللوجستية أو الدالة السينية هي تقريب سلس للمقوم، دالة هيفسايد المتدرجة .