لوغاريتم المجموع الأسي

دالة LogSumExp ( LSE) (وتُسمى أيضًا RealSoftMax ^{[ 1 ]} أو دالة softplus متعددة المتغيرات ) هي دالة عظمى سلسة - تقريب سلس لدالة الحد الأقصى ، وتُستخدم بشكل أساسي في خوارزميات التعلم الآلي . ^{[ 2 ]} وهي تُعرَّف بأنها لوغاريتم مجموع الدوال الأسية للمتغيرات.

$${\displaystyle \mathrm {LSE} (x_{1},\dots ,x_{n})=\log \left(\exp(x_{1})+\cdots +\exp(x_{n})\right).}$$

مجال دالة LogSumExp هو${\displaystyle \mathbb {R} ^{n}}$، الفضاء الإحداثي الحقيقي ، ومجاله المقابل هو${\displaystyle \mathbb {R} }$الخط الحقيقي . وهو تقريب للقيمة القصوى${\displaystyle \max _{i}x_{i}}$مع الحدود التالية $${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}\leq \mathrm {LSE} (x_{1},\dots ,x_{n})\leq \max {\{x_{1},\dots ,x_{n}\}}+\log(n).}$$المتباينة الأولى صارمة ما لم${\displaystyle n=1}$المتباينة الثانية تكون صارمة ما لم تكن جميع الوسائط متساوية. (البرهان: ليكن${\displaystyle m=\max _{i}x_{i}}$. ثم${\displaystyle \exp(m)\leq \sum _{i=1}^{n}\exp(x_{i})\leq n\exp(m)}$بتطبيق اللوغاريتم على المتباينة نحصل على النتيجة.

بالإضافة إلى ذلك، يمكننا تغيير مقياس الدالة لجعل الحدود أكثر دقة. لنفترض الدالة التالية${\displaystyle {\frac {1}{t}}\mathrm {LSE} (tx_{1},\dots ,tx_{n})}$. ثم $${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}<{\frac {1}{t}}\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{x_{1},\dots ,x_{n}\}}+{\frac {\log(n)}{t}}.}$$ (إثبات: استبدل كل${\displaystyle x_{i}}$مع${\displaystyle tx_{i}}$بالنسبة للبعض${\displaystyle t>0}$في المتباينات أعلاه، لإعطاء $${\displaystyle \max {\{tx_{1},\dots ,tx_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{tx_{1},\dots ,tx_{n}\}}+\log(n).}$$ وبما أن${\displaystyle t>0}$$${\displaystyle t\max {\{x_{1},\dots ,x_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq t\max {\{x_{1},\dots ,x_{n}\}}+\log(n).}$$ وأخيرًا، القسمة على${\displaystyle t}$يعطي النتيجة.)

كذلك، إذا ضربنا في عدد سالب بدلاً من ذلك، فسنجد بالطبع مقارنة بـ${\displaystyle \min }$وظيفة: $${\displaystyle \min {\{x_{1},\dots ,x_{n}\}}-{\frac {\log(n)}{t}}\leq {\frac {1}{-t}}\mathrm {LSE} (-tx)<\min {\{x_{1},\dots ,x_{n}\}}.}$$

دالة LogSumExp محدبة ، ومتزايدة تمامًا في كل مكان ضمن نطاقها. ^{[ 3 ]} وهي ليست محدبة تمامًا، لأنها دالة خطية (خطية مضاف إليها ثابت) على القطر والخطوط المتوازية: ^{[ 4 ]}

${\displaystyle \mathrm {LSE} (x_{1}+c,\dots ,x_{n}+c)=\mathrm {LSE} (x_{1},\dots ,x_{n})+c.}$

باستثناء هذا الاتجاه، فهي محدبة تمامًا ( رتبة مصفوفة هيسيان هي ⁠${\displaystyle n-1}$فعلى سبيل المثال، يؤدي التقييد بمستوى فائق متعامد مع القطر إلى دالة محدبة تمامًا. انظر${\displaystyle \mathrm {LSE} _{0}^{+}}$، أقل.

كتابة${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n}),}$المشتقات الجزئية هي: $${\displaystyle {\frac {\partial }{\partial x_{i}}}{\mathrm {LSE} (\mathbf {x} )}={\frac {\exp x_{i}}{\sum _{j}\exp {x_{j}}}},}$$ وهذا يعني أن تدرج LogSumExp هو دالة softmax .

المرافق المحدب لـ LogSumExp هو الإنتروبيا السالبة .

غالباً ما يتم مصادفة دالة المربعات الصغرى عندما يتم إجراء العمليات الحسابية المعتادة على مقياس لوغاريتمي ، كما هو الحال في احتمال اللوغاريتم . ^{[ 5 ]}

على غرار عمليات الضرب في المقياس الخطي التي تصبح عمليات جمع بسيطة في المقياس اللوغاريتمي، تصبح عملية الجمع في المقياس الخطي هي عملية المربعات الصغرى في المقياس اللوغاريتمي:

$${\displaystyle \mathrm {LSE} (\log(x_{1}),...,\log(x_{n}))=\log(x_{1}+\dots +x_{n})}$$ يتمثل أحد الأهداف الشائعة لاستخدام حسابات المجال اللوغاريتمي في زيادة الدقة وتجنب مشاكل التدفق السفلي والتدفق العلوي عند تمثيل الأعداد الصغيرة جدًا أو الكبيرة جدًا بشكل مباشر (أي في مجال خطي) باستخدام أعداد الفاصلة العائمة ذات الدقة المحدودة. ^{[ 6 ]}

لسوء الحظ، قد يؤدي استخدام طريقة المربعات الصغرى مباشرةً في هذه الحالة إلى مشاكل في تجاوز السعة أو نقصها. لذلك، يجب استخدام الطريقة المكافئة التالية بدلاً من ذلك (خاصةً عندما لا تكون دقة تقريب "الحد الأقصى" المذكور أعلاه كافية).

$${\displaystyle \mathrm {LSE} (x_{1},\dots ,x_{n})=x^{*}+\log \left(\exp(x_{1}-x^{*})+\cdots +\exp(x_{n}-x^{*})\right)}$$ أين${\displaystyle x^{*}=\max {\{x_{1},\dots ,x_{n}\}}}$

توفر العديد من مكتبات الرياضيات مثل IT++ روتينًا افتراضيًا لـ LSE وتستخدم هذه الصيغة داخليًا.

دالة LSE محدبة ولكنها ليست محدبة تمامًا. يمكننا تعريف دالة محدبة تمامًا من نوع log-sum-exp ^{[ 7 ]} بإضافة وسيط إضافي قيمته صفر:

$${\displaystyle \mathrm {LSE} _{0}^{+}(x_{1},...,x_{n})=\mathrm {LSE} (0,x_{1},...,x_{n})}$$ هذه الدالة هي مولد بريغمان حقيقي (محدبة تمامًا وقابلة للتفاضل ). وتُصادف في مجال التعلم الآلي، على سبيل المثال، كعزم تراكمي لعائلة الدوال متعددة الحدود/ذات الحدين.

في التحليل الاستوائي ، هذا هو المجموع في الحلقة شبه اللوغاريتمية .

• المتوسط ​​اللوغاريتمي
• نصف حلقة خشبية
• أقصى درجات السلاسة
• دالة سوفتماكس