خوارزمية الممثل الناقد

يستخدم الممثل وظيفة السياسة${\displaystyle \pi (a|s)}$بينما يقوم الناقد بتقدير دالة القيمة${\displaystyle V(s)}$دالة Q لقيمة الفعل${\displaystyle Q(s,a),}$وظيفة الميزة${\displaystyle A(s,a)}$أو أي مزيج منها.

الممثل عبارة عن دالة ذات معلمات${\displaystyle \pi _{\theta }}$، أين${\displaystyle \theta }$هي معايير الفاعل. يأخذ الفاعل حالة البيئة كمعامل.${\displaystyle s}$وينتج توزيعًا احتماليًا${\displaystyle \pi _{\theta }(\cdot |s)}$.

إذا كانت مساحة الفعل منفصلة، ​​فإن${\displaystyle \sum _{a}\pi _{\theta }(a|s)=1}$إذا كانت مساحة الفعل متصلة، فإن${\displaystyle \int _{a}\pi _{\theta }(a|s)da=1}$.

يهدف تحسين السياسات إلى تحسين أداء الفاعل. أي إيجاد بعض${\displaystyle \theta }$ذلك الذي يزيد من المكافأة العرضية المتوقعة${\displaystyle J(\theta )}$:$${\displaystyle J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\gamma ^{t}r_{t}\right]}$$أين${\displaystyle \gamma }$هو عامل الخصم ،${\displaystyle r_{t}}$المكافأة في الخطوة${\displaystyle t}$، و${\displaystyle T}$هو الأفق الزمني (الذي يمكن أن يكون لانهائيًا).

يهدف أسلوب تدرج السياسة إلى التحسين${\displaystyle J(\theta )}$عن طريق الصعود التدريجي على تدرج السياسة${\displaystyle \nabla J(\theta )}$.

كما هو موضح بالتفصيل في صفحة طريقة تدرج السياسة ، هناك العديد من المقدرات غير المتحيزة لتدرج السياسة:$${\displaystyle \nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{0\leq j\leq T}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\cdot \Psi _{j}{\Big |}S_{0}=s_{0}\right]}$$أين${\textstyle \Psi _{j}}$هو مجموع خطي لما يلي:

• ${\textstyle \sum _{0\leq i\leq T}(\gamma ^{i}R_{i})}$.
• ${\textstyle \gamma ^{j}\sum _{j\leq i\leq T}(\gamma ^{ij}R_{i})}$: خوارزمية التعزيز .
• ${\textstyle \gamma ^{j}\sum _{j\leq i\leq T}(\gamma ^{ij}R_{i})-b(S_{j})}$: خوارزمية REINFORCE مع خط الأساس. هنا${\displaystyle b}$هي دالة اختيارية.
• ${\textstyle \gamma ^{j}\left(R_{j}+\gamma V^{\pi _{\theta }}(S_{j+1})-V^{\pi _{\theta }}(S_{j})\right)}$: التعلم TD(1) .
• ${\textstyle \gamma ^{j}Q^{\pi _{\theta }}(S_{j},A_{j})}$.
• ${\textstyle \gamma ^{j}A^{\pi _{\theta }}(S_{j},A_{j})}$: ميزة الممثل الناقد (A2C) . ^{[ 3 ]}
• ${\textstyle \gamma ^{j}\left(R_{j}+\gamma R_{j+1}+\gamma ^{2}V^{\pi _{\theta }}(S_{j+2})-V^{\pi _{\theta }}(S_{j})\right)}$: التعلم TD(2).
• ${\textstyle \gamma ^{j}\left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: التعلم TD(n).
• ${\textstyle \gamma ^{j}\sum _{n=1}^{\infty }{\frac {\lambda ^{n-1}}{1-\lambda }}\cdot \left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: تعلم TD(λ)، المعروف أيضًا باسم GAE (تقدير الميزة المعمم) . ^{[ 4 ]} يتم الحصول على هذا من خلال مجموع متناقص أُسّيًا لحدود تعلم TD(n).

في المقدرات غير المتحيزة المذكورة أعلاه، توجد دوال معينة مثل${\displaystyle V^{\pi _{\theta }},Q^{\pi _{\theta }},A^{\pi _{\theta }}}$تظهر هذه القيم. ويتم تقريبها بواسطة الناقد . وبما أن هذه الوظائف تعتمد جميعها على الممثل، فيجب على الناقد أن يتعلم بالتوازي مع الممثل. ويتم تعلم الناقد بواسطة خوارزميات التعلم المعزز القائمة على القيمة.

على سبيل المثال، إذا كان الناقد يُقدّر دالة قيمة الحالة${\displaystyle V^{\pi _{\theta }}(s)}$عندئذٍ، يمكن تعلمها بأي طريقة تقريب لدالة القيمة. لنفترض أن الناقد هو مُقَرِّب دالة.${\displaystyle V_{\phi }(s)}$مع المعلمات${\displaystyle \phi }$.

أبسط مثال على ذلك هو التعلم TD(1)، الذي يدرب الناقد على تقليل خطأ TD(1):$${\displaystyle \delta _{i}=R_{i}+\gamma V_{\phi }(S_{i+1})-V_{\phi }(S_{i})}$$يتم تحديث معلمات الناقد عن طريق انحدار التدرج على خطأ TD التربيعي:$${\displaystyle \phi \leftarrow \phi -\alpha \nabla _{\phi }(\delta _{i})^{2}=\phi +\alpha \delta _{i}\nabla _{\phi }V_{\phi }(S_{i})}$$أين${\displaystyle \alpha }$يمثل معدل التعلم. لاحظ أن التدرج يُحسب بالنسبة إلى${\displaystyle \phi }$في${\displaystyle V_{\phi }(S_{i})}$فقط، منذ أن${\displaystyle \phi }$في${\displaystyle \gamma V_{\phi }(S_{i+1})}$يشكل هدفًا متحركًا، ولا يُحسب التدرج بالنسبة إليه. وهذا مصدر شائع للخطأ في التطبيقات التي تستخدم التفاضل التلقائي ، ويتطلب "إيقاف التدرج" عند تلك النقطة.

وبالمثل، إذا كان الناقد يُقدّر دالة قيمة الفعل${\displaystyle Q^{\pi _{\theta }}}$ثم يمكن تعلمها باستخدام خوارزمية Q-learning أو SARSA . في خوارزمية SARSA، يحتفظ الناقد بتقدير لدالة Q، مُعَلمة بواسطة${\displaystyle \phi }$، المشار إليه بـ${\displaystyle Q_{\phi }(s,a)}$ثم يتم حساب خطأ الفرق الزمني على النحو التالي:${\displaystyle \delta _{i}=R_{i}+\gamma Q_{\theta }(S_{i+1},A_{i+1})-Q_{\theta }(S_{i},A_{i})}$ثم يقوم الناقد بتحديث المعلومات.$${\displaystyle \theta \leftarrow \theta +\alpha \delta _{i}\nabla _{\theta }Q_{\theta }(S_{i},A_{i})}$$يمكن تدريب ناقد الميزة من خلال تدريب كل من دالة Q${\displaystyle Q_{\phi }(s,a)}$ودالة قيمة الحالة${\displaystyle V_{\phi }(s)}$ثم دع${\displaystyle A_{\phi }(s,a)=Q_{\phi }(s,a)-V_{\phi }(s)}$على الرغم من ذلك، من الشائع أكثر تدريب دالة قيمة الحالة فقط${\displaystyle V_{\phi }(s)}$ثم قم بتقدير الميزة بواسطة ^{[ 3 ]}$${\displaystyle A_{\phi }(S_{i},A_{i})\approx \sum _{j\in 0:n-1}\gamma ^{j}R_{i+j}+\gamma ^{n}V_{\phi }(S_{i+n})-V_{\phi }(S_{i})}$$هنا،${\displaystyle n}$هو عدد صحيح موجب. كلما زاد${\displaystyle n}$أي أن التحيز في تقدير الميزة يكون أقل، ولكن على حساب زيادة التباين.

يقدم تقدير الميزة المعمم (GAE) معلمة فائقة${\displaystyle \lambda }$التي تقوم بالاستكمال بسلاسة بين نتائج مونت كارلو (${\displaystyle \lambda =1}$(تباين عالٍ، بدون تحيز) والتعلم الزمني الزمني بخطوة واحدة (${\displaystyle \lambda =0}$(تباين منخفض، تحيز عالٍ). يمكن تعديل هذه المعلمة الفائقة لاختيار التوازن الأمثل بين التحيز والتباين في تقدير الميزة. وهي تستخدم متوسطًا متناقصًا أُسّيًا لعوائد n خطوة مع${\displaystyle \lambda }$كونها قوة الاضمحلال. ^{[ 4 ]}