وحدة التكرار البوابية

في البداية، لـ${\displaystyle t=0}$، متجه الإخراج هو${\displaystyle h_{0}=0}$.

$\begin{aligned}z_{t}&=\sigma (W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma (W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\{\hat {h}}_{t}&=\phi (W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-z_{t})\odot h_{t-1}+z_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

المتغيرات (${\displaystyle d}$يشير إلى عدد ميزات الإدخال و${\displaystyle e}$عدد ميزات الإخراج):

• ${\displaystyle x_{t}\in \mathbb {R} ^{d}}$متجه الإدخال
• ${\displaystyle h_{t}\in \mathbb {R} ^{e}}$متجه الإخراج
• ${\displaystyle {\hat {h}}_{t}\in \mathbb {R} ^{e}}$: متجه تنشيط المرشح
• ${\displaystyle z_{t}\in (0,1)^{e}}$تحديث متجه البوابة
• ${\displaystyle r_{t}\in (0,1)^{e}}$إعادة ضبط متجه البوابة
• ${\displaystyle W\in \mathbb {R} ^{e\times d}}$،${\displaystyle U\in \mathbb {R} ^{e\times e}}$و${\displaystyle b\in \mathbb {R} ^{e}}$: مصفوفات المعلمات والمتجهات التي يجب تعلمها أثناء التدريب

وظائف التنشيط

• ${\displaystyle \sigma }$الأصل هو دالة لوجستية .
• ${\displaystyle \phi }$الأصل هو ظل زائدي .

توجد وظائف تنشيط بديلة، شريطة أن${\displaystyle \sigma (x)\in [0,1]}$.

يمكن إنشاء نماذج بديلة عن طريق التغيير${\displaystyle z_{t}}$و${\displaystyle r_{t}}$^{[ 9 ]}

• النوع 1: تعتمد كل بوابة فقط على الحالة المخفية السابقة والانحياز.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma (U_{r}h_{t-1}+b_{r})\\\end{aligned}}}$

• النوع الثاني: كل بوابة تعتمد فقط على الحالة المخفية السابقة.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (U_{z}h_{t-1})\\r_{t}&=\sigma (U_{r}h_{t-1})\\\end{aligned}}}$

• النوع 3: يتم حساب كل بوابة باستخدام الانحياز فقط.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (b_{z})\\r_{t}&=\sigma (b_{r})\\\end{aligned}}}$

تُشبه وحدة البوابة الدنيا (MGU) وحدة البوابة الكاملة، باستثناء دمج متجهي بوابة التحديث وإعادة الضبط في بوابة النسيان. وهذا يعني أيضًا ضرورة تغيير معادلة متجه الخرج: ^{[ 10 ]}

${\displaystyle {\begin{aligned}f_{t}&=\sigma (W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\{\hat {h}}_{t}&=\phi (W_{h}x_{t}+U_{h}(f_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-f_{t})\odot h_{t-1}+f_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

المتغيرات

• ${\displaystyle x_{t}}$متجه الإدخال
• ${\displaystyle h_{t}}$متجه الإخراج
• ${\displaystyle {\hat {h}}_{t}}$: متجه تنشيط المرشح
• ${\displaystyle f_{t}}$انسَ أمر المتجهات
• ${\displaystyle W}$،${\displaystyle U}$و${\displaystyle b}$: مصفوفات ومتجهات المعاملات

تقوم وحدة التكرار ذات البوابة الضوئية (LiGRU) ^{[ 4 ]} بإزالة بوابة إعادة الضبط تمامًا، واستبدال tanh بتنشيط ReLU ، وتطبيق تسوية الدفعات (BN):

${\displaystyle {\begin{aligned}z_{t}&=\sigma (\operatorname {BN} (W_{z}x_{t})+U_{z}h_{t-1})\\{\tilde {h}}_{t}&=\operatorname {ReLU} (\operatorname {BN} (W_{h}x_{t})+U_{h}h_{t-1})\\h_{t}&=z_{t}\odot h_{t-1}+(1-z_{t})\odot {\tilde {h}}_{t}\end{aligned}}}$

تمت دراسة LiGRU من منظور بايزي. ^{[ 11 ]} وقد أسفر هذا التحليل عن متغير يسمى وحدة التكرار البايزية الخفيفة (LiBRU)، والذي أظهر تحسينات طفيفة على LiGRU في مهام التعرف على الكلام .