التشفير التلقائي

يتم تعريف المشفر التلقائي بالمكونات التالية:

مجموعتان: مساحة الرسائل المشفرة${\displaystyle {\mathcal {Z}}}$مساحة الرسائل التي تم فك تشفيرها${\displaystyle {\mathcal {X}}}$. عادة${\displaystyle {\mathcal {X}}}$و${\displaystyle {\mathcal {Z}}}$هي فضاءات إقليدية ، أي${\displaystyle {\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}}$مع${\displaystyle m>n.}$

مجموعتان من الدوال ذات المعاملات : مجموعة المشفر${\displaystyle E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}}$، مُعَلمة بواسطة${\displaystyle \phi }$عائلة أجهزة فك التشفير${\displaystyle D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}}$، مُعَلمة بواسطة${\displaystyle \theta }$.

لأي${\displaystyle x\in {\mathcal {X}}}$نكتب عادةً${\displaystyle z=E_{\phi }(x)}$، ويُشار إليه بالرمز، أو المتغير الكامن ، أو التمثيل الكامن، أو المتجه الكامن، وما إلى ذلك. وعلى العكس من ذلك، بالنسبة لأي${\displaystyle z\in {\mathcal {Z}}}$نكتب عادةً${\displaystyle x'=D_{\theta }(z)}$، والإشارة إليها باسم الرسالة (التي تم فك تشفيرها).

عادةً، يُعرَّف كل من المُشفِّر والمُفكِّك على أنهما شبكات عصبية متعددة الطبقات (MLPs). على سبيل المثال، مُشفِّر MLP أحادي الطبقة${\displaystyle E_{\phi }}$يكون:

${\displaystyle E_{\phi }(\mathbf {x} )=\sigma (Wx+b)}$

أين${\displaystyle \sigma }$هي دالة تنشيط عنصرية ،${\displaystyle W}$هي مصفوفة "أوزان"، و${\displaystyle b}$هو متجه "انحياز".

المشفر التلقائي، في حد ذاته، هو ببساطة مجموعة من دالتين. لتقييم جودته ، نحتاج إلى مهمة . تُعرَّف المهمة بتوزيع احتمالي مرجعي.${\displaystyle \mu _{ref}}$زيادة${\displaystyle {\mathcal {X}}}$ووظيفة "جودة إعادة البناء".${\displaystyle d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]}$بحيث${\displaystyle d(x,x')}$يقيس مقدار${\displaystyle x'}$يختلف عن${\displaystyle x}$.

باستخدام هذه المعلومات، يمكننا تعريف دالة الخسارة للمشفّر التلقائي على النحو التالي:$${\displaystyle L(\theta ,\phi ):=\mathbb {\mathbb {E} } _{x\sim \mu _{ref}}[d(x,D_{\theta }(E_{\phi }(x))]}$$المُشفِّر التلقائي الأمثل للمهمة المحددة${\displaystyle (\mu _{ref},d)}$ثم${\displaystyle \arg \min _{\theta ,\phi }L(\theta ,\phi )}$يمكن البحث عن المشفر التلقائي الأمثل باستخدام أي تقنية تحسين رياضية، ولكن عادةً ما يتم ذلك باستخدام خوارزمية التدرج الهبوطي . وتُعرف عملية البحث هذه باسم "تدريب المشفر التلقائي".

في معظم الحالات، يكون التوزيع المرجعي هو التوزيع التجريبي الذي توفره مجموعة البيانات.${\displaystyle \{x_{1},...,x_{N}\}\subset {\mathcal {X}}}$، لهذا السبب$${\displaystyle \mu _{ref}={\frac {1}{N}}\sum _{i=1}^{N}\delta _{x_{i}}}$$

أين${\displaystyle \delta _{x_{i}}}$هو مقياس ديراك ، ودالة الجودة هي فقط${\displaystyle L^{2}}$خسارة:${\displaystyle d(x,x')=\|xx'\|_{2}^{2}}$، و${\displaystyle \|\cdot \|_{2}}$المعيار الإقليدي . عندئذٍ، تصبح مشكلة البحث عن المشفر التلقائي الأمثل مجرد مسألة تحسين باستخدام طريقة المربعات الصغرى .$$// }(x_{i}))\|_{2}^{2}}$$

يتكون المشفر التلقائي من جزأين رئيسيين: مشفر يقوم بتحويل الرسالة إلى رمز، ومفكك يقوم بإعادة بناء الرسالة من هذا الرمز. ويسعى المشفر التلقائي الأمثل إلى تحقيق إعادة بناء أقرب ما يكون إلى الكمال، حيث تُحدد "الدقة المتناهية" بواسطة دالة جودة إعادة البناء.${\displaystyle d}$.

أبسط طريقة لتنفيذ مهمة النسخ على أكمل وجه هي تكرار الإشارة. ولكبح هذا السلوك، يتم استخدام مساحة الكود${\displaystyle {\mathcal {Z}}}$عادة ما يكون لها أبعاد أقل من مساحة الرسالة${\displaystyle {\mathcal {X}}}$.

يُطلق على هذا النوع من المشفرات التلقائية اسم المشفر غير الكامل . ويمكن تفسيره على أنه يضغط الرسالة، أو يقلل من أبعادها . ^{[ 9 ] [ 10 ]}

في حدود المشفر التلقائي المثالي غير المكتمل، كل رمز ممكن${\displaystyle z}$يُستخدم في مساحة الترميز لتشفير رسالة${\displaystyle x}$يظهر ذلك بوضوح في التوزيع${\displaystyle \mu _{ref}}$وجهاز فك التشفير مثالي أيضاً:${\displaystyle D_{\theta }(E_{\phi }(x))=x}$يمكن استخدام هذا المشفر التلقائي المثالي لإنشاء رسائل لا يمكن تمييزها عن الرسائل الحقيقية، وذلك بتغذية وحدة فك التشفير الخاصة به برمز عشوائي${\displaystyle z}$والحصول على${\displaystyle D_{\theta }(z)}$وهي رسالة تظهر بالفعل في التوزيع${\displaystyle \mu _{ref}}$.

إذا مساحة الكود${\displaystyle {\mathcal {Z}}}$له بُعد أكبر من ( مكتمل بشكل زائد )، أو يساوي مساحة الرسالة${\displaystyle {\mathcal {X}}}$أو إذا مُنحت الوحدات المخفية سعة كافية، فقد يتعلم المشفر التلقائي دالة الهوية ويصبح عديم الفائدة. ومع ذلك، فقد وجدت النتائج التجريبية أن المشفرات التلقائية ذات السعة الزائدة قد لا تزال تتعلم ميزات مفيدة . ^{[ 11 ]}

في الوضع الأمثل، يمكن تحديد أبعاد الكود وسعة النموذج بناءً على مدى تعقيد توزيع البيانات المراد نمذجتها. وتتمثل إحدى الطرق القياسية للقيام بذلك في إضافة تعديلات على المشفر التلقائي الأساسي، وسيتم تفصيلها أدناه. ^{[ 2 ]}

تنتمي المشفرات التلقائية التباينية (VAEs) إلى عائلة أساليب بايز التباينية . ورغم التشابهات البنيوية مع المشفرات التلقائية الأساسية، فإن VAEs مصممة بأهداف مختلفة ولها صياغة رياضية مختلفة. في هذه الحالة، يتكون الفضاء الكامن من مزيج من التوزيعات بدلاً من متجهات ثابتة.

بالنظر إلى مجموعة بيانات الإدخال${\displaystyle x}$تتميز بدالة احتمالية غير معروفة${\displaystyle P(x)}$ومتجه ترميز كامن متعدد المتغيرات${\displaystyle z}$الهدف هو نمذجة البيانات كتوزيع${\displaystyle p_{\theta }(x)}$، مع${\displaystyle \theta }$تُعرَّف بأنها مجموعة معلمات الشبكة بحيث${\displaystyle p_{\theta}(x)=\int _{z}p_{\theta }(x,z)dz}$.

استُلهمت المشفرات التلقائية المتفرقة (SAE) من فرضية الترميز المتفرق في علم الأعصاب، وهي عبارة عن أنواع مختلفة من المشفرات التلقائية، بحيث تكون الرموز${\displaystyle E_{\phi }(x)}$لأن الرسائل تميل إلى أن تكون رموزًا متفرقة ، أي${\displaystyle E_{\phi }(x)}$تكون القيمة قريبة من الصفر في معظم المدخلات. قد تتضمن المشفرات التلقائية المتفرقة عددًا أكبر (بدلاً من عدد أقل) من الوحدات المخفية مقارنةً بالمدخلات، ولكن يُسمح لعدد قليل فقط من الوحدات المخفية بأن تكون نشطة في الوقت نفسه. ^{[ 12 ]} يُحسّن تشجيع التفرق الأداء في مهام التصنيف. ^{[ 13 ]}

هناك طريقتان رئيسيتان لفرض التباعد. إحداهما هي ببساطة تقييد جميع التنشيطات باستثناء أعلى k تنشيطات للرمز الكامن إلى الصفر. وهذا ما يُعرف بالمُشفِّر التلقائي k-sparse . ^{[ 13 ]}

يقوم المشفر التلقائي k-sparse بإدخال "دالة k-sparse" التالية في الطبقة الكامنة للمشفر التلقائي القياسي:$${\displaystyle f_{k}(x_{1},...,x_{n})=(x_{1}b_{1},...,x_{n}b_{n})}$$أين${\displaystyle b_{i}=1}$لو${\displaystyle |x_{i}|}$يحتل مرتبة ضمن أفضل k، و 0 فيما عدا ذلك.

الانتشار العكسي من خلال${\displaystyle f_{k}}$الأمر بسيط: اضبط التدرج على 0 لـ${\displaystyle b_{i}=0}$المدخلات، والحفاظ على التدرج لـ${\displaystyle b_{i}=1}$المدخلات. هذه في الأساس دالة ReLU معممة . ^{[ 13 ]}

أما الطريقة الأخرى فهي نسخة مخففة من المشفر التلقائي ذي التباين k. فبدلاً من فرض التباين، نضيف دالة خسارة لتنظيم التباين ، ثم نقوم بالتحسين لـ$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{\text{sparse}}(\theta ,\phi )}$$أين${\displaystyle \lambda >0}$يقيس مدى التباعد الذي نرغب في فرضه. ^{[ 14 ]}

لنفترض أن بنية المشفر التلقائي تحتوي على${\displaystyle K}$الطبقات. لتحديد خسارة تنظيم التباعد، نحتاج إلى تباعد "مرغوب فيه".${\displaystyle {\hat {\rho }}_{k}}$لكل طبقة، وزن${\displaystyle w_{k}}$لتحديد مقدار فرض كل نوع من أنواع التباعد، ودالة.${\displaystyle s:[0,1]\times [0,1]\to [0,\infty ]}$لقياس مدى اختلاف قيمتين من حيث التباعد.

لكل مدخل${\displaystyle x}$، دع التباعد الفعلي للتنشيط في كل طبقة${\displaystyle k}$يكون$${\displaystyle \rho _{k}(x)={\frac {1}{n}}\sum _{i=1}^{n}a_{k,i}(x)}$$أين${\displaystyle a_{k,i}(x)}$التنشيط في${\displaystyle i}$العصبون رقم - من${\displaystyle k}$الطبقة رقم - عند الإدخال${\displaystyle x}$.

خسارة التباعد عند الإدخال${\displaystyle x}$لأن الطبقة الواحدة هي${\displaystyle s({\hat {\rho }}_{k},\rho _{k}(x))}$، ويكون فقدان تنظيم التباعد للمشفر التلقائي بأكمله هو المجموع المرجح المتوقع لفقدان التباعد:$${\displaystyle L_{\text{sparse}}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}s({\hat {\rho }}_{k},\rho _{k}(x))\right]}$$عادةً، الوظيفة${\displaystyle s}$إما أن يكون تباعد كولباك-لايبير (KL) ، كما هو موضح في ^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]}

${\displaystyle s(\rho ,{\hat {\rho }})=KL(\rho ||{\hat {\rho }})=\rho \log {\frac {\rho }{\hat {\rho }}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho }}}}}$

أو فقدان L1، كما${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|}$أو فقدان الطبقة الثانية، كما${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}}$.

بدلاً من ذلك، يمكن تعريف خسارة تنظيم التباعد دون الرجوع إلى أي "تباعد مرغوب فيه"، بل ببساطة فرض أكبر قدر ممكن من التباعد. في هذه الحالة، يمكن تعريف خسارة تنظيم التباعد على النحو التالي:$${\displaystyle L_{\text{sparse}}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}\|h_{k}\|\right]}$$أين${\displaystyle h_{k}}$هو متجه التنشيط في${\displaystyle k}$الطبقة رقم - من المشفر التلقائي. المعيار${\displaystyle \|\cdot \|}$عادة ما يكون المعيار L1 (مما يعطي المشفر التلقائي L1 المتفرق) أو المعيار L2 (مما يعطي المشفر التلقائي L2 المتفرق).

تحاول مشفرات إزالة التشويش التلقائية (DAE) تحقيق تمثيل جيد عن طريق تغيير معيار إعادة البناء . ^{[ 2 ] [ 3 ]}

يتم تدريب شبكة التشفير التلقائي الديناميكية (DAE)، التي أطلق عليها مارك أ. كرامر في الأصل اسم "شبكة التشفير التلقائي القوية" ^{[ 17 ]} ، عن طريق إفساد مدخلات مشفر تلقائي قياسي عمدًا أثناء التدريب. وتُعرَّف عملية الضوضاء بتوزيع احتمالي.${\displaystyle \mu _{T}}$وظائف إضافية${\displaystyle T:{\mathcal {X}}\to {\mathcal {X}}}$أي الوظيفة${\displaystyle T}$يستقبل رسالة${\displaystyle x\in {\mathcal {X}}}$ويحولها إلى نسخة مشوشة${\displaystyle T(x)}$الوظيفة${\displaystyle T}$يتم اختيارها عشوائياً، وفقاً لتوزيع احتمالي${\displaystyle \mu _{T}}$.

مهمة معينة${\displaystyle (\mu _{\text{ref}},d)}$، مشكلة تدريب نموذج المعادلات التفاضلية الجبرية هي مشكلة تحسين:$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X},T\sim \mu _{T}}[d(x,(D_{\theta }\circ E_{\phi }\circ T)(x))]}$$أي أن نموذج DAE الأمثل يجب أن يأخذ أي رسالة مشوشة ويحاول استعادة الرسالة الأصلية بدون ضوضاء، ومن هنا جاء اسم "إزالة الضوضاء" .

عادةً، عملية الضوضاء${\displaystyle T}$يتم تطبيق ذلك فقط أثناء التدريب والاختبار، وليس أثناء الاستخدام اللاحق.

يعتمد استخدام المعادلات التفاضلية الجبرية على افتراضين:

• توجد تمثيلات للرسائل تتسم بالاستقرار النسبي والقوة في مواجهة نوع الضوضاء التي من المحتمل أن نواجهها؛
• تُجسّد هذه التمثيلات هياكل في توزيع المدخلات مفيدة لأغراضنا. ^{[ 3 ]}

تتضمن أمثلة عمليات الضوضاء ما يلي:

• ضوضاء غاوسية متجانسة مضافة ،
• ضوضاء التغطية (يتم اختيار جزء من المدخلات عشوائياً وتعيينه على 0)
• ضوضاء الملح والفلفل (يتم اختيار جزء من المدخلات عشوائياً وتعيينه عشوائياً إلى قيمته الدنيا أو القصوى). ^{[ 3 ]}

يقوم المشفر التلقائي الانكماشي (CAE) بإضافة خسارة التنظيم الانكماشي إلى خسارة المشفر التلقائي القياسي:$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{\text{cont}}(\theta ,\phi )}$$أين${\displaystyle \lambda >0}$يقيس هذا المقياس مدى الانكماش الذي نرغب في فرضه. ويُعرَّف فقدان التنظيم الانكماشي نفسه بأنه مربع القيمة المتوقعة لمعيار فروبينيوس لمصفوفة جاكوبي لتنشيطات المُشفِّر بالنسبة للمدخلات.$${\displaystyle L_{\text{cont}}(\theta ,\phi )=\mathbb {E} _{x\sim \mu _{ref}}\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$$لفهم ماذا${\displaystyle L_{\text{cont}}}$التدابير، لاحظ الحقيقة$${\displaystyle \|E_{\phi }(x+\delta x)-E_{\phi }(x)\|_{2}\leq \|\nabla _{x}E_{\phi }(x)\|_{F}\|\delta x\|_{2}}$$لأي رسالة${\displaystyle x\in {\mathcal {X}}}$، واختلاف طفيف${\displaystyle \delta x}$فيه. وبالتالي، إذا${\displaystyle \|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$عندما تكون قيمة `t` صغيرة، فهذا يعني أن نطاقًا صغيرًا من الرسالة يُقابله نطاق صغير من رمزها. وهذه خاصية مرغوبة، إذ تعني أن التباين الطفيف في الرسالة يؤدي إلى تباين طفيف، وربما معدوم، في رمزها، تمامًا كما قد تبدو صورتان متشابهتين حتى لو لم تكونا متطابقتين تمامًا.

يمكن فهم DAE على أنه حد متناهي الصغر لـ CAE: في حالة الضوضاء المدخلة الغاوسية الصغيرة، تجعل DAEs دالة إعادة البناء تقاوم الاضطرابات المدخلة الصغيرة ولكن ذات الحجم المحدود، بينما تجعل CAEs الميزات المستخرجة تقاوم الاضطرابات المدخلة المتناهية الصغر.

يُعدّ مُشفّر البيانات التلقائي ذو الحد الأدنى لطول الوصف (MDL-AE) نسخةً مُطوّرة من مُشفّر البيانات التلقائي التقليدي، حيث يستفيد من مبادئ نظرية المعلومات، وتحديدًا مبدأ الحد الأدنى لطول الوصف (MDL) . ينصّ مبدأ MDL على أن أفضل نموذج لمجموعة بيانات هو النموذج الذي يُوفّر أقصر ترميز مُدمج للنموذج والبيانات. في سياق مُشفّرات البيانات التلقائية ، يُطبّق هذا المبدأ لضمان أن يكون التمثيل المُستخلص ليس فقط مُختصرًا، بل أيضًا قابلًا للتفسير وفعّالًا لإعادة البناء.

تسعى خوارزمية MDL-AE إلى تقليل طول الوصف الإجمالي للبيانات، والذي يشمل حجم التمثيل الكامن (طول الكود) والخطأ في إعادة بناء البيانات الأصلية. ويمكن التعبير عن الهدف على النحو التالي: ${\displaystyle L_{\text{code}}+L_{\text{error}}}$، أين${\displaystyle L_{\text{code}}}$يمثل طول التمثيل الكامن المضغوط و${\displaystyle L_{\text{error}}}$يشير إلى خطأ إعادة البناء. ^{[ 18 ]}

صُمم المشفر التلقائي الملموس لاختيار الميزات المنفصلة. ^{[ 19 ]} يُجبر المشفر التلقائي الملموس الفضاء الكامن على أن يتكون فقط من عدد محدد من الميزات من قِبل المستخدم. يستخدم المشفر التلقائي الملموس استرخاءً مستمرًا للتوزيع الفئوي للسماح للتدرجات بالمرور عبر طبقة اختيار الميزات، مما يُتيح استخدام الانتشار العكسي القياسي لتعلم مجموعة فرعية مثالية من ميزات الإدخال التي تُقلل من فقدان إعادة البناء.

قام جيفري هينتون بتطوير تقنية شبكة الاعتقاد العميق لتدريب المشفرات التلقائية العميقة متعددة الطبقات. تتضمن طريقته التعامل مع كل مجموعة متجاورة من طبقتين كآلة بولتزمان مقيدة بحيث يقترب التدريب المسبق من حل جيد، ثم استخدام الانتشار العكسي لضبط النتائج بدقة. ^{[ 10 ]}

ناقش الباحثون ما إذا كان التدريب المشترك (أي تدريب البنية الكاملة مع هدف إعادة بناء عالمي واحد لتحسين الأداء) أفضل للمشفرات التلقائية العميقة. ^{[ 21 ]} أظهرت دراسة أجريت عام 2015 أن التدريب المشترك يتعلم نماذج بيانات أفضل، بالإضافة إلى ميزات أكثر تمثيلاً للتصنيف، مقارنةً بالطريقة الطبقية. ^{[ 21 ]} ومع ذلك، أظهرت تجاربهم أن نجاح التدريب المشترك يعتمد بشكل كبير على استراتيجيات التنظيم المعتمدة. ^{[ 21 ] [ 22 ]}

كان تقليل الأبعاد أحد التطبيقات الأولى للتعلم العميق . ^{[ 2 ]}

في دراسة هينتون لعام 2006، ^{[ 10 ]} قام بتدريب مُشفِّر تلقائي متعدد الطبقات مسبقًا باستخدام مجموعة من نماذج بولتزمان المقيدة (RBMs) ، ثم استخدم أوزانها لتهيئة مُشفِّر تلقائي عميق بطبقات مخفية أصغر تدريجيًا حتى وصل إلى حد أقصى يبلغ 30 عصبونًا. وقد أسفرت الأبعاد الثلاثون الناتجة للرمز عن خطأ إعادة بناء أقل مقارنةً بأول 30 مكونًا من تحليل المكونات الرئيسية (PCA)، وتعلم تمثيلًا أسهل نوعيًا في التفسير، يفصل بوضوح بين مجموعات البيانات. ^{[ 2 ] [ 10 ]}

يمكن أن يؤدي تقليل الأبعاد إلى تحسين الأداء في مهام مثل التصنيف. ^{[ 2 ]} في الواقع، السمة المميزة لتقليل الأبعاد هي وضع الأمثلة ذات الصلة الدلالية بالقرب من بعضها البعض. ^{[ 38 ]}

تحليل المكونات الرئيسية

في حال استخدام التنشيطات الخطية، أو طبقة مخفية واحدة فقط من نوع سيجمويد، فإن الحل الأمثل للمشفّر التلقائي يرتبط ارتباطًا وثيقًا بتحليل المكونات الرئيسية (PCA). ^{[ 29 ] [ 39 ]} أوزان المشفّر التلقائي ذي الطبقة المخفية الواحدة بحجم${\displaystyle p}$(أين${\displaystyle p}$(أقل من حجم المدخلات) تشكل نفس الفضاء المتجهي الفرعي الذي تشكله الأولى${\displaystyle p}$المكونات الرئيسية، ويكون ناتج المشفر التلقائي إسقاطًا متعامدًا على هذا الفضاء الفرعي. لا تتساوى أوزان المشفر التلقائي مع المكونات الرئيسية، وهي عمومًا غير متعامدة، ومع ذلك يمكن استعادة المكونات الرئيسية منها باستخدام تحليل القيم المفردة . ^{[ 40 ]}

ومع ذلك، تكمن إمكانات المشفرات التلقائية في عدم خطيتها، مما يسمح للنموذج بتعلم تعميمات أكثر قوة مقارنة بتحليل المكونات الرئيسية، وإعادة بناء المدخلات مع فقدان معلومات أقل بكثير. ^{[ 10 ]}

يستفيد استرجاع المعلومات بشكل خاص من تقليل الأبعاد ، إذ يصبح البحث أكثر كفاءة في أنواع معينة من الفضاءات منخفضة الأبعاد. وقد طُبقت المشفرات التلقائية بالفعل على التجزئة الدلالية، التي اقترحها سالاخوتدينوف وهينتون عام 2007. ^{[ 38 ]} من خلال تدريب الخوارزمية لإنتاج رمز ثنائي منخفض الأبعاد، يمكن تخزين جميع مدخلات قاعدة البيانات في جدول تجزئة يربط متجهات الرمز الثنائي بالمدخلات. يدعم هذا الجدول استرجاع المعلومات عن طريق إرجاع جميع المدخلات التي لها نفس الرمز الثنائي للاستعلام، أو مدخلات أقل تشابهًا عن طريق عكس بعض البتات من ترميز الاستعلام.

يُعدّ الكشف عن الحالات الشاذة تطبيقًا آخر للمشفّرات التلقائية . ^{[ 17 ] [ 41 ] [ 42 ] [ 43 ] [ 44 ] [ 45 ]} من خلال تعلّم محاكاة أبرز السمات في بيانات التدريب في ظل بعض القيود المذكورة سابقًا، يُشجَّع النموذج على تعلّم إعادة إنتاج الخصائص الأكثر شيوعًا بدقة. عند مواجهة حالات شاذة، ينبغي أن يتراجع أداء النموذج في إعادة البناء. في معظم الحالات، تُستخدم البيانات التي تحتوي على حالات طبيعية فقط لتدريب المشفّر التلقائي؛ وفي حالات أخرى، يكون تكرار الحالات الشاذة ضئيلًا مقارنةً بمجموعة الملاحظات، بحيث يمكن تجاهل مساهمتها في التمثيل المُتعلّم. بعد التدريب، يُعيد المشفّر التلقائي بناء البيانات "الطبيعية" بدقة، بينما يفشل في ذلك مع البيانات الشاذة غير المألوفة. ^{[ 43 ]} يُستخدم خطأ إعادة البناء (الخطأ بين البيانات الأصلية وإعادة بنائها منخفضة الأبعاد) كمقياس للشذوذ للكشف عن الحالات الشاذة. ^{[ 43 ]} عادةً، يعني هذا أنه على مجموعة التحقق، يتم تسجيل التوزيع التجريبي لأخطاء إعادة البناء، ثم (على سبيل المثال) النسبة المئوية التجريبية 95${\displaystyle x_{p}}$يُعتبر هذا بمثابة عتبة${\displaystyle t:=x_{p}}$لتحديد نقاط البيانات الشاذة:${\displaystyle {\text{loss}}(x,{\text{reconstruction}}(x))>t\implies {\text{anomaly}}}$بما أن العتبة هي تقدير كمي تجريبي ، فهناك صعوبة متأصلة في تحديد هذه العتبة "بشكل صحيح": في كثير من الحالات، يكون توزيع الكمية التجريبية توزيعًا طبيعيًا تقاربًا.${\displaystyle {\text{empirical p-quantile}}\sim {\mathcal {N}}\left(\mu =p,\sigma ^{2}={\frac {p(1-p)}{nf(x_{p})^{2}}}\right),}$مع${\displaystyle f(x_{p})}$دالة الكثافة الاحتمالية عند المئين. وهذا يعني أن التباين يزداد إذا تم اعتبار مئين متطرف (لأن${\displaystyle f(x_{p})}$(صغير هناك). هذا يعني أن هناك، ربما، قدراً كبيراً من عدم اليقين بشأن الخيار الصحيح للعتبة لأنها تُقدّر من مجموعة التحقق.

مع ذلك، أظهرت الدراسات الحديثة أن بعض نماذج الترميز التلقائي، على عكس المتوقع، قد تكون ممتازة في إعادة بناء الأمثلة الشاذة، وبالتالي غير قادرة على كشف الشذوذ بشكل موثوق. ^{[ 46 ] [ 47 ]} ويمكن فهم ذلك بشكل بديهي من خلال النظر إلى نماذج الترميز التلقائي أحادية الطبقة المرتبطة بتحليل المكونات الرئيسية (PCA)؛ ففي هذه الحالة أيضًا، يمكن الحصول على عمليات إعادة بناء مثالية للنقاط البعيدة عن منطقة البيانات، ولكنها تقع على محور أحد المكونات الرئيسية.

من الأفضل تحليل ما إذا كانت الحالات الشاذة التي يُشير إليها المُشفِّر التلقائي حالات شاذة حقيقية. وبهذا المعنى، يُمكن النظر في جميع المقاييس المُستخدمة في تقييم المُصنِّفات الثنائية . يتمثل التحدي الأساسي في بيئة التعلّم غير المُشرف (التعلّم الذاتي) في عدم وجود تصنيفات للأحداث النادرة (وفي هذه الحالة، يجب جمع التصنيفات أولًا، ما يُؤدي إلى عدم توازن مجموعة البيانات)، أو في ندرة التصنيفات التي تُشير إلى الحالات الشاذة، ما يُؤدي إلى فترات ثقة أوسع لتقديرات الأداء هذه.

تُعد خصائص المشفرات التلقائية مفيدة في معالجة الصور.

يمكن إيجاد مثال على ذلك في ضغط الصور مع فقدان البيانات، حيث تفوقت المشفرات التلقائية على الأساليب الأخرى وأثبتت قدرتها التنافسية ضد JPEG 2000. ^{[ 48 ] [ 49 ]}

ومن التطبيقات المفيدة الأخرى للمشفرات التلقائية في المعالجة المسبقة للصور إزالة التشويش من الصور . ^{[ 50 ] [ 51 ] [ 52 ]}

وجدت المشفرات التلقائية استخدامًا في سياقات أكثر تعقيدًا، مثل التصوير الطبي، حيث استُخدمت لإزالة التشويش من الصور ^{[ 53 ]} ، بالإضافة إلى تحسين دقتها ^{[ 54 ] [ 55 ]} . وفي التشخيص بمساعدة الصور، طُبقت المشفرات التلقائية في التجارب للكشف عن سرطان الثدي ^{[ 56 ]} ، ولنمذجة العلاقة بين التدهور المعرفي لمرض الزهايمر والخصائص الكامنة لمشفر تلقائي مُدرَّب باستخدام التصوير بالرنين المغناطيسي ^{[ 57 ]} .

في عام 2019، تم التحقق تجريبياً من صحة الجزيئات المُولَّدة باستخدام المشفرات التلقائية المتغيرة في الفئران. ^{[ 58 ] [ 59 ]}

في الآونة الأخيرة، حقق إطار عمل التشفير التلقائي المكدس نتائج واعدة في التنبؤ بشعبية منشورات وسائل التواصل الاجتماعي، ^{[ 60 ]} وهو أمر مفيد لاستراتيجيات الإعلان عبر الإنترنت.

تم تطبيق المشفرات التلقائية على الترجمة الآلية ، والتي يُشار إليها عادةً بالترجمة الآلية العصبية (NMT). ^{[ 61 ] [ 62 ]} على عكس المشفرات التلقائية التقليدية، لا تتطابق المخرجات مع المدخلات، بل تكون بلغة أخرى. في الترجمة الآلية العصبية، تُعامل النصوص كسلاسل تُشفّر في عملية التعلم، بينما تُولّد سلاسل في اللغة (اللغات) المستهدفة على جانب وحدة فك التشفير. تُدمج المشفرات التلقائية الخاصة بكل لغة خصائص لغوية إضافية في عملية التعلم، مثل خصائص التفكيك الصينية. ^{[ 63 ]} نادرًا ما تُستخدم المشفرات التلقائية في الترجمة الآلية حاليًا، نظرًا لتوافر شبكات المحولات الأكثر فعالية .

تُعدّ المشفرات التلقائية في أنظمة الاتصالات مهمة لأنها تُساعد في ترميز البيانات إلى تمثيل أكثر مرونة في مواجهة تشوهات القناة، وهو أمر بالغ الأهمية لنقل المعلومات مع تقليل الأخطاء إلى أدنى حد. إضافةً إلى ذلك، يُمكن للأنظمة القائمة على المشفرات التلقائية تحسين أداء الاتصال من طرف إلى طرف. يُمكن لهذا النهج حلّ العديد من القيود التي تواجه تصميم أنظمة الاتصالات، مثل الصعوبة الكامنة في نمذجة السلوك المعقد لقنوات العالم الحقيقي بدقة. ^{[ 64 ]}