التعلم الآلي التنافسي

تُعدّ الهجمات الخصومية البسيطة ذات الصندوق الأسود طريقة فعّالة من حيث الاستعلام لمهاجمة مصنفات الصور ذات الصندوق الأسود. ^{[ 96 ]}

خذ أساسًا متعامدًا عشوائيًا${\displaystyle v_{1},v_{2},\dots ,v_{d}}$في${\displaystyle \mathbb {R} ^{d}}$اقترح المؤلفون تحويل جيب التمام المنفصل للأساس القياسي (البكسلات).

للحصول على صورة مصنفة بشكل صحيح${\displaystyle x}$، يحاول${\displaystyle x+\epsilon v_{1},x-\epsilon v_{1}}$وقارن مقدار الخطأ في المصنف عند${\displaystyle x+\epsilon v_{1},x,x-\epsilon v_{1}}$اختر الخيار الذي يسبب أكبر قدر من الخطأ.

كرر هذا لـ${\displaystyle v_{2},v_{3},\dots }$حتى يتم الوصول إلى مستوى الخطأ المطلوب في المصنف.

تم اكتشاف ذلك عندما صمم المؤلفون نموذجًا أساسيًا بسيطًا للمقارنة مع خوارزمية هجوم معادية سابقة تعتمد على العمليات الغاوسية ، وقد فوجئوا بأن النموذج الأساسي كان يعمل بشكل أفضل. ^{[ 97 ]}

ظهرت هجمات المربع في عام 2020 كتقنية هجومية معادية للتهرب من الصندوق الأسود، تعتمد على الاستعلام عن درجات التصنيف دون الحاجة إلى معلومات التدرج. ^{[ 98 ]} وباعتبارها هجومًا معاديًا قائمًا على الدرجات، فإن هذا النهج المعادي قادر على الاستعلام عن توزيعات الاحتمالات عبر فئات مخرجات النموذج، ولكنه لا يملك أي وصول آخر إلى النموذج نفسه. ووفقًا لمؤلفي الورقة البحثية، فإن هجوم المربع المقترح يتطلب استعلامات أقل مقارنةً بأحدث الهجمات القائمة على الدرجات في ذلك الوقت. ^{[ 98 ]}

لوصف هدف الوظيفة، يُعرّف الهجوم المصنف على النحو التالي:${\textstyle f:[0,1]^{d}\rightarrow \mathbb {R} ^{K}}$، مع${\textstyle d}$تمثيل أبعاد المدخلات و${\textstyle K}$كإجمالي عدد فئات الإخراج.${\textstyle f_{k}(x)}$تُرجع هذه الدالة النتيجة (أو احتمالًا بين 0 و1) التي تحققها المدخلات${\textstyle x}$ينتمي إلى فئة${\textstyle k}$مما يسمح بإخراج فئة المصنف لأي مدخلات${\textstyle x}$يُعرَّف بأنه${\textstyle {\text{argmax}}_{k=1,...,K}f_{k}(x)}$الهدف من هذا الهجوم هو كما يلي: ^{[ 98 ]}

$${\displaystyle {\text{argmax}}_{k=1,...,K}f_{k}({\hat {x}})\neq y,||{\hat {x}}-x||_{p}\leq \epsilon {\text{ و }}{\hat {x}}\in [0,1]^{d}}$$

بمعنى آخر، إيجاد مثال عدائي مضطرب${\textstyle {\hat {x}}}$بحيث يصنفها المصنف بشكل خاطئ إلى فئة أخرى في ظل القيد التالي:${\textstyle {\hat {x}}}$و${\textstyle x}$وهي متشابهة. ثم تُعرّف الورقة البحثية الخسارة${\textstyle L}$مثل${\textstyle L(f({\hat {x}}),y)=f_{y}({\hat {x}})-\max _{k\neq y}f_{k}({\hat {x}})}$ويقترح حلاً لإيجاد مثال معادي${\textstyle {\hat {x}}}$كحل لمشكلة التحسين المقيد التالية : ^{[ 98 ]}

$${\displaystyle \min _{{\hat {x}}\in [0,1]^{d}}L(f({\hat {x}}),y),{\text{ s.t. }}||{\hat {x}}-x||_{p}\leq \epsilon }$$

النتيجة النظرية هي مثال مُضلل واثقٌ جدًا من تصنيفه الخاطئ، ولكنه في الوقت نفسه شديد الشبه بالصورة الأصلية. وللعثور على مثل هذا المثال، تستخدم خوارزمية "هجوم المربع" تقنية البحث العشوائي التكراري لتشويش الصورة عشوائيًا بهدف تحسين دالة الهدف. في كل خطوة، تُشوِّش الخوارزمية جزءًا مربعًا صغيرًا من البكسلات فقط، ومن هنا جاء اسم "هجوم المربع"، الذي يتوقف بمجرد العثور على مثال مُضلل لتحسين كفاءة الاستعلام. أخيرًا، ولأن خوارزمية الهجوم تستخدم الدرجات وليس معلومات التدرج، يشير مؤلفو الورقة البحثية إلى أن هذا النهج لا يتأثر بإخفاء التدرج، وهي تقنية شائعة كانت تُستخدم سابقًا لمنع هجمات التهرب. ^{[ 98 ]}

تم اقتراح هجوم الصندوق الأسود هذا أيضًا كهجوم فعال من حيث الاستعلام، ولكنه يعتمد كليًا على الوصول إلى فئة الإخراج المتوقعة لأي مدخل. بعبارة أخرى، لا يتطلب هجوم HopSkipJump القدرة على حساب التدرجات أو الوصول إلى قيم الدرجات مثل هجوم Square Attack، ويتطلب فقط مخرجات تنبؤ فئة النموذج (لأي مدخل معين). ينقسم الهجوم المقترح إلى وضعين مختلفين، موجه وغير موجه، ولكن كلاهما مبني على الفكرة العامة المتمثلة في إضافة تشويشات طفيفة تؤدي إلى مخرجات نموذج مختلفة. في الوضع الموجه، الهدف هو جعل النموذج يصنف الصورة المشوشة بشكل خاطئ إلى تصنيف مستهدف محدد (ليس التصنيف الأصلي). في الوضع غير الموجه، الهدف هو جعل النموذج يصنف الصورة المشوشة بشكل خاطئ إلى أي تصنيف ليس التصنيف الأصلي. أهداف الهجوم لكلا الوضعين هي كما يلي:${\textstyle x}$هذه هي الصورة الأصلية،${\textstyle x^{\prime }}$هي الصورة العدائية،${\textstyle d}$هي دالة المسافة بين الصور،${\textstyle c^{*}}$هو الملصق المستهدف، و${\textstyle C}$دالة تصنيف النموذج هي: ^{[ 99 ]}

$${\displaystyle {\textbf {Targeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })=c^{*}}$$

$${\displaystyle {\textbf {Untargeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })\neq C(x)}$$

لحل هذه المشكلة، يقترح الهجوم دالة الحدود التالية${\textstyle S}$بالنسبة لكل من الإعداد غير المستهدف والإعداد المستهدف: ^{[ 99 ]}

$${\displaystyle S(x^{\prime }):={\begin{cases}\max _{c\neq C(x)}{F(x^{\prime })_{c}}-F(x^{\prime })_{C(x)},&{\text{(Untargeted)}}\\F(x^{\prime })_{c^{*}}-\max _{c\neq c^{*}}{F(x^{\prime })_{c}},&{\text{(Targeted)}}\end{cases}}}$$

ويمكن تبسيط هذا الأمر بشكل أكبر لتصور الحدود بين الأمثلة العدائية المحتملة المختلفة بشكل أفضل: ^{[ 99 ]}

$${\displaystyle S(x^{\prime })>0\iff {\begin{cases}argmax_{c}F(x^{\prime })\neq C(x),&{\text{(Untargeted)}}\\argmax_{c}F(x^{\prime })=c^{*},&{\text{(Targeted)}}\end{cases}}}$$

باستخدام دالة الحدود هذه، يتبع الهجوم خوارزمية تكرارية للعثور على أمثلة معادية${\textstyle x^{\prime }}$بالنسبة لصورة معينة${\textstyle x}$وهذا يحقق أهداف الهجوم.

1. تهيئة${\textstyle x}$إلى نقطة ما حيث${\textstyle S(x)>0}$
2. كرر ما يلي
   1. البحث عن الحدود
   2. تحديث التدرج
      • احسب التدرج
      • حدد حجم الخطوة

يستخدم البحث الحدودي بحثًا ثنائيًا معدلًا للعثور على النقطة التي يكون عندها الحد (كما هو محدد بواسطة${\textstyle S}$) يتقاطع مع الخط بين${\textstyle x}$و${\textstyle x^{\prime }}$تتضمن الخطوة التالية حساب التدرج لـ${\textstyle x}$وتحديث النسخة الأصلية${\textstyle x}$باستخدام هذا التدرج وحجم خطوة محدد مسبقًا، يثبت مؤلفو HopSkipJump أن هذه الخوارزمية التكرارية ستتقارب، مما يؤدي إلى${\textstyle x}$إلى نقطة تقع مباشرة على طول الحدود، وهي قريبة جدًا في المسافة من الصورة الأصلية. ^{[ 99 ]}

مع ذلك، ولأن هجوم HopSkipJump هو هجوم صندوق أسود مُقترح، ولأن الخوارزمية التكرارية المذكورة أعلاه تتطلب حساب التدرج في الخطوة التكرارية الثانية (وهو ما لا يمكن لهجمات الصندوق الأسود الوصول إليه)، يقترح المؤلفون حلاً لحساب التدرج لا يتطلب سوى تنبؤات مخرجات النموذج. ^{[ 99 ]} من خلال توليد العديد من المتجهات العشوائية في جميع الاتجاهات، والتي يُشار إليها بـ${\textstyle u_{b}}$يمكن حساب تقريب للتدرج باستخدام متوسط ​​هذه المتجهات العشوائية المرجحة بإشارة دالة الحدود على الصورة.${\textstyle x^{\prime }+\delta _{u_{b}}}$، أين${\textstyle \delta _{u_{b}}}$حجم اضطراب المتجه العشوائي: ^{[ 99 ]}

$${\displaystyle \nabla S(x^{\prime },\delta )\approx {\frac {1}{B}}\sum _{b=1}^{B}\phi (x^{\prime }+\delta _{u_{b}})u_{b}}$$

تُعطي نتيجة المعادلة أعلاه تقريبًا دقيقًا للتدرج المطلوب في الخطوة الثانية من الخوارزمية التكرارية، مما يُكمل خوارزمية HopSkipJump كهجوم صندوق أسود. ^{[ 100 ] [ 101 ] [ 99 ]}

اقترح باحثو جوجل، إيان ج. جودفيلو وجوناثان شلينز وكريستيان سيجيدي، إحدى أولى الهجمات المقترحة لتوليد أمثلة معادية. ^{[ 102 ]} سُميت هذه الهجمة "طريقة إشارة التدرج السريع" (FGSM)، وتتلخص في إضافة كمية خطية من التشويش غير الملحوظ إلى الصورة، مما يدفع النموذج إلى تصنيفها بشكل خاطئ. يُحسب هذا التشويش بضرب إشارة التدرج بالنسبة للصورة المراد تشويهها بثابت صغير يُسمى إبسيلون. مع ازدياد قيمة إبسيلون، يزداد احتمال خداع النموذج، ولكن يصبح من الأسهل أيضًا تحديد التشوهات. يوضح الشكل أدناه معادلة توليد مثال معادٍ حيث${\textstyle x}$هذه هي الصورة الأصلية،${\textstyle \epsilon }$هو عدد صغير جداً،${\textstyle \Delta _{x}}$هي دالة التدرج،${\textstyle J}$هي دالة الخسارة،${\textstyle \theta }$هي أوزان النموذج، و${\textstyle y}$هذا هو التصنيف الحقيقي. ^{[ 103 ]}

$${\displaystyle adv_{x}=x+\epsilon \cdot sign(\Delta _{x}J(\theta ,x,y))}$$

إحدى الخصائص المهمة لهذه المعادلة هي أن التدرج يُحسب بالنسبة للصورة المدخلة، لأن الهدف هو توليد صورة تُعظّم الخسارة للصورة الأصلية ذات التصنيف الصحيح.${\textstyle y}$في خوارزمية التدرج الهبوطي التقليدية (لتدريب النموذج)، يُستخدم التدرج لتحديث أوزان النموذج، إذ يهدف إلى تقليل الخسارة للنموذج على مجموعة بيانات مرجعية. وقد طُرحت طريقة إشارة التدرج السريع (FGSM) كطريقة سريعة لتوليد أمثلة معادية للتهرب من النموذج، استنادًا إلى فرضية أن الشبكات العصبية لا تستطيع مقاومة حتى كميات خطية من التشويش على المدخلات. ^{[ 104 ] [ 103 ] [ 102 ]} وقد أثبتت FGSM فعاليتها في الهجمات المعادية لتصنيف الصور والتعرف على حركات الهيكل العظمي. ^{[ 105 ]}

في محاولة لتحليل الهجمات والدفاعات المعادية الحالية، اقترح الباحثان نيكولاس كارليني وديفيد واغنر من جامعة كاليفورنيا في بيركلي عام 2016 طريقة أسرع وأكثر قوة لتوليد أمثلة معادية. ^{[ 106 ]}

يبدأ الهجوم الذي اقترحه كارليني وواغنر بمحاولة حل معادلة تحسين غير خطية صعبة: ^{[ 70 ]}

$${\displaystyle \min(||\delta ||_{p}){\text{ subject to }}C(x+\delta )=t,x+\delta \in [0,1]^{n}}$$

الهدف هنا هو تقليل الضوضاء (${\textstyle \delta }$)، تمت إضافته إلى المدخلات الأصلية${\textstyle x}$، بحيث يكون خوارزمية التعلم الآلي (${\textstyle C}$) يتنبأ بالمدخل الأصلي مع دلتا (أو${\textstyle x+\delta }$) كفئة أخرى${\textstyle t}$لكن بدلاً من استخدام المعادلة المذكورة أعلاه مباشرةً، يقترح كارليني وواغنر استخدام دالة جديدة${\textstyle f}$بحيث: ^{[ 70 ]}

$${\displaystyle C(x+\delta )=t\iff f(x+\delta )\leq 0}$$

هذا يختصر المعادلة الأولى إلى المسألة التالية: ^{[ 70 ]}

$${\displaystyle \min(||\delta ||_{p}){\text{ subject to }}f(x+\delta )\leq 0,x+\delta \in [0,1]^{n}}$$

بل وأكثر من ذلك بالنسبة للمعادلة أدناه: ^{[ 70 ]}

$${\displaystyle \min(||\delta ||_{p}+c\cdot f(x+\delta )),x+\delta \in [0,1]^{n}}$$

ثم يقترح كارليني وواغنر استخدام الدالة التالية بدلاً من${\textstyle f}$استخدام${\textstyle Z}$دالة تحدد احتمالات الفئات لمدخلات معينة${\textstyle x}$عند استبدالها، يمكن اعتبار هذه المعادلة بمثابة إيجاد فئة مستهدفة أكثر ثقة من الفئة التالية الأكثر احتمالاً بمقدار ثابت: ^{[ 70 ]}

$${\displaystyle f(x)=([\max _{i\neq t}Z(x)_{i}]-Z(x)_{t})^{+}}$$

عند حل هذه المعادلة باستخدام خوارزمية التدرج الهبوطي، فإنها قادرة على إنتاج أمثلة معادية أقوى مقارنةً بطريقة إشارة التدرج السريع، والتي تتجاوز أيضًا التقطير الدفاعي ، وهو أسلوب دفاعي كان يُعتقد سابقًا أنه فعال ضد الأمثلة المعادية. ^{[ 107 ] [ 108 ] [ 106 ] [ 70 ]}