تضمين الجوار العشوائي الموزع وفقًا لتوزيع t

تُعدّ تقنية تضمين الجوار العشوائي الموزع وفقًا لتوزيع t ( t-SNE ) أسلوبًا إحصائيًا لتصوير البيانات عالية الأبعاد، وذلك بتحديد موقع لكل نقطة بيانات على خريطة ثنائية أو ثلاثية الأبعاد. وهي تستند إلى تقنية تضمين الجوار العشوائي التي طورها جيفري هينتون وسام رويس ^{[ 1 ]} ، حيث اقترح لورينز فان دير ماتن وهينتون النسخة الموزعة وفقًا لتوزيع t ^{[ 2 ]} . وهي تقنية غير خطية لتقليل الأبعاد ، تُستخدم لتضمين البيانات عالية الأبعاد في فضاء منخفض الأبعاد ثنائي أو ثلاثي الأبعاد، بهدف تصويرها. وبالتحديد، تُنمذج هذه التقنية كل كائن عالي الأبعاد بنقطة ثنائية أو ثلاثية الأبعاد، بحيث تُنمذج الكائنات المتشابهة بنقاط قريبة، بينما تُنمذج الكائنات غير المتشابهة بنقاط بعيدة باحتمالية عالية.

تتألف خوارزمية t-SNE من مرحلتين رئيسيتين. أولاً، تُنشئ t-SNE توزيعًا احتماليًا لأزواج من الكائنات عالية الأبعاد، بحيث تُعطى الكائنات المتشابهة احتمالًا أعلى، بينما تُعطى النقاط غير المتشابهة احتمالًا أقل. ثانيًا، تُحدد t-SNE توزيعًا احتماليًا مشابهًا على النقاط في الخريطة منخفضة الأبعاد، وتُقلل من تباعد كولباك-لايبير (تباعد KL) بين التوزيعين بالنسبة لمواقع النقاط في الخريطة. في حين أن الخوارزمية الأصلية تستخدم المسافة الإقليدية بين الكائنات كأساس لمقياس التشابه، إلا أنه يمكن تغيير ذلك حسب الحاجة. ومن بين المتغيرات الريمانية خوارزمية UMAP .

استُخدمت تقنية t-SNE في التصوير المرئي في مجموعة واسعة من التطبيقات، بما في ذلك علم الجينوم ، وأبحاث أمن الحاسوب ، ^{[ 3 ]} ومعالجة اللغة الطبيعية ، وتحليل الموسيقى ، ^{[ 4 ]} وأبحاث السرطان ، ^{[ 5 ]} والمعلوماتية الحيوية ، ^{[ 6 ]} وتفسير المجال الجيولوجي، ^{[ 7 ] [ 8 ] [ 9 ]} ومعالجة الإشارات الطبية الحيوية. ^{[ 10 ]}

بالنسبة لمجموعة بيانات تحتوي على${\displaystyle n}$العناصر، تعمل تقنية t-SNE في${\displaystyle O(n^{2})}$ويتطلب ذلك وقتاً${\displaystyle O(n^{2})}$[ ^{11 ]​}

بالنظر إلى مجموعة من${\displaystyle N}$الأجسام متعددة الأبعاد${\displaystyle \mathbf {x} _{1},\dots ,\mathbf {x} _{N}}$، تقوم خوارزمية t-SNE أولاً بحساب الاحتمالات${\displaystyle p_{ij}}$والتي تتناسب مع تشابه الأشياء${\displaystyle \mathbf {x} _{i}}$و${\displaystyle \mathbf {x} _{j}}$، كما يلي.

ل${\displaystyle i\neq j}$، يُعرِّف

${\displaystyle p_{j\mid i}={\frac {\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{j}\rVert ^{2}/2\sigma _{i}^{2})}{\sum _{k\neq i}\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{k}\rVert ^{2}/2\sigma _{i}^{2})}}}$

وضبط${\displaystyle p_{i\mid i}=0}$لاحظ أن المقام أعلاه يضمن${\displaystyle \sum _{j}p_{j\mid i}=1}$للجميع${\displaystyle i}$.

كما أوضح فان دير ماتن وهينتون: "تشابه نقاط البيانات${\displaystyle x_{j}}$إلى نقطة البيانات${\displaystyle x_{i}}$هي الاحتمالية الشرطية،${\displaystyle p_{j|i}}$، الذي - التي${\displaystyle x_{i}}$سيختار${\displaystyle x_{j}}$باعتبارها جارتها إذا تم اختيار الجيران بما يتناسب مع كثافة احتمالهم في ظل توزيع غاوسي مركزه عند${\displaystyle x_{i}}$." ^{[ 2 ]}

والآن حدد

${\displaystyle p_{ij}={\frac {p_{j\mid i}+p_{i\mid j}}{2N}}}$

هذا مدفوع بـ ${\displaystyle p_{i}}$و ${\displaystyle p_{j}}$ يتم تقدير الاحتمال الشرطي من العينات N على أنه 1/N، لذا يمكن كتابة الاحتمال الشرطي على النحو التالي: ${\displaystyle p_{i\mid j}=Np_{ij}}$ و ${\displaystyle p_{j\mid i}=Np_{جي}}$. منذ${\displaystyle p_{ij}=p_{ji}}$يمكنك الحصول على الصيغة السابقة.

لاحظ أيضًا أن ${\displaystyle p_{ii}=0}$و${\displaystyle \sum _{i,j}p_{ij}=1}$.

عرض نطاق النوى الغاوسية${\displaystyle \sigma _{i}}$يتم ضبطها بحيث تساوي إنتروبيا التوزيع الشرطي إنتروبيا محددة مسبقًا باستخدام طريقة التنصيف . ونتيجة لذلك، يتم تكييف عرض النطاق مع كثافة البيانات: قيم أصغر لـ${\displaystyle \sigma _{i}}$تُستخدم في الأجزاء الأكثر كثافة من فضاء البيانات. تزداد الإنتروبيا مع ازدياد تعقيد هذا التوزيع.${\displaystyle P_{i}}$تُعتبر هذه العلاقة بمثابة

${\displaystyle Perp(P_{i})=2^{H(P_{i})}}$

أين${\displaystyle H(P_{i})}$إن إنتروبيا شانون${\displaystyle H(P_{i})=-\sum _{j}p_{j|i}\log _{2}p_{j|i}.}$

يُعدّ التعقيد أحد المعايير المختارة يدويًا في خوارزمية t-SNE، وكما ذكر المؤلفون، "يمكن تفسير التعقيد على أنه مقياس سلس لعدد الجيران الفعال. يتميز أداء خوارزمية SNE بمتانته إلى حد كبير تجاه التغيرات في التعقيد، وتتراوح القيم النموذجية بين 5 و50". ^{[ 2 ]}

بما أن نواة غاوس تستخدم المسافة الإقليدية${\displaystyle \lVert x_{i}-x_{j}\rVert }$يتأثر هذا الأمر بلعنة الأبعاد ، وفي البيانات عالية الأبعاد عندما تفقد المسافات القدرة على التمييز،${\displaystyle p_{ij}}$تصبح متشابهة للغاية (تتقارب تقاربًا مقاربًا إلى قيمة ثابتة). وقد اقتُرح تعديل المسافات باستخدام تحويل أُسّي، بناءً على البُعد الجوهري لكل نقطة، للتخفيف من هذه المشكلة. ^{[ 12 ]}

يهدف برنامج t-SNE إلى تعلم${\displaystyle d}$خريطة متعددة الأبعاد${\displaystyle \mathbf {y} _{1},\dots ,\mathbf {y} _{N}}$(مع${\displaystyle \mathbf {y} _{i}\in \mathbb {R} ^{d}}$و${\displaystyle d}$يتم اختيارها عادةً كـ 2 أو 3) مما يعكس أوجه التشابه ${\displaystyle p_{ij}}$بأفضل شكل ممكن. ولتحقيق هذه الغاية، يقيس أوجه التشابه${\displaystyle q_{ij}}$بين نقطتين على الخريطة${\displaystyle \mathbf {y} _{i}}$و${\displaystyle \mathbf {y} _{j}}$باستخدام نهج مشابه للغاية. على وجه التحديد، بالنسبة لـ${\displaystyle i\neq j}$، يُعرِّف${\displaystyle q_{ij}}$مثل

${\displaystyle q_{ij}={\frac {(1+\lVert \mathbf {y} _{i}-\mathbf {y} _{j}\rVert ^{2})^{-1}}{\sum _{k}\sum _{l\neq k}(1+\lVert \mathbf {y} _{k}-\mathbf {y} _{ل}\rفيرت ^{2})^{-1}}}}$

وضبط${\displaystyle q_{ii}=0}$. هنا يتم استخدام توزيع Student t ذو الذيل الثقيل (مع درجة حرية واحدة، وهو نفس توزيع Cauchy ) لقياس أوجه التشابه بين النقاط منخفضة الأبعاد من أجل السماح بنمذجة الكائنات غير المتشابهة على مسافة بعيدة في الخريطة.

مواقع النقاط${\displaystyle \mathbf {y} _{i}}$يتم تحديد القيم في الخريطة عن طريق تقليل تباعد كولباك-لايبير (غير المتماثل) للتوزيع${\displaystyle P}$من التوزيع${\displaystyle Q}$، إنه:

${\displaystyle \mathrm {KL} \left(P\parallel Q\right)=\sum _{i\neq j}p_{ij}\log {\frac {p_{ij}}{q_{ij}}}}$

تقليل تباعد كولباك-لايبير بالنسبة للنقاط${\displaystyle \mathbf {y} _{i}}$يتم ذلك باستخدام خوارزمية التدرج الهبوطي . وتكون نتيجة هذا التحسين خريطة تعكس أوجه التشابه بين المدخلات عالية الأبعاد.

على الرغم من أن مخططات t-SNE غالبًا ما تُظهر تجمعات ، إلا أن هذه التجمعات المرئية تتأثر بشدة بالمعلمات المختارة (وخاصةً معامل التعقيد)، لذا فإن فهمًا جيدًا لمعلمات t-SNE ضروري. وقد تبين أن هذه "التجمعات" تظهر حتى في البيانات المنظمة التي لا تُظهر تجمعات واضحة، ^{[ 13 ]} وبالتالي قد تكون نتائج خاطئة. وبالمثل، فإن حجم التجمعات التي ينتجها t-SNE ليس مؤشرًا دقيقًا، وكذلك المسافة بين التجمعات. ^{[ 14 ]} لذلك، قد يكون من الضروري إجراء استكشاف تفاعلي لاختيار المعلمات والتحقق من صحة النتائج. ^{[ 15 ] [ 16 ]} وقد ثبت أن t-SNE غالبًا ما يستطيع استعادة تجمعات منفصلة جيدًا، ومع اختيار معلمات محددة، يُقارب شكلًا بسيطًا من التجميع الطيفي . ^{[ 17 ]}

• يتوفر تطبيق C++ لـ Barnes-Hut على حساب github الخاص بأحد المؤلفين الأصليين.
• تقوم حزمة Rtsne بتنفيذ t-SNE في R.
• تحتوي ELKI على tSNE، بالإضافة إلى تقريب بارنز-هات.
• تُنفذ مكتبة scikit-learn ، وهي مكتبة شائعة للتعلم الآلي في بايثون، خوارزمية t-SNE باستخدام كل من الحلول الدقيقة وتقريب بارنز-هات.
• تُنفذ Tensorboard، وهي مجموعة أدوات التصور المرتبطة بـ TensorFlow ، أيضًا خوارزمية t-SNE ( النسخة عبر الإنترنت ).
• تُنفذ حزمة TSne في لغة جوليا خوارزمية t-SNE

• واتنبرغ، مارتن؛ فييغاس، فرناندو؛ جونسون، إيان (13 أكتوبر 2016). "كيفية استخدام t-SNE بفعالية" . ديستيل . 1 (10): e2. doi : 10.23915/distill.00002 . ISSN 2476-0757 . عرض توضيحي تفاعلي ودرس تعليمي.
• تصور البيانات باستخدام t-SNE ، حديث تقني من جوجل حول t-SNE
• تطبيقات خوارزمية t-SNE بلغات برمجة مختلفة ، مجموعة روابط يديرها لورينز فان دير ماتن