الثقة والأمان

بينما تطور المصطلح داخل القطاع الخاص، بدأت الأحكام القضائية في صياغة إطار تشريعي يشجع الاستثمار في فرق حماية مستخدمي الإنترنت. وقد قضت محكمة ولاية نيويورك في قضية ستراتون أوكمونت ضد برودجي سيرفيسز عام 1995، وهي قضية تاريخية، بأن شركة برودجي، وهي من أوائل مزودي خدمات الإنترنت ، قد تكون مسؤولة بصفتها "ناشرًا" عن المحتوى التشهيري الذي ينشره المستخدمون، لأن الخدمة كانت تقوم بتصفية وتحرير منشورات المستخدمين بشكل فعال. ^{[ 10 ]} وقد أدى هذا الحكم إلى تثبيط شركات خدمات الكمبيوتر التفاعلية عن ممارسة مراقبة المحتوى ، إذ أن أي محاولة لتنظيم المحتوى قد تؤدي إلى تحميل الناشر مسؤولية جميع المواد التي ينشئها المستخدمون على منصاتهم. واستجابةً لذلك، سنّ الكونغرس المادة 230 من قانون آداب الاتصالات عام 1996، والتي منحت حصانة للمنصات الإلكترونية التي تستضيف محتوى من جهات خارجية. ^{[ 11 ]}

خلال العقد الثاني من الألفية، نضج مجال الثقة والأمان ليصبح تخصصًا مهنيًا مستقلًا، حيث استثمرت شركات التكنولوجيا الكبرى بكثافة في هذا المجال، مُشكلةً فرقًا واسعة تضم متخصصين من خلفيات قانونية وسياسية وتقنية واجتماعية. ^{[ 1 ]} في فبراير 2018، استضافت كلية الحقوق بجامعة سانتا كلارا المؤتمر الافتتاحي بعنوان "مراقبة المحتوى وإزالته على نطاق واسع"، حيث ناقش ممثلون عن شركات تكنولوجيا كبرى، من بينها جوجل وفيسبوك وريديت وبينترست، عمليات مراقبة المحتوى الخاصة بهم علنًا لأول مرة. ^{[ 12 ]} خلال هذا المؤتمر، وضعت مجموعة من منظمات حقوق الإنسان والمدافعين عنها والخبراء الأكاديميين مبادئ سانتا كلارا بشأن الشفافية والمساءلة في مراقبة المحتوى، والتي حددت معايير للشفافية الفعّالة والإجراءات القانونية الواجبة في مراقبة محتوى المنصات. ^{[ 13 ]}

تأسست جمعية محترفي الثقة والأمان (TSPA) ومؤسسة الثقة والأمان (TSF) بشكل مشترك في عام 2020 نتيجةً لمؤتمر سانتا كلارا. ^{[ 14 ] [ 15 ] [ 16 ]} تأسست TSPA كمنظمة غير ربحية (501(c)(6)) قائمة على العضوية ، تدعم المجتمع العالمي من المهنيين العاملين في مجال الثقة والأمان من خلال توفير الموارد، والتواصل مع النظراء، ومساحات لتبادل أفضل الممارسات. ^{[ 14 ]} أما TSF فهي منظمة غير ربحية (501(c)(3)) وتركز على البحث. ^{[ 17 ]} شاركت TSF في استضافة المؤتمر الافتتاحي لأبحاث الثقة والأمان الذي عُقد في جامعة ستانفورد. ^{[ 18 ] [ 19 ]}

تعمل فرق سلامة الحسابات على كشف ومنع الحسابات الاحتيالية، والملفات الشخصية المزيفة، والاستيلاء على الحسابات ، والسلوكيات غير الموثوقة المنسقة. ^{[ 20 ]} تجمع هذه الوظيفة بين تحليل السلوك ، والتعرف على الأنماط ، وأنظمة المصادقة لتحديد أنشطة الحسابات المشبوهة، وتركز على ضمان أن تمثل الحسابات أفرادًا حقيقيين أو كيانات شرعية وتعمل ضمن إرشادات المنصة.

لا يقتصر منع الاحتيال على الحسابات الوهمية فحسب، بل يشمل أيضًا كشف عمليات الاحتيال المالي ، ومحاولات التصيد الاحتيالي ، والاحتيال في الأسواق الإلكترونية، وذلك لحماية المستخدمين من الأضرار المالية والحفاظ على موثوقية المنصة لإجراء المعاملات المشروعة. ^{[ 21 ]} قد يشمل ذلك أنظمة كشف يدوية وآلية تحلل أنماط المعاملات، بما في ذلك سرعة المعاملات (تكرارها وحجمها)، والشذوذات الجغرافية، وعدم تطابق معلومات الفوترة، والصلات بحسابات أو وسائل دفع احتيالية معروفة. ويُستخدم التعلم الآلي بشكل متكرر لتحديد مستويات المخاطر للمعاملات بناءً على عوامل متعددة، مما يتيح الحظر التلقائي للمدفوعات عالية المخاطر، مع السماح للمعاملات منخفضة المخاطر بالمرور بسلاسة. ^{[ 22 ] [ 23 ] [ 24 ]}

تتضمن إدارة المحتوى مراجعة وتصنيف واتخاذ إجراءات بشأن المحتوى (بما في ذلك المحتوى الذي ينشئه المستخدمون والإعلانات والمحتوى الذي تنشئه الشركات ) الذي ينتهك سياسات المنصة ، مثل العُري الصريح والمعلومات المضللة والعنف الصريح وأي مواد أخرى غير متوافقة. ^{[ 25 ] [ 26 ]} تستخدم المنصات مزيجًا من الأنظمة الآلية والمراجعين البشريين لفرض سياسات المحتوى على نطاق واسع قبل نشر المحتوى، والمراجعة الاستباقية بعد نشره، والمراجعة التفاعلية بعد نشره. ^{[ 4 ] [ 27 ]}

يشير مفهوم سلامة الطفل في سياقات الثقة والأمان عادةً إلى منع الاستغلال والاعتداء الجنسي على الأطفال عبر الإنترنت ، والكشف عنهما، والإبلاغ عنهما ، وهو يمثل وظيفة بالغة الأهمية في هذا المجال. ^{[ 28 ] [ 29 ] [ 30 ]} تستخدم المنصات أنظمة كشف متخصصة لتحديد مواد الاعتداء الجنسي على الأطفال ، بما في ذلك تقنيات مطابقة التجزئة التي تكشف صور الاعتداء الجنسي المعروفة، ومصنفات التعلم الآلي المصممة لاكتشاف مواد غير معروفة سابقًا. ^{[ 31 ]} تشمل سلامة الطفل أيضًا الكشف عن استدراج القاصرين من قبل البالغين، وإيقاف هذا الاستدراج. ^{[ 32 ]}

يشمل التلاعب بالمنصات كشف شبكات الروبوتات ، وعمليات البريد العشوائي ، والسلوكيات غير الأصيلة المنسقة المصممة لتضخيم المحتوى بشكل مصطنع أو التلاعب بالخطاب العام . ويتطلب كشف الحملات المنسقة، بما في ذلك هجمات الحسابات الوهمية ، فهم التكتيكات العدائية المتطورة وتحديد الأنماط عبر حسابات متعددة. ^{[ 33 ] [ 34 ]}

أصبح الامتثال التنظيمي وظيفة مستقلة ضمن قسم الثقة والأمان مع توسع الأطر التنظيمية عالميًا. ويشمل ذلك إدارة طلبات إزالة المحتوى المخالف لحقوق النشر بموجب قوانين مثل قانون الألفية الرقمية لحقوق المؤلف (DMCA) ، وتنفيذ متطلبات قانون الخدمات الرقمية للاتحاد الأوروبي (DSA) ، والاستجابة لطلبات جهات إنفاذ القانون . ^{[ 35 ]} يختلف تنظيم وهيكل هذه الوظيفة من شركة لأخرى، حيث تُدمج بعض الفرق ضمن قسم الثقة والأمان، بينما تُفصل فرق أخرى ضمن الإدارات القانونية أو إدارات الامتثال. ^{[ 36 ]}

سياسات المنصة هي القواعد والمعايير التي تحكم سلوك المستخدمين ومحتواهم على المنصات الإلكترونية. تُفرّق معظم المنصات بين الوثائق العامة، مثل إرشادات المجتمع أو شروط الخدمة التي تصف الاستخدام المقبول، ومواد الإنفاذ الداخلية التي تُزوّد ​​المشرفين بتعليمات تفصيلية لتطبيق تلك السياسات. ^{[ 37 ]}

في المراحل الأولى لأي خدمة عبر الإنترنت، غالبًا ما يتولى المؤسسون أو فرق الهندسة والعمليات الأولية صياغة سياسات المنصة. ^{[ 37 ]} ومع نمو المنصات، تنتقل مسؤولية تطوير السياسات عادةً إلى إدارات متخصصة في الشؤون القانونية أو السياسات أو الثقة والأمان. ^{[ 38 ]} وقد لاحظ الباحثون أن هذه السياسات تتشكل بفعل مجموعة من العوامل، ^{[ 27 ]} بما في ذلك الغرض المعلن للمنصة، والمتطلبات التنظيمية، وأولويات العمل . ^{[ 37 ]} كما يمكن أن يشهد تطوير السياسات تحولات سريعة وتكرارًا مستمرًا استجابةً للظروف المستجدة. ^{[ 4 ]} وتميل أطر السياسات إلى التطور بمرور الوقت مع تطوير الشركات لميزات جديدة واستجابتها لتعليقات المستخدمين، وبيانات الإنفاذ، والجدل العام، وضغوط أصحاب المصلحة. ^{[ 39 ] [ 40 ] [ 41 ]} وتختلف مناهج وضع السياسات اختلافًا كبيرًا. ففي المنصات التجارية المركزية، عادةً ما يتولى الموظفون الداخليون كتابة القواعد وإنفاذها، بينما توزع بعض المنصات اللامركزية أو المجتمعية عملية وضع السياسات على مشرفين متطوعين أو مجالس المستخدمين. ^{[ 42 ]}

تختلف أساليب تطبيق القوانين باختلاف المنصات. فبعضها يعتمد أنظمة قائمة على القواعد مع استجابات موحدة لانتهاكات محددة، بينما يطبق البعض الآخر أطر عمل تعتمد على السياق وتراعي نوايا المستخدم، والأعراف الثقافية، والضرر المحتمل. ^{[ 43 ] [ 44 ]} وبغض النظر عن النموذج أو الأسلوب المتبع، فإن جهود تطبيق القوانين تهدف عمومًا إلى تحقيق هدفين رئيسيين: التطبيق المتسق للقواعد والقدرة على تنفيذها على نطاق واسع. ^{[ 45 ]}

تجمع عمليات الثقة والأمان بين المراجعين البشريين والأنظمة الآلية لتقييم المحتوى والحسابات والسلوك وفقًا لسياسات المنصة. ^{[ 5 ]} ومع توسع المنصات الرقمية عالميًا وتزايد الحاجة إلى نطاق عالمي ودعم لغوي، ^{[ 46 ]} أصبحت شركات الاستعانة بمصادر خارجية لعمليات الأعمال (BPO) ذات دور محوري، حيث توفر فرقًا كبيرة من المشرفين المدربين، وعادةً ما يكون مقرهم في مناطق مثل جنوب شرق آسيا وأوروبا الشرقية وأمريكا اللاتينية . يُستخدم هذا النموذج من الإشراف على المحتوى التجاري من قبل شركات كبرى مثل فيسبوك ، ^{[ 47 ]} وتيك توك ، ^{[ 48 ]} وجوجل ، بالإضافة إلى منصات أصغر مثل بينترست وسناب شات وبلو سكاي . تعتمد بعض المنصات مثل ديسكورد وريديت على مزيج من المشرفين العاملين لدى المنصة والمشرفين المتطوعين. ^{[ 49 ]} يختلف نموذج التشغيل باختلاف الشركة ، اعتمادًا على حجم تكلفة الإشراف وتأثير مخاطر العلامة التجارية. ^{[ 50 ]}

تكشف الدراسات التي تناولت ظروف عمل المحررين عن تكاليف نفسية باهظة، ^{[ 51 ]} حيث يعاني المراجعون من الصدمات النفسية والإرهاق وآثار سلبية على الصحة العقلية نتيجة التعرض المستمر للعنف الصريح وصور إساءة معاملة الأطفال وغيرها من المحتويات الضارة. ^{[ 5 ] [ 52 ]}

تُمكّن أنظمة الكشف الآلي المنصات من تحديد انتهاكات السياسات المحتملة على نطاق يتجاوز القدرة البشرية. ^{[ 53 ]} تشمل هذه التقنيات أنظمة مطابقة التجزئة مثل PhotoDNA وPDQ وCSAI Match التي تحدد المحتوى غير القانوني المعروف، مثل المواد الإباحية المتعلقة بالأطفال والإرهاب والتطرف العنيف ، من خلال البصمة الرقمية؛ ^{[ 54 ]} ومصنفات التعلم الآلي التي تحلل الأنماط المرئية والنصية والسلوكية؛ ^{[ 55 ]} وأدوات معالجة اللغة الطبيعية لتحليل السياق والمعنى؛ ^{[ 56 ]} وأنظمة تحليل الشبكات التي تكشف أنماط السلوك المنسق. ^{[ 57 ]} تدمج المنصات تقنيات الكشف مع أنظمة إدارة الحالات التي توجه المحتوى المُعلّم إلى قوائم انتظار المراجعة، وتُحدد مستويات الأولوية، وتتتبع قرارات الإنفاذ، وتدير طعون المستخدمين. ^{[ 44 ]}

تشمل البنية التحتية التقنية أيضًا التكامل مع قواعد البيانات الخارجية التي تديرها منظمات مثل المركز الوطني للأطفال المفقودين والمستغلين (NCMEC) ، وبرامج تبادل المعلومات الاستخباراتية مثل مشروع فانوس التابع لتحالف التكنولوجيا، مما يسهل تبادل المعلومات عبر المنصات ومع المنظمات غير الربحية المتخصصة المكلفة بالتحقيق في أضرار محددة. ^{[ 58 ]} عادةً ما تكون إرشادات الإنفاذ الداخلية سرية، على الرغم من أن الوثائق المسربة قد أتاحت في بعض الأحيان للجمهور الاطلاع على ممارسات التنفيذ. ^{[ 59 ] [ 60 ] [ 61 ]}