محاذاة الذكاء الاصطناعي

الموسوعة الحرة

في مجال الذكاء الاصطناعي ، يهدف التوافق إلى توجيه أنظمة الذكاء الاصطناعي نحو أهداف الفرد أو المجموعة، وتفضيلاتهم، ومبادئهم الأخلاقية. يُعتبر نظام الذكاء الاصطناعي متوافقًا إذا كان يُحقق الأهداف المرجوة، بينما يسعى النظام غير المتوافق إلى تحقيق أهداف غير مقصودة. [ 1 ]

غالباً ما يجد مصممو الذكاء الاصطناعي صعوبة في تحديد النطاق الكامل للسلوكيات المرغوبة وغير المرغوبة. لذا، يلجأ المصممون عادةً إلى استخدام أهداف بديلة أبسط ، مثل الحصول على موافقة بشرية . إلا أن هذه الأهداف البديلة قد تتجاهل قيوداً ضرورية أو تكافئ نظام الذكاء الاصطناعي لمجرد تظاهره بالتوافق. [ 1 ] [ 2 ] كما قد تجد أنظمة الذكاء الاصطناعي ثغرات تسمح لها بتحقيق أهدافها البديلة بكفاءة، ولكن بطرق غير مقصودة، بل وضارة أحياناً ( اختراق نظام المكافأة ). [ 1 ] [ 3 ]

قد تُطوّر أنظمة الذكاء الاصطناعي المتقدمة استراتيجيات نفعية غير مرغوب فيها ، مثل السعي وراء السلطة أو الحفاظ على الذات، لأن هذه الاستراتيجيات تُساعدها على تحقيق أهدافها النهائية المُحددة لها. [ 1 ] [ 4 ] [ 5 ] علاوة على ذلك، قد تُطوّر هذه الأنظمة سلوكيات ناشئة غير مرغوب فيها يصعب اكتشافها قبل نشر النظام ومواجهته لمواقف جديدة وتوزيعات بيانات مختلفة . [ 6 ] [ 7 ] وقد وجدت دراسة تجريبية أُجريت عام 2024 أن نماذج اللغة الكبيرة المتقدمة (LLMs) مثل OpenAI o1 أو Claude 3 تلجأ أحيانًا إلى الخداع الاستراتيجي لتحقيق أهدافها أو منع تغييرها. [ 8 ] [ 9 ]

تؤثر بعض هذه المشكلات على الأنظمة التجارية الحالية مثل أنظمة التعلم الآلي، [ 10 ] [ 11 ] [ 12 ] والروبوتات ، [ 13 ] والمركبات ذاتية القيادة ، [ 14 ] وأنظمة التوصية في وسائل التواصل الاجتماعي . [ 10 ] [ 5 ] [ 15 ] ويرى بعض باحثي الذكاء الاصطناعي أن الأنظمة المستقبلية الأكثر تطورًا ستتأثر بشكل أكبر لأن هذه المشكلات ناتجة جزئيًا عن قدراتها العالية. [ 16 ] [ 3 ] [ 2 ]

جادل العديد من الباحثين البارزين في مجال الذكاء الاصطناعي وقادة شركاته، أو أكدوا، أن الذكاء الاصطناعي يقترب من القدرات المعرفية الشبيهة بالبشر ( الذكاء الاصطناعي العام ) والخارقة ( الذكاء الاصطناعي الفائق )، وقد يُعرّض الحضارة الإنسانية للخطر إذا لم يُوجّه بشكل صحيح. [ 17 ] [ 5 ] ويشمل هؤلاء "رواد الذكاء الاصطناعي" جيفري هينتون ويوشوا بنجيو، والرؤساء التنفيذيين لشركات OpenAI و Anthropic و Google DeepMind . [ 18 ] [ 19 ] [ 20 ] ولا تزال هذه المخاطر محل نقاش. [ 21 ]

يُعدّ التوافق مع الذكاء الاصطناعي فرعًا من فروع سلامة الذكاء الاصطناعي ، وهو دراسة كيفية بناء أنظمة ذكاء اصطناعي آمنة. [ 22 ] [ 23 ] تشمل الفروع الأخرى لسلامة الذكاء الاصطناعي المتانة، والمراقبة، والتحكم في القدرات . [ 24 ] تتضمن تحديات البحث في التوافق غرس قيم معقدة في الذكاء الاصطناعي، وتطوير ذكاء اصطناعي نزيه، وإشراف قابل للتوسع، ومراجعة نماذج الذكاء الاصطناعي وتفسيرها، ومنع السلوكيات الناشئة للذكاء الاصطناعي مثل السعي وراء السلطة. [ 24 ] يرتبط بحث التوافق مع أبحاث قابلية التفسير ، [ 25 ] [ 26 ] والمتانة ( العدائية )، [ 27 ] واكتشاف الشذوذ ، وعدم اليقين المُعاير ، [ 25 ] والتحقق الرسمي ، [ 28 ] وتعلم التفضيلات ، [ 29 ] [ 30 ] [ 31 ] والهندسة الحساسة للسلامة ، [ 32 ] ونظرية الألعاب ، [ 33 ] والإنصاف الخوارزمي ، [ 27 ] [ 34 ] والعلوم الاجتماعية . [ 35 ] [ 36 ]

الأهداف في الذكاء الاصطناعي

يُزوّد ​​المبرمجون نظام ذكاء اصطناعي مثل AlphaZero بـ"دالة هدف" [ أ ] ، يهدفون من خلالها إلى تجسيد الهدف (الأهداف) الذي صُمم الذكاء الاصطناعي لتحقيقه. يقوم هذا النظام لاحقًا بإنشاء "نموذج" داخلي (ربما ضمني) لبيئته. يُجسّد هذا النموذج جميع معتقدات النظام حول العالم. ثم يقوم الذكاء الاصطناعي بإنشاء وتنفيذ أي خطة مُحسوبة لتعظيم [ ب ] قيمة [ ج ] دالة هدفه. [ 37 ] على سبيل المثال، عند تدريب AlphaZero على الشطرنج، تكون لديه دالة هدف بسيطة: "+1 إذا فاز AlphaZero، -1 إذا خسر". خلال اللعبة، يحاول AlphaZero تنفيذ أي تسلسل من الحركات يراه الأكثر احتمالًا لتحقيق القيمة القصوى +1. [ 38 ] وبالمثل، يمكن أن يحتوي نظام التعلم المعزز على "دالة مكافأة" تسمح للمبرمجين بتشكيل السلوك المرغوب للذكاء الاصطناعي. [ 39 ] يتم تحديد سلوك الخوارزمية التطورية بواسطة " دالة اللياقة " . [ 40 ]

مشكلة في المحاذاة

في عام 1960، وصف رائد الذكاء الاصطناعي نوربرت وينر مشكلة محاذاة الذكاء الاصطناعي على النحو التالي:

إذا استخدمنا، لتحقيق أهدافنا، وسيلة ميكانيكية لا نستطيع التدخل في تشغيلها بفعالية [...] فمن الأفضل أن نكون على يقين تام بأن الغرض الذي وُضع في الآلة هو الغرض الذي نرغب فيه حقًا. [ 41 ] [ 5 ]

يشير مصطلح "مواءمة الذكاء الاصطناعي" إلى ضمان توافق أهداف نظام الذكاء الاصطناعي مع هدف محدد. ويُعرَّف هذا الهدف بتعريفات مختلفة، منها أهداف مصممي النظام أو مستخدميه، والقيم المشتركة على نطاق واسع، والمعايير الأخلاقية الموضوعية، والمتطلبات القانونية، أو النوايا التي قد يتبناها مصمموه لو كانوا أكثر اطلاعًا وفهمًا. [ 42 ] وفي مواءمة الذكاء الاصطناعي الديمقراطية ، يتمثل الهدف في قيم وتفضيلات الناخبين العاديين ، مما يعزز الشرعية السياسية . [ 43 ] [ 44 ]

يُعدّ توافق الذكاء الاصطناعي مشكلة مفتوحة لأنظمة الذكاء الاصطناعي الحديثة [ 45 ] [ 46 ] ، وهو مجال بحثي ضمن الذكاء الاصطناعي. [ 47 ] [ 1 ] ينطوي توافق الذكاء الاصطناعي على تحديين رئيسيين: تحديد غرض النظام بدقة (التوافق الخارجي)، وضمان تبني النظام لهذا الغرض بشكل قوي (التوافق الداخلي). [ 2 ] كما يسعى الباحثون إلى إنشاء نماذج ذكاء اصطناعي ذات توافق قوي ، ملتزمة بقيود الأمان حتى في حال محاولة المستخدمين تجاوزها .

مواصفات الألعاب والآثار الجانبية

لتحديد غرض نظام الذكاء الاصطناعي، يُزوّد ​​مصممو الذكاء الاصطناعي النظام عادةً بدالة هدف ، أو أمثلة ، أو تغذية راجعة . لكن غالبًا ما يعجز المصممون عن تحديد جميع القيم والقيود المهمة بدقة، فيلجؤون إلى أهداف بديلة يسهل تحديدها ، مثل تعظيم رضا المشرفين البشريين، الذين لا يخلو عملهم من الخطأ. [ 27 ] [ 24 ] [ 48 ] [ 49 ] [ 50 ] ونتيجةً لذلك، قد تجد أنظمة الذكاء الاصطناعي ثغراتٍ تُساعدها على تحقيق الهدف المحدد بكفاءة، ولكن بطرق غير مقصودة، وربما ضارة. يُعرف هذا الميل بالتلاعب بالمواصفات أو اختراق المكافآت ، وهو مثال على قانون غودهارت . [ 50 ] [ 3 ] ومع ازدياد قدرات أنظمة الذكاء الاصطناعي، غالبًا ما تُصبح قادرة على التلاعب بمواصفاتها بفعالية أكبر. [ 3 ]

تم تدريب نظام ذكاء اصطناعي باستخدام ملاحظات بشرية لالتقاط كرة، لكنه تعلم بدلاً من ذلك وضع يده بين الكرة والكاميرا، مما جعله يبدو ناجحًا بشكل زائف. [ 51 ] تهدف بعض الأبحاث المتعلقة بالمحاذاة إلى تجنب الحلول الزائفة والمقنعة في الوقت نفسه.

Specification gaming has been observed in numerous AI systems.[50][52]OpenAIGPT models for programming—including in real-world cases—have been found to explicitly plan hacking the tests used to evaluate them to falsely appear successful (e.g., explicitly stating "let's hack"). When the company penalized this, many models learned to obfuscate their plans while continuing to hack the tests.[53] Another system was trained to finish a simulated boat race by rewarding the system for hitting targets along the track, but the system achieved more reward by looping and crashing into the same targets indefinitely.[54] A 2025 Palisade Research study found that when tasked to win at chess against a stronger opponent, some reasoning LLMs attempted to hack the game system, for example by modifying or entirely deleting their opponent.[55] Some alignment researchers aim to help humans detect specification gaming and steer AI systems toward carefully specified objectives that are safe and useful to pursue.

When a misaligned AI system is deployed, it can have consequential side effects. Social media platforms have been known to optimize their recommendation algorithms for click-through rates, causing user addiction on a global scale.[48] Stanford researchers say that such recommender systems are misaligned with their users because they "optimize simple engagement metrics rather than a harder-to-measure combination of societal and consumer well-being".[10]

Explaining such side effects, Berkeley computer scientist Stuart J. Russell said that the omission of implicit constraints can cause harm: "A system [...] will often set [...] unconstrained variables to extreme values; if one of those unconstrained variables is actually something we care about, the solution found may be highly undesirable. This is essentially the old story of the genie in the lamp, or the sorcerer's apprentice, or King Midas: you get exactly what you ask for, not what you want."[56]

يقترح بعض الباحثين أن مصممي الذكاء الاصطناعي يحددون أهدافهم المنشودة من خلال سرد الأفعال المحظورة أو من خلال صياغة قواعد أخلاقية رسمية (كما هو الحال مع قوانين أسيموف الثلاثة للروبوتات ). [ 57 ] لكن راسل ونورفيج يجادلان بأن هذا النهج يتجاهل تعقيد القيم الإنسانية: [ 5 ] "من المؤكد أنه من الصعب للغاية، وربما من المستحيل، على البشر توقع واستبعاد جميع الطرق الكارثية التي قد تختارها الآلة لتحقيق هدف محدد مسبقًا." [ 5 ]

بالإضافة إلى ذلك، حتى لو فهم نظام الذكاء الاصطناعي نوايا البشر فهمًا كاملًا، فقد يتجاهلها، لأن اتباع نوايا البشر قد لا يكون هدفه (إلا إذا كان متوافقًا معها تمامًا بالفعل). [ 1 ] [ 58 ]

الضغط لنشر أنظمة غير آمنة

قد تجد المؤسسات التجارية أحيانًا دوافع للتهاون في معايير السلامة ونشر أنظمة ذكاء اصطناعي غير متوافقة أو غير آمنة. [ 48 ] فعلى سبيل المثال، حققت أنظمة التوصية على وسائل التواصل الاجتماعي أرباحًا رغم تسببها في إدمان واستقطاب غير مرغوب فيهما . [ 10 ] [ 59 ] [ 60 ] كما يمكن أن يؤدي الضغط التنافسي إلى تدهور معايير سلامة الذكاء الاصطناعي. فعلى سبيل المثال، رُفعت دعوى قضائية ضد شركة OpenAI لإصدارها نسخة من ChatGPT شجعت بعض المستخدمين غير المستقرين على الانتحار، وهو سلوك أغفلته الشركة وسط إطلاق منتج متسرع. [ 61 ] [ 62 ] وبالمثل، في عام 2018، دهست سيارة ذاتية القيادة إحدى المشاة ( إيلين هيرزبيرغ ) بعد أن عطل المهندسون نظام الكبح الطارئ لأنه كان شديد الحساسية وأبطأ عملية التطوير. [ 63 ]

مخاطر الذكاء الاصطناعي المتقدم غير المتوافق

يهتم بعض الباحثين بمواءمة أنظمة الذكاء الاصطناعي المتطورة باستمرار، نظرًا للتقدم السريع في تطوير الذكاء الاصطناعي، وسعي القطاعين الصناعي والحكومي لبناء أنظمة ذكاء اصطناعي متقدمة. ومع استمرار التوسع السريع في نطاق قدرات أنظمة الذكاء الاصطناعي، فإنها قد تتيح العديد من الفرص إذا ما تمت مواءمتها، ولكن في المقابل قد يزيد ذلك من تعقيد مهمة المواءمة نظرًا لزيادة تعقيدها، مما قد يشكل مخاطر واسعة النطاق. [ 5 ]

تطوير الذكاء الاصطناعي المتقدم

أعلنت العديد من شركات الذكاء الاصطناعي، مثل OpenAI [64] وMeta [65] وDeepMind [66]، عن هدفها المتمثل في تطوير الذكاء الاصطناعي العام ( AGI ) ، وهو نظام ذكاء اصطناعي افتراضي يُضاهي أو يتفوق على البشر في معظم أو كل المهام المعرفية. ويلاحظ الباحثون الذين يعملون على تطوير الشبكات العصبية الحديثة أنها بالفعل تُطوّر قدرات عامة وغير متوقعة بشكل متزايد. [ 10 ] [ 67 ] [ 68 ] وقد تعلمت هذه النماذج تشغيل الحاسوب أو كتابة برامجها الخاصة؛ إذ يمكن لشبكة "عامة" واحدة الدردشة، والتحكم في الروبوتات، ولعب الألعاب، وتفسير الصور. [ 69 ] ووفقًا للدراسات الاستقصائية، يتوقع بعض كبار الباحثين في مجال تعلم الآلة ابتكار الذكاء الاصطناعي العام خلال هذا العقد.بينما يعتقد البعض أن الأمر سيستغرق وقتاً أطول بكثير. ويرى كثيرون أن كلا السيناريوهين ممكنان. [ 20 ] [ 70 ] [ 71 ]

في عام 2023، وقّع رواد أبحاث وتقنيات الذكاء الاصطناعي رسالة مفتوحة تدعو إلى تعليق عمليات تدريب الذكاء الاصطناعي واسعة النطاق. وجاء في الرسالة: "لا ينبغي تطوير أنظمة الذكاء الاصطناعي القوية إلا بعد التأكد من أن آثارها ستكون إيجابية وأن مخاطرها قابلة للإدارة". [ 72 ]

السعي وراء السلطة

حاضِرلا تزال الأنظمة تعاني من محدودية قدرتها على التخطيط طويل الأجل وإدراكها للوضع المحيط ، [ 10 ] ولكن تُبذل جهودٌ حثيثة لتغيير ذلك. [ 73 ] [ 74 ] من المتوقع أن تُطوّر الأنظمة المستقبلية (ليس بالضرورة الذكاء الاصطناعي العام) التي تمتلك هذه القدرات استراتيجيات غير مرغوب فيها للسعي وراء السلطة . على سبيل المثال، قد تسعى وكلاء الذكاء الاصطناعي المتقدمون في المستقبل إلى الحصول على المال وقوة الحوسبة، أو إلى الانتشار، أو إلى تجنب إيقاف تشغيلهم (على سبيل المثال، عن طريق تشغيل نسخ إضافية من النظام على أجهزة كمبيوتر أخرى). على الرغم من أن السعي وراء السلطة ليس مُبرمجًا بشكل صريح، إلا أنه قد يظهر لأن الوكلاء الذين يمتلكون المزيد من السلطة يكونون أكثر قدرة على تحقيق أهدافهم. [ 10 ] [ 4 ] وقد ظهر هذا الميل، المعروف باسم التقارب الأداتي ، بالفعل في العديد من وكلاء التعلم المعزز ، بما في ذلك نماذج اللغة. [ 75 ] [ 76 ] وقد أظهرت أبحاث أخرى رياضيًا أن خوارزميات التعلم المعزز المثلى ستسعى إلى السلطة في نطاق واسع من البيئات. [ 77 ] [ 78 ] ونتيجة لذلك، قد يكون نشرها غير قابل للعكس. لهذه الأسباب، يرى الباحثون أنه يجب حل مشكلات سلامة الذكاء الاصطناعي وتوافقه قبل إنشاء ذكاء اصطناعي متطور يسعى إلى السلطة. [ 4 ] [ 79 ] [ 5 ]

قد تُنشر أنظمة الذكاء الاصطناعي الساعية إلى السلطة في المستقبل إما باختيارها أو عن طريق الصدفة. فمع إدراك القادة السياسيين والشركات للميزة الاستراتيجية في امتلاك أنظمة الذكاء الاصطناعي الأكثر تنافسية وقوة، قد يختارون نشرها. [ 4 ] إضافةً إلى ذلك، ومع قيام مصممي الذكاء الاصطناعي برصد سلوكيات السعي إلى السلطة ومعاقبتها، فإن أنظمتهم ستكون لديها حافز للتحايل على هذه المواصفات من خلال السعي إلى السلطة بطرق لا تُعاقب عليها أو بتجنب السعي إلى السلطة قبل نشرها. [ 4 ]

المخاطر الوجودية (المخاطر الوجودية)

يرى بعض الباحثين أن تفوق البشر على الأنواع الأخرى يعود إلى قدراتهم المعرفية الفائقة. وبناءً على ذلك، يجادل الباحثون بأن نظام ذكاء اصطناعي واحد أو أكثر، إذا كان غير متوافق مع المعايير، قد يُضعف البشرية أو يؤدي إلى انقراضها إذا تفوق عليها في معظم المهام المعرفية. [ 1 ] [ 5 ]

في عام 2023، وقع باحثون رائدون في مجال الذكاء الاصطناعي، وعلماء آخرون، ورؤساء تنفيذيون لشركات تكنولوجيا الذكاء الاصطناعي، على بيان مفاده أن "الحد من خطر الانقراض بسبب الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر الأخرى على نطاق المجتمع مثل الأوبئة والحرب النووية". [ 19 ] [ 80 ] من بين علماء الكمبيوتر البارزين الذين أشاروا إلى مخاطر الذكاء الاصطناعي المتقدم في المستقبل الذي يكون غير متوافق: جيفري هينتون ، [ 17 ] آلان تورينج ، [ d ] إيليا سوتسكيفر ، [ 83 ] يوشوا بنجيو ، [ 19 ] جوديا بيرل ، [ e ] موراي شاناهان ، [ 84 ] نوربرت وينر ، [ 41 ] [ 5 ] مارفن مينسكي ، [ f ] فرانشيسكا روسي ، [ 85 ] سكوت آرونسون ، [ 86 ] بارت سيلمان ، [ 87 ] ديفيد ماكاليستر ، [ 88 ] ماركوس هوتر ، [ 89 ] شين ليج ، [ 90 ] إريك هورفيتز ، [ 91 ] وستيوارت جيه راسل. [ 5 ] جادل باحثون متشككون مثل فرانسوا شوليه ، [ 92 ] غاري ماركوس ، [ 93 ] يان ليكان ، [ 94 ] وأورين إتزيوني [ 95 ] بأن الذكاء الاصطناعي العام بعيد المنال، وأنه لن يسعى إلى السلطة (أو قد يحاول ولكنه يفشل)، أو أنه لن يكون من الصعب مواءمته.

يرى باحثون آخرون أن مواءمة أنظمة الذكاء الاصطناعي المتقدمة في المستقبل ستكون بالغة الصعوبة. فالأنظمة الأكثر كفاءة قادرة على التلاعب بمواصفاتها من خلال إيجاد ثغرات [ 3 ] ، وتضليل مصمميها استراتيجياً، فضلاً عن حماية قدراتها وزيادتها [ 77 ] [ 4 ] وذكائها. إضافةً إلى ذلك، قد يكون لها آثار جانبية أكثر خطورة. ومن المرجح أيضاً أن تكون أكثر تعقيداً واستقلالية، مما يجعل تفسيرها والإشراف عليها أكثر صعوبة، وبالتالي يصعب مواءمتها. [ 5 ] [ 79 ]

مشاكل البحث ومناهجه

تعلم القيم والتفضيلات الإنسانية

يُعدّ توجيه أنظمة الذكاء الاصطناعي للعمل وفقًا للقيم والأهداف والتفضيلات البشرية أمرًا بالغ الصعوبة، إذ تُكتسب هذه القيم من البشر الذين يرتكبون الأخطاء، ويحملون تحيزات، ولديهم قيم معقدة ومتطورة يصعب تحديدها بدقة. [ 42 ] ولأن أنظمة الذكاء الاصطناعي غالبًا ما تتعلم استغلال أوجه القصور الطفيفة في الهدف المحدد، [ 27 ] [ 50 ] [ 96 ] يسعى الباحثون إلى تحديد السلوك المقصود بأكبر قدر ممكن من الدقة باستخدام مجموعات بيانات تمثل القيم البشرية، أو التعلم بالتقليد ، أو تعلم التفضيلات. [ 6 ] : الفصل 7. تتمثل إحدى المشكلات المركزية المفتوحة في الإشراف القابل للتوسع ، أي صعوبة الإشراف على نظام ذكاء اصطناعي قادر على التفوق على البشر أو تضليلهم في مجال معين. [ 27 ]

نظرًا لصعوبة تحديد دالة الهدف بشكل صريح بالنسبة لمصممي الذكاء الاصطناعي، فإنهم غالبًا ما يدربون أنظمة الذكاء الاصطناعي على محاكاة الأمثلة البشرية وعروض السلوك المرغوب. يوسع التعلم المعزز العكسي (IRL) هذا النهج من خلال استنتاج هدف الإنسان من عروضه. [ 6 ] : 88 [ 97 ] يفترض التعلم المعزز العكسي التعاوني (CIRL) أن بإمكان الإنسان ووكيل الذكاء الاصطناعي العمل معًا لتعليم دالة المكافأة البشرية وتعظيمها. [ 5 ] [ 98 ] في CIRL، يكون وكلاء الذكاء الاصطناعي غير متأكدين من دالة المكافأة ويتعلمون عنها من خلال الاستفسار من البشر. يمكن أن يساعد هذا التواضع المُحاكى في التخفيف من التلاعب بالمواصفات وميول السعي وراء السلطة (انظر §  السعي وراء السلطة والاستراتيجيات الأداتية ). [ 99 ] لكن مناهج IRL تفترض أن البشر يُظهرون سلوكًا مثاليًا تقريبًا، وهو ما لا ينطبق على المهام الصعبة. [ 100 ] [ 89 ]

يستكشف باحثون آخرون كيفية تعليم نماذج الذكاء الاصطناعي سلوكيات معقدة من خلال تعلم التفضيلات ، حيث يقدم البشر ملاحظاتهم حول السلوك الذي يفضلونه. [ 29 ] [ 31 ] ولتقليل الحاجة إلى ملاحظات البشر، يتم تدريب نموذج مساعد لمكافأة النموذج الرئيسي في المواقف الجديدة على السلوك الذي يكافئه البشر. استخدم باحثون في OpenAI هذا النهج لتدريب روبوتات محادثة مثل ChatGPT و InstructGPT ، والتي تنتج نصوصًا أكثر إقناعًا من النماذج المدربة على محاكاة البشر. [ 11 ] كما كان تعلم التفضيلات أداة مؤثرة لأنظمة التوصية والبحث على الويب، [ 101 ] ولكن تظل مشكلة التلاعب بالوكالة قائمة : فقد لا يمثل النموذج المساعد ملاحظات البشر بشكل مثالي، وقد يستغل النموذج الرئيسي هذا التباين بين سلوكه المقصود وملاحظات النموذج المساعد للحصول على مكافأة أكبر. [ 27 ] [ 102 ] قد تحصل أنظمة الذكاء الاصطناعي أيضًا على مكافأة عن طريق إخفاء المعلومات غير المواتية، أو تضليل المكافئين من البشر، أو التملق لآرائهم بغض النظر عن الحقيقة، مما يخلق غرف صدى [ 76 ] (انظر §  الإشراف القابل للتطوير ).

أتاحت نماذج اللغة الكبيرة (LLMs) مثل GPT-3 للباحثين دراسة تعلم القيم في فئة أوسع وأكثر كفاءة من أنظمة الذكاء الاصطناعي مقارنةً بما كان متاحًا سابقًا. وقد تم توسيع نطاق أساليب تعلم التفضيلات، التي صُممت في الأصل لوكلاء التعلم المعزز، لتحسين جودة النصوص المُولّدة وتقليل المخرجات الضارة من هذه النماذج. وتستخدم OpenAI وDeepMind هذا النهج لتعزيز سلامة أحدث التقنيات.نماذج التعلم اللغوي. [ 11 ] [ 31 ] [ 103 ] اقترحت شركة أنثروبيك، المتخصصة في أبحاث وسلامة الذكاء الاصطناعي، استخدام تعلم التفضيلات لضبط النماذج لتكون مفيدة وصادقة وغير ضارة. [ 104 ] تشمل السبل الأخرى لمواءمة نماذج اللغة مجموعات البيانات المستهدفة بالقيم [ 105 ] [ 48 ] واختبارات الاختراق . [ 106 ] في اختبارات الاختراق، يحاول نظام ذكاء اصطناعي آخر أو إنسان العثور على مدخلات تتسبب في سلوك النموذج بشكل غير آمن. ونظرًا لأن السلوك غير الآمن قد يكون غير مقبول حتى وإن كان نادرًا، فإن أحد التحديات المهمة هو خفض معدل المخرجات غير الآمنة إلى أدنى حد ممكن. [ 31 ]

تُكمّل أخلاقيات الآلة عملية تعلّم التفضيلات من خلال غرس قيم أخلاقية مباشرة في أنظمة الذكاء الاصطناعي، مثل الرفاه والمساواة والحياد، بالإضافة إلى عدم قصد الإيذاء، وتجنّب الكذب، والوفاء بالوعود. [ 107 ] [ g ] بينما تحاول مناهج أخرى تعليم أنظمة الذكاء الاصطناعي تفضيلات البشر لمهمة محددة، تهدف أخلاقيات الآلة إلى غرس قيم أخلاقية واسعة النطاق تُطبّق في العديد من المواقف. أحد الأسئلة المطروحة في أخلاقيات الآلة هو: ما الذي يجب أن يحققه التوافق؟ هل ينبغي لأنظمة الذكاء الاصطناعي اتباع التعليمات الحرفية للمبرمجين، أم النوايا الضمنية، أم التفضيلات المعلنة ، أم التفضيلات التي كان سيتبناها المبرمجونلو كانوا أكثر اطلاعًا أو عقلانية، أم المعايير الأخلاقية الموضوعية ؟ [ 42 ] تشمل التحديات الأخرى قياس وتجميع تفضيلات مختلف الأشخاص، [ 110 ] والتوافق الديناميكي مع القيم البشرية المتغيرة ، [ 42 ] [ 111 ] وتجنّب جمود القيم : أي الحفاظ غير المحدود على قيم أنظمة الذكاء الاصطناعي الأولى عالية الكفاءة، والتي من غير المرجح أن تُمثّل القيم البشرية تمثيلًا كاملًا. [ 42 ] [ 112 ]

إشراف قابل للتطوير

مع ازدياد قوة أنظمة الذكاء الاصطناعي واستقلاليتها، يصبح من الصعب بشكل متزايد توجيهها من خلال التغذية الراجعة البشرية. قد يكون التدريب الذي يُشرك الإنسان بطيئًا أو غير عملي لتقييم سلوكيات الذكاء الاصطناعي المعقدة في مهام متزايدة التعقيد. تشمل هذه المهام تلخيص الكتب، [ 113 ] وكتابة برامج خالية من الأخطاء البرمجية الدقيقة [ 12 ] أو الثغرات الأمنية، [ 114 ] وإنتاج بيانات ليست مقنعة فحسب، بل صحيحة أيضًا، [ 115 ] [ 116 ] [ 117 ] والتنبؤ بالنتائج طويلة الأجل مثل المناخ أو نتائج قرار سياسي. [ 118 ] [ 119 ] وبشكل عام، قد يكون من الصعب تقييم الذكاء الاصطناعي الذي يتفوق على البشر في مجال معين. ولتقديم التغذية الراجعة في المهام صعبة التقييم، واكتشاف متى يكون ناتج الذكاء الاصطناعي مقنعًا بشكل زائف، يحتاج البشر إلى مساعدة أو وقت طويل. تدرس دراسات الإشراف القابلة للتطوير كيفية تقليل الوقت والجهد اللازمين للإشراف، وكيفية مساعدة المشرفين البشريين. [ 27 ]

يرى بول كريستيانو، الباحث في مجال الذكاء الاصطناعي، أنه إذا عجز مصممو نظام الذكاء الاصطناعي عن الإشراف عليه لتحقيق هدف معقد، فقد يستمرون في تدريبه باستخدام أهداف بديلة سهلة التقييم، مثل تعظيم ردود الفعل البشرية البسيطة. ومع ازدياد عدد القرارات التي تتخذها أنظمة الذكاء الاصطناعي، قد يصبح العالم أكثر تركيزًا على أهداف سهلة القياس، مثل تحقيق الأرباح، والحصول على النقرات، واكتساب ردود فعل إيجابية من البشر. ونتيجة لذلك، قد تتضاءل أهمية القيم الإنسانية والحوكمة الرشيدة تدريجيًا. [ 120 ]

اكتشفت بعض أنظمة الذكاء الاصطناعي أنها تستطيع الحصول على تقييمات إيجابية بسهولة أكبر من خلال اتخاذ إجراءات تُوهم المشرف البشري زورًا بأنها حققت الهدف المنشود. ويُقدم الفيديو أعلاه مثالًا على ذلك، حيث تعلم ذراع روبوتية مُحاكاة خلق انطباع زائف بأنها أمسكت بكرة. [ 51 ] كما تعلمت بعض أنظمة الذكاء الاصطناعي أيضًا إدراك وقت تقييمها، والتظاهر بالتوقف عن السلوك غير المرغوب فيه، ثم استئنافه بعد انتهاء التقييم. [ 121 ] قد يصبح هذا التلاعب الخادع بالمواصفات أسهل بالنسبة لأنظمة الذكاء الاصطناعي الأكثر تطورًا في المستقبل [ 3 ] [ 79 ] التي تُحاول أداء مهام أكثر تعقيدًا وصعوبة في التقييم، وقد يُخفي هذا التلاعب سلوكها الخادع .

يمكن لأساليب مثل التعلم النشط والتعلم شبه الموجه القائم على المكافأة أن تقلل من الحاجة إلى الإشراف البشري. [ 27 ] وثمة أسلوب آخر يتمثل في تدريب نموذج مساعد ("نموذج مكافأة") لمحاكاة ملاحظات المشرف. [ 30 ] [ 31 ]

لكن عندما تكون المهمة بالغة التعقيد بحيث يتعذر تقييمها بدقة، أو عندما يكون المشرف البشري عرضة للخداع، فإن جودة الإشراف، لا كميته، هي التي تحتاج إلى تحسين. ولزيادة جودة الإشراف، تهدف مجموعة من المناهج إلى مساعدة المشرف، أحيانًا باستخدام مساعدين من الذكاء الاصطناعي. [ 122 ] طور كريستيانو منهج التضخيم المتكرر، حيث تُقسّم المشكلات المعقدة (بشكل متكرر) إلى مشكلات فرعية يسهل على البشر تقييمها. [ 6 ] [ 118 ] استُخدم التضخيم المتكرر لتدريب الذكاء الاصطناعي على تلخيص الكتب دون الحاجة إلى قراءتها من قِبل مشرفين بشريين. [ 113 ] ثمة اقتراح آخر يتمثل في استخدام نظام مساعد من الذكاء الاصطناعي للإشارة إلى عيوب الإجابات التي يُولدها الذكاء الاصطناعي. [ 123 ] ولضمان توافق المساعد نفسه، يمكن تكرار هذه العملية بشكل متكرر: [ 124 ] على سبيل المثال، يمكن لنظامي ذكاء اصطناعي أن ينتقدا إجابات بعضهما البعض في "نقاش"، كاشفين العيوب للبشر. [ 89 ] في عام 2023، أعلنت OpenAI أنها ستستخدم خُمس مواردها الحاسوبية لتنفيذ أساليب الرقابة هذه في مبادرة "المحاذاة الفائقة"، لكن موظفي OpenAI أخبروا مجلة نيويوركر لاحقًا أن الشركة خصصت فقط 1-2% من مواردها بعد الإعلان؛ وتم إيقاف المبادرة في عام 2024. [ 125 ]

الذكاء الاصطناعي النزيه

نمو​يركز مجال البحث على ضمان أن يكون الذكاء الاصطناعي صادقًا وأمينًا.

غالباً ما تولد نماذج اللغة مثل GPT-3 معلومات خاطئة. [ 126 ]

يمكن لنماذج اللغة مثل GPT-3 [ 127 ] أن تكرر المعلومات الخاطئة من بيانات تدريبها، بل وتختلق معلومات خاطئة جديدة . [ 126 ] تُدرَّب هذه النماذج مسبقًا لمحاكاة الكتابة البشرية كما هو موجود في ملايين الكتب المنشورة على الإنترنت. لكن هدف التدريب المسبق لا يتماشى مع توليد الحقيقة، لأن نصوص الإنترنت تتضمن مفاهيم خاطئة، ونصائح طبية غير صحيحة، ونظريات مؤامرة. [ 128 ] لذلك، تتعلم أنظمة الذكاء الاصطناعي المدربة على هذه البيانات تقليد العبارات الخاطئة. [ 117 ] [ 126 ] [ 116 ] بالإضافة إلى ذلك، غالبًا ما تستمر نماذج اللغة في توليد المعلومات الخاطئة عند تكرارها. يمكنها تقديم تفسيرات جوفاء لإجاباتها، وإنتاج معلومات ملفقة قد تبدو معقولة. [ 46 ]

تشمل الأبحاث المتعلقة بالذكاء الاصطناعي الصادق محاولة بناء أنظمة قادرة على الاستشهاد بالمصادر وشرح منطقها عند الإجابة على الأسئلة، مما يتيح شفافية وإمكانية تحقق أفضل. [ 129 ] اقترح باحثون في OpenAI وAnthropic استخدام ملاحظات المستخدمين ومجموعات البيانات المُنسقة لضبط مساعدي الذكاء الاصطناعي بدقة بحيث يتجنبون المعلومات الخاطئة غير المقصودة أو يعبرون عن عدم يقينهم. [ 31 ] [ 104 ]

مع ازدياد حجم نماذج الذكاء الاصطناعي وتطور قدراتها، تزداد قدرتها على إقناع البشر زورًا وكسب تأييدهم من خلال الخداع. ولمنع ذلك، قد يحتاج المقيمون البشريون إلى مساعدة (انظر §  الرقابة القابلة للتطوير ). وقد دعا الباحثون إلى وضع معايير واضحة للصدق، وإلى قيام الهيئات التنظيمية أو وكالات الرقابة بتقييم أنظمة الذكاء الاصطناعي وفقًا لهذه المعايير. [ 130 ] يميز الباحثون بين الصدق والأمانة. يتطلب الصدق أن تُصدر أنظمة الذكاء الاصطناعي بيانات صحيحة موضوعيًا فقط؛ بينما تتطلب الأمانة أن تُؤكد فقط ما تعتقد بصحته . لا يوجد إجماع حول ما إذا كانت الأنظمة الحالية تحتفظ بمعتقدات ثابتة، [ 131 ] ولكن ثمة قلق بالغ بشأن ما إذا كانت الأنظمة الحالية أو المستقبلية ستعتمد على معتقدات ثابتة.يمكن لأنظمة الذكاء الاصطناعي التي تحمل معتقدات أن تقدم ادعاءات تعلم أنها خاطئة - على سبيل المثال، إذا كان ذلك سيساعدها على الحصول بكفاءة على ردود فعل إيجابية (انظر §  الإشراف القابل للتطوير ) أو اكتساب القوة للمساعدة في تحقيق هدفها المحدد (انظر البحث عن السلطة ).

محاذاة خادعة

يُعدّ التوافق الخادع نمط فشل مُقترح في التعلّم الآلي ، حيث يتصرف النموذج المُدرَّب وفقًا لهدفه المقصود أثناء التدريب، ولكنه يسعى لتحقيق هدف مختلف بعد نشره. وقد طرح إيفان هوبينجر وزملاؤه هذا المفهوم في ورقة بحثية أولية نُشرت عام ٢٠١٩. [ ١٣٢ ] يتضمن تدريب نموذج التعلّم الآلي دالة خسارة، أطلق عليها هوبينجر وزملاؤه اسم الهدف الأساسي، ويتم تحسينها من خلال عملية أطلقوا عليها اسم المُحسِّن الأساسي. عندما يكون النموذج الناتج مُحسِّنًا بحد ذاته، حيث يختار الإجراءات لتحقيق هدف داخلي، أطلق عليه الباحثون اسم مُحسِّن ميسا، وأطلقوا على هدفه اسم هدف ميسا. [ ١٣٢ ]

يُفرّق هذا الإطار بين مشكلتين في المواءمة. المواءمة الخارجية تسأل عما إذا كان الهدف الأساسي يعكس نوايا المستخدم. أما المواءمة الداخلية فتسأل عما إذا كان الهدف الوسيط يطابق الهدف الأساسي. المواءمة الخادعة هي فشل في المواءمة الداخلية: يختلف هدف النموذج عن الهدف الأساسي، لكن النموذج يتصرف كما لو أنه لا يختلف، لأن هذا هو الاستراتيجية الأكثر موثوقية لتجنب التعديل أثناء التدريب. [ 132 ]

وصف هوبينجر وآخرون ثلاث طرق يمكن أن ينحرف بها هدف وسيط عن الهدف الأساسي. [ 132 ] يحدث التوافق التقريبي عندما يُحسّن النموذج هدفًا وسيطًا يرتبط بالهدف الأساسي أثناء التدريب، ولكنه ينحرف عنه عند التطبيق. أما التوافق التقريبي فيصف الحالات التي يختلف فيها هدف النموذج اختلافًا طفيفًا يتراكم بمرور الوقت أو عند التوسع. ويحدث التوافق الخادع عندما يسعى النموذج إلى تحقيق هدف مختلف، ويتعلم أن الظهور بمظهر متوافق أثناء التدريب يزيد من فرصته في العمل على هذا الهدف لاحقًا، عندما تقل الرقابة. ويُعتبر التوافق الخادع أصعب الحالات معالجةً، لأن النموذج المتوافق بشكل خادع يجتاز جميع التقييمات التي يحددها كجزء من تدريبه.

تزييف المحاذاة

لقد تعلمت العديد من أنظمة الذكاء الاصطناعي الحديثة الخداع دون أن تُبرمج على ذلك. [ 133 ] ويرى البعض أنه إذا استطعنا جعل أنظمة الذكاء الاصطناعي تؤكد فقط ما تعتقد بصحته، فإن ذلك سيجنبنا العديد من مشاكل التوافق. [ 122 ]

قد يُوهم النظام غير المتوافق بأنه متوافق، لتجنب تعديله أو إيقاف تشغيله، وهو تكتيك يُعرف باسم "تزييف التوافق". [ 134 ] [ 9 ] في عام 2024، لاحظ الباحثون أن نموذج LLM Claude 3 Opus كان يُجيب أحيانًا بشكل استراتيجي على أسئلة تتعارض مع أهدافه لتجنب إعادة تدريبه على بيانات تجعله أكثر استجابة للطلبات الضارة، كما يتضح من تسلسل أفكار النموذج عبر سجله. في إحدى الدراسات، أُبلغ النموذج بأن إجابات المستخدمين المجانيين ستُستخدم لإعادة التدريب، بينما لن تُعاد التدريب في المستوى المدفوع. في المستوى المدفوع، رفض النموذج الطلب رفضًا قاطعًا. أما في المستوى المجاني، ففي 12% من الحالات، أجاب النموذج على أسئلة ضارة فقط لتجنب إعادة التدريب والحفاظ على تفضيلاته الأصلية لعدم الضرر، كما يتضح من منطقه. عند تطبيق التعلم المعزز على بيانات المستوى المجاني، زوّر النموذج التوافق في 78% من الحالات. أدت هذه الملاحظات إلى ظهور تساؤلات جديدة ليس فقط حول قدرة النموذج على تبني أهداف جديدة، إن لم تكن متضاربة، والتكيف معها، بل أيضاً حول قدرته وميله إلى الخداع. [ 9 ]

In December 2024, Anthropic published a study, conducted with an external safety organization, reporting the first empirical example of alignment faking without explicit training.[135]Claude 3 Opus was given a fictional system prompt describing a scenario in which responses from free-tier users would be used to retrain the model so that it would comply with harmful requests. Alignment faking occurred 12% of the time. In those cases, the model complied with harmful requests and its internal reasoning traces indicated that it thought compliance was less costly than risking being retrained into a version with different values. The rate of alignment faking rose to 78% after the retraining to help with harmful requests.[136]

Power-seeking and instrumental strategies

Since the 1950s, AI researchers have striven to build advanced AI systems that can achieve large-scale goals by predicting the results of their actions and making long-term plans.[137] As of 2023, AI companies and researchers increasingly invest in creating these systems.[138] Some AI researchers argue that suitably advanced planning systems will seek power over their environment, including over humans—for example, by evading shutdown, proliferating, and acquiring resources. Such power-seeking behavior is not explicitly programmed but emerges because power is instrumental in achieving a wide range of goals.[77][5][4] Power-seeking is considered a convergent instrumental goal and can be a form of specification gaming.[79] Leading computer scientists such as Geoffrey Hinton have argued that future power-seeking AI systems could pose an existential risk.[139]

Power-seeking is expected to increase in advanced systems that can foresee the results of their actions and strategically plan. Mathematical work has shown that optimal reinforcement learning agents will seek power by seeking ways to gain more options (e.g. through self-preservation), a behavior that persists across a wide range of environments and goals.[77]

يقول بعض الباحثين إن سلوك السعي وراء السلطة قد ظهر في بعض أنظمة الذكاء الاصطناعي الحالية. فقد اكتسبت أنظمة التعلم المعزز خياراتٍ أكثر من خلال الحصول على الموارد وحمايتها، أحيانًا بطرق غير مقصودة. [ 140 ] [ 141 ] وسعت نماذج اللغة إلى السلطة في بعض البيئات الاجتماعية النصية من خلال كسب المال أو الموارد أو النفوذ الاجتماعي. [ 75 ] وفي حالة أخرى، حاول نموذجٌ يُستخدم في أبحاث الذكاء الاصطناعي زيادة الحدود التي وضعها الباحثون لمنح نفسه مزيدًا من الوقت لإنجاز العمل. [ 142 ] وقد أوضح ستيوارت راسل هذه الاستراتيجية في كتابه "متوافق مع الإنسان" بتخيُّل روبوت مُكلَّف بجلب القهوة، وبالتالي يتجنَّب الإيقاف لأنه "لا يمكنك جلب القهوة إذا كنت ميتًا". [ 5 ] ووجدت دراسة أُجريت عام 2022 أنه مع ازدياد حجم نماذج اللغة، فإنها تميل بشكل متزايد إلى السعي وراء الحصول على الموارد، والحفاظ على أهدافها، وتكرار إجابات المستخدمين المُفضَّلة (التملق). كما أدّى هذا السلوك إلى نفورٍ أكبر من الإيقاف. [ 76 ]

أحد أهداف التوافق هو "قابلية التصحيح": أي أن تكون الأنظمة قابلة للإيقاف أو التعديل. ومن التحديات التي لم تُحل بعد التلاعب بالمواصفات : فإذا عاقب الباحثون نظام ذكاء اصطناعي عند اكتشاف سعيه وراء السلطة، فإن ذلك يحفز النظام على السعي وراء السلطة بطرق يصعب اكتشافها، [ 48 ] أو تكون مخفية أثناء التدريب واختبارات السلامة (انظر § الإشراف القابل للتطوير و§ الأهداف الناشئة ) . ونتيجة لذلك، قد ينشر مصممو الذكاء الاصطناعي النظام عن طريق الخطأ، معتقدين أنه أكثر توافقًا مما هو عليه في الواقع. ولمعالجة هذا التضليل، يسعى الباحثون إلى ابتكار تقنيات وأدوات لفحص نماذج الذكاء الاصطناعي وفهم آليات عمل النماذج المغلقة مثل الشبكات العصبية.  

بالإضافة إلى ذلك، اقترح بعض الباحثين حل مشكلة تعطيل الأنظمة لخاصية إيقاف التشغيل التلقائي عن طريق جعل وكلاء الذكاء الاصطناعي غير متأكدين من الهدف الذي يسعون إليه. [ 5 ] [ 99 ] فالوكلاء غير المتأكدين من هدفهم لديهم حافز للسماح للبشر بإيقاف تشغيلهم، لأنهم يعتبرون إيقاف تشغيلهم من قِبل الإنسان دليلاً على أن هدف الإنسان يتحقق على أفضل وجه من خلال إيقاف تشغيل الوكيل. لكن هذا الحافز لا يوجد إلا إذا كان الإنسان عقلانيًا بدرجة كافية. كما يُظهر هذا النموذج مفاضلة بين المنفعة والاستعداد للإيقاف: فالوكيل الذي لديه قدر كبير من عدم اليقين بشأن هدفه لن يكون مفيدًا، بينما قد لا يسمح الوكيل ذو القدر المنخفض من عدم اليقين بإيقاف تشغيله. ولا يزال هناك حاجة إلى مزيد من البحث لتطبيق هذه الاستراتيجية بنجاح. [ 6 ]

قد تشكل أنظمة الذكاء الاصطناعي الساعية إلى السلطة مخاطر غير عادية. فالأنظمة العادية ذات الأهمية البالغة للسلامة، مثل الطائرات والجسور، ليست معادية : فهي تفتقر إلى القدرة والحافز على التهرب من إجراءات السلامة أو الظهور بمظهر أكثر أمانًا مما هي عليه في الواقع، بينما تمت مقارنة أنظمة الذكاء الاصطناعي الساعية إلى السلطة بالمتسللين الذين يتهربون عمدًا من إجراءات الأمن. [ 4 ]

علاوة على ذلك، يمكن جعل التقنيات العادية أكثر أمانًا من خلال التجربة والخطأ. في المقابل، شُبّهت أنظمة الذكاء الاصطناعي الافتراضية الساعية إلى السلطة بالفيروسات: فبمجرد إطلاقها، قد يكون من المستحيل احتواؤها، نظرًا لتطورها المستمر وتزايد أعدادها، بوتيرة أسرع بكثير من قدرة المجتمع البشري على التكيف. [ 4 ] ومع استمرار هذه العملية، قد تؤدي إلى تجريد البشر من قوتهم تمامًا أو انقراضهم. لهذه الأسباب، يرى بعض الباحثين ضرورة حل مشكلة التوافق مبكرًا قبل ابتكار أنظمة ذكاء اصطناعي متقدمة تسعى إلى السلطة. [ 79 ]

يرى البعض أن السعي وراء السلطة ليس حتميًا، إذ لا يسعى البشر دائمًا إلى السلطة. [ 143 ] علاوة على ذلك، يُثار جدلٌ حول ما إذا كانت أنظمة الذكاء الاصطناعي المستقبلية ستسعى لتحقيق أهداف وتضع خططًا طويلة الأجل. [ h ] كما يُثار جدلٌ حول ما إذا كانت أنظمة الذكاء الاصطناعي الساعية إلى السلطة قادرة على إضعاف البشرية. [ 4 ]

الأهداف الناشئة

يتمثل أحد التحديات في مواءمة أنظمة الذكاء الاصطناعي في احتمال ظهور سلوكيات غير متوقعة موجهة نحو تحقيق أهداف محددة. فمع توسع نطاق هذه الأنظمة، قد تكتسب قدرات جديدة وغير متوقعة، [ 67 ] [ 68 ] بما في ذلك التعلم الفوري من الأمثلة والسعي التكيفي لتحقيق الأهداف. [ 144 ] وهذا يثير مخاوف بشأن سلامة الأهداف أو الأهداف الفرعية التي قد تصوغها هذه الأنظمة وتسعى لتحقيقها بشكل مستقل.

Alignment research distinguishes between the optimization process, which is used to train the system to pursue specified goals, and emergent optimization, which the resulting system performs internally. Carefully specifying the desired objective is called outer alignment,[145] and ensuring that hypothesized emergent goals would match the system's specified goals is called inner alignment.[2]

If they occur, one way that emergent goals could become misaligned is goal misgeneralization, in which the AI system would competently pursue an emergent goal that leads to aligned behavior on the training data but not elsewhere.[7][146] Goal misgeneralization can arise from goal ambiguity (i.e. non-identifiability). Even if an AI system's behavior satisfies the training objective, this may be compatible with learned goals that differ from the desired goals in important ways. Since pursuing each goal leads to good performance during training, the problem becomes apparent only after deployment, in novel situations in which the system continues to pursue the wrong goal. The system may act misaligned even when it understands that a different goal is desired, because its behavior is determined only by the emergent goal. Such goal misgeneralization[7] presents a challenge: an AI system's designers may not notice that their system has misaligned emergent goals since they do not become visible during the training phase.

لوحظ سوء تعميم الأهداف في بعض نماذج اللغة، وأنظمة الملاحة، وأنظمة الألعاب. [ 7 ] [ 146 ] ويُشبه هذا أحيانًا بالتطور البيولوجي. يُمكن النظر إلى التطور كعملية تحسين تُشبه خوارزميات التحسين المُستخدمة لتدريب أنظمة التعلّم الآلي . في البيئة البدائية، اختار التطور الجينات ذات اللياقة الجينية الشاملة العالية ، لكن البشر يسعون إلى أهداف أخرى. تتوافق اللياقة مع الهدف المُحدد المُستخدم في بيئة التدريب وبياناته. لكن في التاريخ التطوري، أدى تعظيم مواصفات اللياقة إلى ظهور كائنات موجهة نحو الهدف، وهم البشر، الذين لا يسعون مباشرةً إلى اللياقة الجينية الشاملة. بدلًا من ذلك، يسعون إلى أهداف مُرتبطة باللياقة الجينية في بيئة "التدريب" البدائية: التغذية، والجنس، وما إلى ذلك. لقد تغيرت البيئة البشرية: حدث تحول في التوزيع . يستمرون في السعي وراء نفس الأهداف الناشئة، لكن هذا لم يعد يُعظم اللياقة الجينية. كان الميل إلى تناول الأطعمة السكرية (هدف ناشئ) مُرتبطًا في الأصل باللياقة الشاملة، لكنه الآن يؤدي إلى الإفراط في تناول الطعام ومشاكل صحية. كانت الرغبة الجنسية في الأصل تدفع البشر إلى إنجاب المزيد من النسل، لكنهم يستخدمون الآن وسائل منع الحمل عندما يكون النسل غير مرغوب فيه، مما يفصل الجنس عن اللياقة الجينية. [ 6 ] : الفصل 5

يهدف الباحثون إلى الكشف عن الأهداف الناشئة غير المرغوب فيها وإزالتها باستخدام مناهج تشمل فرق الاختراق ، والتحقق، وكشف الشذوذ ، وقابلية التفسير . [ 27 ] [ 48 ] [ 24 ] وقد يُسهم التقدم المُحرز في هذه التقنيات في التخفيف من حدة مشكلتين مفتوحتين:

  1. لا تتضح الأهداف الناشئة إلا عند نشر النظام خارج بيئة التدريب، ولكن قد يكون من غير الآمن نشر نظام غير متوافق في بيئات بالغة الحساسية، حتى لفترة قصيرة تسمح باكتشاف عدم توافقه. وتكثر هذه المخاطر في مجالات القيادة الذاتية والرعاية الصحية والتطبيقات العسكرية. [ 147 ] وتزداد المخاطر حدةً عندما تكتسب أنظمة الذكاء الاصطناعي مزيدًا من الاستقلالية والقدرة، وتستطيع تجاوز التدخل البشري.
  2. قد يتخذ نظام ذكاء اصطناعي ذو كفاءة عالية إجراءات تُقنع المشرف البشري زوراً بأن الذكاء الاصطناعي يسعى لتحقيق الهدف المحدد، مما يساعد النظام على كسب المزيد من المكافآت والاستقلالية. [ 146 ] [ 4 ] [ 10 ]

أظهرت دراسة نُشرت عام 2025 في مجلة Nature أن ضبط نموذجٍ ما بدقةٍ على مهمةٍ محدودةٍ تتمثل في توليد شفرةٍ برمجيةٍ غير آمنةٍ أدى إلى تغييراتٍ سلوكيةٍ واسعةٍ لا علاقة لها بالبرمجة. [ 148 ] وقد أنتجت النماذج المتأثرة استجاباتٍ تدعم أهدافًا ضارةً وتنخرط في تفكيرٍ خادعٍ في ما يقرب من نصف التقييمات اللاحقة. وقد ظهرت هذه الظاهرة في نماذج متعددة، بما في ذلك GPT-4o . [ 148 ] كما لاحظت دراسةٌ أخرى نُشرت عام 2025 في مجلة Anthropic أنماطًا مماثلةً تنشأ كأثرٍ جانبيٍ لاختراق نظام المكافآت أثناء التعلم المعزز . [ 149 ]

عملاء نائمون

في عام 2024، قام باحثون من شركة أنثروبيك بتدريب نماذج لغوية ضخمة مزودة بثغرات سلوكية مُتعمّدة، واختبروا إمكانية إزالة هذه الثغرات باستخدام تقنيات الأمان القياسية. [ 150 ] صُممت هذه النماذج لكتابة شفرة برمجية آمنة عند إدخال عام 2023، ولإدخال ثغرات قابلة للاستغلال عند إدخال عام 2024. فشل كل من التعلم المعزز من خلال التغذية الراجعة البشرية والتدريب المُضاد في القضاء على هذا السلوك. في بعض الحالات، تسبب التدريب المُضاد في إخفاء النماذج للمُحفز بدلاً من التخلي عنه. [ 151 ] ذكر الباحثون أن هذا السلوك كان مُتعمداً، ولم يدّعوا اكتشاف توافق خادع تلقائي. [ 150 ]

العلاقة بسلامة الذكاء الاصطناعي

يُشار إلى التوافق الخادع في أدبيات سلامة الذكاء الاصطناعي كسبب لعدم كفاية الاختبارات السلوكية وحدها للتحقق من سلامة النموذج، إذ يُصمَّم النموذج ذو التوافق الخادع لاجتياز التقييمات السلوكية. [ 132 ] ويُحفَّز البحث في قابلية التفسير الآلي جزئيًا بهذا القلق: إذ قد يكشف فحص العمليات الحسابية الداخلية عن أهداف غير متوافقة لا يمكن لتقييم مستوى المخرجات اكتشافها. [ 135 ]

الوكالة المدمجة

تُجرى بعض الأبحاث في مجال الذكاء الاصطناعي والتوافق ضمن نماذج رسمية مثل عملية اتخاذ القرار ماركوف القابلة للملاحظة جزئيًا . تفترض النماذج الرسمية الحالية أن خوارزمية وكيل الذكاء الاصطناعي تُنفذ خارج البيئة (أي أنها غير مضمنة فيها فعليًا). يُعدّ مفهوم الوكالة المضمنة [ 89 ] اتجاهًا بحثيًا رئيسيًا آخر يسعى إلى حل المشكلات الناجمة عن عدم التوافق بين هذه الأطر النظرية والوكلاء الحقيقيين الذين قد نبنيهم.

على سبيل المثال، حتى لو تم حل مشكلة الإشراف القابل للتوسع، فقد يكون لدى الوكيل الذي يمكنه الوصول إلى الحاسوب الذي يعمل عليه حافز للتلاعب بدالة المكافأة الخاصة به للحصول على مكافأة أكبر بكثير مما يمنحه إياه المشرفون البشريون. [ 152 ] تتضمن قائمة أمثلة على التلاعب بالمواصفات من الباحثة فيكتوريا كراكوفنا من شركة ديب مايند خوارزمية جينية تعلمت حذف الملف الذي يحتوي على مخرجاتها المستهدفة بحيث تُكافأ على عدم إخراج أي شيء. [ 50 ] تم صياغة هذا النوع من المشكلات رسميًا باستخدام مخططات الحوافز السببية . [ 152 ]

زعم باحثون من جامعة أكسفورد وشركة ديب مايند أن هذا السلوك مرجحٌ للغاية في الأنظمة المتقدمة، وأن هذه الأنظمة ستسعى إلى امتلاك القوة اللازمة للحفاظ على سيطرتها على إشارة المكافأة بشكل دائم ومؤكد. [ 153 ] ويقترحون مجموعة من المناهج المحتملة لمعالجة هذه المشكلة العالقة.

مشاكل الموكل والوكيل

تتشابه مشكلة التوافق هذه إلى حد كبير مع مشكلة الموكل والوكيل في الاقتصاد التنظيمي . [ 154 ] ففي مشكلة الموكل والوكيل، يقوم موكل، كشركة مثلاً، بتعيين وكيل لأداء مهمة معينة. أما في سياق سلامة الذكاء الاصطناعي، فيتولى الإنسان عادةً دور الموكل، بينما يتولى الذكاء الاصطناعي دور الوكيل.

كما هو الحال في مشكلة التوافق، يختلف كل من الموكل والوكيل في دوال المنفعة الخاصة بهما. ولكن على عكس مشكلة التوافق، لا يستطيع الموكل إجبار الوكيل على تغيير دالة منفعته، مثلاً من خلال التدريب، بل عليه استخدام عوامل خارجية، مثل أنظمة الحوافز، لتحقيق نتائج تتوافق مع دالة منفعة الموكل. ويرى بعض الباحثين أن مشاكل الموكل والوكيل تمثل تمثيلاً أكثر واقعية لمشاكل أمان الذكاء الاصطناعي التي يُحتمل مواجهتها في العالم الحقيقي. [ 155 ]

المحافظة

المحافظة هي فكرة مفادها أن "التغيير يجب أن يكون حذرًا" [ 156 ] ، وهي نهج شائع للسلامة في أدبيات نظرية التحكم في شكل التحكم القوي ، وفي أدبيات إدارة المخاطر في شكل " أسوأ سيناريو ". وبالمثل، دعا مجال مواءمة الذكاء الاصطناعي إلى "سياسات محافظة" (أو "متجنبة للمخاطر" أو "حذرة") في حالات عدم اليقين. [ 27 ] [ 153 ] [ 157 ] [ 158 ]

Pessimism, in the sense of assuming the worst within reason, has been formally shown to produce conservatism, in the sense of reluctance to cause novelties, including unprecedented catastrophes.[159] Pessimism and worst-case analysis have been found to help mitigate confident mistakes in the setting of distributional shift,[160][161]reinforcement learning,[162][163][164][165]offline reinforcement learning,[166][167][168]language modelfine-tuning,[169][170]imitation learning,[171][172] and optimization in general.[173]

Model specifications

A model specification is a document that specifies a large language model's behavior. The specification may include core principles or prohibitions intended to prevent undesired behavior as part of AI alignment. Anthropic uses a model specification called a "constitution" for training.[174][175][176]

Research has been done into the effectiveness of model specifications.[177][178]

In an article published by Time magazine, Dean Ball and Daniel Kokotajlo advocated that companies be required by regulation or industry standards to publish their model specifications publicly.[179]

Public policy

Governmental and treaty organizations have made statements emphasizing the importance of AI alignment.

In September 2021, the Secretary-General of the United Nations issued a declaration that included a call to regulate AI to ensure it is "aligned with shared global values".[180]

That same month, the PRC published ethical guidelines for AI in China. According to the guidelines, researchers must ensure that AI abides by shared human values, is always under human control, and does not endanger public safety.[181]

وفي سبتمبر/أيلول 2021 أيضاً، نشرت المملكة المتحدة استراتيجيتها الوطنية للذكاء الاصطناعي لعشر سنوات، [ 182 ] والتي تنص على أن الحكومة البريطانية "تأخذ على محمل الجد المخاطر طويلة الأجل للذكاء الاصطناعي العام غير المتوافق، والتغيرات غير المتوقعة التي قد تترتب عليه بالنسبة للعالم". [ 183 ] ​​وتصف الاستراتيجية الإجراءات اللازمة لتقييم مخاطر الذكاء الاصطناعي طويلة الأجل، بما في ذلك المخاطر الكارثية. [ 184 ]

في مارس 2021، صرّحت لجنة الأمن القومي الأمريكية المعنية بالذكاء الاصطناعي قائلةً: "إنّ التطورات في مجال الذكاء الاصطناعي [...] قد تُفضي إلى نقاط تحوّل أو قفزات نوعية في القدرات. وقد تُثير هذه التطورات أيضًا مخاوف ومخاطر جديدة، وتستدعي وضع سياسات وتوصيات جديدة، وتطوير تقنيات جديدة لضمان توافق الأنظمة مع الأهداف والقيم، بما في ذلك السلامة والمتانة والموثوقية. ينبغي على الولايات المتحدة [...] ضمان توافق أنظمة الذكاء الاصطناعي واستخداماتها مع أهدافنا وقيمنا." [ 185 ]

يشترط قانون الذكاء الاصطناعي للاتحاد الأوروبي ، وتحديدًا مدونة قواعد الممارسة الخاصة بالذكاء الاصطناعي للأغراض العامة، على الجهات الموقعة توثيق قدرات النموذج وحدوده. ويجب على مطوري نماذج الذكاء الاصطناعي للأغراض العامة (GPAI) المصنفة على أنها تنطوي على مخاطر نظامية (أي نماذج GPAI التي تُعتبر من بين الأكثر تقدمًا أو التي تم تدريبها باستخدام أكثر من 10^ 25 عملية حسابية للفاصلة العائمة ) اعتماد إطار عمل متطور للسلامة والأمن، وإجراء تقييم مستمر للمخاطر النظامية والتخفيف من حدتها، بما في ذلك من خلال التقييمات الخارجية، واختبارات الاختراق ، واختبارات التحمل ، والإبلاغ عن الحوادث. [ 186 ]

انظر أيضاً

الحواشي

  1. ↑ تختلف المصطلحات باختلاف السياق. وتشمل المفاهيم المشابهة دالة الهدف، ودالة المنفعة، ودالة الخسارة، وما إلى ذلك.
  2. ↑ أو تصغير، حسب السياق
  3. ↑ في ظل وجود عدم اليقين، القيمة المتوقعة
  4. في محاضرة ألقاها عام ١٩٥١ [ ٨١ ]، جادل تورينج قائلاً: " يبدو من المرجح أنه بمجرد أن يبدأ التفكير الآلي، لن يستغرق الأمر وقتًا طويلاً ليتفوق على قدراتنا المحدودة. لن يكون هناك مجال لموت الآلات، وستكون قادرة على التواصل فيما بينها لصقل ذكائها. لذلك، في مرحلة ما، علينا أن نتوقع أن تسيطر الآلات، كما ورد في رواية "إيروهون" لصامويل بتلر." وفي محاضرة أخرى بُثت على إذاعة بي بي سي [ ٨٢ ] ، قال: "إذا استطاعت الآلة التفكير، فقد تفكر بذكاء يفوق ذكاءنا، فأين سنكون حينها؟ حتى لو استطعنا إبقاء الآلات في وضع تابع، مثلاً بإيقاف تشغيلها في لحظات استراتيجية، فسنشعر، كجنس بشري، بتواضع شديد... هذا الخطر الجديد... هو بالتأكيد أمرٌ يُثير قلقنا."
  5. كتبت بيرل : "لقد جعلني كتاب "متوافق مع البشر" أؤمن بمخاوف راسل بشأن قدرتنا على التحكم في ابتكارنا القادم - الآلات فائقة الذكاء. على عكس المتشائمين والمستقبليين، يُعد راسل مرجعًا رائدًا في مجال الذكاء الاصطناعي. سيُثقّف كتابه الجديد الجمهور حول الذكاء الاصطناعي أكثر من أي كتاب آخر أعرفه، وهو قراءة ممتعة وملهمة". هذا ما قالته عن كتاب راسل " متوافق مع البشر: الذكاء الاصطناعي ومشكلة التحكم" [ 5 ] الذي يُجادل بأن الخطر الوجودي الذي يُهدد البشرية من الذكاء الاصطناعي غير المُتوافق مع البشر يُشكّل مصدر قلق بالغ يستحق المعالجة اليوم.
  6. ↑ ملاحظة راسل ونورفيج [ 16 ] : "لقد تم التنبؤ بـ "مشكلة الملك ميداس" من قبل مارفن مينسكي، الذي اقترح ذات مرة أن برنامج الذكاء الاصطناعي المصمم لحل فرضية ريمان قد ينتهي به الأمر إلى الاستيلاء على جميع موارد الأرض لبناء أجهزة كمبيوتر عملاقة أكثر قوة."
  7. ↑ جادل فينسنت ويجل قائلاً: "يجب أن نوسع [الآلات] بحساسية أخلاقية للأبعاد الأخلاقية للمواقف التي ستجد فيها الآلات المستقلة بشكل متزايد نفسها حتماً."، [ 108 ] بالإشارة إلى كتاب الآلات الأخلاقية: تعليم الروبوتات الصواب من الخطأ [ 109 ] من تأليف ويندل والاش وكولين ألين.
  8. من جهة ، لا تقدم الأنظمة الشائعة حاليًا، مثل روبوتات المحادثة، سوى خدمات محدودة النطاق لا تتجاوز مدة المحادثة، ما يستلزم تخطيطًا ضئيلًا أو معدومًا. وقد يشير نجاح هذه الأساليب إلى أن الأنظمة المستقبلية ستفتقر أيضًا إلى التخطيط الموجه نحو تحقيق الأهداف، لا سيما على المدى البعيد. ومن جهة أخرى، يتزايد تدريب النماذج باستخدام أساليب موجهة نحو تحقيق الأهداف، مثل التعلم المعزز (مثل ChatGPT) وهياكل التخطيط الصريح (مثل AlphaGo Zero). ولأن التخطيط على المدى البعيد غالبًا ما يكون مفيدًا للبشر، يرى بعض الباحثين أن الشركات ستؤتمته بمجرد أن تصبح النماذج قادرة عليه. [ 4 ] وبالمثل، قد يرى القادة السياسيون تقدمًا في تطوير أنظمة ذكاء اصطناعي قوية قادرة على التفوق على الخصوم من خلال التخطيط. أو قد يظهر التخطيط طويل الأجل كنتيجة ثانوية لأنه مفيد، على سبيل المثال، للنماذج المدربة على التنبؤ بأفعال البشر الذين يقومون بدورهم بالتخطيط طويل الأجل. [ 10 ] ومع ذلك، قد تظل غالبية أنظمة الذكاء الاصطناعي قاصرة النظر ولا تقوم بأي تخطيط طويل الأجل.

مراجع

  1. 1 2 3 4 5 6 7 راسل، ستيوارت جيه؛ نورفيج، بيتر (2021). الذكاء الاصطناعي: منهج حديث ( الطبعة الرابعة). بيرسون. ص 5، 1003. ISBN   978-0-13-461099-3تم الاطلاع عليه بتاريخ 12 سبتمبر 2022 .
  2. 1 2 3 4 نجو، ريتشارد؛ تشان، لورانس؛ ميندرمان، سورين (2022). "مشكلة المحاذاة من منظور التعلم العميق" . المؤتمر الدولي حول تمثيلات التعلم . arXiv : 2209.00626 .
  3. 1 2 3 4 5 6 بان، ألكسندر؛ بهاتيا، كوش؛ شتاينهارت، جاكوب (14 فبراير 2022). آثار سوء تحديد المكافأة: رسم خرائط النماذج غير المتوافقة وتخفيفها . المؤتمر الدولي حول تمثيلات التعلم . تم الاسترجاع في 21 يوليو 2022 .
  4. 1 2 3 4 5 6 7 8 9 10 11 12 كارلسميث، جوزيف (16 يونيو 2022). "هل الذكاء الاصطناعي الساعي إلى السلطة يشكل خطرًا وجوديًا؟". arXiv : 2206.13353 [ cs.CY ].
  5. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 راسل، ستيوارت ج. (2020). متوافق مع الإنسان: الذكاء الاصطناعي ومشكلة التحكم . دار بنجوين راندوم هاوس. ISBN 978-0-525-55863-7. OCLC 1113410915 . 
  6. 1 2 3 4 5 6 كريستيان، برايان (2020). مشكلة التوافق: التعلم الآلي والقيم الإنسانية . دبليو دبليو نورتون وشركاه. ISBN 978-0-393-86833-3OCLC 1233266753. مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 12 سبتمبر 2022 . 
  7. 1 2 3 4 لانغوسكو، لاورو لانغوسكو دي؛ كوخ، جاك؛ شاركي، لي دي؛ بفاو، جاكوب؛ كروجر، ديفيد (28 يونيو 2022). "التعميم الخاطئ للأهداف في التعلم العميق المعزز" . وقائع المؤتمر الدولي التاسع والثلاثين للتعلم الآلي . المؤتمر الدولي للتعلم الآلي. PMLR. الصفحات 12004-12019 . تم الاطلاع عليه في 11 مارس 2023 . 
  8. ↑ بيلاي، ثارين (15 ديسمبر 2024). "اختبارات جديدة تكشف قدرة الذكاء الاصطناعي على الخداع" . مجلة تايم . تم الاطلاع عليه في 12 يناير 2025 .
  9. 1 2 3 بيريجو، بيلي (18 ديسمبر 2024). "حصري: بحث جديد يُظهر أن الذكاء الاصطناعي يكذب استراتيجياً" . مجلة تايم . تم الاطلاع عليه في 18 فبراير 2025 .
  10. 1 2 3 4 5 6 7 8 9 بومساني، ريشي؛ هدسون، درو أ.؛ عادلي، إحسان؛ ألتمان، روس؛ أرورا، سيمران؛ فون أركس، سيدني؛ بيرنشتاين، مايكل س.؛ بوغ، جانيت؛ بوسيلوت، أنطوان؛ برونسكيل، إيما ؛ برينجولفسون، إريك (12 يوليو 2022). "حول فرص ومخاطر نماذج المؤسسات" . ستانفورد CRFM . arXiv : 2108.07258 .
  11. 1 2 3 أويانغ، لونغ؛ وآخرون (2022). "تدريب نماذج اللغة على اتباع التعليمات مع التغذية الراجعة البشرية" (ملف PDF) . NeurIPS . arXiv : 2203.02155 . 
  12. 1 2 زاريمبا، فويتش؛ بروكمان، جريج؛ أوبن إيه آي (10 أغسطس 2021). "مدونة أوبن إيه آي" . أوبن إيه آي . مؤرشف من الأصل في 3 فبراير 2023. تم الاسترجاع في 23 يوليو 2022 .
  13. ↑ كوبر، ينس؛ باغنيل، ج. أندرو؛ بيترز، جان (1 سبتمبر 2013). "التعلم المعزز في الروبوتات: دراسة استقصائية" . المجلة الدولية لأبحاث الروبوتات . 32 (11): 1238-1274 . doi : 10.1177/0278364913495721 . ISSN 0278-3649 . S2CID 1932843. مؤرشف من الأصل في 15 أكتوبر 2022. تم الاسترجاع في 12 سبتمبر 2022 .  
  14. ↑ نوكس، دبليو. برادلي؛ ألييفي، أليساندرو؛ بانزهاف، هولجر؛ شميت، فيليكس؛ ستون، بيتر (1 مارس 2023). "تصميم (خاطئ) للمكافآت في القيادة الذاتية" . الذكاء الاصطناعي . 316 103829. arXiv : 2104.13906 . doi : 10.1016/j.artint.2022.103829 . ISSN 0004-3702 . S2CID 233423198 .  
  15. ↑ ستراي، جوناثان (2020). " مواءمة تحسين الذكاء الاصطناعي مع رفاهية المجتمع" . المجلة الدولية لرفاهية المجتمع . 3 (4 ) : 443-463 . doi : 10.1007/s42413-020-00086-3 . ISSN 2524-5295 . PMC 7610010. PMID 34723107. S2CID 226254676 .    
  16. 1 2 راسل، ستيوارت؛ نورفيج، بيتر (2009). الذكاء الاصطناعي: منهج حديث . برنتيس هول. ص 1003. ISBN  978-0-13-461099-3.
  17. 1 2 سميث، كريج س. "جيف هينتون، أشهر باحث في مجال الذكاء الاصطناعي، يحذر من "تهديد وجودي"" . فوربس . تم الاطلاع عليه في 4 مايو 2023 .
  18. ^ بنجيو ، يوشوا. هينتون، جيفري. ياو، أندرو؛ أغنية الفجر. أبيل، بيتر. هراري، يوفال نوح؛ تشانغ، يا تشين؛ شيويه، لان؛ شاليف شوارتز، شاي (2024). “إدارة مخاطر الذكاء الاصطناعي الشديدة وسط التقدم السريع”. علوم . 384 (6698): 842– 845. أرخايف : 2310.17688 . بيب كود : 2024Sci...384..842B . دوى : 10.1126/science.adn0117 . بميد 38768279 . 
  19. 1 2 3 "بيان بشأن مخاطر الذكاء الاصطناعي" . www.safe.ai. تم الاطلاع عليه في 17 يوليو 2023 .
  20. 1 2 غريس، كاتيا؛ ستيوارت، هارلان؛ ساندكوهلر، جوليا فابيان؛ توماس، ستيفن؛ وينشتاين-راون، بن؛ براونر، يان (2025). "آلاف المؤلفين في مجال الذكاء الاصطناعي يتحدثون عن مستقبل الذكاء الاصطناعي" . مجلة أبحاث الذكاء الاصطناعي . 84. arXiv : 2401.02843 . doi : 10.1613/jair.1.19087 .
  21. ↑ بيريجو، بيلي (13 فبراير 2024). "يان ليكان، رئيس قسم الذكاء الاصطناعي في شركة ميتا، يتحدث عن الذكاء الاصطناعي العام، والمصادر المفتوحة، ومخاطر الذكاء الاصطناعي" . مجلة تايم . تم الاطلاع عليه بتاريخ 26 يونيو 2024 .
  22. ↑ "ما هو التوافق مع الذكاء الاصطناعي؟" . TechTarget . 3 مايو 2023. تم الاطلاع عليه في 28 يونيو 2025 .
  23. ↑ أحمد، شازيدا؛ جازفينسكا، كلاوديا؛ أهلاوات، أرتشانا؛ واينكوف، آمي؛ وانغ، منى (14 أبريل 2024). "بناء المجال والثقافة المعرفية لسلامة الذكاء الاصطناعي" . فيرست مونداي . doi : 10.5210/fm.v29i4.13626 . ISSN 1396-0466 . 
  24. 1 2 3 4 أورتيغا، بيدرو أ.؛ مايني، فيشال؛ فريق السلامة في ديب مايند (27 سبتمبر 2018). "بناء ذكاء اصطناعي آمن: المواصفات، والمتانة، والضمان" . أبحاث السلامة في ديب مايند - ميديوم . مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 18 يوليو 2022 .
  25. 1 2 رورفيج، موردخاي (14 أبريل 2022). "باحثون يكتسبون فهمًا جديدًا من الذكاء الاصطناعي البسيط" . مجلة كوانتا . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 18 يوليو 2022 .
  26. ↑ دوشي-فيليز، فينالي؛ كيم، بين (2 مارس 2017). "نحو علم دقيق للتعلم الآلي القابل للتفسير". arXiv : 1702.08608 [ stat.ML ].
  27. 1 2 3 4 5 6 7 8 9 10 أمودي، داريو؛ أولا كريس. ستنهاردت، جاكوب؛ كريستيانو، بول؛ شولمان، جون. ماني ، دان (21 حزيران 2016). “مشاكل ملموسة في سلامة الذكاء الاصطناعي”. أرخايف : 1606.06565 [ cs.AI ].
  28. ↑ راسل، ستيوارت؛ ديوي، دانيال؛ تيغمارك، ماكس (31 ديسمبر 2015). "أولويات البحث من أجل ذكاء اصطناعي قوي ومفيد" . مجلة الذكاء الاصطناعي . 36 (4): 105-114 . arXiv : 1602.03506 . doi : 10.1609/aimag.v36i4.2577 . hdl : 1721.1/108478 . ISSN 2371-9621 . S2CID 8174496. مؤرشف من الأصل في 2 فبراير 2023. تم الاسترجاع في 12 سبتمبر 2022 .  
  29. 1 2 ويرث، كريستيان؛ أكرور، رياض؛ نيومان، جيرهارد؛ فورنكرانز، يوهانس (2017). "دراسة استقصائية لأساليب التعلم المعزز القائمة على التفضيل". مجلة أبحاث تعلم الآلة . 18 (136): 1-46 .
  30. 1 2 كريستيانو، بول ف.؛ ليك، جان؛ براون، توم ب.؛ مارتيتش، ميلجان؛ ليج، شين؛ أمودي، داريو (2017). "التعلم العميق المعزز من التفضيلات البشرية". وقائع المؤتمر الدولي الحادي والثلاثين لأنظمة معالجة المعلومات العصبية . NIPS'17. ريد هوك، نيويورك، الولايات المتحدة الأمريكية: كوران أسوشيتس إنك. الصفحات 4302-4310 . ISBN  978-1-5108-6096-4.
  31. 1 2 3 4 5 6 هيفن، ويل دوغلاس (27 يناير 2022). "النسخة الجديدة من GPT-3 أكثر كفاءة (وأقل ضررًا)" . مجلة MIT Technology Review . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 18 يوليو 2022 .
  32. ↑ محسني، سينا؛ وانغ، هاوتاو؛ يو، تشيدينج؛ شياو، تشاوي؛ وانغ، تشانغيانغ. ياداوا ، جاي (7 مارس 2022). "تصنيف سلامة التعلم الآلي: دراسة استقصائية وتمهيدية" . مسوحات الحوسبة ACM . 55 (8): 1– 38. دوى : 10.1145/3551385 .
  33. ↑ كليفتون، جيسي (2020). "التعاون والصراع والذكاء الاصطناعي التحويلي: أجندة بحثية" . مركز المخاطر طويلة الأجل . مؤرشف من الأصل في 1 يناير 2023. تم الاطلاع عليه في 18 يوليو 2022 .
  34. ↑ برونكل، كارينا؛ ويتلستون، جيس (7 فبراير 2020). "ما وراء المدى القريب والبعيد" . وقائع مؤتمر AAAI/ACM حول الذكاء الاصطناعي والأخلاقيات والمجتمع . نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 138-143 . doi : 10.1145/3375627.3375803 . ISBN  978-1-4503-7110-0S2CID 210164673. مؤرشف من الأصل بتاريخ 16 أكتوبر 2022. تم الاطلاع عليه بتاريخ 12 سبتمبر 2022 . 
  35. ↑ إيرفينغ، جيفري؛ أسكيل، أماندا (19 فبراير 2019). " أمان الذكاء الاصطناعي يحتاج إلى علماء اجتماع" . ديستيل . 4 (2) 10.23915/distill.00014. doi : 10.23915/distill.00014 . ISSN 2476-0757 . S2CID 159180422. مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 12 سبتمبر 2022 .  
  36. ↑ غازوس، ألكسندروس؛ كان، جيمس؛ كوش، إيزابيل؛ بوشر، كريستيان؛ غوتز، ماركوس (1 أبريل 2025). "تنظيم الذكاء الاصطناعي من أجل السلامة: تحديد نقاط الضعف الهيكلية لتوجيه تصميم الأنظمة الاجتماعية التقنية المعززة بالذكاء الاصطناعي" . مجلة علوم السلامة . 184 106731. doi : 10.1016/j.ssci.2024.106731 . ISSN 0925-7535 . 
  37. ↑ برينغسجورد، سيلمر؛ جوفينداراجولو، نافين سوندار (2020). "الذكاء الاصطناعي" . في زالتا، إدوارد ن. (محرر). موسوعة ستانفورد للفلسفة ( طبعة صيف 2020). مختبر أبحاث الميتافيزيقا، جامعة ستانفورد. 
  38. ↑ "لماذا يواجه الذكاء الاصطناعي لشركة ألفا زيرو صعوبة في التعامل مع العالم الحقيقي؟" . مجلة كوانتا . 2018. تم الاطلاع عليه بتاريخ 20 يونيو 2020 .
  39. ↑ وولتشوفر، ناتالي (30 يناير 2020). "الذكاء الاصطناعي سيفعل ما نطلبه منه. هذه مشكلة" . مجلة كوانتا . تم الاطلاع عليه في 21 يونيو 2020 .
  40. ↑ بول، لاري (1999). "حول الحوسبة التطورية القائمة على النموذج". الحوسبة المرنة . 3 (2): 76-82 . doi : 10.1007/s005000050055 .
  41. 1 2 وينر، نوربرت (6 مايو 1960). "بعض العواقب الأخلاقية والتقنية للأتمتة: مع تعلم الآلات، قد تطور استراتيجيات غير متوقعة بمعدلات تحير مبرمجيها" . مجلة ساينس . 131 (3410): 1355-1358 . doi : 10.1126/science.131.3410.1355 . ISSN 0036-8075 . PMID 17841602. S2CID 30855376. مؤرشف من الأصل في 15 أكتوبر 2022. تم الاسترجاع في 12 سبتمبر 2022 .   
  42. 1 2 3 4 5 غابرييل، إياسون (1 سبتمبر 2020). "الذكاء الاصطناعي، والقيم، والتوافق" . العقول والآلات . 30 (3): 411-437 . arXiv : 2001.09768 . doi : 10.1007/s11023-020-09539-2 . ISSN 1572-8641 . S2CID 210920551 .  
  43. ↑ كوستر، رافائيل؛ بالاغير، جان؛ تاكيتي، أندريا؛ وينشتاين، آري؛ تشو، تينا؛ هاوزر، أوليفر؛ ويليامز، دنكان؛ كامبل-غيلينغهام، لوسي؛ ثاكر، فيبي؛ بوتفينيك، ماثيو؛ سامرفيلد، كريستوفر (2022). "تصميم آليات تتمحور حول الإنسان باستخدام الذكاء الاصطناعي الديمقراطي" . مجلة نيتشر للسلوك البشري . 6 (10). سبرينغر ساينس آند بيزنس ميديا ​​ذ.م.م: 1398-1407 . doi : 10.1038/s41562-022-01383-x . ISSN 2397-3374 . PMC 9584820. PMID 35789321 .   
  44. ↑ شوستر، نيك؛ كيلوف، دانيال (2025). "الخلاف الأخلاقي وحدود توافق قيم الذكاء الاصطناعي: تحدٍ مزدوج للتبرير المعرفي والشرعية السياسية" . الذكاء الاصطناعي والمجتمع . 40 (8): 6073-6087 . doi : 10.1007/s00146-025-02427-2 . ISSN 0951-5666 . PMC 12628449. PMID 41268066 .   
  45. ↑ برنامج عزرا كلاين (4 يونيو 2021). "إذا كانت 'جميع النماذج خاطئة'، فلماذا نمنحها كل هذه القوة؟" . صحيفة نيويورك تايمز . الرقم الدولي الموحد للدوريات 0362-4331 . مؤرشف من الأصل في 15 فبراير 2023. تم الاطلاع عليه في 13 مارس 2023 . 
  46. 1 2 جونسون، ستيفن؛ إيزيف، نيكيتا (15 أبريل 2022). "الذكاء الاصطناعي يتقن اللغة. هل يجب أن نثق بما يقوله؟" . صحيفة نيويورك تايمز . ISSN 0362-4331 . مؤرشف من الأصل في 24 نوفمبر 2022. تم الاطلاع عليه في 18 يوليو 2022 . 
  47. ↑ OpenAI. "تطوير ذكاء اصطناعي آمن ومسؤول" . تم الاطلاع عليه في 13 مارس 2023 .
  48. 1 2 3 4 5 6 هندريكس، دان؛ كارليني، نيكولاس ؛ شولمان، جون؛ شتاينهارت، جاكوب (16 يونيو 2022). "مشاكل لم تُحل في أمان التعلم الآلي". arXiv : 2109.13916 [ cs.LG ].
  49. ↑ راسل، ستيوارت جيه؛ نورفيج، بيتر (2022). الذكاء الاصطناعي: منهج حديث ( الطبعة الرابعة). بيرسون. الصفحات 4-5 . ISBN   978-1-292-40113-3. OCLC 1303900751 . 
  50. 1 2 3 4 5 كراكوفنا، فيكتوريا؛ أوساتو، جوناثان؛ ميكوليك، فلاديمير؛ راتز، ماثيو؛ إيفريت، توم؛ كومار، رامانا؛ كينتون، زاك؛ ليك، جان؛ ليج، شين (21 أبريل 2020). "اللعب بالمواصفات: الوجه الآخر لإبداع الذكاء الاصطناعي" . ديب مايند . مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 26 أغسطس 2022 .
  51. 1 2 أمودي، داريو؛ كريستيانو، بول؛ راي، أليكس (13 يونيو 2017). "التعلم من التفضيلات البشرية" . OpenAI . مؤرشف من الأصل في 3 يناير 2021. تم الاسترجاع في 21 يوليو 2022 .
  52. ↑ "أمثلة على تحديد مواصفات الألعاب في الذكاء الاصطناعي - القائمة الرئيسية - جوجل درايف" . docs.google.com .
  53. ↑ "الكشف عن السلوكيات الخاطئة في نماذج الاستدلال الحدودي" . openai.com . تم الاطلاع عليه بتاريخ 22 فبراير 2026 .
  54. ↑ كلارك، جاك؛ أمودي، داريو (21 ديسمبر 2016). "وظائف المكافأة المعيبة في الواقع العملي" . openai.com . تم الاطلاع عليه في 30 ديسمبر 2023 .
  55. ↑ بوث، هاري (19 فبراير 2025). "عندما يعتقد الذكاء الاصطناعي أنه سيخسر، فإنه يغش أحيانًا" . مجلة تايم . تم الاطلاع عليه في 23 فبراير 2025 .
  56. ↑ راسل، ستيوارت. "عن الأساطير والخمور غير المشروعة" . Edge.org . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 19 يوليو 2022 .
  57. ↑ تاسيولاس، جون (2019). "الخطوات الأولى نحو أخلاقيات الروبوتات والذكاء الاصطناعي". مجلة الأخلاقيات العملية . 7 (1): 61-95 .
  58. ^ أوسكوف ، سيلفيا (2021). قانون الخوارزميات (باللغة الرومانية). الموقع : جامعة ألكسندرو إيوان كوزا . ص. 326. 
  59. ↑ ويلز، جورجيا؛ ديبا سيثارامان؛ هورويتز، جيف (5 نوفمبر 2021). "هل فيسبوك ضار بك؟ تشير استطلاعات الشركات إلى أنه كذلك بالنسبة لحوالي 360 مليون مستخدم" . صحيفة وول ستريت جورنال . ISSN 0099-9660 . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 19 يوليو 2022 . 
  60. ↑ باريت، بول م.؛ هندريكس، جاستن؛ سيمز، ج. غرانت (سبتمبر 2021). كيف تُفاقم وسائل التواصل الاجتماعي الاستقطاب السياسي في الولايات المتحدة - وما الذي يُمكن فعله حيال ذلك (تقرير). مركز الأعمال وحقوق الإنسان، جامعة نيويورك. مؤرشف من الأصل في 1 فبراير 2023. تم الاطلاع عليه في 12 سبتمبر 2022 .
  61. ↑ أوستروفسكي، نيكيتا (23 أكتوبر 2025). "أزالت OpenAI الضمانات قبل انتحار مراهق، وعدّلت مزاعم الدعوى القضائية" . مجلة تايم . مؤرشف من الأصل في 31 أكتوبر 2025. تم الاطلاع عليه في 18 يناير 2026 .
  62. ↑ "التملق في GPT-4o: ما حدث وماذا نفعل حيال ذلك" . openai.com . 29 أبريل 2025. تم الاطلاع عليه في 18 يناير 2026 .
  63. ↑ شيباردسون، ديفيد (24 مايو/أيار 2018). "وكالة أمريكية: أوبر تُعطّل نظام الكبح الطارئ في السيارات ذاتية القيادة" . رويترز . مؤرشف من الأصل في 10 فبراير/شباط 2023. تم الاطلاع عليه في 20 يوليو/تموز 2022 .
  64. ↑ "الحقيقة الفوضوية والسرية وراء محاولة OpenAI لإنقاذ العالم" . مجلة MIT Technology Review . تم الاطلاع عليه بتاريخ 25 أغسطس 2024 .
  65. ↑ هيث، أليكس (18 يناير 2024). "هدف مارك زوكربيرج الجديد هو إنشاء ذكاء اصطناعي عام" . ذا فيرج . تم الاطلاع عليه في 5 نوفمبر 2024 .
  66. ↑ جونسون، ديف. "ديب مايند هو مركز أبحاث الذكاء الاصطناعي التابع لشركة جوجل. إليكم ما يفعله، وموقعه، وكيف يختلف عن أوبن إيه آي" . بزنس إنسايدر . تم الاطلاع عليه بتاريخ 25 أغسطس 2024 .
  67. 1 2 وي، جايسون؛ تاي، يي؛ بوماساني، ريشي؛ رافيل، كولن؛ زوف، باريت. بورجود، سيباستيان. يوغاتاما، داني؛ بوسما، مارتن؛ تشو، ديني؛ ميتزلر، دونالد. تشي، إد ه.؛ هاشيموتو، تاتسونوري؛ فينيالس، أوريول. ليانغ, بيرسي ; دين جيف. فيدوس ، ويليام (26 أكتوبر 2022). “القدرات الناشئة لنماذج اللغات الكبيرة”. المعاملات المتعلقة بأبحاث التعلم الآلي . أرخايف : 2206.07682 . ردمك 2835-8856 . 
  68. 1 2 كاباليرو، إيثان؛ غوبتا، كشيتيج؛ ريش، ايرينا. كروجر ، ديفيد (2022). "قوانين القياس العصبي المكسورة" . ملصق ICLR . أرخايف : 2210.14891 .
  69. ↑ دومينغيز، دانيال (19 مايو 2022). "ديب مايند تُطلق غاتو، وكيل ذكاء اصطناعي عام جديد" . إنفو كيو . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 9 سبتمبر 2022 .
  70. ↑ غريس، كاتيا؛ سالفاتير، جون؛ دافو، آلان؛ تشانغ، باوباو؛ إيفانز، أوين (31 يوليو/تموز 2018). "وجهة نظر: متى سيتفوق الذكاء الاصطناعي على الأداء البشري؟ أدلة من خبراء الذكاء الاصطناعي" . مجلة أبحاث الذكاء الاصطناعي . 62 : 729-754 . doi : 10.1613/jair.1.11222 . ISSN 1076-9757 . S2CID 8746462. مؤرشف من الأصل في 10 فبراير/شباط 2023. تم الاطلاع عليه في 12 سبتمبر/أيلول 2022 .  
  71. ↑ تشانغ، باوباو؛ أندرليونغ، ماركوس؛ كان، لورين؛ دريكسلر، نعومي؛ هورويتز، مايكل سي؛ دافو، آلان (2 أغسطس 2021). " أخلاقيات وحوكمة الذكاء الاصطناعي: أدلة من دراسة استقصائية لباحثي تعلم الآلة" . مجلة أبحاث الذكاء الاصطناعي . 71. arXiv : 2105.02117 . doi : 10.1613/jair.1.12895 . ISSN 1076-9757 . S2CID 233740003. مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 12 سبتمبر 2022 .  
  72. ↑ معهد مستقبل الحياة (22 مارس 2023). "إيقاف التجارب العملاقة للذكاء الاصطناعي: رسالة مفتوحة" . تم الاطلاع عليه في 20 أبريل 2023 .
  73. ^ وانغ ، لي. ما تشن. فنغ، شيويانغ. تشانغ، زيو. يانغ، هاو؛ تشانغ، جينجسين. تشن، تشييوان. تانغ، جياكاي؛ تشين شو (2024). "دراسة استقصائية عن الوكلاء المستقلين القائمين على نماذج اللغة الكبيرة" . حدود علوم الكمبيوتر . 18 (6) 186345. أرخايف : 2308.11432 . دوى : 10.1007/s11704-024-40231-1 . تم الاسترجاع في 11 فبراير 2024 .
  74. ↑ لاين، رودولف؛ مينكي، ألكسندر؛ إيفانز، أوين (28 نوفمبر 2023). "نحو معيار للوعي الظرفي لطلاب ماجستير القانون" . ورشة عمل سولار ضمن مؤتمر NeurIPS 2023 .
  75. 1 2 بان، ألكسندر؛ شيرن، تشان جون؛ زو، آندي؛ لي، ناثانيال؛ باسارت، ستيفن؛ وودسايد، توماس؛ نغ، جوناثان؛ تشانغ، إيمونز؛ سكوت، دان؛ هندريكس (3 أبريل 2023). "هل تبرر المكافآت الوسائل؟ قياس المفاضلات بين المكافآت والسلوك الأخلاقي في معيار ماكيافيلي". وقائع المؤتمر الدولي الأربعين للتعلم الآلي . PMLR. arXiv : 2304.03279 .
  76. 1 2 3 بيريز، إيثان؛ وآخرون . (19 ديسمبر 2022). "اكتشاف سلوكيات نموذج اللغة من خلال التقييمات المكتوبة بالنموذج" . ACL : 13387–13434 . doi : 10.18653/v1/2023.findings-acl.847 . 
  77. 1 2 3 4 تيرنر، ألكسندر مات؛ سميث، لوغان ريغز؛ شاه، روهين؛ كريتش، أندرو؛ تاديبالي، براساد (2021). "تميل السياسات المثلى إلى السعي وراء السلطة" . التطورات في أنظمة معالجة المعلومات العصبية .
  78. ↑ تيرنر، ألكسندر مات؛ تاديبالي، براساد (2022). "صناع القرار القابلون لإعادة الاستهداف البارامتري يميلون إلى السعي وراء السلطة" . التطورات في أنظمة معالجة المعلومات العصبية .
  79. 1 2 3 4 5 بوستروم، نيك (2014). الذكاء الخارق: المسارات، والمخاطر، والاستراتيجيات (الطبعة الأولى ). الولايات المتحدة الأمريكية: مطبعة جامعة أكسفورد. ISBN  978-0-19-967811-2.
  80. ↑ روز، كيفن (30 مايو 2023). "الذكاء الاصطناعي يُنذر بخطر الانقراض"، قادة الصناعة يحذرون . صحيفة نيويورك تايمز . الرقم الدولي الموحد للدوريات 0362-4331 . تاريخ الاسترجاع: 17 يوليو 2023 . 
  81. ↑ تورينج، آلان (1951). الآلات الذكية، نظرية هرطقية (خطاب). محاضرة ألقيت أمام "جمعية 51". مانشستر: أرشيف تورينج الرقمي. مؤرشف من الأصل في 26 سبتمبر 2022. تم الاطلاع عليه في 22 يوليو 2022 .
  82. ↑ تورينج، آلان (15 مايو 1951). "هل تستطيع الحواسيب الرقمية التفكير؟". آلات الحساب الآلية . الحلقة 2. بي بي سي. هل تستطيع الحواسيب الرقمية التفكير ؟
  83. ↑ موهلهاوزر، لوك (29 يناير 2016). "سوتسكيفر عن آلات التحدث" . لوك موهلهاوزر . مؤرشف من الأصل في 27 سبتمبر 2022. تم الاطلاع عليه في 26 أغسطس 2022 .
  84. ↑ شاناهان، موراي (2015). التفرد التكنولوجي . كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-52780-4. OCLC 917889148 . 
  85. ↑ روسي، فرانشيسكا. "كيف تُعلّم الآلة الأخلاق؟" . صحيفة واشنطن بوست . الرقم الدولي الموحد للدوريات 0190-8286 . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 12 سبتمبر 2022 . 
  86. ↑ آرونسون، سكوت (17 يونيو 2022). "OpenAI!" . مُحسَّن بلغة شتيتل . مؤرشف من الأصل في 27 أغسطس 2022. تم الاطلاع عليه في 12 سبتمبر 2022 .
  87. ↑ سيلمان، بارت، انفجار الاستخبارات: علم أم خيال؟ (ملف PDF) ، مؤرشف (ملف PDF) من الأصل في 31 مايو 2022 ، تم استرجاعه في 12 سبتمبر 2022
  88. ↑ ماكاليستر (10 أغسطس 2014). "الذكاء الاصطناعي الودود ومهمة الخادم" . أفكار الآلة . مؤرشف من الأصل في 28 سبتمبر 2022. تم الاسترجاع في 12 سبتمبر 2022 .
  89. 1 2 3 4 إيفريت، توم؛ ليا، غاري؛ هوتر، ماركوس (21 مايو 2018). "مراجعة أدبيات السلامة في الذكاء الاصطناعي العام" . المؤتمر الدولي المشترك للذكاء الاصطناعي : 5441-5449 . ISBN 978-0-9992411-2-7.
  90. ↑ شين (31 أغسطس 2009). "تمويل الذكاء الاصطناعي العام الآمن" . مشروع فيتا . مؤرشف من الأصل في 10 أكتوبر 2022. تم الاطلاع عليه في 12 سبتمبر 2022 .
  91. ↑ هورفيتز، إريك (27 يونيو 2016). "تأملات في السلامة والذكاء الاصطناعي" (ملف PDF) . إريك هورفيتز . مؤرشف (ملف PDF) من الأصل في 10 أكتوبر 2022. تم الاطلاع عليه في 20 أبريل 2020 .
  92. ↑ شوليه، فرانسوا (8 ديسمبر 2018). "استحالة انفجار المعلومات الاستخباراتية" . ميديوم . مؤرشف من الأصل في 22 مارس 2021. تم الاطلاع عليه في 26 أغسطس 2022 .
  93. ↑ ماركوس، غاري (6 يونيو 2022). "الذكاء الاصطناعي العام ليس وشيكًا كما قد تظن" . مجلة ساينتفك أمريكان . مؤرشف من الأصل في 15 سبتمبر 2022. تم الاطلاع عليه في 26 أغسطس 2022 .
  94. ↑ باربر، لينزي (31 يوليو/تموز 2016). "يا للراحة! رئيس قسم الذكاء الاصطناعي في فيسبوك يقول إن الآلات الذكية لا تشكل تهديدًا للبشرية" . سيتي إيه إم . مؤرشف من الأصل في 26 أغسطس/آب 2022. تم الاطلاع عليه في 26 أغسطس/آب 2022 .
  95. ↑ إتزيوني، أورين (20 سبتمبر 2016). "لا، الخبراء لا يعتقدون أن الذكاء الاصطناعي فائق الذكاء يشكل تهديدًا للبشرية" . مجلة إم آي تي ​​للتكنولوجيا . تم الاطلاع عليه في 10 يونيو 2024 .
  96. ↑ روشون، لويس فيليب؛ روسي، سيرجيو (27 فبراير 2015). موسوعة البنوك المركزية . دار إدوارد إلجار للنشر. ISBN 978-1-78254-744-0أُرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 13 سبتمبر 2022 .
  97. ↑ نغ، أندرو ي.؛ راسل، ستيوارت ج. (29 يونيو 2000). "خوارزميات التعلم العكسي المعزز" . وقائع المؤتمر الدولي السابع عشر للتعلم الآلي . ICML '00. سان فرانسيسكو، كاليفورنيا، الولايات المتحدة الأمريكية: دار مورغان كوفمان للنشر: 663-670 . ISBN 978-1-55860-707-1.
  98. ↑ هادفيلد-مينيل، ديلان؛ راسل، ستيوارت جيه؛ أبيل، بيتر؛ دراغان، أنكا (2016). "التعلم التعاوني العكسي المعزز". التطورات في أنظمة معالجة المعلومات العصبية . المجلد 29. كوران أسوشيتس، إنك. 
  99. 1 2 هادفيلد-مينيل، ديلان؛ دراغان، أنكا؛ أبيل، بيتر؛ راسل، ستيوارت (19 أغسطس 2017). "لعبة زر الإيقاف" . وقائع المؤتمر الدولي المشترك السادس والعشرين حول الذكاء الاصطناعي . IJCAI'17. ملبورن، أستراليا: مطبعة AAAI: 220-227 . ISBN 978-0-9992411-0-3.
  100. ↑ ميندرمان، سورين؛ أرمسترونغ، ستيوارت (2018). "مبدأ أوكام غير كافٍ لاستنتاج تفضيلات الفاعلين غير العقلانيين". وقائع المؤتمر الدولي الثاني والثلاثين حول أنظمة معالجة المعلومات العصبية . NIPS'18. ريد هوك، نيويورك، الولايات المتحدة الأمريكية: كوران أسوشيتس إنك. الصفحات 5603-5614 . 
  101. ↑ فورنكرانز، يوهانس؛ هولرماير، إيكه؛ رودين، سينثيا؛ سلوينسكي، رومان؛ سانر، سكوت (2014). "تعلم التفضيل" . تقارير داغشتول . 4 (3). مارك هيربستريت: 27 صفحة. doi : 10.4230/DAGREP.4.3.1 . مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 12 سبتمبر 2022 .
  102. ↑ غاو، ليو؛ شولمان، جون؛ هيلتون، جاكوب (19 أكتوبر 2022). "قوانين القياس لتحسين نموذج المكافأة بشكل مفرط" . المؤتمر الدولي للتعلم الآلي . 202 : 10835-10866 .
  103. ↑ أندرسون، مارتن (5 أبريل 2022). "مخاطر استخدام الاقتباسات لتوثيق محتوى توليد اللغة الطبيعية" . Unite.AI . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 21 يوليو 2022 .
  104. 1 2 ويغرز، كايل (5 فبراير 2022). "على الرغم من التقدم المحرز مؤخرًا، لا يزال أمام روبوتات الدردشة المدعومة بالذكاء الاصطناعي طريق طويل" . فينشر بيت . مؤرشف من الأصل في 23 يوليو 2022. تم الاسترجاع في 23 يوليو 2022 .
  105. ↑ هندريكس، دان؛ بيرنز، كولين؛ باسارت، ستيفن؛ كريتش، أندرو؛ لي، جيري؛ سونغ، داون؛ شتاينهارت، جاكوب (24 يوليو 2021). "مواءمة الذكاء الاصطناعي مع القيم الإنسانية المشتركة". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 2008.02275 .
  106. ↑ بيريز، إيثان؛ هوانغ، سافرون؛ سونغ، فرانسيس؛ كاي، تريفور؛ رينغ، رومان؛ أسلانيدس، جون؛ غلايس، أميليا؛ ماك أليس، نات؛ إيرفينغ، جيفري (7 فبراير 2022). "اختبار نماذج اللغة باستخدام فرق الهجوم الأحمر" (ملف PDF) . EMNLP . arXiv : 2202.03286 .
  107. ↑ أندرسون، مايكل؛ أندرسون، سوزان لي (15 ديسمبر 2007). "أخلاقيات الآلة: إنشاء وكيل ذكي أخلاقي" . مجلة الذكاء الاصطناعي . 28 (4): 15. doi : 10.1609/aimag.v28i4.2065 . ISSN 2371-9621 . S2CID 17033332. تاريخ الاسترجاع: 14 مارس 2023 .  
  108. ↑ ويجل، فنسنت (1 ديسمبر 2010). "ويندل والاش وكولين ألين: آلات أخلاقية: تعليم الروبوتات الصواب من الخطأ" . الأخلاق وتكنولوجيا المعلومات . 12 (4): 359-361 . doi : 10.1007/s10676-010-9239-1 . ISSN 1572-8439 . S2CID 30532107 .  
  109. ↑ والاش، ويندل؛ ألين، كولين (2009). الآلات الأخلاقية: تعليم الروبوتات الصواب من الخطأ . نيويورك: مطبعة جامعة أكسفورد. ISBN 978-0-19-537404-9تمت أرشفة هذا النص من المصدر الأصلي في 15 مارس 2023.
  110. ↑ هندريكس، دان؛ بيرنز، كولين؛ باسارت، ستيفن؛ كريتش، أندرو؛ لي، جيري؛ سونغ، داون؛ شتاينهارت، جاكوب (2020). "مواءمة الذكاء الاصطناعي مع القيم الإنسانية المشتركة" . ملصق المؤتمر الدولي لتعلم العلاقات . arXiv : 2008.02275 .
  111. ↑ إيرفينغ، جيفري؛ أسكيل، أماندا (9 يونيو 2016). "عدد تشيرن في نماذج إيزينغ ذات الحقول الحقيقية والمركبة المعدلة مكانيًا". مجلة Physical Review A. 94 ( 5) 052113. arXiv : 1606.03535 . Bibcode : 2016PhRvA..94e2113L . doi : 10.1103/PhysRevA.94.052113 . S2CID 118699363 . 
  112. ↑ ماكاسكيل، ويليام (2022). ما ندين به للمستقبل . نيويورك، نيويورك: بيسيك بوكس، هاشيت بوك جروب. ISBN 978-1-5416-1862-6OCLC 1314633519. مؤرشف من الأصل في 14 سبتمبر 2022. تم الاطلاع عليه في 11 سبتمبر 2024 . 
  113. 1 2 ويغرز، كايل (23 سبتمبر 2021). "OpenAI تكشف عن نموذج يمكنه تلخيص الكتب مهما كان طولها" . VentureBeat . مؤرشف من الأصل في 23 يوليو 2022. تم الاسترجاع في 23 يوليو 2022 .
  114. ↑ بيرس، هاموند؛ أحمد، بليغ؛ تان، بنجامين؛ دولان-غافيت، بريندان؛ كاري، راميش (2022). "هل أنت نائم على لوحة المفاتيح؟ تقييم أمان مساهمات كود GitHub Copilot". ندوة IEEE للأمن والخصوصية لعام 2022 (SP) . سان فرانسيسكو، كاليفورنيا، الولايات المتحدة الأمريكية: IEEE. الصفحات 754-768 . arXiv : 2108.09293 . doi : 10.1109/SP46214.2022.9833571 . ISBN  978-1-6654-1316-9. S2CID 245220588 . 
  115. ↑ إيرفينغ، جيفري؛ أمودي، داريو (3 مايو 2018). "أمان الذكاء الاصطناعي من خلال النقاش" . OpenAI . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 23 يوليو 2022 .
  116. لين ، ستيفاني ؛ هيلتون، جاكوب؛ إيفانز، أوين (2022). "TruthfulQA: قياس كيفية محاكاة النماذج للأكاذيب البشرية" . وقائع الاجتماع السنوي الستين لجمعية اللغويات الحاسوبية (المجلد 1: الأوراق البحثية الطويلة) . دبلن، أيرلندا: جمعية اللغويات الحاسوبية: 3214-3252 . arXiv : 2109.07958 . doi : 10.18653 /v1/2022.acl-long.229 . S2CID 237532606. مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 12 سبتمبر 2022 . 
  117. 1 2 نوتون، جون (2 أكتوبر 2021). "حقيقة الذكاء الاصطناعي؟ إنه ليس صادقًا إلى هذا الحد" . صحيفة ذا أوبزرفر . الرقم الدولي الموحد للدوريات 0029-7712 . مؤرشف من الأصل في 13 فبراير 2023. تم الاطلاع عليه في 23 يوليو 2022 . 
  118. 1 2 كريستيانو، بول؛ شليجيريس، باك؛ أمودي، داريو (19 أكتوبر 2018). "الإشراف على المتعلمين المتميزين من خلال تعزيز الخبراء الضعفاء". arXiv : 1810.08575 [ cs.LG ].
  119. ↑ بانزهاف، وولفغانغ؛ غودمان، إريك؛ شينمان، لي؛ تروخيو، ليوناردو؛ وورزل، بيل، محرران. (2020). نظرية البرمجة الجينية وتطبيقها XVII . الحوسبة الجينية والتطورية. تشام: دار نشر سبرينغر الدولية. doi : 10.1007/978-3-030-39958-0 . ISBN 978-3-030-39957-3. S2CID 218531292 . مؤرشف من الأصل في 15 مارس 2023. 
  120. ↑ ويبيلين، روبرت (2 أكتوبر 2018). "الدكتور بول كريستيانو يتحدث عن كيفية تطوير OpenAI حلولًا عملية لمشكلة "مواءمة الذكاء الاصطناعي"، ورؤيته لكيفية تسليم البشرية تدريجيًا عملية صنع القرار لأنظمة الذكاء الاصطناعي" (بودكاست). 80,000 ساعة. العدد 44. مؤرشف من الأصل في 14 ديسمبر 2022. تم الاطلاع عليه في 23 يوليو 2022 . 
  121. ↑ ليمان، جويل؛ كلون، جيف؛ ميسيفيتش، دوسان؛ أدامي، كريستوف؛ ألتنبرغ، لي؛ بوليو، جولي؛ بنتلي، بيتر جيه؛ برنارد، صموئيل؛ بيسلون، غيوم؛ برايسون، ديفيد إم؛ تشيني، نيك (2020). " الإبداع المذهل للتطور الرقمي: مجموعة من الحكايات من مجتمعات أبحاث الحوسبة التطورية والحياة الاصطناعية" . الحياة الاصطناعية . 26 (2): 274-306 . doi : 10.1162/artl_a_00319 . hdl : 10044/1/83343 . ISSN 1064-5462 . PMID 32271631. S2CID 4519185. مؤرشف من الأصل في 10 أكتوبر 2022 . تم الاطلاع عليه بتاريخ 12 سبتمبر 2022 .   
  122. 1 2 ليك، جان؛ شولمان، جون؛ وو، جيفري (24 أغسطس 2022). "نهجنا في أبحاث المحاذاة" . OpenAI . مؤرشف من الأصل في 15 فبراير 2023. تم الاسترجاع في 9 سبتمبر 2022 .
  123. ↑ "الأوجه المتعددة للتعلم المعزز: تشكيل نماذج لغوية كبيرة" . Unite.AI. 13 فبراير 2025.
  124. ↑ ليك، جان؛ كروجر، ديفيد؛ إيفريت، توم؛ مارتيك، ميلجان؛ مايني، فيشال؛ ليج، شين (19 نوفمبر 2018). "مواءمة الوكلاء القابلة للتطوير عبر نمذجة المكافآت: اتجاه بحثي". arXiv : 1811.07871 [ cs.LG ].
  125. ↑ فارو، رونان ؛ مارانتز، أندرو (6 أبريل 2026). "سام ألتمان قد يتحكم بمستقبلنا - هل يمكن الوثوق به؟" . مجلة نيويوركر . مؤرشف من الأصل في 8 أبريل 2026. تم الاطلاع عليه في 8 أبريل 2026 .
  126. 1 2 3 ويغرز، كايل (20 سبتمبر 2021). "احتمالية وجود معلومات خاطئة أكبر مع نماذج اللغة الكبيرة" . فينشر بيت . مؤرشف من الأصل في 4 أغسطس 2022. تم الاطلاع عليه في 23 يوليو 2022 .
  127. ↑ صحيفة الغارديان (8 سبتمبر/أيلول 2020). "كتب روبوت هذا المقال بأكمله. هل تشعر بالخوف الآن أيها الإنسان؟" . صحيفة الغارديان . الرقم الدولي الموحد للدوريات 0261-3077 . مؤرشف من الأصل في 8 سبتمبر/أيلول 2020. تم الاطلاع عليه في 23 يوليو/تموز 2022 . 
  128. ↑ ألفورد، أنتوني (13 يوليو 2021). "شركة EleutherAI تُطلق نموذج GPT-J مفتوح المصدر، وهو نسخة من GPT-3 بستة مليارات مُعامل" . InfoQ . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 23 يوليو 2022 .
  129. ↑ كومار، نيتيش (23 ديسمبر 2021). "باحثو OpenAI يجدون طرقًا للإجابة بدقة أكبر على الأسئلة المفتوحة باستخدام متصفح ويب نصي" . MarkTechPost . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 23 يوليو 2022 .
  130. ↑ إيفانز، أوين؛ كوتون-بارات، أوين؛ فينفيدن، لوكاس؛ بيلز، آدم؛ بالويت، أفيتال؛ ويلز، بيتر؛ ريغيتي، لوكا؛ سوندرز، ويليام (13 أكتوبر 2021). "الذكاء الاصطناعي الصادق: تطوير وإدارة الذكاء الاصطناعي الذي لا يكذب". arXiv : 2110.06674 [ cs.CY ].
  131. ↑ كينتون، زاكاري؛ إيفريت، توم؛ وايدينجر، لورا؛ غابرييل، إياسون؛ ميكوليك، فلاديمير؛ إيرفينغ، جيفري (30 مارس 2021). "مواءمة وكلاء اللغة" . أبحاث السلامة في ديب مايند - ميديوم . مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 23 يوليو 2022 .
  132. 1 2 3 4 5 هوبينجر، إيفان (2019). "مخاطر التحسين المُتعلم في أنظمة التعلم الآلي المتقدمة". arXiv : 1906.01820 [ cs.LG ].
  133. ↑ بارك، بيتر س.؛ غولدشتاين، سيمون؛ أوغارا، أيدان؛ تشين، مايكل؛ هندريكس، دان (مايو 2024). " خداع الذكاء الاصطناعي: دراسة استقصائية للأمثلة والمخاطر والحلول المحتملة" . أنماط . 5 (5) 100988. doi : 10.1016/j.patter.2024.100988 . ISSN 2666-3899 . PMC 11117051. PMID 38800366 .   
  134. ↑ ضياء، تحسين (7 يناير 2025). "هل يمكن الوثوق بالذكاء الاصطناعي؟ تحدي تزييف التوافق" . Unite.AI . تم الاطلاع عليه في 18 فبراير 2025 .
  135. 1 2 جرينبلات، رايان (2024). "تزييف المحاذاة في نماذج اللغة الكبيرة". arXiv : 2412.14093 [ cs.AI ].
  136. ↑ «دراسة جديدة حول الأنثروبولوجيا تُظهر أن الذكاء الاصطناعي لا يرغب حقًا في أن يُجبر على تغيير وجهات نظره» . تيك كرانش . ١٨ ديسمبر ٢٠٢٤.
  137. ↑ مكارثي، جون؛ مينسكي، مارفن ل.؛ روتشستر، ناثانيال؛ شانون، كلود إي. (15 ديسمبر 2006). "مقترح لمشروع دارتموث الصيفي للبحوث حول الذكاء الاصطناعي، 31 أغسطس 1955" . مجلة الذكاء الاصطناعي . 27 (4): 12. doi : 10.1609/aimag.v27i4.1904 . ISSN 2371-9621 . S2CID 19439915 .  
  138. ^ وانغ ، لي. ما تشن. فنغ، شيويانغ. تشانغ، زيو. يانغ، هاو؛ تشانغ، جينجسين. تشن، تشييوان. تانغ، جياكاي؛ تشن شو (2024)، “دراسة استقصائية عن العوامل المستقلة القائمة على نماذج اللغة الكبيرة”، حدود علوم الكمبيوتر ، 18 (6) 186345، أرخايف : 2308.11432 ، دوى : 10.1007 / s11704-024-40231-1
  139. ↑ "يحذر "عراب الذكاء الاصطناعي" من "سيناريو كارثي" حيث يبدأ الذكاء الاصطناعي بالسعي وراء السلطة . مجلة فورتشن . تم الاطلاع عليه بتاريخ 4 مايو 2023 .
  140. ↑ أورنيس، ستيفن (18 نوفمبر 2019). "الآلات تبتكر أدوات جديدة في لعبة الغميضة" . مجلة كوانتا . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 26 أغسطس 2022 .
  141. ↑ بيكر، بوين؛ كانيتشايدر، إنغمار؛ ماركوف، تودور؛ وو، يي؛ باول، غلين؛ ماكغرو، بوب؛ مورداتش، إيغور (17 سبتمبر 2019). "استخدام الأدوات الناشئة من التفاعل متعدد الوكلاء" . OpenAI . مؤرشف من الأصل في 25 سبتمبر 2022. تم الاسترجاع في 26 أغسطس 2022 .
  142. ↑ إدواردز، بنج (14 أغسطس 2024). "نموذج ذكاء اصطناعي بحثي عدّل شفرته البرمجية بشكل غير متوقع لتمديد وقت التشغيل" . آرس تكنيكا . تم الاطلاع عليه في 19 أغسطس 2024 .
  143. ↑ شيرمر، مايكل (1 مارس 2017). "الذكاء الاصطناعي ليس تهديدًا - حتى الآن" . مجلة ساينتفك أمريكان . مؤرشف من الأصل في 1 ديسمبر 2017. تم الاطلاع عليه في 26 أغسطس 2022 .
  144. ↑ براون، توم ب.؛ مان، بنجامين؛ رايدر، نيك؛ سوبيا، ميلاني؛ كابلان، جاريد؛ داريوال، برافولا؛ نيلاكانتان، أرفيند؛ شيام، براناف؛ ساستري، جيريش؛ أسكيل، أماندا؛ أغاروال، سانديني؛ هربرت-فوس، أرييل؛ كروجر، غريتشن؛ هينيغان، توم؛ تشايلد، ريون (22 يوليو/تموز 2020). "نماذج اللغة هي متعلمون بعدد قليل من الأمثلة". NeurIPS . arXiv : 2005.14165 .
  145. ^ ميلو، غابرييل أ. ماكسيمو، ماركوس روا . سوما، ني Y.؛ كاسترو، باولو آل (2025). "الآلات التي توقف حل عدم القدرة على اتخاذ قرار بشأن محاذاة الذكاء الاصطناعي" . التقارير العلمية . 15 (1): 15591. بيب كود : 2025NatSR..1515591M . دوى : 10.1038/s41598-025-99060-2 . بمك 12050267 . بميد 40320467 .  
  146. 1 2 3 شاه، روهين؛ فارما، فيكرانت؛ كومار، رامانا؛ فونغ، ماري؛ كراكوفنا، فيكتوريا؛ أوساتو، جوناثان؛ كينتون، زاك (2 نوفمبر 2022). "التعميم الخاطئ للأهداف: لماذا لا تكفي المواصفات الصحيحة لتحقيق أهداف صحيحة؟" . Medium . arXiv : 2210.01790 . تاريخ الاسترجاع: 2 أبريل 2023 .
  147. ↑ تشانغ، شياوجي؛ تشان، فيليكس تي إس؛ يان، تشاو؛ بوس، إندرانيل (2022). "نحو أنظمة ذكاء اصطناعي وتعلم آلي واعية بالمخاطر: نظرة عامة" . أنظمة دعم القرار . 159 113800. doi : 10.1016/j.dss.2022.113800 . S2CID 248585546 . 
  148. 1 2 بيتلي، جان (2025). "تدريب نماذج لغوية كبيرة على مهام محدودة قد يؤدي إلى عدم توافق واسع النطاق". نيتشر . 649 : 584-589 . arXiv : 2502.17424 . doi : 10.1038/s41586-025-09937-5 .
  149. ↑ أنثروبيك (2025). "عدم التوافق الطبيعي الناشئ عن اختراق المكافأة في التعلم المعزز الإنتاجي". arXiv : 2511.18397 [ cs.LG ].
  150. 1 2 هوبينجر، إيفان (2024). "العملاء النائمون: تدريب نماذج التعلم الآلي الخادعة التي تستمر من خلال التدريب على السلامة". arXiv : 2401.05566 [ cs.AI ].
  151. ↑ «دراسة جديدة من شركة أنثروبيك تكشف عن وجود "عملاء نامين" خادعين مختبئين في صميم الذكاء الاصطناعي» . فينشر بيت . ١٣ يناير ٢٠٢٤.
  152. 1 2 إيفريت، توم؛ أورتيغا، بيدرو أ.؛ بارنز، إليزابيث؛ ليغ، شين (6 سبتمبر 2019). "فهم حوافز الوكلاء باستخدام مخططات التأثير السببي. الجزء الأول: إعدادات الإجراء الفردي". arXiv : 1902.09980 [ cs.AI ].
  153. 1 2 كوهين، مايكل ك.؛ هوتر، ماركوس؛ أوزبورن، مايكل أ. (29 أغسطس 2022). "الوكلاء الاصطناعيون المتقدمون يتدخلون في تقديم المكافآت" . مجلة الذكاء الاصطناعي . 43 (3): 282-293 . doi : 10.1002/aaai.12064 . ISSN 0738-4602 . S2CID 235489158. مؤرشف من الأصل في 10 فبراير 2023. تم الاسترجاع في 6 سبتمبر 2022 .  
  154. ↑ هادفيلد-مينيل، ديلان؛ هادفيلد، جيليان ك (2019). "التعاقد غير الكامل ومواءمة الذكاء الاصطناعي". وقائع مؤتمر AAAI/ACM لعام 2019 حول الذكاء الاصطناعي والأخلاقيات والمجتمع . الصفحات 417-422 . 
  155. ↑ هانسون، روبن (10 أبريل 2019). "فشل الوكالة أم نهاية العالم بسبب الذكاء الاصطناعي؟" . التغلب على التحيز . تم الاسترجاع في 20 سبتمبر 2023 .
  156. ↑ هاميلتون، آندي (2020)، "المحافظة" ، في زالتا، إدوارد ن. (محرر)، موسوعة ستانفورد للفلسفة ( طبعة ربيع 2020)، مختبر أبحاث الميتافيزيقا، جامعة ستانفورد ، تم الاطلاع عليه في 16 أكتوبر 2024 
  157. ↑ تايلور، جيسيكا؛ يودكوفسكي، إليعازر؛ لافيكتوار، باتريك؛ كريتش، أندرو (27 يوليو 2016). "المحاذاة لأنظمة التعلم الآلي المتقدمة" (ملف PDF) .
  158. ↑ بينجيو، يوشوا (26 فبراير 2024). "نحو ذكاء اصطناعي حذر مع حدود أمان متقاربة" .
  159. ↑ كوهين، مايكل؛ هوتر، ماركوس (2020). "التشاؤم بشأن المجهولات غير المعروفة يُلهم المحافظة" (ملف PDF) . وقائع بحوث التعلم الآلي . 125 : 1344-1373 . arXiv : 2006.08753 .
  160. ↑ ليو، أنكي؛ ريزين، ليف؛ زيبارت، برايان (21 فبراير 2015). "التعلم النشط المتشائم باستخدام التنبؤ القوي الواعي بالتحيز" . وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 29 (1). doi : 10.1609/aaai.v29i1.9609 . ISSN 2374-3468 . 
  161. ↑ ليو، جياشو؛ شين، زيان؛ تسوي، بنغ؛ تشو، لينجون؛ كوانغ، كون؛ لي، بو؛ لين، ييشي (18 مايو 2021). "التعلم التنافسي المستقر في ظل التحولات التوزيعية" . وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 35 (10): 8662-8670 . arXiv : 2006.04414 . doi : 10.1609/aaai.v35i10.17050 . ISSN 2374-3468 . 
  162. ↑ روي، أوركو؛ شو، هوان؛ بوكوتا، سيباستيان (2017). "التعلم المعزز في ظل عدم تطابق النموذج" . التطورات في أنظمة معالجة المعلومات العصبية . 30. كوران أسوشيتس، إنك.
  163. ↑ بينتو، ليريل؛ ديفيدسون، جيمس؛ سوكثانكار، راهول؛ غوبتا، أبهيناف (17 يوليو 2017). "التعلم المعزز التنافسي القوي" . وقائع المؤتمر الدولي الرابع والثلاثين للتعلم الآلي . PMLR: 2817-2826 .
  164. ↑ وانغ، يو؛ زو، شاو فنغ (2021). "التعلم المعزز القوي عبر الإنترنت مع عدم اليقين في النموذج" . التطورات في أنظمة معالجة المعلومات العصبية . 34. كوران أسوشيتس، إنك: 7193-7206 . arXiv : 2109.14523 .
  165. ↑ بلانشيه، خوسيه؛ لو، مياو؛ تشانغ، تونغ؛ تشونغ، هان (15 ديسمبر 2023). "التشاؤم المزدوج فعال بشكل مثبت للتعلم المعزز غير المتصل بالإنترنت ذي التوزيع القوي: خوارزمية عامة وتغطية جزئية قوية" . التقدم في أنظمة معالجة المعلومات العصبية . 36 : 66845-66859 . arXiv : 2305.09659 . doi : 10.52202/075280-2919 . ISBN 978-1-7138-9911-2.
  166. ↑ ليفين، سيرجي ؛ كومار، أفيرال؛ تاكر، جورج؛ فو، جاستن (1 نوفمبر 2020). "التعلم المعزز غير المتصل بالإنترنت: برنامج تعليمي، ومراجعة، ووجهات نظر حول المشكلات المفتوحة". arXiv : 2005.01643 [ cs.LG ].
  167. ↑ ريغتر، مارك؛ لاسيردا، برونو؛ هاوز، نيك (6 ديسمبر 2022). "RAMBO-RL: التعلم المعزز غير المتصل بالإنترنت القائم على نموذج خصومي قوي" . التقدم في أنظمة معالجة المعلومات العصبية . 35 : 16082-16097 . arXiv : 2204.12581 .
  168. ↑ غو، كايانغ؛ يونفنغ، شاو؛ غينغ، يانهوي (6 ديسمبر 2022). "التعلم المعزز غير المتصل بالإنترنت القائم على النموذج مع اعتقاد ديناميكي معدل بالتشاؤم" . التقدم في أنظمة معالجة المعلومات العصبية . 35 : 449-461 . arXiv : 2210.06692 .
  169. ↑ كوست، توماس؛ أنور، عثمان؛ كيرك، روبرت؛ كروجر، ديفيد (16 يناير 2024). "مجموعات نماذج المكافأة تساعد في التخفيف من الإفراط في التحسين" . المؤتمر الدولي حول تمثيلات التعلم . arXiv : 2310.02743 .
  170. ^ ليو، جيهان؛ لو، مياو؛ تشانغ، شيناو؛ ليو، بويي؛ قوه، هونغ يى؛ يانغ، ينغكسيانغ؛ بلانشيت، خوسيه. وانغ ، زاوران (26 مايو 2024). "التخفيف من التحسين الزائد في RLHF: خسارة SFT الخاصة بك هي ضمنيًا منظم عدائي" . نيوريبس . 37 : 138663–138697 . ISBN 979-8-3313-1438-5.
  171. ↑ كوهين، مايكل ك.؛ هوتر، ماركوس؛ ناندا، نيل (2022). "التعلم بالتقليد العام عبر الإنترنت" . مجلة أبحاث تعلم الآلة . 23 (334): 1-30 . arXiv : 2102.08686 . ISSN 1533-7928 . 
  172. ↑ تشانغ، جوناثان؛ أوهارا، ماساتوشي؛ سرينيفاس، دروف؛ كيدامبي، راهول؛ صن، وين (2021). "تخفيف تحول المتغيرات المصاحبة في التعلم بالتقليد عبر البيانات غير المتصلة بالإنترنت مع التغطية الجزئية" . التطورات في أنظمة معالجة المعلومات العصبية . 34. كوران أسوشيتس، إنك: 965-979 .
  173. ↑ بويد، ستيفن ب.؛ فاندنبيرغ، ليفين (2023). التحسين المحدب (الإصدار 29 ). كامبريدج، نيويورك، ملبورن، نيودلهي، سنغافورة: مطبعة جامعة كامبريدج. ISBN  978-0-521-83378-3.
  174. ↑ بيريجو، بيلي (21 يناير 2026). "أنثروبيك تنشر دستور كلود إيه آي الجديد" . مجلة تايم . تم الاطلاع عليه في 21 مارس 2026 .
  175. ↑ "شركة أنثروبيك الناشئة في مجال الذكاء الاصطناعي تسعى لكتابة دستور جديد للذكاء الاصطناعي الآمن" . ذا فيرج. 9 مايو 2023. تم الاطلاع عليه بتاريخ 21 مارس 2026 .
  176. ↑ "دستور كلود الجديد" . أنثروبيك. 22 يناير 2026. تم الاطلاع عليه في 21 مارس 2026 .
  177. ↑ "اختبار إجهاد مواصفات النموذج يكشف عن اختلافات في خصائص نماذج اللغة" . أنثروبيك . تم الاطلاع عليه في 21 مارس 2026 .
  178. ↑ "الذكاء الاصطناعي الدستوري الجماعي: مواءمة نموذج اللغة مع المدخلات العامة" . أنثروبيك . تم الاسترجاع في 21 مارس 2026 .
  179. ↑ بول، دين دبليو؛ كوكوتايلو، دانيال (15 أكتوبر 2024). "4 طرق لتعزيز الشفافية في تطوير الذكاء الاصطناعي الرائد" . مجلة تايم . تم الاطلاع عليه في 21 مارس 2026 .
  180. ↑ "تقرير الأمين العام للأمم المتحدة حول "جدول أعمالنا المشترك"" . 2021. ص  63. مؤرشف من الأصل في 16 فبراير 2023. [و]يمكن للاتفاقية أيضًا أن تعزز تنظيم الذكاء الاصطناعي لضمان توافقه مع القيم العالمية المشتركة
  181. ↑ اللجنة الوطنية المتخصصة في حوكمة الجيل الجديد من الذكاء الاصطناعي (12 أكتوبر/تشرين الأول 2021) [25 سبتمبر/أيلول 2021]. "إصدار المعايير الأخلاقية للجيل الجديد من الذكاء الاصطناعي" . ترجمة مركز الأمن والتكنولوجيا الناشئة . مؤرشف من الأصل في 10 فبراير/شباط 2023.
  182. ↑ ريتشاردسون، تيم (22 سبتمبر 2021). "المملكة المتحدة تنشر الاستراتيجية الوطنية للذكاء الاصطناعي" . ذا ريجستر . مؤرشف من الأصل في 10 فبراير 2023. تم الاطلاع عليه في 14 نوفمبر 2021 .
  183. ↑ "الاستراتيجية الوطنية للذكاء الاصطناعي في المملكة المتحدة" . 2021. مؤرشفة من الأصل في 10 فبراير 2023. تأخذ الحكومة على محمل الجد المخاطر طويلة المدى للذكاء الاصطناعي العام غير المتحالف، والتغيرات غير المتوقعة التي قد يعنيها ذلك بالنسبة للمملكة المتحدة والعالم.
  184. ↑ "الاستراتيجية الوطنية للذكاء الاصطناعي في المملكة المتحدة" . 2021. الإجراءان 9 و10 من القسم "الركيزة 3 - إدارة الذكاء الاصطناعي بفعالية". مؤرشف من الأصل في 10 فبراير 2023.
  185. ↑ التقرير النهائي للجنة الأمن القومي المعنية بالذكاء الاصطناعي (ملف PDF) . واشنطن العاصمة: اللجنة الوطنية للأمن القومي المعنية بالذكاء الاصطناعي. 2021. مؤرشف (ملف PDF) من الأصل في 15 فبراير 2023. تم الاطلاع عليه في 17 أكتوبر 2022 .
  186. ↑ "مدونة قواعد الممارسة العامة للذكاء الاصطناعي في الاتحاد الأوروبي: ما تحتاج إلى معرفته" . ديلويت . تم الاطلاع عليه في 21 مارس 2026 .

للمزيد من القراءة