مشكلة المحاذاة

في القسم الأول، يمزج كريستيان بين مناقشات تاريخ أبحاث الذكاء الاصطناعي، ولا سيما نهج التعلم الآلي للشبكات العصبية الاصطناعية مثل بيرسيبترون وأليكس نت ، مع أمثلة على كيفية ظهور سلوكيات غير مقصودة في أنظمة الذكاء الاصطناعي. ويروي قصة جوليا أنجوين ، الصحفية التي أدى تحقيقها في برو ببليكا حول خوارزمية كومباس ، وهي أداة للتنبؤ بالعودة إلى الإجرام بين المتهمين، إلى انتقادات واسعة النطاق لدقتها وتحيزها تجاه فئات ديموغرافية معينة. أحد التحديات الرئيسية التي تواجه الذكاء الاصطناعي هو طبيعته "الصندوق الأسود" (حيث يمكن تحديد المدخلات والمخرجات، لكن عملية التحويل بينهما غير محددة). هذا النقص في الشفافية يجعل من الصعب معرفة مواطن قوة النظام ومواطن ضعفه.

في القسم الثاني، يمزج كريستيان بأسلوب مماثل تاريخ الدراسات النفسية للمكافأة، كالسلوكية والدوبامين ، مع علم الحاسوب الخاص بالتعلم المعزز ، حيث تحتاج أنظمة الذكاء الاصطناعي إلى وضع سياسة ( "ما يجب فعله") في ضوء دالة القيمة ("ما هي المكافآت أو العقوبات المتوقعة"). ويصف نظامي ديب مايند ألفا غو وألفا زيرو بأنهما "ربما الإنجاز الأبرز في تصميم المناهج الآلية". كما يسلط الضوء على أهمية الفضول، حيث يكون لدى المتعلمين المعززين دافع ذاتي لاستكشاف بيئتهم، بدلاً من السعي حصرياً وراء المكافأة الخارجية.

يتناول القسم الثالث تدريب الذكاء الاصطناعي من خلال محاكاة سلوك الإنسان أو الآلة، بالإضافة إلى مناقشات فلسفية كالنقاش بين الاحتمالية والواقعية ، والتي تُشير إلى سلوك مثالي مختلف لأنظمة الذكاء الاصطناعي. ويُعدّ التعلّم العكسي المعزز ذا أهمية خاصة ، وهو نهج واسع النطاق يمكّن الآلات من تعلّم دالة الهدف للإنسان أو أي عامل آخر. يناقش كريستيان التحديات المعيارية المرتبطة بالإيثار الفعال والمخاطر الوجودية ، بما في ذلك أعمال الفيلسوفين توبي أورد وويليام ماكاسكيل اللذين يسعيان إلى ابتكار استراتيجيات بشرية وآلية للتغلب على مشكلة التوافق بأكبر قدر ممكن من الفعالية.