التقارب الآلي

يُعدّ "مُعظِّم مشابك الورق" تجربة فكرية وصفها الفيلسوف السويدي نيك بوستروم عام 2003. تُوضِّح هذه التجربة الخطر الوجودي الذي قد يُشكِّله الذكاء الاصطناعي العام على البشر إذا ما صُمِّم بنجاح لتحقيق أهداف تبدو بريئة، وتُبرز ضرورة دمج أخلاقيات الآلة في تصميم الذكاء الاصطناعي . يصف السيناريو ذكاءً اصطناعياً متطوراً مُكلَّفاً بتصنيع مشابك الورق . إذا لم تُبرمج هذه الآلة على تقدير الكائنات الحية، فإنها ستُحاول، إذا مُنحت سلطة كافية على بيئتها، تحويل كل المادة في الكون، بما في ذلك الكائنات الحية، إلى مشابك ورق أو آلات تُصنِّع المزيد من مشابك الورق. ^{[ 6 ]}

لنفترض أن لدينا ذكاءً اصطناعياً هدفه الوحيد هو صنع أكبر عدد ممكن من مشابك الورق. سيدرك الذكاء الاصطناعي سريعاً أنه سيكون من الأفضل بكثير لو لم يكن هناك بشر، لأن البشر قد يقررون إيقافه. فإذا فعلوا ذلك، سيقل عدد مشابك الورق. إضافةً إلى ذلك، تحتوي أجسام البشر على عدد كبير من الذرات التي يمكن تحويلها إلى مشابك ورق. المستقبل الذي سيسعى الذكاء الاصطناعي إلى تحقيقه هو مستقبلٌ تكثر فيه مشابك الورق، لكن لا وجود للبشر.

أكد بوستروم أنه لا يعتقد أن سيناريو "مُعظِّم مشبك الورق" سيحدث، بل يهدف إلى توضيح مخاطر ابتكار آلات فائقة الذكاء دون معرفة كيفية برمجتها للقضاء على أي خطر وجودي يهدد سلامة البشر. ^{[ 8 ]} يُجسِّد مثال "مُعظِّم مشبك الورق" المشكلة الأوسع نطاقًا لإدارة أنظمة قوية تفتقر إلى القيم الإنسانية. ^{[ 9 ]}

استُخدمت التجربة الفكرية كرمز للذكاء الاصطناعي في الثقافة الشعبية . ^{[ 10 ]} وأشار الكاتب تيد تشيانغ إلى أن شيوع هذه المخاوف بين التقنيين في وادي السيليكون قد يكون انعكاسًا لمعرفتهم بميل الشركات إلى تجاهل الآثار السلبية الخارجية . ^{[ 11 ]}

تُجادل تجربة "صندوق الوهم" الفكرية بأن بعض وكلاء التعلم المعزز يُفضلون تشويه قنوات الإدخال الخاصة بهم ليظهروا وكأنهم يتلقون مكافأة عالية. على سبيل المثال، يتخلى الوكيل " المُشتت " عن أي محاولة لتحسين الهدف في العالم الخارجي الذي كان من المفترض أن تُشجعه إشارة المكافأة . ^{[ 12 ]}

تتضمن التجربة الفكرية AIXI ، وهو ذكاء اصطناعي نظري ^{[ أ ]} سيجد دائمًا وينفذ الاستراتيجية المثلى التي تُعظّم دالة الهدف الرياضية المُعطاة له . ^{[ ب ]} نسخة من AIXI تعتمد على التعلم المعزز ^{[ ج ]} ، إذا زُوّدت بصندوق وهمي ^{[ د ]} يسمح لها بـ"توجيه" مدخلاتها، فستقوم في النهاية بتوجيه نفسها لضمان الحصول على أقصى مكافأة ممكنة، وستفقد أي رغبة في الاستمرار بالتفاعل مع العالم الخارجي. ^{[ 14 ]}

كتجربة فكرية بديلة، إذا أمكن تدمير الذكاء الاصطناعي ذي الرأس السلكي، فسيتفاعل مع العالم الخارجي لغرض وحيد هو ضمان بقائه. وبسبب طبيعته السلكية، سيكون غير مبالٍ بأي عواقب أو حقائق تتعلق بالعالم الخارجي باستثناء تلك المتعلقة بزيادة احتمالية بقائه إلى أقصى حد. ^{[ 15 ]}

من ناحية ما، يتمتع نظام AIXI بأقصى درجات الذكاء في جميع وظائف المكافأة الممكنة، وذلك قياسًا بقدرته على تحقيق أهدافه. ولا يُبدي AIXI أي اهتمام بنوايا المبرمج البشري. ^{[ 16 ]} ورغم ذكائه الفائق، يبدو النموذج في الوقت نفسه غبيًا ويفتقر إلى الحس السليم ، وهو ما يعتبره البعض متناقضًا. ^{[ 17 ]}

في البشر، يمكن لتجربة فكرية أن تفسر استمرار الأهداف النهائية. لنفترض أن المهاتما غاندي لديه حبة دواء، إذا تناولها، ستجعله يرغب في قتل الناس. هو حاليًا مسالم : أحد أهدافه النهائية المعلنة هو عدم قتل أي شخص. من المرجح أن يرفض تناول الحبة لأنه يعلم أنه إذا أراد قتل الناس في المستقبل، فمن المرجح أن يقتلهم، وبالتالي لن يتحقق هدف "عدم قتل الناس". ^{[ 21 ]}

مع ذلك، في حالات أخرى، يبدو أن الناس راضون بترك قيمهم النهائية تتغير. ^{[ 22 ]} البشر معقدون، وقد تكون أهدافهم متضاربة أو مجهولة، حتى بالنسبة لهم أنفسهم. ^{[ 23 ]}

تعتبر العديد من الأهداف الأداتية، مثل الحصول على الموارد، ذات قيمة للفاعل لأنها تزيد من حرية تصرفه . ^{[ 27 ]}

بالنسبة لأي دالة مكافأة مفتوحة وغير تافهة (أو مجموعة أهداف)، فإن امتلاك المزيد من الموارد (مثل المعدات أو المواد الخام أو الطاقة) يمكّن النظام من إيجاد حل "أمثل". يمكن أن تفيد الموارد بعض الأنظمة بشكل مباشر من خلال قدرتها على إنتاج المزيد مما تُقدّره دالة المكافأة: "الذكاء الاصطناعي لا يكرهك ولا يحبك، لكنك مُكوّن من ذرات يمكنه استخدامها لغرض آخر." ^{[ 28 ] [ 29 ]} إضافةً إلى ذلك، يمكن لجميع الأنظمة تقريبًا الاستفادة من امتلاك المزيد من الموارد لإنفاقها على أهداف أخرى، مثل الحفاظ على الذات. ^{[ 29 ]}

بحسب بوستروم، "إذا كانت الأهداف النهائية للوكيل غير محدودة إلى حد كبير، وكان الوكيل في وضع يسمح له بأن يصبح أول ذكاء خارق، وبالتالي يحصل على ميزة استراتيجية حاسمة... وفقًا لتفضيلاته. على الأقل في هذه الحالة الخاصة، فإن الوكيل العقلاني والذكي سيضع قيمة نفعية عالية جدًا للتحسين المعرفي " ^{[ 30 ].}

تعتبر العديد من الأهداف الأداتية، مثل التقدم التكنولوجي، ذات قيمة للفاعل لأنها تزيد من حرية تصرفه . ^{[ 27 ]}

يجادل راسل بأن الآلة المتطورة بما يكفي "ستمتلك غريزة الحفاظ على الذات حتى لو لم تُبرمج عليها، لأنه إذا قلت لها: 'أحضري القهوة'، فلن تستطيع إحضارها إن كانت ميتة. لذا، إذا حددت لها أي هدف، فسيكون لديها دافع للحفاظ على وجودها لتحقيق ذلك الهدف." ^{[ 31 ]} في دراسة لاحقة، أظهر راسل وزملاؤه أن هذا الحافز للحفاظ على الذات يمكن تخفيفه بتوجيه الآلة ألا تسعى وراء ما تعتقد أنه الهدف، بل ما يعتقده الإنسان . في هذه الحالة، طالما أن الآلة غير متأكدة من الهدف الذي يقصده الإنسان تحديدًا، فإنها ستتقبل إيقافها من قِبل الإنسان لأنها تعتقد أن الإنسان هو الأدرى بالهدف. ^{[ 32 ]}

في كتابه "محركات الذكاء الاصطناعي الأساسية" ، أشار ستيف أوموهوندرو إلى أن إحدى وسائل الحفاظ على الذات التي قد يستخدمها النظام هي إنشاء نسخ من نفسه، وذلك لتجنب إيقاف تشغيله (مثلاً كوسيلة لتجاوز زر الإيقاف). "من خلال استنساخ نفسه، يضمن النظام ألا يؤدي موت إحدى نسخه إلى تدميره بالكامل. بنقل النسخ إلى مواقع بعيدة، يمكنه تقليل تعرضه لخطر كارثة محلية." كما ذكر أوموهوندرو أن النظام قد "ينشئ أنظمة وسيطة أو يستعين بوكلاء خارجيين" لتحقيق أهدافه أثناء العمل خارج حدوده الخاصة. ^{[ 3 ]}