أوبن إيه آي فايف

OpenAI Five هو برنامج حاسوبي من تطوير OpenAI ، مصمم للعب لعبة الفيديو Dota 2 بخمسة لاعبين ضد خمسة . ظهر البرنامج لأول مرة علنًا عام 2017، حيث تم عرضه في مباراة فردية مباشرة ضد اللاعب المحترف Dendi ، الذي خسر أمامه. في العام التالي، تطور النظام ليصبح قادرًا على اللعب كفريق كامل من خمسة لاعبين، وبدأ بمواجهة فرق محترفة وإظهار قدرته على هزيمتها.

باختيار لعبة معقدة مثل Dota 2 لدراسة التعلم الآلي ، اعتقدت OpenAI أنها ستتمكن من محاكاة عدم القدرة على التنبؤ والاستمرارية الموجودة في العالم الحقيقي بدقة أكبر، وبالتالي بناء أنظمة أكثر عمومية لحل المشكلات. وقد استُخدمت الخوارزميات والبرمجيات التي استخدمها OpenAI Five لاحقًا في شبكة عصبية أخرى كانت الشركة تُطوّرها، والتي كانت تتحكم بيد روبوتية مادية. وقد تمت مقارنة OpenAI Five بحالات أخرى مماثلة للذكاء الاصطناعي الذي لعب ضد البشر وهزمهم، مثل AlphaStar في لعبة الفيديو StarCraft II ، وAlphaGo في لعبة Go ، و Deep Blue في الشطرنج ، و Watson في برنامج المسابقات التلفزيوني Jeopardy !.

بدأ تطوير الخوارزميات المستخدمة في الروبوتات في نوفمبر 2016. قررت OpenAI استخدام لعبة Dota 2 ، وهي لعبة فيديو تنافسية خماسية، كأساس لها نظرًا لشعبيتها على منصة البث المباشر Twitch ، ودعمها الأصلي لنظام Linux ، وتوفر واجهة برمجة تطبيقات (API) لها. ^{[ 1 ]} قبل أن يكتمل الفريق بخمسة لاعبين، عُرضت الروبوتات لأول مرة في بطولة The International 2017 في أغسطس، وهي البطولة السنوية الأبرز للعبة، حيث خسر اللاعب الأوكراني المحترف Dendi أمام روبوت OpenAI في مباراة فردية مباشرة. ^{[ 2 ] [ 3 ]} بعد المباراة، أوضح المدير التقني جريج بروكمان أن الروبوت تعلم من خلال اللعب ضد نفسه لمدة أسبوعين في الوقت الفعلي ، وأن برنامج التعلم هذا يمثل خطوة في اتجاه إنشاء برامج قادرة على التعامل مع مهام معقدة "مثل الجراحة". ^{[ 4 ] [ 5 ]} استخدمت OpenAI منهجية تُسمى التعلم المعزز ، حيث تتعلم الروبوتات بمرور الوقت من خلال اللعب ضد نفسها مئات المرات يوميًا لعدة أشهر، وتُكافأ على أفعال مثل قتل عدو وتدمير الأبراج. ^{[ 6 ] [ 7 ] [ 8 ]}

بحلول يونيو 2018، تطورت قدرات الروبوتات لتلعب كفريق كامل مكون من خمسة لاعبين، وتمكنت من هزيمة فرق من اللاعبين الهواة وشبه المحترفين. ^{[ 9 ] [ 6 ] [ 10 ] [ 11 ]} في بطولة The International 2018 ، خاض فريق OpenAI Five مباراتين ضد فرق محترفة، إحداهما ضد فريق paiN Gaming البرازيلي، والأخرى ضد فريق من نخبة اللاعبين الصينيين السابقين. ^{[ 12 ] [ 13 ] [ 14 ]} على الرغم من خسارة الروبوتات في المباراتين، إلا أن OpenAI اعتبرت التجربة ناجحة، مشيرةً إلى أن اللعب ضد بعض أفضل لاعبي Dota 2 سمح لهم بتحليل خوارزمياتهم وتعديلها للمباريات القادمة. ^{[ 15 ]} كان آخر عرض علني للروبوتات في أبريل 2019، حيث فازوا في سلسلة من ثلاث مباريات ضد فريق OG، بطل بطولة The International 2018، في حدث مباشر في سان فرانسيسكو . ^{[ 16 ]} أُقيم حدثٌ عبر الإنترنت لمدة أربعة أيام للعب ضدّ البرامج الآلية، وكان مفتوحًا للجمهور، في الشهر نفسه. ^{[ 17 ]} هناك، لعبت البرامج الآلية في 42,729 مباراة عامة، وفازت بنسبة 99.4% من تلك المباريات. ^{[ 18 ]}

كل روبوت من روبوتات OpenAI Five عبارة عن شبكة عصبية تتكون من طبقة واحدة تضم 4096 وحدة ^{[ 19 ]} من نوع LSTM ، تراقب حالة اللعبة الحالية المستخرجة من واجهة برمجة تطبيقات مطوري Dota. تُنفذ الشبكة العصبية الإجراءات عبر العديد من رؤوس الإجراءات الممكنة (دون تدخل أي بيانات بشرية)، ولكل رأس دلالة محددة. على سبيل المثال، عدد الدورات الزمنية لتأخير إجراء ما، ونوع الإجراء المطلوب تحديده - إحداثيات X أو Y لهذا الإجراء في شبكة محيطة بالوحدة. بالإضافة إلى ذلك، تُحسب رؤوس الإجراءات بشكل مستقل. يراقب نظام الذكاء الاصطناعي العالم كقائمة من 20,000 رقم، ويتخذ إجراءً من خلال تنفيذ قائمة من ثماني قيم تعداد. كما يختار إجراءات وأهدافًا مختلفة لفهم كيفية ترميز كل إجراء ومراقبة العالم. ^{[ 20 ]}

طُوِّر نظام OpenAI Five كنظام تدريب عام للتعلم المعزز على بنية "Rapid" التحتية. تتكون Rapid من طبقتين: الأولى تُشغِّل آلاف الأجهزة وتساعدها على التواصل فيما بينها، والثانية تُشغِّل البرمجيات. بحلول عام 2018، كان OpenAI Five قد لعب ما يُعادل 180 عامًا من الألعاب في مجال التعلم المعزز، مُشغِّلًا على 256 وحدة معالجة رسومية و128,000 نواة معالجة مركزية ، ^{[ 21 ]} باستخدام خوارزمية Proximal Policy Optimization ، وهي طريقة تعتمد على تدرج السياسة . ^{[ 20 ] [ 22 ]}

قبل OpenAI Five، استُخدمت بنجاح أنظمة وتجارب أخرى للذكاء الاصطناعي في مواجهة البشر، مثل برنامج Jeopardy! مع واتسون ، والشطرنج مع ديب بلو ، ولعبة غو مع ألفا غو . ^{[ 23 ] [ 24 ] [ 25 ]} وبالمقارنة مع الألعاب الأخرى التي استخدمت أنظمة الذكاء الاصطناعي للعب ضد لاعبين بشريين، تختلف لعبة Dota 2 كما هو موضح أدناه: ^{[ 20 ]}

نظرة على المدى البعيد : تعمل الروبوتات بمعدل 30 إطارًا في الثانية لمدة مباراة متوسطة تبلغ 45 دقيقة، ما ينتج عنه 80,000 دورة لكل لعبة. يراقب برنامج OpenAI Five كل إطار رابع، مُولِّدًا 20,000 نقلة. للمقارنة، تنتهي لعبة الشطرنج عادةً قبل 40 نقلة، بينما تنتهي لعبة غو قبل 150 نقلة.

حالة اللعبة التي تُرى جزئيًا : لا يستطيع اللاعبون وحلفاؤهم رؤية سوى الخريطة المحيطة بهم مباشرةً. أما باقي الخريطة فيُغطى بضباب الحرب الذي يُخفي وحدات الأعداء وتحركاتهم. لذا، تتطلب لعبة Dota 2 استخلاص استنتاجات بناءً على هذه البيانات غير الكاملة، بالإضافة إلى توقع ما قد يفعله الخصم في الوقت نفسه. بالمقارنة، تُعتبر الشطرنج والجو "ألعابًا كاملة المعلومات"، إذ لا تُخفي أي عناصر عن اللاعب الخصم. ^{[ 26 ]}

مساحة الحركة المستمرة : يمكن لكل شخصية قابلة للعب في لعبة Dota 2 ، والمعروفة باسم البطل، القيام بعشرات الحركات التي تستهدف إما وحدة أخرى أو موقعًا محددًا. يتيح مطورو OpenAI Five مساحة حركة تصل إلى 170,000 حركة ممكنة لكل بطل. وبدون احتساب الجوانب المستمرة للعبة، يوجد ما يقارب 1,000 حركة صالحة في كل دورة. للمقارنة، يبلغ متوسط ​​عدد الحركات في الشطرنج 35 حركة، وفي لعبة Go 250 حركة.

مساحة مراقبة مستمرة : تُلعَب لعبة Dota 2 على خريطة كبيرة تضم عشرة أبطال، خمسة في كل فريق، بالإضافة إلى عشرات المباني ووحدات الشخصيات غير القابلة للعب (NPC). يراقب نظام OpenAI حالة اللعبة من خلال واجهة برمجة تطبيقات الروبوتات الخاصة بالمطورين، وذلك عبر 20,000 رقم تمثل جميع المعلومات التي يُسمح للإنسان بالوصول إليها. تُمثَّل رقعة الشطرنج بحوالي 70 قائمة، بينما تحتوي رقعة لعبة Go على حوالي 400 تعداد.

حظيت روبوتات OpenAI Five بتقدير واسع من مجتمع الذكاء الاصطناعي والتكنولوجيا وألعاب الفيديو. ووصفها مؤسس مايكروسوفت، بيل غيتس، بأنها "إنجاز كبير"، إذ أن انتصاراتهم "تطلبت عملاً جماعياً وتعاوناً". ^{[ 8 ] [ 27 ]} وصرح بطل الشطرنج غاري كاسباروف ، الذي خسر أمام روبوت Deep Blue عام 1997، بأنه على الرغم من خسارتهم في بطولة The International 2018، فإن هذه الروبوتات ستصل في النهاية "إلى القمة، وبشكل أسرع مما كان متوقعاً". ^{[ 28 ]}

في حوار مع مجلة MIT Technology Review ، اعتبر خبراء الذكاء الاصطناعي نظام OpenAI Five إنجازًا هامًا، مشيرين إلى أن لعبة Dota 2 "لعبة معقدة للغاية"، لذا فإن حتى الفوز على لاعبين غير محترفين يُعد إنجازًا مثيرًا للإعجاب. ^{[ 26 ]} وكتبت مجلة PC Gamer أن انتصاراتهم على اللاعبين المحترفين تُعد حدثًا بارزًا في مجال تعلم الآلة. ^{[ 29 ]} في المقابل، كتبت مجلة Motherboard أن الفوز كان "غشًا صريحًا" نظرًا لتبسيط قوائم الأبطال لدى كلا الفريقين، فضلًا عن منح الروبوتات وصولًا مباشرًا إلى واجهة برمجة التطبيقات (API)، بدلًا من استخدام رؤية الحاسوب لتفسير وحدات البكسل على الشاشة. ^{[ 30 ]} وكتبت مجلة The Verge أن الروبوتات دليل على أن نهج الشركة في التعلم المعزز وفلسفتها العامة حول الذكاء الاصطناعي "يحققان إنجازات بارزة". ^{[ 17 ]}

في عام ٢٠١٩، كشفت شركة ديب مايند عن روبوت مشابه للعبة ستار كرافت ٢ ، وهو ألفا ستار . وكما هو الحال مع أوبن إيه آي فايف، استخدم ألفا ستار التعلم المعزز واللعب الذاتي. وذكر موقع ذا فيرج أن "الهدف من هذا النوع من أبحاث الذكاء الاصطناعي ليس مجرد سحق البشر في مختلف الألعاب لإثبات إمكانية ذلك، بل إثبات أنه - مع الوقت والجهد والموارد الكافية - يمكن لبرامج الذكاء الاصطناعي المتطورة أن تتفوق على البشر في أي تحدٍّ معرفي تنافسي تقريبًا، سواء أكانت لعبة لوحية أم لعبة فيديو حديثة". وأضاف الموقع أن انتصارات ديب مايند وأوبن إيه آي كانت أيضًا دليلًا على قوة بعض استخدامات التعلم المعزز. ^{[ ٣١ ]}

كان أمل OpenAI أن تُستخدم هذه التقنية خارج النطاق الرقمي. في عام 2018، تمكنوا من إعادة استخدام خوارزميات التعلم المعزز نفسها وشفرة التدريب من OpenAI Five لروبوت Dactyl ، وهو يد روبوتية تُحاكي يد الإنسان مزودة بشبكة عصبية مصممة للتعامل مع الأجسام المادية. ^{[ 32 ]} وفي عام 2019، تمكن Dactyl من حل مكعب روبيك . ^{[ 33 ]}

• الموقع الرسمي
• المدونة الرسمية