نموذج تحويل النص إلى صورة

نموذج تحويل النص إلى صورة ( T2I أو TTI ) هو نموذج تعلم آلي يأخذ مدخلات بلغة طبيعية وينتج صورة مطابقة لهذا الوصف.

بدأ تطوير نماذج تحويل النصوص إلى صور تدريجياً في منتصف العقد الأول من الألفية الثانية، بالتزامن مع بدايات طفرة الذكاء الاصطناعي ، نتيجةً للتقدم المحرز في الشبكات العصبية العميقة . وفي عام 2022، بدأت مخرجات أحدث نماذج تحويل النصوص إلى صور - مثل DALL -E 2 من OpenAI ، و Imagen من Google Brain ، و Stable Diffusion و Midjourney من Stability AI ، وGen-4 من Runway - تُعتبر قريبة من جودة الصور الفوتوغرافية الحقيقية والفنون المرسومة يدوياً .

تُعدّ نماذج تحويل النص إلى صورة نماذج انتشار كامنة بشكل عام ، حيث تُنفّذ عملية الانتشار في فضاء كامن مضغوط بدلاً من فضاء البكسل مباشرةً. ويُستخدم مُشفّر تلقائي (غالباً مُشفّر تلقائي تبايني ) للتحويل بين فضاء البكسل وهذا التمثيل الكامن. تستخدم هذه الأنظمة عادةً نموذج لغة أو نموذج رؤية-لغة مُدرّب مسبقاً لتحويل مُدخل النص إلى تضمين نصي، ونموذج صور توليدي قائم على الانتشار يُنتج صوراً مُشروطة بهذا التضمين. وقد تم تدريب النماذج الأكثر فعالية عموماً على كميات هائلة من بيانات الصور والنصوص المُستخرجة من الإنترنت . ^{[ 1 ]}

قبل ظهور التعلم العميق في العقد الثاني من القرن الحادي والعشرين، كانت محاولات بناء نماذج تحويل النصوص إلى صور تقتصر على تجميع الصور المكونة الموجودة، مثل تلك الموجودة في قاعدة بيانات الصور الجاهزة . ^{[ 2 ] [ 3 ]}

كانت المهمة العكسية، وهي وصف الصور ، أكثر قابلية للمعالجة، وقد ظهر عدد من نماذج التعلم العميق لوصف الصور قبل نماذج تحويل النص إلى صورة الأولى. ^{[ 4 ]}

A stop sign is flying in blue skies.بواسطة AlignDRAW (2015) ^{[ 5 ]}

2015–2019

A stop sign is flying in blue skiesبواسطة OpenAI's DALL-E  2 (2022)، DALL-E  3 (2023)، وGPT Image 1 (2025)

طُرح أول نموذج حديث لتحويل النصوص إلى صور، وهو alignDRAW، عام 2015 من قِبل باحثين من جامعة تورنتو . وقد وسّع alignDRAW بنية DRAW السابقة (التي استخدمت مُشفِّرًا تلقائيًا تباينيًا متكررًا مع آلية انتباه ) لتعتمد على تسلسلات نصية. ^{[ 4 ]} كانت الصور التي يُنتجها alignDRAW ذات دقة منخفضة (32×32 بكسل، تم الحصول عليها من خلال تغيير الحجم ) واعتُبرت "منخفضة التنوع". استطاع النموذج التعميم على كائنات غير ممثلة في بيانات التدريب (مثل حافلة مدرسية حمراء)، وتعامل بكفاءة مع عبارات جديدة مثل "إشارة توقف تحلق في سماء زرقاء"، مُظهرًا مخرجات تُشير إلى أنه لم يكن مجرد "حفظ" للبيانات من مجموعة التدريب . ^{[ 4 ] [ 6 ]}

في عام ٢٠١٦، كان ريد وأكاتا ويان وآخرون أول من استخدم الشبكات التوليدية التنافسية في مهمة تحويل النصوص إلى صور. ^{[ ٦ ] [ ٧ ]} وباستخدام نماذج مُدرَّبة على مجموعات بيانات ضيقة ومُخصصة لمجالات مُحددة، تمكنوا من توليد صور "مقبولة بصريًا" للطيور والزهور من تعليقات نصية مثل "طائر أسود بالكامل بمنقار سميك ومستدير مميز" . أما النموذج المُدرَّب على مجموعة بيانات COCO (الأشياء الشائعة في السياق) الأكثر تنوعًا، فقد أنتج صورًا "مُشجعة من بعيد..."، ولكنها افتقرت إلى التماسك في تفاصيلها. ^{[ ٦ ]} وتشمل الأنظمة اللاحقة VQGAN-CLIP، ^{[ ٨ ]} وXMC-GAN، وGauGAN2. ^{[ ٩ ]}

تم بناء نماذج تحويل النصوص إلى صور باستخدام بنى معمارية متنوعة. يمكن تنفيذ خطوة ترميز النص باستخدام شبكة عصبية متكررة ، مثل شبكة الذاكرة طويلة المدى (LSTM)، على الرغم من أن نماذج المحولات أصبحت خيارًا أكثر شيوعًا. أما بالنسبة لخطوة توليد الصور، فقد كانت الشبكات التوليدية التنافسية الشرطية (GANs) شائعة الاستخدام في البداية. ومنذ عام 2020، أصبحت نماذج الانتشار هي الخيار الأكثر شيوعًا. فبدلاً من تدريب نموذج مباشرةً لإخراج صورة عالية الدقة بناءً على تضمين نصي، تتمثل إحدى التقنيات الشائعة في تدريب نموذج لتوليد صور منخفضة الدقة أو فضاء كامن، واستخدام نموذج أو أكثر من نماذج التعلم العميق المساعدة لتكبيرها أو فك ترميزها، وإضافة التفاصيل الدقيقة.

تُدرَّب نماذج تحويل النص إلى صورة على مجموعات بيانات ضخمة من أزواج (نص، صورة)، والتي غالبًا ما تُجمع من الإنترنت. وقد أعلنت جوجل برين، من خلال نموذج Imagen لعام 2022، عن نتائج إيجابية لاستخدام نموذج لغوي ضخم تم تدريبه بشكل منفصل على مجموعة بيانات نصية فقط (مع تثبيت أوزانه لاحقًا)، وهو ما يُعد خروجًا عن النهج القياسي السابق. ^{[ 19 ]}

يتطلب تدريب نموذج تحويل النص إلى صورة مجموعة بيانات من الصور المقترنة بتعليقات نصية. تُعد مجموعة بيانات COCO إحدى مجموعات البيانات الشائعة الاستخدام لهذا الغرض. أصدرتها مايكروسوفت عام 2014، وتتألف COCO من حوالي 123,000 صورة تُصوّر مجموعة متنوعة من الأشياء، مع خمسة تعليقات لكل صورة، أنشأها مُعلّقون بشريون. في الأصل، كان التركيز الرئيسي لـ COCO على التعرّف على الأشياء والمشاهد في الصور. أما مجموعتا بيانات Oxford-120 Flowers وCUB-200 Birds فهما أصغر حجمًا، إذ تحتوي كل منهما على حوالي 10,000 صورة، وتقتصران على الزهور والطيور على التوالي. يُعتبر تدريب نموذج عالي الجودة لتحويل النص إلى صورة باستخدام هاتين المجموعتين أسهل نظرًا لنطاق موضوعاتهما المحدود. ^{[ 7 ]}

تُعدّ LAION-5B واحدة من أكبر مجموعات البيانات المفتوحة لتدريب نماذج تحويل النصوص إلى صور، إذ تحتوي على أكثر من 5 مليارات زوج من الصور والنصوص. وقد أُنشئت هذه المجموعة باستخدام تقنيات استخراج البيانات من مواقع الويب والترشيح التلقائي بناءً على التشابه مع الأعمال الفنية عالية الجودة والصور الفوتوغرافية الاحترافية. ومع ذلك، وبسبب ذلك، فهي تحتوي أيضاً على محتوى مثير للجدل، مما أدى إلى نقاشات حول أخلاقيات استخدامها.

لا تقتصر بعض منصات الذكاء الاصطناعي الحديثة على توليد الصور من النصوص فحسب، بل تقوم أيضاً بإنشاء مجموعات بيانات اصطناعية لتحسين تدريب النماذج وضبطها بدقة. وتساعد مجموعات البيانات هذه على تجنب مشكلات حقوق النشر وتوسيع نطاق تنوع بيانات التدريب. ^{[ 20 ]}

يُعدّ تقييم ومقارنة جودة نماذج تحويل النصوص إلى صور مشكلةً تنطوي على تقييم العديد من الخصائص المرغوبة. ومن بين هذه الخصائص، أن تتوافق الصور المُولّدة دلاليًا مع التعليقات النصية المستخدمة في إنشائها. وقد طُوّرت عدة طرق لتقييم هذه الخصائص، بعضها آلي والبعض الآخر يعتمد على التقييم البشري. ^{[ 7 ]}

يُعدّ مؤشر Inception Score (IS) مقياسًا خوارزميًا شائعًا لتقييم جودة الصور وتنوعها ، وهو يعتمد على توزيع التصنيفات التي يتنبأ بها نموذج تصنيف الصور Inceptionv3 المُدرَّب مسبقًا عند تطبيقه على عينة من الصور المُولَّدة بواسطة نموذج تحويل النص إلى صورة. يزداد هذا المؤشر عندما يتنبأ نموذج تصنيف الصور بتصنيف واحد باحتمالية عالية، وهو ما يهدف إلى تفضيل الصور المُولَّدة "المميزة". وهناك مقياس شائع آخر هو مسافة Fréchet Inception ، التي تُقارن توزيع الصور المُولَّدة وصور التدريب الحقيقية وفقًا للميزات المُستخرجة بواسطة إحدى الطبقات النهائية لنموذج تصنيف الصور المُدرَّب مسبقًا. ^{[ 7 ]}

• فن الذكاء الاصطناعي
• نموذج تحويل النص إلى فيديو
• هراء الذكاء الاصطناعي