الجيل المعزز بالاسترجاع

الموسوعة الحرة

التوليد المُعزز بالاسترجاع ( RAG ) هو أسلوب يمكّن نماذج اللغة الكبيرة (LLMs) من استرجاع معلومات جديدة من مصادر بيانات خارجية ودمجها. [ 1 ] باستخدام RAG، تشير نماذج اللغة الكبيرة أولًا إلى مجموعة محددة من المستندات، ثم تستجيب لاستفسارات المستخدم. تُكمّل هذه المستندات المعلومات الموجودة مسبقًا في بيانات تدريب نموذج اللغة الكبير . [ 2 ] يتيح ذلك لنماذج اللغة الكبيرة استخدام معلومات خاصة بالمجال و/أو معلومات مُحدّثة غير متوفرة في بيانات التدريب. [ 2 ] على سبيل المثال، يمكّن هذا روبوتات الدردشة القائمة على نماذج اللغة الكبيرة من الوصول إلى بيانات الشركة الداخلية أو توليد ردود بناءً على مصادر موثوقة. طُرحت هذه التقنية لأول مرة في عام 2020، ومنذ ذلك الحين أصبحت نهجًا شائعًا في أنظمة الذكاء الاصطناعي الحديثة.

يُحسّن نظام RAG نماذج التعلم القانوني (LLMs) من خلال دمج استرجاع المعلومات قبل توليد الاستجابات. [ 3 ] على عكس نماذج التعلم القانوني التي تعتمد على بيانات تدريب ثابتة، يستخلص نظام RAG النصوص ذات الصلة من قواعد البيانات أو المستندات المرفوعة أو مصادر الويب. [ 1 ] ووفقًا لموقع Ars Technica ، فإن "نظام RAG هو وسيلة لتحسين أداء نماذج التعلم القانوني، وذلك من خلال دمج عملية بناء نموذج التعلم القانوني مع البحث عبر الويب أو أي عملية بحث أخرى عن المستندات، مما يساعد نماذج التعلم القانوني على الالتزام بالحقائق". تُسهم هذه الطريقة في الحد من أخطاء الذكاء الاصطناعي [ 3 ] ، والتي تسببت في وصف روبوتات الدردشة لسياسات غير موجودة، أو التوصية بقضايا قانونية وهمية للمحامين الذين يبحثون عن مراجع لدعم حججهم. [ 4 ]

يُقلل نظام RAG أيضًا من الحاجة إلى إعادة تدريب نماذج التعلم الآلي باستخدام بيانات جديدة، مما يوفر تكاليف الحوسبة والتكاليف المالية. [ 1 ] إضافةً إلى تحسين الكفاءة، يسمح نظام RAG لنماذج التعلم الآلي بإدراج المصادر في إجاباتها، مما يُمكّن المستخدمين من التحقق من المصادر المذكورة. وهذا يوفر مزيدًا من الشفافية، حيث يمكن للمستخدمين التحقق من المحتوى المُسترجع لضمان دقته وملاءمته.

تم تقديم مصطلح التوليد المعزز بالاسترجاع (RAG) في ورقة بحثية عام 2020 وصفت دمج نموذج لغوي بارامتري مع ذاكرة خارجية غير بارامترية يتم الوصول إليها من خلال الاسترجاع في وقت الاستدلال. [ 3 ]

قيود RAG وLLM

قد تُقدّم نماذج التعلم الآلي معلومات غير صحيحة. على سبيل المثال، عندما عرضت جوجل لأول مرة أداة التعلم الآلي " جوجل بارد " (التي أعيد تسميتها لاحقًا إلى جيميني)، قدّمت هذه الأداة معلومات خاطئة حول تلسكوب جيمس ويب الفضائي . ساهم هذا الخطأ في انخفاض قيمة أسهم جوجل بمقدار 100 مليار دولار . [ 4 ] يُستخدم نظام RAG لمنع هذه الأخطاء، ولكنه لا يحل جميع المشاكل. على سبيل المثال، قد تُولّد نماذج التعلم الآلي معلومات مضللة حتى عند استخلاصها من مصادر صحيحة إذا أساءت فهم السياق. تُقدّم مجلة MIT Technology Review مثالًا على ردّ مُولّد بواسطة الذكاء الاصطناعي يقول: "كان للولايات المتحدة رئيس مسلم واحد، باراك حسين أوباما". استخلص النموذج هذا من عنوان الفصل البلاغي "باراك حسين أوباما: أول رئيس مسلم لأمريكا؟" في كتاب " الإيمان في الألفية الجديدة: مستقبل الدين والسياسة الأمريكية" . [ 5 ] لم يكن نموذج التعلم الآلي "يعرف" أو "يفهم" سياق العنوان، مما أدى إلى توليد عبارة خاطئة. [ 2 ]

تُبرمج نماذج التعلم الموجه بالتعلم (LLMs) المزودة بنظام RAG لإعطاء الأولوية للمعلومات الجديدة. تُعرف هذه التقنية باسم "حشو الموجه". بدون حشو الموجه، يُنشئ المستخدم مدخلات نموذج التعلم الموجه؛ أما مع حشو الموجه، فتُضاف سياقات إضافية ذات صلة إلى هذه المدخلات لتوجيه استجابة النموذج. يوفر هذا النهج لنموذج التعلم الموجه معلومات أساسية في وقت مبكر من عملية التوجيه، مما يشجعه على إعطاء الأولوية للبيانات المُقدمة على حساب المعرفة التدريبية الموجودة مسبقًا. [ 6 ]

عملية

تعمل تقنية التوليد المُعزز بالاسترجاع (RAG) على تحسين نماذج اللغة الكبيرة (LLMs) من خلال دمج آلية استرجاع معلومات تُمكّن النماذج من الوصول إلى بيانات إضافية واستخدامها، تتجاوز مجموعة بيانات التدريب الأصلية. وتشير Ars Technica إلى أنه "عند توفر معلومات جديدة، فبدلاً من إعادة تدريب النموذج، كل ما يلزم هو إضافة المعلومات المُحدثة إلى قاعدة معارفه الخارجية" ("الإضافة"). [ 4 ] وتذكر IBM أنه "في المرحلة التوليدية، يستمد نموذج اللغة الكبير (LLM) من المُوجه المُعزز وتمثيله الداخلي لبيانات التدريب الخاصة به لتوليد" إجابة. [ 1 ]

المراحل الرئيسية لـ RAG

نظرة عامة على عملية RAG، التي تجمع بين المستندات الخارجية ومدخلات المستخدم في موجه LLM للحصول على مخرجات مخصصة

عادةً، تُحوّل البيانات المراد الرجوع إليها إلى تمثيلات LLM ، وهي تمثيلات رقمية على شكل فضاء متجهي كبير. يمكن استخدام RAG مع البيانات غير المهيكلة (عادةً النصوص)، أو شبه المهيكلة، أو المهيكلة (مثل مخططات المعرفة ). تُخزّن هذه التمثيلات بعد ذلك في قاعدة بيانات متجهية لتمكين استرجاع المستندات .

عند إدخال استعلام من المستخدم، يتم أولاً استدعاء أداة استرجاع المستندات لاختيار المستندات الأكثر صلةً والتي ستُستخدم لتعزيز الاستعلام. [ 2 ] [ 3 ] يمكن إجراء هذه المقارنة باستخدام طرق متنوعة، تعتمد جزئيًا على نوع الفهرسة المستخدمة. [ 1 ]

يقوم النموذج بتغذية نظام إدارة التعلم (LLM) بهذه المعلومات المسترجعة ذات الصلة من خلال هندسة سريعة لاستعلام المستخدم الأصلي. (الإصدارات الأحدث اعتبارًا من عام 2023)ويمكن أيضًا دمج وحدات تعزيز محددة بقدرات مثل توسيع الاستعلامات إلى مجالات متعددة واستخدام الذاكرة والتحسين الذاتي للتعلم من عمليات الاسترجاع السابقة.

وأخيرًا، يمكن لنموذج اللغة الموجه (LLM) توليد مخرجات بناءً على كل من الاستعلام والوثائق المسترجعة. [ 2 ] [ 3 ] تتضمن بعض النماذج خطوات إضافية لتحسين المخرجات، مثل إعادة ترتيب المعلومات المسترجعة، واختيار السياق، والضبط الدقيق .

التطبيقات

يتم استخدام التوليد المعزز بالاسترجاع في التطبيقات التي تتطلب فيها الاستجابات المولدة أن تستند إلى معلومات خارجية أو يتم تحديثها بشكل متكرر.

في مجال الرعاية الصحية، تمت دراسة RAG كوسيلة لربط مخرجات نماذج اللغة الكبيرة بمصادر المعرفة الطبية الخارجية، على الرغم من أن المراجعات أشارت إلى تحديات مستمرة تتعلق بالتقييم والأخلاقيات والموثوقية السريرية. [ 7 ]

التحسينات

يمكن تطبيق التحسينات على العملية الأساسية المذكورة أعلاه في مراحل مختلفة من تدفق RAG.

المشفر

تركز هذه الأساليب على ترميز النصوص كمتجهات كثيفة أو متفرقة. المتجهات المتفرقة ، التي ترمز إلى هوية الكلمة، عادةً ما تكون بطول القاموس وتحتوي على أصفار في الغالب. أما المتجهات الكثيفة ، التي ترمز إلى المعنى، فهي أكثر إيجازًا وتحتوي على عدد أقل من الأصفار. يمكن لبعض التحسينات أن تُحسّن طريقة حساب أوجه التشابه في قواعد بيانات المتجهات. [ 8 ]

  • يتحسن الأداء من خلال تحسين طريقة حساب أوجه التشابه بين المتجهات. تعمل الضربات النقطية على تحسين تسجيل التشابه، بينما تعمل عمليات البحث عن أقرب جار تقريبي (ANN) على تحسين كفاءة الاسترجاع مقارنةً بعمليات البحث عن أقرب K جار (KNN). [ 9 ]
  • يمكن تحسين الدقة باستخدام التفاعلات المتأخرة، التي تسمح للنظام بمقارنة الكلمات بدقة أكبر بعد استرجاعها. وهذا يساعد على تحسين ترتيب المستندات وزيادة ملاءمة نتائج البحث. [ 10 ]
  • يمكن استخدام أساليب المتجهات الهجينة لدمج تمثيلات المتجهات الكثيفة مع المتجهات أحادية الترميز المتفرقة ، مستفيدة من الكفاءة الحسابية لعمليات الضرب النقطي المتفرقة مقارنةً بعمليات المتجهات الكثيفة. [ 8 ]
  • تركز تقنيات الاسترجاع الأخرى على تحسين الدقة من خلال تحسين كيفية اختيار المستندات. وتجمع بعض طرق الاسترجاع بين التمثيلات المتفرقة، مثل SPLADE، واستراتيجيات توسيع الاستعلام لتحسين دقة البحث والاستدعاء. [ 11 ]

الأساليب التي تركز على المسترجع

تهدف هذه الأساليب إلى تحسين جودة استرجاع المستندات في قواعد البيانات المتجهة:

  • يتم تدريب نموذج الاسترجاع مسبقًا باستخدام مهمة الإكمال العكسي (ICT)، وهي تقنية تساعد النموذج على تعلم أنماط الاسترجاع من خلال التنبؤ بالنص المخفي داخل المستندات. [ 12 ]
  • تعمل خوارزمية تحسين الاسترجاع الخاضعة للإشراف على مواءمة احتمالات الاسترجاع مع توزيع احتمالية نموذج المولد. ويتضمن ذلك استرجاع أفضل k متجهات لموجه معين، وتقييم حيرة الاستجابة المولدة ، وتقليل تباعد كولباك-لايبير بين اختيارات المسترجع واحتمالات النموذج لتحسين عملية الاسترجاع. [ 13 ]
  • يمكن لتقنيات إعادة الترتيب تحسين أداء أداة الاسترجاع من خلال إعطاء الأولوية للمستندات الأكثر صلة أثناء التدريب. [ 14 ]

نموذج اللغة

نموذج لغة ريترو لـ RAG. تتكون كل وحدة ريترو من طبقات الانتباه، والانتباه المتقاطع المجزأ، والتغذية الأمامية. تشير المربعات ذات الأحرف السوداء إلى البيانات التي يتم تغييرها، بينما تشير الأحرف الزرقاء إلى الخوارزمية التي تُجري هذه التغييرات.

بإعادة تصميم نموذج اللغة مع مراعاة وظيفة الاسترجاع، يمكن لشبكة أصغر بـ 25 مرة أن تحقق مستوى تعقيد مماثلًا لنظيراتها الأكبر حجمًا. [ 15 ] نظرًا لتدريبها من الصفر، تتطلب هذه الطريقة (Retro) تكلفة عالية لعمليات التدريب التي تجنبتها طريقة RAG الأصلية. تفترض الفرضية أنه من خلال توفير معرفة المجال أثناء التدريب، تحتاج Retro إلى تركيز أقل على المجال، ويمكنها تخصيص مواردها الأصغر للأوزان فقط لدلالات اللغة. يظهر هنا نموذج اللغة المُعاد تصميمه.

أُفيد بأن برنامج Retro غير قابل للتكرار، لذا أُجريت تعديلات لتحسين ذلك. يُطلق على النسخة الأكثر قابلية للتكرار اسم Retro++، وهي تتضمن RAG ضمن السياق. [ 16 ]

تقسيم البيانات إلى أجزاء

تتضمن عملية التجزئة استراتيجيات متنوعة لتقسيم البيانات إلى متجهات حتى يتمكن برنامج الاسترجاع من العثور على التفاصيل فيها.

تتضمن أنماط البيانات المختلفة أنماطًا يمكن أن تستفيد منها عملية التجزئة الصحيحة.

ثلاثة أنواع من استراتيجيات التجزئة هي:

  • طول ثابت مع تداخل. هذا سريع وسهل. يساعد تداخل الأجزاء المتتالية في الحفاظ على السياق الدلالي عبر الأجزاء.
  • يمكن تقسيم المستند إلى جمل باستخدام وحدات بناء الجملة. كما يمكن الاستعانة بمكتبات مثل spaCy أو NLTK .
  • تقسيم الملفات بناءً على تنسيقها. تحتوي بعض أنواع الملفات على أجزاء مُدمجة بشكل طبيعي، ومن الأفضل احترامها. على سبيل المثال، يُفضل تقسيم ملفات التعليمات البرمجية وتحويلها إلى دوال أو فئات كاملة. يجب أن تُبقي ملفات HTML عناصر <table> أو عناصر <img> المشفرة بـ base64 سليمة. وينبغي مراعاة اعتبارات مماثلة لملفات PDF. يمكن لمكتبات مثل Unstructured أو LangChain المساعدة في هذه الطريقة.

أحيانًا، قد تغفل عمليات البحث في قواعد بيانات المتجهات ( المعروفة أيضًا بتقنية البحث الدلالي ) حقائق أساسية ضرورية للإجابة على سؤال المستخدم. إحدى طرق التخفيف من ذلك هي إجراء بحث نصي تقليدي ( يُعرف أيضًا بالبحث في النص الكامل )، ودمج نتائجه في أجزاء نصية مرتبطة بالمتجهات المسترجعة من بحث المتجهات، ثم إدخال النص الهجين المدمج (باستخدام التقييم الفعال أو إعادة ترتيب التقييم) إلى نموذج اللغة لتوليده. [ 17 ]

التحديات

لا يمنع نظام RAG الهلوسة في نماذج التعلم الآلي. ووفقًا لموقع Ars Technica ، "إنه ليس حلاً مباشرًا لأن نموذج التعلم الآلي قد يظل قادرًا على الهلوسة حول المادة المصدرية في استجابته." [ 4 ]

على الرغم من أن تقنية RAG تُحسّن دقة نماذج اللغة الكبيرة (LLMs)، إلا أنها لا تُزيل جميع التحديات. أحد هذه التحديات هو أنه بينما تُقلل RAG من الحاجة إلى إعادة تدريب النموذج بشكل متكرر، فإنها لا تُزيلها تمامًا. إضافةً إلى ذلك، قد تواجه نماذج اللغة الكبيرة صعوبة في تحديد متى تفتقر إلى المعلومات الكافية لتقديم استجابة موثوقة. فبدون تدريب مُحدد، قد تُنتج النماذج إجابات حتى عندما ينبغي أن تُشير إلى عدم اليقين. ووفقًا لشركة IBM ، قد تنشأ هذه المشكلة عندما يفتقر النموذج إلى القدرة على تقييم حدود معرفته. [ 1 ]

تسمم RAG

قد تسترجع أنظمة RAG مصادر صحيحة من الناحية الواقعية ولكنها مضللة، مما يؤدي إلى أخطاء في التفسير. في بعض الحالات، قد يستخلص نموذج LLM عبارات من مصدر دون مراعاة سياقها، مما ينتج عنه استنتاج خاطئ. بالإضافة إلى ذلك، عند مواجهة معلومات متضاربة، قد تواجه نماذج RAG صعوبة في تحديد المصدر الصحيح. أسوأ ما قد ينتج عن هذا القصور هو أن النموذج قد يجمع تفاصيل من مصادر متعددة، مما ينتج عنه استجابات تدمج معلومات قديمة وحديثة بطريقة مضللة. وفقًا لمجلة MIT Technology Review ، تحدث هذه المشكلات لأن أنظمة RAG قد تُسيء تفسير البيانات التي تسترجعها. [ 2 ]

في سبتمبر 2025، دفعت إسرائيل 6 ملايين دولار للتأثير على الرأي العام لصالحها ( الدعاية )، استناداً إلى هذا القيد. [ 18 ] [ 19 ]

مراجع

  1. 1 2 3 4 5 6 "ما هو الجيل المعزز بالاسترجاع؟" . آي بي إم . 22 أغسطس 2023. تم الاسترجاع في 7 مارس 2025 .
  2. 1 2 3 4 5 6 "لماذا تُخطئ مراجعات جوجل للذكاء الاصطناعي؟" . مجلة إم آي تي ​​للتكنولوجيا . 31 مايو 2024. تاريخ الاطلاع: 7 مارس 2025 .
  3. ١ ٢ ٣ ٤ ٥ لويس، باتريك؛ بيريز، إيثان؛ بيكتوس، ألكسندرا؛ بيتروني، فابيو؛ كاربوخين، فلاديمير؛ غويال، نامان؛ كوتلر، هاينريش؛ لويس، مايك؛ ييه، وين-تاو؛ روكتاشيل، تيم؛ ريدل، سيباستيان؛ كيلا، دوي (٢٠٢٠). "التوليد المُعزز بالاسترجاع لمهام معالجة اللغة الطبيعية كثيفة المعرفة" . التقدم في أنظمة معالجة المعلومات العصبية . ٣٣. كوران أسوشيتس، إنك: ٩٤٥٩-٩٤٧٤ . arXiv : ٢٠٠٥.١١٤٠١ .
  4. ١ ٢ ٣ ٤ "هل تستطيع تقنية تُسمى RAG منع نماذج الذكاء الاصطناعي من اختلاق المعلومات؟" . آرس تكنيكا . ٦ يونيو ٢٠٢٤. تاريخ الاطلاع: ٧ مارس ٢٠٢٥ .
  5. ↑ غوتز، ريبيكا آن (2015). "باراك حسين أوباما: أول رئيس مسلم لأمريكا؟". في: ساتون، ماثيو أفيري؛ دوتشوك، دارين (محرران). الإيمان في الألفية الجديدة: مستقبل الدين والسياسة الأمريكية . مطبعة جامعة أكسفورد. doi : 10.1093/acprof:oso/9780199372690.003.0006 . ISBN 9780199372737.
  6. ↑ "تخفيف الهلوسات اللغوية في تلخيص النصوص" . بي بي سي . 20 يونيو 2024. تم الاطلاع عليه في 7 مارس 2025 .
  7. ↑ أموغونغو، لاميك مبانغولا؛ ماشيروني، بيترو؛ بروكس، ستيفن؛ دورينغ، ستيفان؛ سيدل، جان (11 يونيو 2025). "توليد مُعزز بالاسترجاع لنماذج اللغة الكبيرة في الرعاية الصحية: مراجعة منهجية" . PLOS Digital Health . 4 (6) e0000877. doi : 10.1371/journal.pdig.0000877 . PMC 12157099 . 
  8. 1 2 لوان، يي؛ أيزنشتاين، جاكوب؛ توتانوفا، كريستينا؛ كولينز، مايكل (26 أبريل 2021). "التمثيلات المتفرقة والكثيفة والانتباهية لاسترجاع النصوص" . معاملات رابطة اللغويات الحاسوبية . 9 : 329-345 . arXiv : 2005.00181 . doi : 10.1162/tacl_a_00369 . تم الاسترجاع في 15 مارس 2025 .
  9. ↑ "استرجاع المعلومات" . مايكروسوفت . 10 يناير 2025. تم الاطلاع عليه في 15 مارس 2025 .
  10. ↑ خطاب، عمر؛ زاهاريا، ماتاي (2020). "ColBERT: بحث فعال وكفؤ عن المقاطع عبر التفاعل المتأخر السياقي على BERT" . وقائع المؤتمر الدولي الثالث والأربعين لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات . الصفحات 39-48 . doi : 10.1145/3397271.3401075 . ISBN  978-1-4503-8016-4.
  11. ↑ وانغ، يوب؛ كونروي، جون م.؛ مولينو، نيل؛ يانغ، جوليا؛ غرين، مايك (2024). "مختبر العلوم التحليلية في مسار الجيل المعزز للاسترجاع في مؤتمر TREC 2024" . مؤتمر NIST TREC 2024. تاريخ الاسترجاع: 15 مارس 2025 .
  12. ^ لي كينتون. تشانغ، مينغ وي؛ توتانوفا ، كريستينا (2019). ""الاسترجاع الكامن للإجابة على أسئلة المجال المفتوح بإشراف ضعيف"( PDF) .
  13. ↑ شي، ويجيا؛ مين، سيون؛ ياسوناغا، ميتشيهيرو؛ سيو، مينجون؛ جيمس، ريتش؛ لويس، مايك؛ زيتلموير، لوك؛ ييه، وين تاو (يونيو 2024). "REPLUG: نماذج لغوية مُعززة بالاسترجاع ذات صندوق أسود" . وقائع مؤتمر 2024 لفرع أمريكا الشمالية لجمعية اللغويات الحاسوبية: تقنيات اللغة البشرية (المجلد 1: أوراق بحثية مطولة) . الصفحات 8371-8384 . arXiv : 2301.12652 . doi : 10.18653/v1/2024.naacl-long.463 . تاريخ الاسترجاع: 16 مارس 2025 . 
  14. ^ رام ، أوري. ليفين، يوآف؛ دالميديجوس، إيتاي؛ موهلجاي، دور؛ يشوع، أمنون؛ ليتون براون، كيفن؛ شوهام ، يوآف (2023). "نماذج اللغة المعززة للاسترجاع في السياق" . معاملات جمعية اللغويات الحاسوبية . 11 : 1316 – 1331. أرخايف : 2302.00083 . دوى : 10.1162/tacl_a_00605 . تم الاسترجاع في 16 مارس 2025 .
  15. ↑ بورجود، سيباستيان؛ مينش، آرثر (2021). "تحسين نماذج اللغة من خلال الاسترجاع من تريليونات الرموز" (PDF) .
  16. ↑ وانغ، بوكسين؛ بينغ، وي؛ شو، بينغ؛ مكافي، لورانس؛ ليو، زيهان؛ شويبي، محمد؛ دونغ، يي؛ كوتشاييف، أوليكسي؛ لي، بو؛ شياو، تشاوي؛ أناندكومار، أنيما؛ كاتانزارو، برايان (2023). "هل ينبغي تدريب نماذج اللغة التراجعية الذاتية مسبقًا باستخدام الاسترجاع؟ دراسة شاملة" . وقائع مؤتمر 2023 حول الأساليب التجريبية في معالجة اللغة الطبيعية . الصفحات 7763-7786 . doi : 10.18653/v1/2023.emnlp-main.482 . 
  17. ↑ بروش، سيباستيان؛ جاي، سيو؛ إنجبر، أمير (2023). "تحليل وظائف الدمج للاسترجاع الهجين". معاملات ACM في نظم المعلومات . 42 (1): 1-35 . arXiv : 2210.11934 . doi : 10.1145/3596512 .
  18. ↑ «إسرائيل تدفع 6 ملايين دولار لتدريب برنامج التدريب على القيادة العامة للتأثير على رأي الشباب الأمريكي بشأن غزة» . مجلة Inside Telecom . 30 سبتمبر 2025. تاريخ الاطلاع: 11 يناير 2026 .
  19. ↑ كوردال، سيمون سبيكمان. "تزييف الإبادة الجماعية: كيف تستخدم إسرائيل شركات العلاقات العامة الأمريكية لتصوير حربها على غزة؟" . الجزيرة . تاريخ الاسترجاع: 14 يناير 2026 .