llama.cpp

llama.cpp هي مكتبة برمجية مفتوحة المصدر تُجري عمليات الاستدلال على نماذج لغوية كبيرة متنوعة مثل Llama . ^{[ 3 ]} وقد طُوّرت بالاشتراك مع مشروع GGML ، وهو مكتبة موترات للأغراض العامة . ^{[ 4 ]}

تتضمن المكتبة أدوات سطر الأوامر ، ^{[ 5 ]} بالإضافة إلى خادم بواجهة ويب بسيطة . ^{[ 6 ] [ 7 ]}

يُعتبر ملف llama.cpp المعيار الفعلي باعتباره جوهر جميع أدوات الاستدلال المحلي تقريبًا، بما في ذلك Ollama و LM  Studio. ^{[ 8 ]}

في أواخر سبتمبر 2022، بدأ جورجي جيرجانوف العمل على مكتبة GGML، وهي مكتبة مكتوبة بلغة C تُنفذ جبر الموترات . وقد طور جيرجانوف هذه المكتبة بهدف إدارة الذاكرة بكفاءة عالية ودعم تعدد الخيوط. استُلهم إنشاء GGML من عمل فابريس بيلارد على مكتبة LibNC. ^{[ 9 ]}

قبل llama.cpp، عمل جيرجانوف على مكتبة مماثلة تسمى whisper.cpp والتي نفذت Whisper ، وهو نموذج لتحويل الكلام إلى نص من OpenAI . ^{[ 10 ]}

بدأ جورجي جيرجانوف تطوير llama.cpp في مارس 2023 كتطبيق لرمز استدلال Llama بلغة C/C++ خالصة دون أي تبعيات. وقد حسّن هذا الأداء على أجهزة الكمبيوتر التي لا تحتوي على وحدة معالجة رسومية (GPU) أو أي مكونات مخصصة أخرى، وهو ما كان أحد أهداف المشروع. ^{[ 3 ] [ 11 ] [ 12 ]} لاقى llama.cpp رواجًا بين المستخدمين الذين لا يملكون أجهزة متخصصة، حيث كان بالإمكان تشغيله على وحدة المعالجة المركزية (CPU) فقط . وبينما صُمم في البداية لوحدات المعالجة المركزية، أُضيفت لاحقًا دعم لوحدات معالجة الرسوميات (GPU) ووحدات المعالجة العصبية (NPU). ^{[ 13 ]} اعتبارًا من مايو 2026^{[ 14 ]}​

تم إطلاق تقنية FlashAttention في 30 أبريل 2024 .

في 10 أبريل 2025، تم تقديم libmtmd، مما أعاد تنشيط الدعم للنماذج متعددة الوسائط التي كانت راكدة في السابق.

في 17 ديسمبر 2025، تم تقديم التسريع الكامل على أجهزة Android و ChromeOS من خلال ربط واجهة المستخدم الرسومية الجديدة ^{[ 15 ]} ، مما يفتح تطوير التطبيقات الأصلية بما يتجاوز النهج السابق المتمثل في التجميع المتقاطع وتشغيل واجهة سطر الأوامر ^{[ 11 ] [ 16 ] [ 17 ]} في غلاف adb .

يدعم برنامج llama.cpp العديد من الأجهزة المستهدفة، بما في ذلك x86 و ARM و Metal و BLAS و BLIS و zDNN و ZenDNN و SYCL و MUSA و CUDA و HIP و CANN و OpenCL و RPC و Vulkan (الإصدار 1.2 أو أحدث). ^{[ 18 ] [ 19 ] [ 20 ] [ 21 ]} تُشكل هذه الواجهات الخلفية مكتبة GGML للموترات، والتي يستخدمها كود llama.cpp الخاص بالنموذج في الواجهة الأمامية. ^{[ 22 ]} يستفيد llama.cpp من العديد من امتدادات وحدة المعالجة المركزية لتحسين الأداء.

• AVX و AVX2 و AVX-512 و AVX-VNNI و AMX لـ X86-64 .
• Neon و i8MM و SVE و SVE2 و SME و SME2 لـ AArch64 (ARM64).
• VXE2 (مرفق تحسين المتجهات 2) لـ S390x .
• يُعد معالج Apple Silicon هدفًا مهمًا للمشروع. ^{[ 14 ] [ 23 ]}

يدعم ملف llama.cpp مجموعة متنوعة من الميزات التي تهدف إلى الاستدلال على الأجهزة الطرفية، مثل:

• التكميم المسبق للنموذج والتكميم الفوري لذاكرة التخزين المؤقت kv. ^{[ 24 ]}
• فك التشفير التخميني . ^{[ 7 ]}
• التفريغ الجزئي لطبقات النموذج إلى ذاكرة الوصول العشوائي للنظام ، مما يسمح للأجهزة بتحميل النماذج التي ستكون كبيرة جدًا بحيث لا يمكن وضعها فقط في ذاكرة الوصول العشوائي لوحدة معالجة الرسومات .

بالإضافة إلى ذلك، يدعم ملف llama.cpp مجموعة متنوعة من الميزات وواجهات برمجة التطبيقات للتواصل مع الواجهة الأمامية، مثل:

• نقاط نهاية متوافقة مع OpenAI مثل v1/chat/completions.
• تنسيق الإخراج القائم على القواعد النحوية بصيغة JSON . ^{[ 12 ]}

يُعدّ تنسيق ملف GGUF ( ملف GGML العالمي) ^{[ 27 ]} تنسيقًا ثنائيًا يخزن كلًا من الموترات والبيانات الوصفية في ملف واحد، وهو مصمم لحفظ بيانات النموذج وتحميلها بسرعة. ^{[ 28 ]} وقد طُرح هذا التنسيق في أغسطس 2023 من قِبل مشروع llama.cpp لتحسين التوافق مع الإصدارات السابقة، حيث أُضيفت إليه دعمًا لبنى نماذج أخرى. ^{[ 13 ] [ 29 ]} وقد حلّ هذا التنسيق محل التنسيقات السابقة التي استخدمها المشروع، مثل GGML، ويتم إنتاجه عادةً عن طريق تحويل النماذج المطورة باستخدام مكتبة تعلم آلي مختلفة، مثل PyTorch . ^{[ 28 ]}

// مثال على البيانات الوصفية العامة . البنية : 'llama' ، الاسم العام : 'LLaMA v2' ، طول سياق llama : 4096 ، ... ، نوع الملف العام : 10 ، // (يشير عادةً إلى مستوى التكميم، هنا " MOSTLY_Q2_K") ، نموذج محلل الكلمات ggml : 'llama' ، نموذج محلل الكلمات ggml . الرموز : [ '<unk>' , '<s>' , '</s>' , ' ' , '  ' ,' ' , '  ' , ' ' , ' ' , '  ' , ' ' , ' ' , .

// اسم الموتر رقم n : سلسلة GGUF ، // مثال: "blk.0.ffn_gate.weight" عدد الأبعاد : UINT32 ، // مثال: 2 الأبعاد : UINT64 []، // مثال: [4096, 32000] النوع : UINT32 ، // مثال: 10 (يشير عادةً إلى مستوى التكميم، هنا "GGML_TYPE_Q2_K") الإزاحة : UINT64 // موضع البداية داخل كتلة tensor_data، بالنسبة إلى بداية الكتلة // الموتر رقم (n+1) ...

يدعم Llama.cpp العديد من نماذج اللغة الكبيرة، بما في ذلك Llama و Mistral و Gemma و DeepSeek و gpt-oss و Phi و Qwen . ^{[ 34 ]}

• أولاما
• SGLang – إطار عمل للتوليد المهيكل واستنتاج نماذج اللغة الكبيرة عالية الأداء وتقديمها
• vLLM – محرك استدلال وتقديم نماذج اللغة الكبيرة