ن-جرام

إن n -gram عبارة عن سلسلة من n رمزًا متجاورة بترتيب معين. قد تكون الرموز عبارة عن n حرفًا متجاورة (بما في ذلك علامات الترقيم والفراغات)، أو مقاطع لفظية ، أو نادرًا كلمات كاملة موجودة في مجموعة بيانات لغوية؛ أو فونيمات متجاورة مستخرجة من مجموعة بيانات تسجيل الكلام، أو أزواج قواعد متجاورة مستخرجة من جينوم. يتم جمعها من مجموعة نصية أو مجموعة كلامية . إذا تم استخدام البادئات الرقمية اللاتينية ، فإن n -gram بحجم 1 يسمى "unigram"، والحجم 2 " bigram " (أو، بشكل أقل شيوعًا، "digram") وما إلى ذلك. إذا تم استخدام الأعداد الأساسية الإنجليزية بدلاً من اللاتينية ، فإنها تسمى "four-gram" و"five-gram" وما إلى ذلك. وبالمثل، باستخدام البادئات الرقمية اليونانية مثل "monomer" و"dimer" و"trimer" و"tetramer" و"pentamer" وما إلى ذلك، أو الأعداد الأساسية الإنجليزية، يتم استخدام "one-mer" و"two-mer" و"three-mer" وما إلى ذلك في علم الأحياء الحاسوبي، للبوليمرات أو الأوليغومرات ذات الحجم المعروف، والتي تسمى k -mers . عندما تكون العناصر كلمات، يمكن أيضًا تسمية n -grams بالقوباء المنطقية . ^[1]

في سياق معالجة اللغة الطبيعية (NLP)، يسمح استخدام n -grams لنماذج حقيبة الكلمات بالتقاط معلومات مثل ترتيب الكلمات، وهو ما لن يكون ممكنًا في إعداد حقيبة الكلمات التقليدية.

(شانون 1951) ^[2] ناقش نماذج n -gram للغة الإنجليزية. على سبيل المثال:

• نموذج الأحرف المكون من 3 جرامات (رسم عشوائي يعتمد على احتمالات كل ثلاثي): في أي حال، لا يوجد سوى عدد قليل جدًا من الأمثلة على مظاهر التكرار، وهو تفاعل إبداعي.
• نموذج الكلمات المكونة من 2 جرام (رسم عشوائي للكلمات مع مراعاة احتمالات انتقالها): الهجوم الأمامي والرأسي على كاتب إنجليزي أن شخصية هذه النقطة هي بالتالي طريقة أخرى للحروف التي يكون وقت من أخبر المشكلة غير متوقع

الشكل 1 أمثلة على الن -جرام من مختلف التخصصات

مجال	وحدة	تسلسل العينة	تسلسل 1 جرام	تسلسل 2 جرام	تسلسل 3 جرام
الاسم العامي			أحادي اللون	ثنائي الإيقاع	ثلاثية
ترتيب نموذج ماركوف الناتج			0	1	2
تسلسل البروتين	حمض أميني	... سيس-غلي-ليو-سير-ترب ...	...، سيس، جلي، ليو، سير، ترب، ...	...، سيس-جلي، جلي-ليو، ليو-سير، سير-ترب، ...	...، سيس-جلي-ليو، جلي-ليو-سير، ليو-سير-ترب، ...
تسلسل الحمض النووي	زوج القاعدة	...AGCTTCGA...	..., أ, ج, ت, ت, ج, ز, أ, ...	...، AG، GC، CT، TT، TC، CG، GA، ...	..., AGC، GCT، CTT، TTC، TCG، CGA، ...
نموذج اللغة	شخصية	...أن_أكون_أو_لا_أكون...	...، ت، و، _، ب، هـ، _، و، ر، _، ن، و، ت، _، ت، و، _، ب، هـ، ...	...، إلى، o_، _b، يكون، e_، _o، أو، r_، _n، لا، ot، t_، _t، إلى، o_، _b، يكون، ...	...، إلى، o_b، _يكون، يكون_، e_o، _أو، أو_، r_n، _لا، لا، ot_، t_t، _إلى، إلى_، o_b، _يكون، ...
نموذج اللغة المكون من كلمة ن -جرام	كلمة	... أن أكون أو لا أكون ...	...، أن، تكون، أو، لا، أن، تكون، ...	...، أن تكون، تكون أو، أو لا تكون، لا تكون، ...	...، أن تكون أو، أن تكون أو لا تكون، أو لا تكون، لا تكون، ...

يوضح الشكل 1 العديد من تسلسلات الأمثلة والتسلسلات المقابلة لها والتي تزن 1 جرام و2 جرام و3 جرام.

فيما يلي أمثلة أخرى؛ وهي عبارة عن كلمات على مستوى 3-gram و4-gram (وعدد المرات التي ظهرت فيها) من مجموعة n -gram من Google. ^[3]

3 جرام

• مقتنيات سيراميك مقتنيات (55)
• مقتنيات سيراميكية رائعة (130)
• السيراميك الذي تم جمعه بواسطة (52)
• الفخاريات الفخارية القابلة للتحصيل (50)
• مقتنيات سيراميك الطبخ (45)

4 جرام

• بمثابة الوارد (92)
• تعمل كحاضنة (99)
• تعمل كجهة مستقلة (794)
• بمثابة الفهرس (223)
• بمثابة إشارة (72)
• بمثابة المؤشر (120)

• مانينغ، كريستوفر د. شوتز، هينريش. أسس معالجة اللغات الطبيعية الإحصائية ، مطبعة معهد ماساتشوستس للتكنولوجيا: 1999، ISBN 0-262-13360-1 
• وايت، أوين؛ دونينج، تيد؛ سوتون، جرينجر؛ آدامز، مارك؛ فينتر، ج. كريج؛ فيلدز، كريس (1993). "خوارزمية مراقبة الجودة لمشاريع تسلسل الحمض النووي". أبحاث الأحماض النووية . 21 (16): 3829-3838. doi :10.1093/nar/21.16.3829. PMC  309901. PMID  8367301 .
• داميرو، فريدريك جيه؛ نماذج ماركوف والنظرية اللغوية ، موتون، لاهاي، 1971
• فيغيروا، أليخاندرو؛ أتكينسون، جون (2012). "نماذج اللغة السياقية لتصنيف الإجابات على أسئلة تعريف اللغة الطبيعية". الذكاء الحاسوبي . 28 (4): 528-548. doi :10.1111/j.1467-8640.2012.00426.x. S2CID  27378409.
• بروكاردو، مارسيلو لويز؛ تراوري، عيسى؛ سعد، شريف؛ وونغانغ، إسحاق (2013). التحقق من صحة المؤلف للرسائل القصيرة باستخدام أسلوب الكتابة. المؤتمر الدولي لمعهد مهندسي الكهرباء والإلكترونيات حول أنظمة الكمبيوتر والمعلومات والاتصالات (CITS).

• عارض كتب جوجل Ngram

• مستخرج Ngram: يعطي وزن n-gram بناءً على تردده.
• عارض كتب Google n-gram وقاعدة بيانات n-grams على الويب (سبتمبر 2006)
• مشروع STATOPERATOR N-grams - عارض N-gram المرجح لكل نطاق في قائمة أفضل 1 مليون موقع على Alexa
• 1,000,000 كلمة من أكثر 2,3,4,5 جرامات شيوعًا من مجموعة كلمات اللغة الإنجليزية الأمريكية المعاصرة التي يبلغ عددها 425 مليون كلمة
• برنامج عرض موسيقى Ngram الخاص ببرنامج Peachnote
• مواصفات نماذج اللغة العشوائية (n-Gram) (W3C)
• ملاحظات مايكل كولينز حول نماذج اللغة n-Gram
• OpenRefine: التجميع المتعمق