تعبير منتظم

التعبير العادي (يُختصر باسم regex أو regexp )، ^[1] ويُشار إليه أحيانًا باسم التعبير العقلاني ، ^{[2] [3]} هو تسلسل من الأحرف يحدد نمط تطابق في النص . عادةً ما تستخدم خوارزميات البحث عن السلاسل مثل هذه الأنماط لعمليات "البحث" أو "البحث والاستبدال" على السلاسل ، أو للتحقق من صحة الإدخال . تم تطوير تقنيات التعبير العادي في علوم الكمبيوتر النظرية ونظرية اللغة الرسمية .

بدأ مفهوم التعبيرات العادية في الخمسينيات من القرن العشرين، عندما صاغ عالم الرياضيات الأمريكي ستيفن كول كلين مفهوم اللغة العادية رسميًا . وقد دخلت حيز الاستخدام الشائع مع أدوات معالجة النصوص في يونكس . وقد وُجدت قواعد نحوية مختلفة لكتابة التعبيرات العادية منذ الثمانينيات، أحدها هو معيار POSIX والآخر، المستخدم على نطاق واسع، هو قواعد نحوية Perl .

تُستخدم التعبيرات العادية في محركات البحث ، وفي مربعات حوار البحث والاستبدال في معالجات الكلمات ومحرري النصوص ، وفي أدوات معالجة النصوص مثل sed و AWK ، وفي التحليل المعجمي . تُدعم التعبيرات العادية في العديد من لغات البرمجة. غالبًا ما يُطلق على تنفيذات المكتبة اسم " محرك "، ^{[4] [5]} والعديد منها متاح لإعادة الاستخدام.

نشأت التعبيرات المنتظمة في عام 1951، عندما وصف عالم الرياضيات ستيفن كول كلين اللغات المنتظمة باستخدام تدوينه الرياضي المسمى الأحداث المنتظمة . ^{[6] [7]} نشأت هذه في علوم الكمبيوتر النظرية ، في المجالات الفرعية لنظرية الأتمتة (نماذج الحوسبة) ووصف وتصنيف اللغات الرسمية ، بدافع من محاولة كلين لوصف الشبكات العصبية الاصطناعية المبكرة . (قدمها كلين كبديل لمصطلح "مفهوم" الخاص بماكولوتش وبيتس ، لكنه اعترف "سنرحب بأي اقتراحات بشأن مصطلح أكثر وصفًا". ^[8] ) تشمل التطبيقات المبكرة الأخرى لمطابقة الأنماط لغة SNOBOL ، التي لم تستخدم التعبيرات المنتظمة، ولكن بدلاً من ذلك استخدمت هياكل مطابقة الأنماط الخاصة بها.

دخلت التعبيرات العادية الاستخدام الشعبي منذ عام 1968 في استخدامين: مطابقة الأنماط في محرر النصوص ^[9] والتحليل المعجمي في المترجم. ^[10] من بين أول ظهورات التعبيرات العادية في شكل برنامج كان عندما قام كين طومسون ببناء تدوين كليين في المحرر QED كوسيلة لمطابقة الأنماط في ملفات النصوص . ^{[9] [11] [12] [13]} من أجل السرعة، نفذ طومسون مطابقة التعبيرات العادية عن طريق التجميع في الوقت المناسب (JIT) إلى كود IBM 7094 على نظام تقاسم الوقت المتوافق ، وهو مثال مبكر مهم للتجميع في الوقت المناسب. ^[14] أضاف لاحقًا هذه القدرة إلى محرر يونكس ed ، مما أدى في النهاية إلى استخدام أداة البحث الشهيرة grep للتعبيرات العادية ("grep" هي كلمة مشتقة من الأمر للبحث عن التعبيرات العادية في محرر ed: وتعني "البحث العالمي عن التعبيرات العادية وطباعة خطوط المطابقة"). ^[15] في نفس الوقت تقريبًا الذي طور فيه تومسون QED، قامت مجموعة من الباحثين بما في ذلك دوجلاس تي روس بتنفيذ أداة تعتمد على التعبيرات العادية التي تستخدم للتحليل المعجمي في تصميم المترجم . ^[10]g/re/p

تم استخدام العديد من الاختلافات لهذه الأشكال الأصلية من التعبيرات العادية في برامج Unix ^{[13] في} مختبرات Bell في السبعينيات، بما في ذلك lex و sed و AWK و expr ، وفي برامج أخرى مثل vi و Emacs (الذي له بناء جملة وسلوك غير متوافقين). تم تبني التعبيرات العادية لاحقًا بواسطة مجموعة واسعة من البرامج، مع توحيد هذه الأشكال المبكرة في معيار POSIX.2 في عام 1992.

في الثمانينيات، نشأت التعبيرات العادية الأكثر تعقيدًا في بيرل ، والتي اشتُقت في الأصل من مكتبة تعبيرات عادية كتبها هنري سبنسر (1986)، الذي كتب لاحقًا تنفيذًا لـ Tcl يسمى التعبيرات العادية المتقدمة . ^[16] مكتبة Tcl هي تنفيذ هجين NFA / DFA مع خصائص أداء محسنة. تشمل مشاريع البرمجيات التي تبنت تنفيذ التعبيرات العادية لـ Tcl من سبنسر PostgreSQL . ^[17] توسعت بيرل لاحقًا في مكتبة سبنسر الأصلية لإضافة العديد من الميزات الجديدة. ^[18] جزء من الجهد المبذول في تصميم Raku (المسمى سابقًا Perl 6) هو تحسين تكامل التعبيرات العادية في Perl، وزيادة نطاقها وقدراتها للسماح بتعريف قواعد تعبير التحليل . ^[19] والنتيجة هي لغة صغيرة تسمى قواعد Raku ، والتي تُستخدم لتحديد قواعد Raku بالإضافة إلى توفير أداة للمبرمجين في اللغة. تحافظ هذه القواعد على الميزات الموجودة في تعبيرات Perl 5.x العادية، ولكنها تسمح أيضًا بتعريف نمط BNF لمحلل الانحدار المتكرر عبر القواعد الفرعية.

بدأ استخدام التعبيرات العادية في معايير المعلومات المنظمة لنمذجة المستندات وقواعد البيانات في ستينيات القرن العشرين، ثم توسع في ثمانينيات القرن العشرين عندما توحدت معايير الصناعة مثل ISO SGML (التي سبقتها ANSI "GCA 101-1983"). ويتكون جوهر معايير لغة مواصفات البنية من التعبيرات العادية. ويتضح استخدامها في بناء جملة مجموعة عناصر DTD . وقبل استخدام التعبيرات العادية، كانت العديد من لغات البحث تسمح باستخدام أحرف البدل البسيطة، على سبيل المثال "*" لمطابقة أي تسلسل من الأحرف، و"?" لمطابقة حرف واحد. ويمكن العثور على بقايا هذا اليوم في بناء جملة glob لأسماء الملفات، وفي عامل SQL LIKE .

بدءًا من عام 1997، طور فيليب هازل PCRE (تعبيرات عادية متوافقة مع بيرل)، والتي تحاول محاكاة وظيفة التعبيرات العادية في بيرل عن كثب وتستخدمها العديد من الأدوات الحديثة بما في ذلك PHP و Apache HTTP Server . ^[20]

اليوم، يتم دعم التعبيرات العادية على نطاق واسع في لغات البرمجة وبرامج معالجة النصوص (خاصة المعجمات ) ومحرري النصوص المتقدمين وبعض البرامج الأخرى. يعد دعم التعبيرات العادية جزءًا من المكتبة القياسية للعديد من لغات البرمجة، بما في ذلك Java و Python ، وهو مدمج في بناء جملة لغات أخرى، بما في ذلك Perl و ECMAScript . في أواخر العقد الأول من القرن الحادي والعشرين، بدأت العديد من الشركات في تقديم أجهزة، FPGA ^[21]، GPU [ ^22] تنفيذات لمحركات التعبيرات العادية المتوافقة مع PCRE والتي تكون أسرع مقارنة بتنفيذات وحدة المعالجة المركزية .

غالبًا ما تُستخدم عبارة التعبيرات العادية أو التعبيرات العادية للإشارة إلى بناء الجملة النصية القياسية المحددة لتمثيل الأنماط لمطابقة النص، على عكس التدوين الرياضي الموضح أدناه. كل حرف في تعبير عادي (أي كل حرف في السلسلة التي تصف نمطها) هو إما حرف ميتافيزيقي ، له معنى خاص، أو حرف عادي له معنى حرفي. على سبيل المثال، في التعبير العادي b.، "b" هو حرف ميتافيزيقي يطابق "b" فقط، بينما "." هو حرف ميتافيزيقي يطابق كل حرف باستثناء سطر جديد. لذلك، يطابق هذا التعبير العادي، على سبيل المثال، "b%"، أو "bx"، أو "b5". يمكن استخدام الأحرف الميتافيزيقية والأحرف الحرفية معًا لتحديد نص نمط معين أو معالجة عدد من حالاته. قد تختلف مطابقات النمط من مساواة دقيقة إلى تشابه عام للغاية، كما تتحكم فيه الأحرف الميتافيزيقية. على سبيل المثال، .يعد نمطًا عامًا للغاية [a-z](يطابق جميع الأحرف الصغيرة من "a" إلى "z") أقل عمومية وهو bنمط دقيق (يطابق "b" فقط). تم تصميم بناء جملة الأحرف الوصفية خصيصًا لتمثيل الأهداف المحددة بطريقة موجزة ومرنة لتوجيه أتمتة معالجة النصوص لمجموعة متنوعة من بيانات الإدخال، في نموذج يسهل كتابته باستخدام لوحة مفاتيح ASCII القياسية .

حالة بسيطة جدًا للتعبير العادي في هذا النحو هي تحديد كلمة مكتوبة بطريقتين مختلفتين في محرر نصوصseriali[sz]e ، يتطابق التعبير العادي مع كل من "serialise" و"serialize". تحقق الأحرف البادئة هذا أيضًا، لكنها أكثر محدودية فيما يمكنها أن تنميطه، حيث تحتوي على عدد أقل من الأحرف الوصفية وقاعدة لغوية بسيطة.

السياق المعتاد للأحرف البدل هو في تجميع الأسماء المتشابهة في قائمة من الملفات، بينما تُستخدم التعبيرات العادية عادةً في التطبيقات التي تطابق الأنماط مع سلاسل النصوص بشكل عام. على سبيل المثال، تطابق التعبيرات العادية المسافات البيضاء الزائدة في بداية أو نهاية السطر. التعبير العادي المتقدم الذي يطابق أي رقم هو . ^[ \t]+|[ \t]+$[+-]?(\d+(\.\d*)?|\.\d+)([eE][+-]?\d+)?

يقوم معالج التعبيرات العادية بترجمة تعبير عادي في بناء الجملة أعلاه إلى تمثيل داخلي يمكن تنفيذه ومطابقته مع سلسلة تمثل النص الذي يتم البحث فيه. أحد الأساليب الممكنة هو خوارزمية بناء تومسون لبناء أتمتة محدودة غير حتمية (NFA)، والتي يتم بعد ذلك جعلها حتمية ويتم تشغيل الأتمتة المحدودة الحتمية الناتجة (DFA) على سلسلة النص المستهدفة للتعرف على السلاسل الفرعية التي تطابق التعبير العادي. تُظهر الصورة مخطط NFA الذي تم الحصول عليه من التعبير العادي ، حيث يشير s إلى تعبير عادي أبسط بدوره، والذي تمت ترجمته بشكل متكرر إلى NFA N ( s ). N(s*)s*

تحدد التعابير العادية، والتي غالبًا ما تسمى بالنمط ، مجموعة من السلاسل المطلوبة لغرض معين. إحدى الطرق البسيطة لتحديد مجموعة محدودة من السلاسل هي سرد ​​عناصرها أو أعضائها. ومع ذلك، غالبًا ما توجد طرق أكثر إيجازًا: على سبيل المثال، يمكن تحديد المجموعة التي تحتوي على السلاسل الثلاث "Handel" و"Händel" و"Haendel" بواسطة النمط H(ä|ae?)ndel؛ فنقول إن هذا النمط يتطابق مع كل من السلاسل الثلاث. ومع ذلك، يمكن أن تكون هناك طرق عديدة لكتابة تعبير عادي لنفس مجموعة السلاسل: على سبيل المثال، (Hän|Han|Haen)delتحدد أيضًا نفس مجموعة السلاسل الثلاث في هذا المثال.

توفر معظم الصيغة العمليات التالية لإنشاء التعبيرات العادية.

قيمة منطقية "أو"

يفصل الشريط العمودي بين البدائل. على سبيل المثال، يمكن أن يتطابق مع "رمادي" أو "رمادي".gray|grey

التجميع

تُستخدم الأقواس لتحديد نطاق وأولوية المشغلات ( من بين استخدامات أخرى). على سبيل المثال، gray|greyو هي أنماط متكافئة تصف مجموعة "الرمادي" أو "الرمادي".gr(a|e)y

القياس الكمي

يحدد المحدد الكمي بعد عنصر (مثل الرمز أو الحرف أو المجموعة) عدد المرات التي يُسمح فيها بتكرار العنصر السابق. المحددات الكمية الأكثر شيوعًا هي علامة الاستفهام ? والنجمة (المشتقة من نجمة كليين ) وعلامة الجمع ( Kleene plus ) .* +

?	تشير علامة الاستفهام إلى عدم وجود أي تكرار للعنصر السابق أو تكرار واحدcolou?r له. على سبيل المثال، تتطابق مع كل من "color" و"colour".
*	تشير علامة النجمة إلى عدم وجود أي تكرارات للعنصر السابق أو أكثرab*c . على سبيل المثال، التطابقات "ac"، و"abc"، و"abbc"، و"abbbc"، وما إلى ذلك.
+	تشير علامة الجمع إلى تكرار واحد أو أكثر للعنصر السابق. على سبيل المثال، ab+cتتطابق مع "abc"، و"abbc"، و"abbbc"، وما إلى ذلك، ولكن لا تتطابق مع "ac".
{n}[23]	تم مطابقة العنصر السابق بالضبط n مرة.
{min,}[23]	تم مطابقة العنصر السابق مرات قليلة أو أكثر.
{,max}[23]	تمت مطابقة العنصر السابق حتى الحد الأقصى من المرات.
{min,max}[23]	يتم مطابقة العنصر السابق على الأقل بالحد الأدنى من المرات، ولكن ليس أكثر من الحد الأقصى من المرات.

بطاقة بديلة

تتوافق البطاقة .البدل مع أي حرف. على سبيل المثال،

a.bتطابق أي سلسلة تحتوي على "a"، ثم أي حرف ثم "b".

a.*bتطابق أي سلسلة تحتوي على "a"، ثم الحرف "b" في وقت لاحق.

يمكن دمج هذه الإنشاءات لتشكيل تعبيرات معقدة بشكل تعسفي، تمامًا كما يمكننا إنشاء تعبيرات حسابية من الأرقام والعمليات + و− و× و÷.

يختلف بناء الجملة الدقيق للتعبيرات العادية بين الأدوات ووفقًا للسياق؛ يتم تقديم المزيد من التفاصيل في § بناء الجملة.

تصف التعبيرات العادية اللغات العادية في نظرية اللغة الرسمية . ولديها نفس القوة التعبيرية التي تتمتع بها القواعد النحوية العادية .

تتكون التعبيرات العادية من ثوابت، والتي تشير إلى مجموعات من السلاسل، ورموز المشغل، والتي تشير إلى العمليات على هذه المجموعات. التعريف التالي هو التعريف القياسي، ويوجد على هذا النحو في معظم الكتب المدرسية حول نظرية اللغة الرسمية. ^{[24] [25] بالنظر إلى} الأبجدية المحدودة Σ، يتم تعريف الثوابت التالية على أنها تعبيرات عادية:

• ( مجموعة فارغة ) ∅ تشير إلى المجموعة ∅.
• ( سلسلة فارغة ) ε تشير إلى المجموعة التي تحتوي فقط على السلسلة "الفارغة"، والتي لا تحتوي على أي أحرف على الإطلاق.
• ( حرف حرفي ) aفي Σ يشير إلى المجموعة التي تحتوي فقط على الحرف a .

بالنظر إلى التعبيرات العادية R وS، يتم تعريف العمليات التالية عليها لإنتاج التعبيرات العادية:

• ( التسلسل ) (RS)يشير إلى مجموعة السلاسل التي يمكن الحصول عليها عن طريق تسلسل سلسلة مقبولة بواسطة R وسلسلة مقبولة بواسطة S (بهذا الترتيب). على سبيل المثال، دع R تشير إلى {"ab"، "c"} وS تشير إلى {"d"، "ef"}. ثم، (RS)يشير إلى {"abd"، "abef"، "cd"، "cef"}.
• ( التناوب ) (R|S)يشير إلى اتحاد المجموعات الموصوفة بواسطة R وS. على سبيل المثال، إذا وصف R {"ab", "c"} ووصف S {"ab", "d", "ef"}، فإن التعبير (R|S)يصف {"ab", "c", "d", "ef"}.
• ( نجم كلين ) (R*)يشير إلى أصغر مجموعة فرعية من المجموعة الموصوفة بواسطة R والتي تحتوي على ε ومغلقة تحت تجميع السلاسل. هذه هي مجموعة جميع السلاسل التي يمكن إنشاؤها عن طريق تجميع أي عدد محدود (بما في ذلك الصفر) من السلاسل من المجموعة الموصوفة بواسطة R. على سبيل المثال، إذا كانت R تشير إلى {"0"، "1"}، (R*)فإنها تشير إلى مجموعة جميع السلاسل الثنائية المحدودة (بما في ذلك السلسلة الفارغة). إذا كانت R تشير إلى {"ab"، "c"}، فإنها (R*)تشير إلى {ε، "ab"، "c"، "abab"، "abc"، "cab"، "cc"، "ababab"، "abcab"، ...}.

لتجنب الأقواس، يُفترض أن نجمة كليين لها الأولوية الأعلى تليها التسلسل، ثم التناوب. إذا لم يكن هناك غموض، فيمكن حذف الأقواس. على سبيل المثال، (ab)cيمكن كتابتها على أنها abc، a|(b(c*))ويمكن كتابتها على أنها a|bc*. تستخدم العديد من الكتب المدرسية الرموز ∪ أو + أو ∨ للتناوب بدلاً من الشريط الرأسي.

أمثلة:

• a|b*يشير إلى {ε، "a"، "b"، "bb"، "bbb"، ...}
• (a|b)*يشير إلى مجموعة جميع السلاسل التي لا تحتوي على أي رموز بخلاف "a" و"b"، بما في ذلك السلسلة الفارغة: {ε، "a"، "b"، "aa"، "ab"، "ba"، "bb"، "aaa"، ...}
• ab*(c|ε)يشير إلى مجموعة السلاسل التي تبدأ بـ "a"، ثم صفر أو أكثر من "b" وأخيرًا بشكل اختياري "c": {"a", "ac", "ab", "abc", "abb", "abbc", ...}
• (0|(1(01*0)*1))*يشير إلى مجموعة الأرقام الثنائية التي هي مضاعفات 3: { ε، "0"، "00"، "11"، "000"، "011"، "110"، "0000"، "0011"، "0110"، "1001"، "1100"، "1111"، "00000"، ... }

التعريف الرسمي للتعبيرات العادية ضئيل عن قصد، ويتجنب تعريف ?و +—يمكن التعبير عن هذه على النحو التالي: a+= aa*و a?= (a|ε). في بعض الأحيان يتم إضافة عامل المكمل ، لإعطاء تعبير عادي معمم ؛ هنا يطابق R ^c جميع السلاسل على Σ* التي لا تتطابق مع R . من حيث المبدأ، عامل المكمل زائد عن الحاجة، لأنه لا يمنح أي قوة تعبيرية أكثر. ومع ذلك، يمكن أن يجعل التعبير العادي أكثر إيجازًا بكثير — يمكن أن يؤدي إزالة عامل مكمل واحد إلى تضخم أسي مزدوج لطوله. ^{[26] [27] [28]}

يمكن للتعبيرات العادية بهذا المعنى أن تعبر عن اللغات العادية، وهي بالضبط فئة اللغات التي تقبلها الأتمتة المحدودة الحتمية . ومع ذلك، هناك فرق كبير في الاكتناز. لا يمكن وصف بعض فئات اللغات العادية إلا بواسطة الأتمتة المحدودة الحتمية التي ينمو حجمها بشكل كبير في حجم أقصر التعبيرات العادية المكافئة. المثال القياسي هنا هو اللغات L _k التي تتكون من جميع السلاسل على الأبجدية { a , b } التي يساوي الحرف k من آخر حرف فيها  a . من ناحية أخرى، يتم إعطاء التعبير العادي الذي يصف L ₄ بواسطة . ${\displaystyle (a\mid b)^{*}a(a\mid b)(a\mid b)(a\mid b)}$

إن تعميم هذا النمط على L _k يعطي التعبير التالي:

${\displaystyle (a\mid b)^{*}a\underbrace {(a\mid b)(a\mid b)\cdots (a\mid b)} _{k-1{\text{ مرة}}}.\,}$

من ناحية أخرى، من المعروف أن كل أتمتة محدودة حتمية تقبل اللغة L _k يجب أن يكون لها على الأقل 2 ^k حالة. لحسن الحظ، هناك تعيين بسيط من التعبيرات العادية إلى الأتمتة المحدودة غير الحتمية الأكثر عمومية (NFAs) والتي لا تؤدي إلى مثل هذا التضخم في الحجم؛ لهذا السبب غالبًا ما تُستخدم الأتمتة المحدودة غير الحتمية كتمثيلات بديلة للغات العادية. الأتمتة المحدودة غير الحتمية هي اختلاف بسيط في قواعد النوع 3 من هرم تشومسكي . ^[24]

في الاتجاه المعاكس، هناك العديد من اللغات التي يمكن وصفها بسهولة بواسطة DFA والتي لا يمكن وصفها بسهولة بواسطة تعبير عادي. على سبيل المثال، يتطلب تحديد صحة رقم ISBN معين حساب معامل القاعدة الصحيحة 11، ويمكن تنفيذه بسهولة باستخدام DFA من 11 حالة. ومع ذلك، فإن تحويله إلى تعبير عادي يؤدي إلى ملف بحجم 2.14 ميجا بايت. ^[29]

بالنظر إلى تعبير منتظم، تحسب خوارزمية بناء تومسون أتمتة محدودة غير حتمية مكافئة. يتم تحقيق التحويل في الاتجاه المعاكس بواسطة خوارزمية كليين .

أخيرًا، يجدر بالذكر أن العديد من محركات "التعبيرات العادية" في العالم الحقيقي تنفذ ميزات لا يمكن وصفها بالتعبيرات العادية بمعنى نظرية اللغة الرسمية؛ بل إنها تنفذ التعبيرات العادية . انظر أدناه لمزيد من المعلومات حول هذا الموضوع.

كما هو موضح في العديد من الأمثلة المذكورة أعلاه، هناك أكثر من طريقة لإنشاء تعبير منتظم لتحقيق نفس النتائج.

من الممكن كتابة خوارزمية تقرر، بالنسبة لتعبيرين منتظمين معطيين، ما إذا كانت اللغتان الموصوفتان متساويتين؛ حيث تقوم الخوارزمية بتقليص كل تعبير إلى آلة حالة نهائية حتمية دنيا ، وتحدد ما إذا كانت متماثلة (متكافئة).

يمكن الحصول على القوانين الجبرية للتعبيرات العادية باستخدام طريقة من قِبَل جيشر والتي يمكن شرحها بشكل أفضل من خلال مثال: للتحقق مما إذا كان ( X + Y ) ^* و ( X ^* Y ^* ) ^* يدلان على نفس اللغة العادية، بالنسبة لجميع التعبيرات العادية X و Y ، فمن الضروري والكافي التحقق مما إذا كانت التعبيرات العادية المعينة ( a + b ) ^* و ( a ^* b ^* ) ^* تدلان على نفس اللغة عبر الأبجدية Σ={ a , b }. وبشكل عام، فإن المعادلة E = F بين مصطلحات التعبير العادي مع المتغيرات صحيحة إذا، وفقط إذا، كانت تمثيلها بمتغيرات مختلفة تم استبدالها بثوابت رمزية مختلفة صحيحة. ^{[30] [31]}

يمكن كتابة كل تعبير منتظم فقط من حيث اتحادات نجم كليين والمجموعة على الكلمات المحدودة. هذه مشكلة صعبة بشكل مدهش. على الرغم من بساطة التعبيرات المنتظمة، فلا توجد طريقة لإعادة كتابتها بشكل منهجي إلى شكل طبيعي. أدى الافتقار إلى البديهية في الماضي إلى مشكلة ارتفاع النجمة . في عام 1991، قام دكستر كوزين بتوضيح البديهية للتعبيرات المنتظمة باعتبارها جبر كليين ، باستخدام البديهيات المعادلية وجملة هورن . ^[32] في عام 1964، أثبت ريدكو أنه لا يمكن لمجموعة محدودة من البديهيات المعادلية البحتة أن تميز جبر اللغات المنتظمة. ^[33]

يتطابق نمط التعبيرات العادية مع سلسلة مستهدفة . يتكون النمط من سلسلة من الذرات . الذرة هي نقطة واحدة داخل نمط التعبيرات العادية التي يحاول مطابقتها مع السلسلة المستهدفة. الذرة الأبسط هي حرفية، ولكن تجميع أجزاء النمط لمطابقة الذرة يتطلب استخدامها ( )كأحرف ميتا. تساعد الأحرف الميتا في تكوين: الذرات ؛ والكميات التي تخبرك بعدد الذرات (وما إذا كانت كمية جشعة أم لا)؛ وحرف OR المنطقي، الذي يقدم مجموعة من البدائل، وحرف NOT المنطقي، الذي ينفي وجود الذرة؛ والمراجع الخلفية للإشارة إلى الذرات السابقة لنمط مكتمل من الذرات. يتم إجراء المطابقة، ليس عندما تتم مطابقة جميع ذرات السلسلة، ولكن عندما تتم مطابقة جميع ذرات النمط في التعبيرات العادية. الفكرة هي جعل نمط صغير من الأحرف يمثل عددًا كبيرًا من السلاسل المحتملة، بدلاً من تجميع قائمة كبيرة من كل الاحتمالات الحرفية.

اعتمادًا على معالج التعبيرات العادية، يوجد حوالي أربعة عشر حرفًا إضافيًا، وهي أحرف قد يكون لها أو لا يكون لها معنى حرفي حرفي ، اعتمادًا على السياق، أو ما إذا كانت "مفلتة"، أي مسبوقة بتسلسل إفلات ، في هذه الحالة، الشرطة المائلة للخلف \. تستخدم التعبيرات العادية الحديثة والممتدة في POSIX الأحرف الإضافية أكثر من معناها الحرفي، لذا لتجنب "متلازمة الشرطة المائلة للخلف" أو متلازمة عود الأسنان المائل ، فإنها تحتوي على هروب للأحرف الإضافية إلى الوضع الحرفي؛ ومع ذلك، في البداية، تحتوي بدلاً من ذلك على أربعة أحرف إضافية بين قوسين ( )وتكون { }حرفية في المقام الأول، و"تفلت" من هذا المعنى المعتاد لتصبح أحرفًا إضافية. تطبق المعايير الشائعة كليهما. الأحرف الإضافية المعتادة هي {}[]()^$.|*+?و \. والأحرف المعتادة التي تصبح أحرفًا إضافية عند إفلاتها هي dswDSWو N.

عند إدخال تعبير عادي في لغة برمجة، قد يتم تمثيله كحرف سلسلة عادي، وبالتالي عادة ما يتم اقتباسه؛ هذا شائع في C وJava وPython على سبيل المثال، حيث reيتم إدخال التعبير العادي كـ "re". ومع ذلك، غالبًا ما يتم كتابتها بخطوط مائلة كفاصلات ، كما في /re/بالنسبة إلى التعبير العادي re. نشأ هذا في ed ، حيث /هو أمر المحرر للبحث، ويمكن استخدام تعبير /re/لتحديد نطاق من الأسطر (مطابقة للنمط)، والذي يمكن دمجه مع أوامر أخرى على أي من الجانبين، وأشهرها g/re/pفي grep ("طباعة التعبير العادي العالمي")، والذي يتم تضمينه في معظم أنظمة التشغيل المستندة إلى Unix ، مثل توزيعات Linux . يتم استخدام اتفاقية مماثلة في sed ، حيث يتم إعطاء البحث والاستبدال بواسطة s/re/replacement/ويمكن ربط الأنماط بفاصلة لتحديد نطاق من الأسطر كما في /re1/,/re2/. هذا الترميز معروف بشكل خاص بسبب استخدامه في Perl ، حيث يشكل جزءًا من بناء الجملة المميز عن الحروف العادية للسلسلة. في بعض الحالات، مثل sed وPerl، يمكن استخدام فواصل بديلة لتجنب الاصطدام بالمحتويات، وتجنب الاضطرار إلى تجنب تكرار ظهور حرف الفاصل في المحتويات. على سبيل المثال، في sed، s,/,X,سيستبدل الأمر a /بـ X، باستخدام الفواصل كفاصلات.

يحتوي معيار IEEE POSIX على ثلاث مجموعات من التوافق: BRE (التعبيرات العادية الأساسية)، ^[34] وERE (التعبيرات العادية الممتدة)، و SRE (التعبيرات العادية البسيطة). تم إيقاف استخدام SRE ، ^[35] لصالح BRE، حيث يوفر كلاهما التوافق مع الإصدارات السابقة . ينطبق القسم الفرعي أدناه الذي يغطي فئات الأحرف على كل من BRE وERE.

?يعمل كل من BRE وERE معًا. يضيف ERE +و و |و ويزيل الحاجة إلى الإفلات من الأحرف الأولية ( )و و { }المطلوبة في BRE. علاوة على ذلك، طالما تم الالتزام بقواعد بناء الجملة القياسية POSIX للتعبيرات العادية، يمكن أن يكون هناك، وغالبًا ما يكون هناك، قواعد بناء جملة إضافية لخدمة تطبيقات محددة (متوافقة مع POSIX). على الرغم من أن POSIX.2 يترك بعض تفاصيل التنفيذ غير محددة، فإن BRE وERE يوفران "معيارًا" تم تبنيه منذ ذلك الحين باعتباره قواعد بناء الجملة الافتراضية للعديد من الأدوات، حيث يكون اختيار وضعي BRE أو ERE عادةً خيارًا مدعومًا. على سبيل المثال، يحتوي GNU grep على الخيارات التالية: " grep -E" لـ ERE، و" grep -G" لـ BRE (الخيار الافتراضي)، و" grep -P" للتعبيرات العادية في Perl .

أصبحت التعبيرات العادية في لغة Perl معيارًا فعليًا، حيث تحتوي على مجموعة غنية وقوية من التعبيرات الذرية. لا تحتوي لغة Perl على مستويات "أساسية" أو "ممتدة". كما هو الحال في EREs POSIX، يتم التعامل ( )معها { }كأحرف ميتافيزيقية ما لم يتم إفلاتها؛ ومن المعروف أن الأحرف الميتافيزيقية الأخرى حرفية أو رمزية بناءً على السياق وحده. تتضمن الوظائف الإضافية المطابقة الكسولة، والمراجع الخلفية، ومجموعات الالتقاط المسماة، والأنماط المتكررة .

في معيار POSIX ، يتطلب بناء الجملة المنتظم الأساسي ( BRE ) أن يتم تعيين الأحرف الوصفية ( ) و و ، بينما لا يتطلب بناء الجملة المنتظم الممتد ( ERE ) ذلك.{ }\(\)\{\}

أمثلة:

• .atتطابق أي سلسلة مكونة من ثلاثة أحرف تنتهي بـ "at"، بما في ذلك "hat"، و"cat"، و"bat"، و"4at"، و"#at" و"at" (تبدأ بمسافة).
• [hc]atتطابق "القبعة" و "القط".
• [^b]atتطابق جميع السلاسل المطابقة .atباستثناء "bat".
• [^hc]atتطابق جميع السلاسل المطابقة .atبغير "hat" و"cat".
• ^[hc]atيتطابق مع "hat" و"cat"، ولكن فقط في بداية السلسلة أو السطر.
• [hc]at$يتطابق مع "hat" و "cat"، ولكن فقط في نهاية السلسلة أو السطر.
• \[.\]يتطابق مع أي حرف مفرد محاط بـ "[" و"]" نظرًا لأن الأقواس مُهَدَّمة، على سبيل المثال: "[a]"، "[b]"، "[7]"، "[@]"، "[]]"، و"[ ]" (قوسين بين قوسين).
• s.*تطابق s متبوعة بصفر أو أكثر من الأحرف، على سبيل المثال: "s"، "saw"، "seed"، "s3w96.7"، و"s6#h%(>>>mn mQ".

وفقًا لروس كوكس، تتطلب مواصفات POSIX التعامل مع التعبيرات الفرعية الغامضة بطريقة مختلفة عن طريقة بيرل. استبدلت اللجنة قواعد بيرل بأخرى يسهل شرحها، لكن القواعد "البسيطة" الجديدة أكثر تعقيدًا في التنفيذ: كانت غير متوافقة مع الأدوات الموجودة مسبقًا وجعلت من المستحيل تعريف امتداد "المطابقة الكسولة" (انظر أدناه). ونتيجة لذلك، فإن عددًا قليلاً جدًا من البرامج تنفذ قواعد التعبيرات الفرعية POSIX (حتى عندما تنفذ أجزاء أخرى من بناء جملة POSIX). ^[37]

يتم عكس معنى الأحرف الوصفية التي تم الإفلات منها باستخدام الشرطة المائلة العكسية لبعض الأحرف في بناء جملة POSIX Extended Regular Expression ( ERE ). باستخدام هذا البناء النحوي، يتسبب استخدام الشرطة المائلة العكسية في معاملة الحرف الوصفي كحرف حرفي. على سبيل المثال، \( \)is now ( )و \{ \}is now { }. بالإضافة إلى ذلك، تتم إزالة الدعم للمراجع الخلفية وإضافة الأحرف الوصفية التالية: \n

أمثلة:

• [hc]?atتطابق "at"، و"hat"، و"cat".
• [hc]*atتطابق "at"، "hat"، "cat"، "hhat"، "chat"، "hcat"، "cchchat"، وما إلى ذلك.
• [hc]+atتطابق "hat"، "cat"، "hhat"، "chat"، "hcat"، "cchchat"، وما إلى ذلك، ولكن لا تطابق "at".
• cat|dogتطابق "قطة" أو "كلب".

يمكن في كثير من الأحيان استخدام تعبيرات POSIX الممتدة العادية مع أدوات Unix الحديثة من خلال تضمين علامة سطر الأوامر -E .

فئة الأحرف هي مفهوم التعبيرات العادية الأكثر أساسية بعد المطابقة الحرفية. فهي تجعل تسلسلًا صغيرًا من الأحرف يطابق مجموعة أكبر من الأحرف. على سبيل المثال، [A-Z]يمكن أن يرمز إلى أي حرف كبير في الأبجدية الإنجليزية، ويمكن أن يعني أي رقم. تنطبق فئات الأحرف على مستويي POSIX. \d

عند تحديد نطاق من الأحرف، مثل [a-Z](أي من الأحرف الصغيرة aإلى الأحرف الكبيرة Z)، تحدد إعدادات اللغة المحلية للكمبيوتر المحتويات من خلال الترتيب الرقمي لترميز الأحرف. يمكنهم تخزين الأرقام بهذا التسلسل، أو يمكن أن يكون الترتيب abc...zABC...Z ، أو aAbBcC...zZ . لذا فإن معيار POSIX يحدد فئة أحرف، والتي سيعرفها معالج التعبيرات العادية المثبت. توجد هذه التعريفات في الجدول التالي:

لا يمكن استخدام فئات أحرف POSIX إلا ​​داخل تعبيرات الأقواس. على سبيل المثال، تطابق الأحرف الكبيرة والصغيرة "a" و"b". [[:upper:]ab]

هناك فئة إضافية غير POSIX يفهمها بعض الأدوات وهي [:word:]، والتي يتم تعريفها عادةً على أنها [:alnum:]علامة زائد أسفل السطر. وهذا يعكس حقيقة مفادها أنه في العديد من لغات البرمجة، هذه هي الأحرف التي يمكن استخدامها في المعرفات. يميز محرر Vim أيضًا بين فئات الكلمات ورؤوس الكلمات (باستخدام الترميز و ) نظرًا لأن الأحرف التي يمكن أن تبدأ معرفًا في العديد من لغات البرمجة ليست هي نفسها تلك التي يمكن أن تظهر في مواضع أخرى: يتم استبعاد الأرقام بشكل عام، لذلك سيبدو المعرف مثل أو في ترميز POSIX. \w\h\h\w*[[:alpha:]_][[:alnum:]_]*

لاحظ أن ما تسميه معايير POSIX regex فئات أحرف يُشار إليه عادةً باسم فئات أحرف POSIX في نكهات regex الأخرى التي تدعمها. مع معظم نكهات regex الأخرى، يُستخدم مصطلح فئة الأحرف لوصف ما تسميه POSIX تعبيرات الأقواس .

نظرًا لقوتها التعبيرية وسهولة قراءتها (النسبية)، فقد تبنت العديد من الأدوات المساعدة ولغات البرمجة الأخرى قواعد نحوية مشابهة لتلك الخاصة بلغة بيرل - على سبيل المثال، جافا ، جافا سكريبت ، جوليا ، بايثون ، روبي ، كيو تي ، مايكروسوفت. NET Framework ، و XML Schema . تدعم بعض اللغات والأدوات مثل Boost و PHP نكهات متعددة من التعبيرات العادية. لا تتطابق تطبيقات التعبيرات العادية المشتقة من بيرل وعادةً ما تنفذ مجموعة فرعية من الميزات الموجودة في بيرل 5.0، التي صدرت في عام 1994. تتضمن بيرل أحيانًا ميزات موجودة في البداية في لغات أخرى. على سبيل المثال، تنفذ بيرل 5.10 امتدادات نحوية تم تطويرها في الأصل في PCRE وPython. ^[38]

في بايثون وبعض التطبيقات الأخرى (مثل جافا)، تكون المحددات الكمية الثلاثة الشائعة ( *، +و ) جشعة بشكل افتراضي لأنها تطابق أكبر عدد ممكن من الأحرف. ^[39] يتم تطبيق التعبيرات العادية (بما في ذلك علامات الاقتباس المزدوجة) على السلسلة ?".+"

وأضاف أن "جانيميد هو أكبر قمر في المجموعة الشمسية".

تطابق السطر بأكمله (لأن السطر بأكمله يبدأ وينتهي بعلامة اقتباس مزدوجة) بدلاً من مطابقة الجزء الأول فقط، "Ganymede,". ومع ذلك، يمكن جعل المحددات المذكورة أعلاه كسولة أو بسيطة أو مترددة ، ومطابقة أقل عدد ممكن من الأحرف، عن طريق إلحاق علامة استفهام: ".+?"تطابق فقط "Ganymede,". ^[39]

في Java وPython 3.11+، ^[40] يمكن جعل المحددات الكمية ملكية بإضافة علامة زائد، مما يعطل التراجع (في محرك التراجع)، حتى لو كان القيام بذلك سيسمح بنجاح المطابقة الإجمالية: ^[41] بينما ".*"يتم تطبيق التعبيرات العادية على السلسلة

وأضاف أن "جانيميد هو أكبر قمر في المجموعة الشمسية".

يتطابق مع السطر بأكمله، ولا يتطابق التعبير العادي ".*+"على الإطلاق ، لأنه .*+يستهلك المدخلات بالكامل، بما في ذلك ". وبالتالي، تكون الكميات التملكية أكثر فائدة مع فئات الأحرف المنفية، على سبيل المثال "[^"]*+"، والتي تتطابق "Ganymede,"عند تطبيقها على نفس السلسلة.

هناك امتداد شائع آخر يخدم نفس الوظيفة وهو التجميع الذري، والذي يعطل التتبع للخلف لمجموعة بين قوسين. الصيغة النموذجية هي (?>group) . على سبيل المثال، بينما يتطابق ^(wi|w)i$ مع كل من wi و wii ، فإن ^(?>wi|w)i$ يتطابق مع wii فقط لأن المحرك ممنوع من التتبع للخلف وبالتالي لا يمكنه محاولة تعيين المجموعة إلى "w" بعد مطابقة "wi". ^[42]

تعد الكميات التملكية أسهل في التنفيذ من الكميات الجشعة والكسلانة، وعادة ما تكون أكثر كفاءة في وقت التشغيل. ^[41]

يصف IETF RFC 9485 "I-Regexp: تنسيق تعبير عادي قابل للتشغيل المتبادل". وهو يحدد مجموعة فرعية محدودة من التعبيرات الاصطلاحية العادية المصممة لتكون قابلة للتشغيل المتبادل، أي تنتج نفس التأثير، في عدد كبير من مكتبات التعبير العادي. يقتصر I-Regexp أيضًا على المطابقة، أي توفير تطابق صحيح أو خاطئ بين تعبير عادي وقطعة نص معينة. وبالتالي، فإنه يفتقر إلى ميزات متقدمة مثل مجموعات الالتقاط، والبحث المسبق، والمراجع الخلفية. ^[43]

توفر العديد من الميزات الموجودة في كل مكتبات التعبيرات العادية الحديثة تقريبًا قوة تعبيرية تتجاوز اللغات العادية . على سبيل المثال، تسمح العديد من التطبيقات بتجميع التعبيرات الفرعية باستخدام الأقواس وتذكر القيمة التي تطابقها في نفس التعبير (وهذا يعني، من بين أمور أخرى، أن النمط يمكن أن يتطابق مع سلاسل من الكلمات المتكررة مثل "papa" أو "WikiWiki"، والتي تسمى مربعات فينظرية اللغة الرسمية. والنمط لهذه السلاسل هو(.+)\1.

لغة المربعات ليست منتظمة، ولا هي خالية من السياق ، بسبب معضلة الضخ . ومع ذلك، فإن مطابقة الأنماط مع عدد غير محدود من المراجع الخلفية، كما تدعمها العديد من الأدوات الحديثة، لا تزال حساسة للسياق . ^[44] المشكلة العامة المتمثلة في مطابقة أي عدد من المراجع الخلفية هي NP-complete ، وينمو وقت تنفيذ الخوارزميات المعروفة بشكل كبير بعدد مجموعات المراجع الخلفية المستخدمة. ^[45]

ومع ذلك، لا تزال العديد من الأدوات والمكتبات والمحركات التي توفر مثل هذه الإنشاءات تستخدم مصطلح التعبيرات العادية لأنماطها. وقد أدى هذا إلى تسمية حيث يكون لمصطلح التعبيرات العادية معاني مختلفة في نظرية اللغة الرسمية ومطابقة الأنماط. لهذا السبب، لجأ بعض الأشخاص إلى استخدام مصطلح التعبيرات العادية أو التعبيرات العادية أو ببساطة النمط لوصف الأخير. يكتب لاري وول ، مؤلف لغة البرمجة بيرل، في مقال عن تصميم راكو:

"التعبيرات العادية" [...] لا ترتبط إلا بشكل طفيف بالتعبيرات العادية الحقيقية. ومع ذلك، فقد نما المصطلح مع قدرات محركات مطابقة الأنماط لدينا، لذا لن أحاول مقاومة الضرورة اللغوية هنا. ومع ذلك، سأطلق عليها عمومًا اسم "التعبيرات العادية" (أو "التعبيرات العادية"، عندما أكون في مزاج أنجلو ساكسوني). ^[19]

تتضمن الميزات الأخرى التي لا توجد في وصف اللغات العادية التأكيدات. وتشمل هذه التأكيدات الشائعة ^و $، والتي تستخدم منذ عام 1970 على الأقل، ^[46] بالإضافة إلى بعض الامتدادات الأكثر تطورًا مثل lookaround التي ظهرت في عام 1994. ^[47] تحدد عمليات البحث المحيطة بالمطابقة ولا تمتد إلى المطابقة نفسها، وهي ميزة ذات صلة فقط بحالة استخدام البحث عن السلسلة. ^{[ بحاجة لمصدر ]} يمكن محاكاة بعضها بلغة عادية من خلال التعامل مع المحيط كجزء من اللغة أيضًا. ^[48]

ال تم إثبات تأكيدات البحث إلى الأمام منذ عام 1994 على الأقل، بدءًا من Perl 5.(?=...)[ 47 ^] تمتأكيدات البحث إلى الخلفمنذ عام 1997 في التزام بواسطة Ilya Zakharevich إلى Perl 5.005. ^[49](?!...)(?<=...)(?<!...)

هناك على الأقل ثلاث خوارزميات مختلفة تقرر ما إذا كانت تعبيرات عادية معينة تطابق سلسلة أم لا، وكيف يتم ذلك.

تعتمد الطريقة الأقدم والأسرع على نتيجة في نظرية اللغة الرسمية تسمح بتحويل كل أتمتة محدودة غير حتمية (NFA) إلى أتمتة محدودة حتمية (DFA). يمكن إنشاء DFA صراحةً ثم تشغيلها على سلسلة الإدخال الناتجة رمزًا واحدًا في كل مرة. إن إنشاء DFA لتعبير منتظم بحجم m له تكلفة وقت وذاكرة تبلغ O (2 ^m )، ولكن يمكن تشغيله على سلسلة بحجم n في وقت O ( n ). لاحظ أن حجم التعبير هو الحجم بعد توسيع الاختصارات، مثل الكميات الرقمية.

النهج البديل هو محاكاة NFA مباشرة، وبناء كل حالة DFA عند الطلب ثم التخلص منها في الخطوة التالية. وهذا يحافظ على DFA ضمنيًا ويتجنب تكلفة البناء الأسي، ولكن تكلفة التشغيل ترتفع إلى O ( mn ). يسمى النهج الصريح خوارزمية DFA والنهج الضمني خوارزمية NFA. غالبًا ما يُطلق على إضافة التخزين المؤقت إلى خوارزمية NFA اسم خوارزمية "DFA الكسولة"، أو مجرد خوارزمية DFA دون التمييز. هذه الخوارزميات سريعة، ولكن استخدامها لاستدعاء التعبيرات الفرعية المجمعة والقياس الكسول والميزات المماثلة أمر صعب. ^{[50] [51]} تتضمن التنفيذات الحديثة عائلة re1- re2 -sregex استنادًا إلى كود Cox.

الخوارزمية الثالثة هي مطابقة النمط مع سلسلة الإدخال عن طريق التتبع العكسي . تسمى هذه الخوارزمية عادةً NFA، ولكن هذا المصطلح قد يكون مربكًا. يمكن أن يكون وقت تشغيلها أسيًا، وهو ما تظهره التنفيذات البسيطة عند المطابقة مع تعبيرات مثل تلك التي تحتوي على كل من التناوب والقياس غير المحدود وتجبر الخوارزمية على مراعاة عدد متزايد بشكل أسي من الحالات الفرعية. يمكن أن يتسبب هذا السلوك في حدوث مشكلة أمنية تسمى رفض الخدمة للتعبير العادي (ReDoS). (a|aa)*b

على الرغم من أن تنفيذات التتبع العكسي لا تقدم ضمانًا أسيًا إلا في أسوأ الحالات، إلا أنها توفر مرونة وقوة تعبيرية أكبر كثيرًا. على سبيل المثال، يجب أن يتضمن أي تنفيذ يسمح باستخدام المراجع العكسية، أو ينفذ الامتدادات المختلفة التي قدمتها بيرل، نوعًا ما من التتبع العكسي. تحاول بعض التنفيذات توفير أفضل ما في الخوارزميتين من خلال تشغيل خوارزمية DFA سريعة أولاً، والعودة إلى خوارزمية تتبع عكسي أبطأ محتملة فقط عند مواجهة مرجع خلفي أثناء المطابقة. يستخدم GNU grep (و DFA الأساسي gnulib) مثل هذه الإستراتيجية. ^[52]

تم تحقيق خوارزميات وقت التشغيل دون الخطية باستخدام خوارزميات تعتمد على Boyer-Moore (BM) وتقنيات تحسين DFA ذات الصلة مثل المسح العكسي. ^[53] يستخدم GNU grep، الذي يدعم مجموعة واسعة من صيغ POSIX والامتدادات، BM للتصفية الأولية، ثم يستخدم DFA ضمنيًا. يجمع Wu agrep ، الذي ينفذ المطابقة التقريبية، بين التصفية الأولية في DFA في BDM (مطابقة DAWG العكسية). يمتد BNDM الخاص بـ NR-grep لتقنية BDM مع التوازي على مستوى البت Shift-Or. ^[54]

توجد بعض البدائل النظرية للتتبع العكسي للمراجع العكسية، و"أسسها" أكثر هدوءًا لأنها مرتبطة فقط بعدد المراجع العكسية، وهي خاصية ثابتة لبعض لغات التعبيرات العادية مثل POSIX. إحدى الطرق الساذجة التي تكرر NFA غير التتبع العكسي لكل ملاحظة مرجعية عكسية لها تعقيد ⁠ ⁠ وقت${\displaystyle {\mathrm {O} }(n^{2k+2})}$ ⁠ ⁠ مساحة${\displaystyle {\mathrm {O} }(n^{2k+1})}$ لكومة قش بطول n و k مراجع عكسية في التعبير العادي. ^[55] يعطي عمل نظري حديث جدًا يعتمد على أتمتة الذاكرة حدًا أضيق بناءً على عقد المتغيرات "النشطة" المستخدمة، وإمكانية متعددة الحدود لبعض التعبيرات العادية ذات المرجع العكسي. ^[56]

من الناحية النظرية، يمكن مطابقة أي مجموعة رموز بواسطة تعبيرات عادية طالما تم تعريفها مسبقًا. من حيث التنفيذات التاريخية، تمت كتابة التعبيرات العادية في الأصل لاستخدام أحرف ASCII كمجموعة رموز لها على الرغم من أن مكتبات التعبيرات العادية تدعم العديد من مجموعات الأحرف الأخرى . تقدم العديد من محركات التعبيرات العادية الحديثة بعض الدعم على الأقل لـ Unicode . في معظم النواحي، لا يوجد فرق في نوع مجموعة الأحرف، ولكن تنشأ بعض المشكلات عند توسيع التعبيرات العادية لدعم Unicode.

• الترميز المدعوم . تتوقع بعض مكتبات التعبيرات العادية العمل على بعض الترميز المعين بدلاً من الأحرف المجردة من Unicode. يتطلب العديد منها ترميز UTF-8 ، بينما قد يتوقع البعض الآخر ترميز UTF-16 أو UTF-32 . على النقيض من ذلك، لا تعتمد Perl وJava على الترميزات، بل تعمل بدلاً من ذلك على الأحرف المفكوكة داخليًا.
• نطاق Unicode المدعوم . تدعم العديد من محركات التعبيرات العادية المستوى متعدد اللغات الأساسي فقط ، أي الأحرف التي يمكن ترميزها بـ 16 بت فقط. حاليًا (اعتبارًا من عام 2016 ^[تحديث]) لا يمكن سوى لعدد قليل من محركات التعبيرات العادية (مثل Perl وJava) التعامل مع نطاق Unicode الكامل المكون من 21 بت.
• توسيع البنيات الموجهة نحو ASCII إلى Unicode . على سبيل المثال، في التنفيذات القائمة على ASCII، تكون نطاقات الأحرف من النموذج [x-y]صالحة أينما كان لدى x و y نقاط رمز في النطاق [0x00,0x7F] ونقطة الرمز ( x ) ≤ نقطة الرمز ( y ). سيؤدي التمديد الطبيعي لمثل هذه النطاقات من الأحرف إلى Unicode ببساطة إلى تغيير المتطلب بأن تكون نقاط النهاية في [0x00,0x7F] إلى المتطلب بأن تكون في [0x0000,0x10FFFF]. ومع ذلك، في الممارسة العملية غالبًا ما لا تكون هذه هي الحال. لا تسمح بعض التنفيذات، مثل تطبيق gawk ، لنطاقات الأحرف بعبور كتل Unicode. النطاق مثل [0x61,0x7F] صالح لأن كلتا النقطتين النهائيتين تقعان ضمن كتلة اللاتينية الأساسية، كما هو الحال مع [0x0530,0x0560] لأن كلتا النقطتين النهائيتين تقعان ضمن كتلة الأرمنية، ولكن النطاق مثل [0x0061,0x0532] غير صالح لأنه يتضمن كتل يونيكود متعددة. تسمح محركات أخرى، مثل محرك محرر Vim ، بتبادل الكتل ولكن لا يجب أن تكون قيم الأحرف متباعدة بأكثر من 256 حرفًا. ^[57]
• عدم حساسية حالة الأحرف . تؤثر بعض علامات عدم حساسية حالة الأحرف على أحرف ASCII فقط. تؤثر علامات أخرى على جميع الأحرف. تحتوي بعض المحركات على علامتين مختلفتين، واحدة لـ ASCII والأخرى لـ Unicode. كما تختلف الأحرف التي تنتمي إلى فئات POSIX.
• أبناء عمومة عدم الحساسية لحالة الأحرف . نظرًا لأن ASCII يتميز بالتمييز بين حالات الأحرف، فقد أصبح عدم الحساسية لحالة الأحرف سمة منطقية في البحث عن النصوص. قدم Unicode نصوصًا أبجدية بدون حالة الأحرف مثل Devanagari . بالنسبة لهذه النصوص، لا تنطبق حساسية الحالة . بالنسبة للنصوص مثل الصينية، يبدو أن هناك تمييزًا آخر منطقيًا: بين التقليدية والمبسطة. في النصوص العربية، قد تكون عدم الحساسية للموضع الأولي والوسيط والنهائي والمعزول مرغوبة. في اللغة اليابانية، يكون عدم الحساسية بين الهيراجانا والكاتاكانا مفيدًا في بعض الأحيان.
• التطبيع . يحتوي Unicode على أحرف تجميعية . مثل الآلات الكاتبة القديمة، يمكن أن تتبع الأحرف الأساسية البسيطة (المسافات البيضاء، وعلامات الترقيم، والرموز، والأرقام، أو الحروف) رمز واحد أو أكثر بدون تباعد (عادةً علامات التشكيل، مثل علامات التشكيل التي تعدل الحروف) لتشكيل حرف واحد قابل للطباعة؛ ولكن يوفر Unicode أيضًا مجموعة محدودة من الأحرف المركبة مسبقًا، أي الأحرف التي تتضمن بالفعل حرفًا مركبًا واحدًا أو أكثر. يجب مطابقة تسلسل من حرف أساسي + أحرف مجمعة مع الحرف المركب مسبقًا المتطابق (يمكن فقط تجميع بعض تسلسلات التجميع هذه مسبقًا في حرف Unicode واحد، ولكن هناك عدد لا نهائي من تسلسلات التجميع الأخرى الممكنة في Unicode، وهي مطلوبة للغات مختلفة، باستخدام حرف مركب واحد أو أكثر بعد حرف أساسي أولي؛ قد تتضمن تسلسلات التجميع هذه حرفًا أساسيًا أو أحرف مجمعة مركبة مسبقًا جزئيًا، ولكن ليس بالضرورة بالترتيب الأساسي وليس بالضرورة باستخدام التراكيب الأساسية المسبقة). تسمى عملية توحيد تسلسلات حرف أساسي + دمج الأحرف عن طريق تحليل هذه التسلسلات المكافئة قانونيًا ، قبل إعادة ترتيبها إلى ترتيب قانوني (وإعادة تكوين بعض الأحرف المدمجة اختياريًا في الحرف الأساسي الرائد) بالتطبيع.
• رموز تحكم جديدة . تم تقديم Unicode من بين أمور أخرى، علامات ترتيب البايتات وعلامات اتجاه النص. قد يتعين التعامل مع هذه الرموز بطريقة خاصة.
• مقدمة لفئات الأحرف لكتل ​​Unicode والبرامج النصية والعديد من خصائص الأحرف الأخرى . خصائص الكتلة أقل فائدة بكثير من خصائص النص، لأن الكتلة يمكن أن تحتوي على نقاط رمز من عدة برامج نصية مختلفة، ويمكن أن يحتوي النص على نقاط رمز من عدة كتل مختلفة. ^[58] في Perl والمكتبة java.util.regex، خصائص النموذج \p{InX}أو \p{Block=X}تطابق الأحرف في الكتلة X و \P{InX}أو \P{Block=X}تطابق نقاط الرمز غير الموجودة في تلك الكتلة. وبالمثل، \p{Armenian}, \p{IsArmenian}, أو \p{Script=Armenian}تطابق أي حرف في النص الأرمني. بشكل عام، \p{X}تطابق أي حرف مع الخاصية الثنائية X أو الفئة العامة X . على سبيل المثال، \p{Lu}, \p{Uppercase_Letter}, أو \p{GC=Lu}تطابق أي حرف كبير. الخصائص الثنائية التي ليست فئات عامة تشمل \p{White_Space}, \p{Alphabetic}, \p{Math}, و \p{Dash}. أمثلة على الخصائص غير الثنائية هي \p{Bidi_Class=Right_to_Left}, \p{Word_Break=A_Letter}, و \p{Numeric_Value=10}.

تدعم معظم لغات البرمجة العامة قدرات التعبيرات العادية، إما بشكل أصلي أو عبر المكتبات . يتضمن الدعم الشامل ما يلي:

تعد التعبيرات العادية مفيدة في مجموعة متنوعة من مهام معالجة النصوص، وبشكل عام معالجة السلاسل ، حيث لا يلزم أن تكون البيانات نصية. تتضمن التطبيقات الشائعة التحقق من صحة البيانات ، وكشط البيانات (خاصة كشط الويب )، وترتيب البيانات ، والتحليل البسيط ، وإنتاج أنظمة تمييز بناء الجملة ، والعديد من المهام الأخرى.

تتمتع بعض برامج النشر المكتبي المتطورة بالقدرة على استخدام التعبيرات العادية لتطبيق تنسيق النص تلقائيًا، مما يوفر على الشخص الذي يقوم بالتخطيط عناء القيام بذلك يدويًا لأي شيء يمكن مطابقته باستخدام التعبير العادي. على سبيل المثال، من خلال تحديد نمط حرف يجعل النص أحرفًا صغيرة ثم استخدام التعبير العادي [A-Z]{4,}لتطبيق هذا النمط، سيتم عرض أي كلمة مكونة من أربعة أحرف كبيرة متتالية أو أكثر تلقائيًا بأحرف صغيرة بدلاً من ذلك.

في حين أن التعبيرات العادية قد تكون مفيدة في محركات البحث على الإنترنت ، فإن معالجتها عبر قاعدة البيانات بأكملها قد تستهلك موارد كمبيوتر مفرطة اعتمادًا على تعقيد وتصميم التعبير العادي. على الرغم من أنه في كثير من الحالات يمكن لمسؤولي النظام تشغيل استعلامات تعتمد على التعبير العادي داخليًا، إلا أن معظم محركات البحث لا تقدم دعم التعبير العادي للجمهور. تشمل الاستثناءات البارزة Google Code Search و Exalead . ومع ذلك، تم إغلاق Google Code Search في يناير 2012. ^[69]

تختلف قواعد بناء الجملة المحددة وفقًا للتنفيذ المحدد أو لغة البرمجة أو المكتبة المستخدمة. بالإضافة إلى ذلك، قد تختلف وظائف تنفيذات التعبيرات العادية بين الإصدارات .

نظرًا لأن التعبيرات العادية قد يكون من الصعب شرحها وفهمها دون أمثلة، فإن مواقع الويب التفاعلية لاختبار التعبيرات العادية تعد موردًا مفيدًا لتعلم التعبيرات العادية عن طريق التجربة. يوفر هذا القسم وصفًا أساسيًا لبعض خصائص التعبيرات العادية على سبيل التوضيح.

يتم استخدام الاتفاقيات التالية في الأمثلة. ^[70]

metacharacter(s) ;; يحدد عمود metacharacters بناء جملة regex الذي يتم عرضه
=~ m// ;; يشير إلى عملية مطابقة تعبير عادي في Perl
=~ s/// ;; يشير إلى عملية استبدال تعبير عادي في Perl

ومن الجدير بالذكر أيضًا أن هذه التعبيرات العادية كلها تشبه قواعد بناء الجملة في لغة Perl. أما التعبيرات العادية القياسية في POSIX فهي مختلفة.

ما لم يُنص على خلاف ذلك، فإن الأمثلة التالية تتوافق مع لغة برمجة Perl ، الإصدار 5.8.8، 31 يناير 2006. وهذا يعني أن التنفيذات الأخرى قد تفتقر إلى الدعم لبعض أجزاء من بناء الجملة الموضح هنا (على سبيل المثال، التعبيرات العادية الأساسية مقابل التعبيرات العادية الموسعة، \( \)مقابل ()، أو عدم وجود \dبدلاً من POSIX [:digit:] ).

تتطابق قواعد اللغة والاتفاقيات المستخدمة في هذه الأمثلة مع قواعد اللغة والاتفاقيات المستخدمة في بيئات البرمجة الأخرى أيضًا. ^[71]

$string1 = "مرحبا بالعالم\n" ; if ( $string1 =~ m/...../ ) { print "$string1 has length >= 5.\n" ; }  
    
   

يبلغ طول Hello World >= 5.

$string1 = "مرحبا بالعالم\n" ; if ( $string1 =~ m/(H..).(o..)/ ) { print "لقد قمنا بمطابقة '$1' و'$2'.\n" ; }  
    
   

لقد قمنا بمطابقة 'Hel' و 'o W'.

$string1 = "Hello World\n" ; if ( $string1 =~ m/l+/ ) { print "يوجد حرف واحد أو أكثر متتالي \"l\" في $string1.\n" ; }  
    
   

هناك حرف "l" واحد أو أكثر متتاليًا في Hello World.

$string1 = "مرحبا بالعالم\n" ; if ( $string1 =~ m/H.?e/ ) { print "يوجد حرف 'H' وحرف 'e' مفصولين بـ " ; print "0-1 حرف (على سبيل المثال، He Hue Hee).\n" ; }  
    
   
   

هناك حرف "H" وحرف "e" مفصولين بـ 0-1 حرف (على سبيل المثال، He Hue Hee).

$string1 = "Hello World\n" ; if ( $string1 =~ m/(l.+?o)/ ) { print "المطابقة غير الجشعة مع 'l' متبوعة بواحد أو " ; print "المزيد من الأحرف هي 'llo' بدلاً من 'llo Wo'.\n" ; }  
    
   
   

المطابقة غير الجشعة مع 'l' متبوعة بحرف واحد أو أكثر هي 'llo' وليس 'llo Wo'.

$string1 = "مرحبا بالعالم\n" ; if ( $string1 =~ m/el*o/ ) { print "يوجد حرف 'e' متبوعًا بصفر إلى العديد من " ; print "'l' متبوعًا بـ 'o' (على سبيل المثال، eo، elo، ello، elllo).\n" ; }  
    
   
   

يوجد حرف 'e' متبوعًا بصفر إلى العديد من الأحرف 'l' متبوعة بـ 'o' (على سبيل المثال، eo، elo، ello، elllo).

$string1 = "Hello World\n" ; if ( $string1 =~ m/l{1,2}/ ) { print "يوجد سلسلة فرعية تحتوي على 1 على الأقل " ; print "و2 l على الأكثر في $string1\n" ; }  
    
   
   

يوجد سلسلة فرعية تحتوي على 1 على الأقل و2 على الأكثر في Hello World

$string1 = "مرحبا بالعالم\n" ; if ( $string1 =~ m/[aeiou]+/ ) { print "$string1 يحتوي على حرف علة واحد أو أكثر.\n" ; }  
    
   

تحتوي كلمة Hello World 
على حرف علة واحد أو أكثر.

$string1 = "Hello World\n" ; if ( $string1 =~ m/(Hello|Hi|Pogo)/ ) { print "$string1 يحتوي على واحد على الأقل من Hello أو Hi أو Pogo." ; }  
    
   

يحتوي Hello World 
على واحد على الأقل من Hello أو Hi أو Pogo.

$string1 = "Hello World\n" ; if ( $string1 =~ m/llo\b/ ) { print "توجد كلمة تنتهي بـ 'llo'.\n" ; }  
    
   

هناك كلمة تنتهي بـ "llo".

$string1 = "Hello World\n" ; if ( $string1 =~ m/\w/ ) { print "يوجد على الأقل حرف أبجدي رقمي واحد " ; print "حرف في $string1 (AZ, az, 0-9, _).\n" ; }  
    
   
   

يوجد على الأقل حرف أبجدي رقمي واحد في Hello World 
(AZ، az، 0-9، _).

$string1 = "Hello World\n" ; if ( $string1 =~ m/\W/ ) { print "المسافة بين Hello و " ; print "العالم ليس أبجديًا رقميًا.\n" ; }  
    
   
   

المسافة بين Hello و World ليست أبجدية رقمية.

$string1 = "Hello World\n" ; if ( $string1 =~ m/\s.*\s/ ) { print "في $string1 يوجد حرفان للمسافة البيضاء، والتي قد" ; print "يتم فصلهما بأحرف أخرى.\n" ; }  
    
   
   

يوجد في Hello World 
حرفان للمسافة البيضاء، ويمكن فصلهما بأحرف أخرى.

$string1 = "Hello World\n" ; if ( $string1 =~ m/\S.*\S/ ) { print "في $string1 هناك حرفان غير مسافات بيضاء، والتي" ; print "يمكن فصلهما بأحرف أخرى.\n" ; }  
    
   
   

يوجد في Hello World 
حرفان غير مسافات بيضاء، ويمكن فصلهما بأحرف أخرى.

$string1 = "99 زجاجة بيرة على الحائط." ; if ( $string1 =~ m/(\d+)/ ) { print "$1 هو الرقم الأول في '$string1'\n" ; }  
    
   

99 هو الرقم الأول في "99 زجاجة بيرة على الحائط".

$string1 = "Hello World\n" ; if ( $string1 =~ m/\D/ ) { print "يوجد حرف واحد على الأقل في $string1" ; print "هذا ليس رقمًا.\n" ; }  
    
   
   

يوجد على الأقل حرف واحد في Hello World 
ليس رقمًا.

$string1 = "Hello World\n" ; if ( $string1 =~ m/^He/ ) { print "$string1 يبدأ بالأحرف 'He'.\n" ; }  
    
   

يبدأ فيلم Hello World 
بالشخصيات "هو".

$string1 = "Hello World\n" ; if ( $string1 =~ m/rld$/ ) { print "$string1 هو سطر أو سلسلة " ; print "ينتهي بـ 'rld'.\n" ; }  
    
   
   

Hello World 
هو سطر أو سلسلة تنتهي بـ 'rld'.

$string1 = "Hello\nWorld\n" ; if ( $string1 =~ m/\AH/ ) { print "$string1 عبارة عن سلسلة " ; print "تبدأ بـ 'H'.\n" ; }  
    
   
   

مرحبا 
بالعالم 
هي سلسلة تبدأ بحرف 'H'.

$string1 = "Hello\nWorld\n" ; if ( $string1 =~ m/d\n\z/ ) { print "$string1 عبارة عن سلسلة " ; print "تنتهي بـ 'd\\n'.\n" ; }  
    
   
   

Hello 
World 
هي سلسلة تنتهي بـ 'd\n'.

$string1 = "Hello World\n" ; if ( $string1 =~ m/[^abc]/ ) { print "$string1 يحتوي على حرف آخر غير " ; print "a, b, and c.\n" ; }  
    
  
  

تحتوي Hello World 
على حرف آخر غير a وb وc.

غالبًا ما يمكن إنشاء التعبيرات العادية ("الحث" أو "التعلم") بناءً على مجموعة من سلاسل الأمثلة. يُعرف هذا باسم استنباط اللغات العادية وهو جزء من المشكلة العامة لاستنباط القواعد النحوية في نظرية التعلم الحاسوبي . رسميًا، بالنظر إلى أمثلة على السلاسل في لغة عادية، وربما أيضًا بالنظر إلى أمثلة على سلاسل ليست في تلك اللغة العادية، فمن الممكن استنباط قواعد نحوية للغة، أي تعبير عادي يولد تلك اللغة. لا يمكن استنباط جميع اللغات العادية بهذه الطريقة (انظر تعريف اللغة في الحد )، ولكن يمكن ذلك بالنسبة للعديد منها. على سبيل المثال، يمكن استخدام مجموعة الأمثلة {1، 10، 100} والمجموعة السلبية (من الأمثلة المضادة) {11، 1001، 101، 0} لاستنباط التعبير العادي 1⋅0* (1 متبوعًا بصفر أو أكثر من الأصفار).

• مقارنة بين محركات التعبيرات العادية
• صيغة باكوس-نور الممتدة
• مطابقة البطاقات البرية
• قواعد الشجرة المنتظمة
• بناء تومسون - يحول تعبيرًا عاديًا إلى أتمتة محدودة غير حتمية مكافئة (NFA)