الدلالات الإحصائية

في علم اللغة ، يطبق علم الدلالة الإحصائية أساليب الإحصاء على مشكلة تحديد معنى الكلمات أو العبارات، من الناحية المثالية من خلال التعلم غير الخاضع للإشراف ، بدرجة من الدقة كافية على الأقل لغرض استرجاع المعلومات .

استُخدم مصطلح "الدلالات الإحصائية" لأول مرة من قِبل وارن ويفر في بحثه الشهير حول الترجمة الآلية . ^{[ 1 ]} جادل ويفر بأن إزالة الغموض عن معاني الكلمات في الترجمة الآلية يجب أن تستند إلى تكرار ورود كلمات السياق بالقرب من الكلمة المستهدفة. وقد دافع جيه آر فيرث عن الافتراض الأساسي القائل بأن "الكلمة تُعرف بما يحيط بها من كلمات" . ^{[ 2 ]} يُعرف هذا الافتراض في علم اللغة باسم فرضية التوزيع . ^{[ 3 ]} عرّف إميل ديلافيناي الدلالات الإحصائية بأنها "الدراسة الإحصائية لمعاني الكلمات وتكرارها وترتيب ورودها". ^{[ 4 ]} كثيرًا ما يُستشهد ببحث " فورناس وآخرون، 1983" باعتباره إسهامًا تأسيسيًا في الدلالات الإحصائية. ^{[ 5 ]} كان التحليل الدلالي الكامن من أوائل النجاحات في هذا المجال .

أسفرت الأبحاث في مجال الدلالات الإحصائية عن مجموعة واسعة من الخوارزميات التي تستخدم فرضية التوزيع لاكتشاف العديد من جوانب الدلالات ، من خلال تطبيق التقنيات الإحصائية على مجموعات كبيرة من النصوص :

• قياس التشابه في معاني الكلمات ^{[ 6 ] [ 7 ] [ 8 ] [ 9 ]}
• قياس التشابه في العلاقات بين الكلمات ^{[ 10 ]}
• نمذجة التعميم القائم على التشابه ^{[ 11 ]}
• اكتشاف الكلمات ذات العلاقة المحددة ^{[ 12 ]}
• تصنيف العلاقات بين الكلمات ^{[ 13 ]}
• استخراج الكلمات المفتاحية من المستندات ^{[ 14 ] [ 15 ]}
• قياس تماسك النص ^{[ 16 ]}
• اكتشاف المعاني المختلفة للكلمات ^{[ 17 ]}
• التمييز بين المعاني المختلفة للكلمات ^{[ 18 ]}
• الجوانب اللاإدراكية للكلمات ^{[ 19 ]}
• التمييز بين المدح والنقد ^{[ 20 ]}

يركز علم الدلالة الإحصائية على معاني الكلمات الشائعة والعلاقات بينها، على عكس استخراج النصوص الذي يميل إلى التركيز على المستندات الكاملة أو مجموعات المستندات أو الكيانات المسماة (أسماء الأشخاص والأماكن والمنظمات). يُعد علم الدلالة الإحصائية فرعاً من علم الدلالة الحاسوبية ، الذي بدوره فرع من علم اللغويات الحاسوبية ومعالجة اللغة الطبيعية .

يمكن معالجة العديد من تطبيقات الدلالات الإحصائية (المذكورة أعلاه) باستخدام خوارزميات تعتمد على المعجم ، بدلاً من خوارزميات الدلالات الإحصائية التي تعتمد على المدونة اللغوية. ومن مزايا خوارزميات المدونة اللغوية أنها عادةً ما تكون أقل استهلاكًا للوقت والجهد مقارنةً بخوارزميات المعجم. كما أنها أسهل في التكيف مع اللغات الجديدة أو أنواع النصوص الجديدة الأكثر تنوعًا، مثل تلك الموجودة في وسائل التواصل الاجتماعي، مقارنةً بخوارزميات المعجم. ^{[ 21 ]} ومع ذلك، غالبًا ما يُحقق أفضل أداء في أي تطبيق من خلال الجمع بين النهجين. ^{[ 22 ]}