التحليل الدلالي الكامن

Semantics
Linguistic Logical
Subfields Computational Lexical (lexis, lexicology) Statistical Structural Topics Analysis Compositionality Context (language use) Prototype theory Force dynamics Semantic feature Semantic gap Theory of descriptions Analysis Latent Computational Machine-learning Applications Semantic file system Semantic desktop Semantic matching Semantic parsing Semantic similarity Semantic query Semantic Web Semantic wiki
Semantics of programming languages
Types Action Algebraic Axiomatic Categorical Concurrency Denotational Game Operational Predicate transformational Theory Abstract interpretation Abstract semantic graph
Language Linguistics
v t e

تحليل الدلالة الكامنة ( LSA ) هي تقنية في معالجة اللغة الطبيعية ، وخاصة الدلالات التوزيعية ، لتحليل العلاقات بين مجموعة من المستندات والمصطلحات التي تحتوي عليها من خلال إنتاج مجموعة من المفاهيم المتعلقة بالمستندات والمصطلحات. يفترض تحليل الدلالة الكامنة أن الكلمات المتقاربة في المعنى ستظهر في أجزاء مماثلة من النص ( فرضية التوزيع ). يتم إنشاء مصفوفة تحتوي على عدد الكلمات لكل مستند (تمثل الصفوف كلمات فريدة وتمثل الأعمدة كل مستند) من جزء كبير من النص ويتم استخدام تقنية رياضية تسمى تحلل القيمة المفردة (SVD) لتقليل عدد الصفوف مع الحفاظ على بنية التشابه بين الأعمدة. تتم بعد ذلك مقارنة المستندات من خلال تشابه جيب التمام بين أي عمودين. تمثل القيم القريبة من 1 مستندات متشابهة للغاية بينما تمثل القيم القريبة من 0 مستندات مختلفة للغاية. ^[1]

تم تسجيل براءة اختراع لتقنية استرجاع المعلومات باستخدام البنية الدلالية الكامنة في عام 1988 ^[2] بواسطة سكوت ديرويستر وسوزان دومايس وجورج فورناس وريتشارد هارشمان وتوماس لانداور وكارين لوشباوم ولين ستريتر. في سياق تطبيقها على استرجاع المعلومات ، يطلق عليها أحيانًا الفهرسة الدلالية الكامنة ( LSI ). ^[3]

يمكن لـ LSA استخدام مصفوفة مصطلحات المستندات التي تصف تكرارات المصطلحات في المستندات؛ وهي مصفوفة متفرقة تتوافق صفوفها مع المصطلحات وتتوافق أعمدتها مع المستندات. ومن الأمثلة النموذجية لوزن عناصر المصفوفة tf-idf (تكرار المصطلحات - تردد المستند العكسي): يتناسب وزن عنصر من عناصر المصفوفة مع عدد المرات التي تظهر فيها المصطلحات في كل مستند، حيث يتم زيادة وزن المصطلحات النادرة لتعكس أهميتها النسبية.

تعتبر هذه المصفوفة شائعة أيضًا في النماذج الدلالية القياسية، على الرغم من أنه لا يتم التعبير عنها صراحةً كمصفوفة، نظرًا لأن الخصائص الرياضية للمصفوفات لا تُستخدم دائمًا.

بعد إنشاء مصفوفة الحدوث، يجد LSA تقريبًا منخفض الرتبة ^[5] لمصفوفة المصطلح-الوثيقة . قد تكون هناك أسباب مختلفة لهذه التقريبات:

• من المفترض أن مصفوفة المصطلحات والمستندات الأصلية كبيرة جدًا بالنسبة لموارد الحوسبة؛ في هذه الحالة، يتم تفسير مصفوفة الرتبة المنخفضة التقريبية على أنها تقريب ("الشر الأقل ضرورة").
• يُفترض أن مصفوفة المصطلحات والوثائق الأصلية مشوشة : على سبيل المثال، يجب استبعاد الأمثلة القصصية للمصطلحات. ومن وجهة النظر هذه، يتم تفسير المصفوفة التقريبية على أنها مصفوفة خالية من الضوضاء (مصفوفة أفضل من المصفوفة الأصلية).
• يُفترض أن مصفوفة المصطلحات والمستندات الأصلية متفرقة بشكل مفرط مقارنة بمصفوفة المصطلحات والمستندات "الحقيقية". أي أن المصفوفة الأصلية تسرد فقط الكلمات الموجودة فعليًا في كل مستند، في حين قد نهتم بكل الكلمات المرتبطة بكل مستند - وهي مجموعة أكبر بكثير بشكل عام بسبب الترادف .

النتيجة المترتبة على خفض الرتبة هي أن بعض الأبعاد تصبح مجتمعة وتعتمد على أكثر من مصطلح واحد:

{(سيارة)، (شاحنة)، (زهرة)} → {(1.3452 * سيارة + 0.2828 * شاحنة)، (زهرة)}

وهذا يخفف من مشكلة تحديد المرادفات، حيث من المتوقع أن يؤدي خفض الرتبة إلى دمج الأبعاد المرتبطة بالمصطلحات التي لها معاني مماثلة. كما يخفف جزئيًا من مشكلة تعدد المعاني ، حيث تتم إضافة مكونات الكلمات متعددة المعاني التي تشير في الاتجاه "الصحيح" إلى مكونات الكلمات التي تشترك في معنى مماثل. وعلى العكس من ذلك، فإن المكونات التي تشير في اتجاهات أخرى تميل إما إلى الإلغاء ببساطة، أو في أسوأ الأحوال، أن تكون أصغر من المكونات في الاتجاهات المقابلة للمعنى المقصود.

دع مصفوفة حيث يصف العنصر حدوث المصطلح في المستند (يمكن أن يكون هذا، على سبيل المثال، التكرار). سيبدو مثل هذا: ${\displaystyle X}$${\displaystyle (i,j)}$${\displaystyle i}$${\displaystyle j}$${\displaystyle X}$

${\displaystyle {\begin{matrix}&{\textbf {d}}_{j}\\&\downarrow \\{\textbf {t}}_{i}^{T}\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,j}&\dots &x_{1,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{i,1}&\dots &x_{i,j}&\dots &x_{i,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{m,1}&\dots &x_{m,j}&\dots &x_{m,n}\\\end{bmatrix}}\end{matrix}}}$

الآن سيكون الصف في هذه المصفوفة عبارة عن متجه يتوافق مع مصطلح، مع إعطاء علاقته بكل مستند:

${\displaystyle {\textbf {t}}_{i}^{T}={\begin{bmatrix}x_{i,1}&\dots &x_{i,j}&\dots &x_{i,n}\end{bmatrix}}}$

وبالمثل، سيكون العمود في هذه المصفوفة متجهًا يتوافق مع مستند، مع إعطاء علاقته بكل مصطلح:

${\displaystyle {\textbf {d}}_{j}={\begin{bmatrix}x_{1,j}\\\vdots \\x_{i,j}\\\vdots \\x_{m,j}\\\end{bmatrix}}}$

الآن، يعطي حاصل الضرب النقطي بين متجهي المصطلحين الارتباط بين المصطلحين على مجموعة المستندات. يحتوي حاصل الضرب المصفوفي على كل هذه الضربات النقطية. يحتوي العنصر (الذي يساوي العنصر ) على الضرب النقطي ( ). وبالمثل، تحتوي المصفوفة على الضرب النقطي بين جميع متجهات المستندات، مما يعطي ارتباطها على المصطلحات: . ${\displaystyle {\textbf {t}}_{i}^{T}{\textbf {t}}_{p}}$ ${\displaystyle XX^{T}}$${\displaystyle (i,p)}$${\displaystyle (p,i)}$${\displaystyle {\textbf {t}}_{i}^{T}{\textbf {t}}_{p}}$${\displaystyle ={\textbf {t}}_{p}^{T}{\textbf {t}}_{i}}$${\displaystyle X^{T}X}$${\displaystyle {\textbf {d}}_{j}^{T}{\textbf {d}}_{q}={\textbf {d}}_{q}^{T}{\textbf {d}}_{j}}$

الآن، من نظرية الجبر الخطي، يوجد تحلل بحيث أن و مصفوفتان متعامدتان و مصفوفة قطرية . وهذا ما يسمى تحلل القيمة المفردة (SVD): ${\displaystyle X}$${\displaystyle U}$${\displaystyle V}$${\displaystyle \Sigma }$

${\displaystyle {\begin{matrix}X=U\Sigma V^{T}\end{matrix}}}$

تصبح حاصل ضرب المصفوفات الذي يعطينا ارتباطات المصطلح والوثيقة بعد ذلك

${\displaystyle {\begin{matrix}XX^{T}&=&(U\Sigma V^{T})(U\Sigma V^{T})^{T}=(U\Sigma V^{T})(V^{T^{T}}\Sigma ^{T}U^{T})=U\Sigma V^{T}V\Sigma ^{T}U^{T}=U\Sigma \Sigma ^{T}U^{T}\\X^{T}X&=&(U\Sigma V^{T})^{T}(U\Sigma V^{T})=(V^{T^{T}}\Sigma ^{T}U^{T})(U\Sigma V^{T})=V\Sigma ^{T}U^{T}U\Sigma V^{T}=V\Sigma ^{T}\Sigma V^{T}\end{matrix}}}$

نظرًا لأن و قطريان، نرى أن يجب أن يحتويا على متجهات ذاتية لـ ، بينما يجب أن يكونا متجهين ذاتيين لـ . كلا المنتجين لهما نفس القيم الذاتية غير الصفرية، المعطاة بواسطة الإدخالات غير الصفرية لـ ، أو بالتساوي، بواسطة الإدخالات غير الصفرية لـ . يبدو التحليل الآن على النحو التالي: ${\displaystyle \Sigma \Sigma ^{T}}$${\displaystyle \Sigma ^{T}\Sigma }$${\displaystyle U}$${\displaystyle XX^{T}}$${\displaystyle V}$${\displaystyle X^{T}X}$${\displaystyle \Sigma \Sigma ^{T}}$${\displaystyle \Sigma ^{T}\Sigma }$

${\displaystyle {\begin{matrix}&X&&&U&&\Sigma &&V^{T}\\&({\textbf {d}}_{j})&&&&&&&({\hat {\textbf {d}}}_{j})\\&\downarrow &&&&&&&\downarrow \\({\textbf {t}}_{i}^{T})\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,j}&\dots &x_{1,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{i,1}&\dots &x_{i,j}&\dots &x_{i,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{m,1}&\dots &x_{m,j}&\dots &x_{m,n}\\\end{bmatrix}}&=&({\hat {\textbf {t}}}_{i}^{T})\rightarrow &{\begin{bmatrix}{\begin{bmatrix}\,\\\,\\{\textbf {u}}_{1}\\\,\\\,\end{bmatrix}}\dots {\begin{bmatrix}\,\\\,\\{\textbf {u}}_{l}\\\,\\\,\end{bmatrix}}\end{bmatrix}}&\cdot &{\begin{bmatrix}\sigma _{1}&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\sigma _{l}\\\end{bmatrix}}&\cdot &{\begin{bmatrix}{\begin{bmatrix}&&{\textbf {v}}_{1}&&\end{bmatrix}}\\\vdots \\{\begin{bmatrix}&&{\textbf {v}}_{l}&&\end{bmatrix}}\end{bmatrix}}\end{matrix}}}$

القيم تسمى القيم المفردة، والمتجهات المفردة اليسرى واليمنى. لاحظ أن الجزء الوحيد الذي يساهم في ذلك هو الصف. دع متجه الصف هذا يسمى . وبالمثل، فإن الجزء الوحيد الذي يساهم في ذلك هو العمود، . هذه ليست متجهات ذاتية، ولكنها تعتمد على جميع المتجهات الذاتية. ${\displaystyle \sigma _{1},\dots ,\sigma _{l}}$${\displaystyle u_{1},\dots ,u_{l}}$${\displaystyle v_{1},\dots ,v_{l}}$${\displaystyle U}$${\displaystyle {\textbf {t}}_{i}}$${\displaystyle i{\textrm {'th}}}$${\displaystyle {\hat {\textrm {t}}}_{i}^{T}}$${\displaystyle V^{T}}$${\displaystyle {\textbf {d}}_{j}}$${\displaystyle j{\textrm {'th}}}$${\displaystyle {\hat {\textrm {d}}}_{j}}$

يتبين أنه عند تحديد أكبر القيم المفردة، والمتجهات المفردة المقابلة لها من و ، تحصل على تقريب الرتبة إلى مع أصغر خطأ ( معيار فروبينيوس ). هذا التقريب له خطأ ضئيل. ولكن الأهم من ذلك أنه يمكننا الآن التعامل مع متجهات المصطلح والوثيقة باعتبارها "مساحة دلالية". ثم يحتوي متجه "الصف" على إدخالات تربطه بمساحة ذات أبعاد أقل. لا تتعلق هذه الأبعاد الجديدة بأي مفاهيم مفهومة. إنها تقريب ذو أبعاد أقل للمساحة ذات الأبعاد الأعلى. وبالمثل، فإن متجه "الوثيقة" هو تقريب في هذه المساحة ذات الأبعاد الأقل. نكتب هذا التقريب على النحو التالي ${\displaystyle k}$${\displaystyle U}$${\displaystyle V}$${\displaystyle k}$${\displaystyle X}$${\displaystyle {\hat {\textbf {t}}}_{i}^{T}}$${\displaystyle k}$${\displaystyle {\hat {\textbf {d}}}_{j}}$

${\displaystyle X_{k}=U_{k}\Sigma _{k}V_{k}^{T}}$

يمكنك الآن القيام بما يلي:

• شاهد كيف توجد المستندات ذات الصلة و في الفضاء منخفض الأبعاد عن طريق مقارنة المتجهات و (عادةً عن طريق تشابه جيب التمام ).${\displaystyle j}$${\displaystyle q}$${\displaystyle \Sigma _{k}\cdot {\hat {\textbf {d}}}_{j}}$${\displaystyle \Sigma _{k}\cdot {\hat {\textbf {d}}}_{q}}$
• مقارنة المصطلحات و بمقارنة المتجهات و . لاحظ أن هذا هو الآن متجه عمودي.${\displaystyle i}$${\displaystyle p}$${\displaystyle \Sigma _{k}\cdot {\hat {\textbf {t}}}_{i}}$${\displaystyle \Sigma _{k}\cdot {\hat {\textbf {t}}}_{p}}$${\displaystyle {\hat {\textbf {t}}}}$
• يمكن تجميع المستندات وتمثيلات متجهات المصطلحات باستخدام خوارزميات التجميع التقليدية مثل k-means باستخدام مقاييس التشابه مثل جيب التمام.
• إذا كان لديك استعلام، فقم بعرضه كمستند صغير، وقارنه بمستنداتك الموجودة في المساحة منخفضة الأبعاد.

للقيام بالأخير، يجب عليك أولاً ترجمة استعلامك إلى مساحة منخفضة الأبعاد. ومن البديهي بعد ذلك أن تستخدم نفس التحويل الذي تستخدمه في مستنداتك:

${\displaystyle {\hat {\textbf {d}}}_{j}=\Sigma _{k}^{-1}U_{k}^{T}{\textbf {d}}_{j}}$

لاحظ هنا أنه من الممكن إيجاد معكوس المصفوفة القطرية عن طريق عكس كل قيمة غير صفرية داخل المصفوفة. ${\displaystyle \Sigma _{k}}$

هذا يعني أنه إذا كان لديك متجه استعلام ، فيجب عليك إجراء الترجمة قبل مقارنته بمتجهات المستند في الفضاء منخفض الأبعاد. يمكنك القيام بنفس الشيء بالنسبة لمتجهات المصطلحات الزائفة: ${\displaystyle q}$${\displaystyle {\hat {\textbf {q}}}=\Sigma _{k}^{-1}U_{k}^{T}{\textbf {q}}}$

${\displaystyle {\textbf {t}}_{i}^{T}={\hat {\textbf {t}}}_{i}^{T}\Sigma _{k}V_{k}^{T}}$

${\displaystyle {\hat {\textbf {t}}}_{i}^{T}={\textbf {t}}_{i}^{T}V_{k}^{-T}\Sigma _{k}^{-1}={\textbf {t}}_{i}^{T}V_{k}\Sigma _{k}^{-1}}$

${\displaystyle {\hat {\textbf {t}}}_{i}=\Sigma _{k}^{-1}V_{k}^{T}{\textbf {t}}_{i}}$

يمكن استخدام المساحة الجديدة منخفضة الأبعاد عادةً في:

• مقارنة المستندات في الفضاء منخفض الأبعاد ( تجميع البيانات ، تصنيف المستندات ).
• البحث عن مستندات مماثلة عبر اللغات، بعد تحليل مجموعة أساسية من المستندات المترجمة ( استرجاع المعلومات عبر اللغات ).
• إيجاد العلاقات بين المصطلحات ( المرادفات والتعددات الدلالية ).
• بالنظر إلى استعلام عن المصطلحات، قم بترجمته إلى الفضاء منخفض الأبعاد، وابحث عن المستندات المطابقة ( استرجاع المعلومات ).
• البحث عن أفضل أوجه التشابه بين مجموعات صغيرة من المصطلحات، بطريقة دلالية (أي في سياق مجموعة المعرفة)، كما هو الحال على سبيل المثال في نموذج الإجابة على أسئلة الاختيار من متعدد. [ ^6]
• توسيع مساحة ميزات أنظمة التعلم الآلي / استخراج النصوص ^[7]
• تحليل ارتباط الكلمات في مجموعة النصوص ^[8]

إن الترادف والتعدد في المعاني من المشاكل الأساسية في معالجة اللغة الطبيعية :

• الترادف هو الظاهرة التي تصف فيها كلمات مختلفة نفس الفكرة. وبالتالي، قد يفشل استعلام في محرك بحث في استرجاع مستند ذي صلة لا يحتوي على الكلمات التي ظهرت في الاستعلام. على سبيل المثال، قد لا يؤدي البحث عن "أطباء" إلى إرجاع مستند يحتوي على كلمة " أطباء "، على الرغم من أن الكلمات لها نفس المعنى.
• تعد تعدد المعاني ظاهرة حيث تحمل نفس الكلمة معاني متعددة. لذا قد يؤدي البحث إلى استرجاع مستندات غير ذات صلة تحتوي على الكلمات المطلوبة بالمعنى الخاطئ. على سبيل المثال، من المحتمل أن يرغب عالم نبات وعالم كمبيوتر يبحثان عن كلمة "شجرة" في مجموعات مختلفة من المستندات.

تم استخدام LSA للمساعدة في إجراء عمليات البحث عن الفن السابق لبراءات الاختراع . ^[9]

كان استخدام التحليل الدلالي الكامن شائعًا في دراسة الذاكرة البشرية، وخاصة في مجالات التذكر الحر والبحث في الذاكرة. هناك ارتباط إيجابي بين التشابه الدلالي لكلمتين (كما تم قياسه بواسطة التحليل الدلالي الكامن) واحتمال تذكر الكلمات واحدة تلو الأخرى في مهام التذكر الحر باستخدام قوائم الدراسة للأسماء الشائعة العشوائية. كما لاحظوا أنه في هذه المواقف، كان وقت الاستجابة المتبادلة بين الكلمات المتشابهة أسرع بكثير من بين الكلمات غير المتشابهة. يشار إلى هذه النتائج باسم تأثير القرب الدلالي. ^[10]

عندما ارتكب المشاركون أخطاء في تذكر العناصر المدروسة، كانت هذه الأخطاء تميل إلى أن تكون عناصر مرتبطة دلاليًا بالعنصر المطلوب والموجود في قائمة تمت دراستها سابقًا. يبدو أن هذه الاختراقات للقائمة السابقة، كما أصبح يطلق عليها، تتنافس مع العناصر الموجودة في القائمة الحالية على التذكر. ^[11]

يتم استخدام نموذج آخر يسمى مساحات ارتباط الكلمات (WAS) أيضًا في دراسات الذاكرة من خلال جمع بيانات الارتباط الحر من سلسلة من التجارب والتي تتضمن مقاييس ارتباط الكلمات لأكثر من 72000 زوج كلمات مميز. ^[12]

يتم حساب SVD عادةً باستخدام طرق المصفوفة الكبيرة (على سبيل المثال، طرق Lanczos ) ولكن يمكن أيضًا حسابها بشكل تدريجي وبموارد مخفضة بشكل كبير عبر نهج يشبه الشبكة العصبية ، والذي لا يتطلب الاحتفاظ بالمصفوفة الكبيرة كاملة الرتبة في الذاكرة. ^{[13] تم تطوير خوارزمية} SVD سريعة وتدريجية ومنخفضة الذاكرة ومصفوفة كبيرة. ^[14] تتوفر تطبيقات MATLAB ^[15] وPython ^[16] لهذه الخوارزميات السريعة. على عكس التقريب العشوائي لـ Gorrell و Webb (2005)، توفر خوارزمية Brand (2003) حلاً دقيقًا. في السنوات الأخيرة، تم إحراز تقدم في تقليل التعقيد الحسابي لـ SVD؛ على سبيل المثال، من خلال استخدام خوارزمية ARPACK الموازية لإجراء تحلل القيم الذاتية الموازية، من الممكن تسريع تكلفة حساب SVD مع توفير جودة تنبؤ قابلة للمقارنة. ^[17]

تتضمن بعض عيوب LSA ما يلي:

• قد يكون من الصعب تفسير الأبعاد الناتجة. على سبيل المثال، في

{(سيارة)، (شاحنة)، (زهرة)} ↦ {(1.3452 * سيارة + 0.2828 * شاحنة)، (زهرة)}

يمكن تفسير مكون (1.3452 * سيارة + 0.2828 * شاحنة) على أنه "مركبة". ومع ذلك، فمن المحتمل جدًا أن تكون الحالات القريبة من

{(سيارة)، (زجاجة)، (زهرة)} ↦ {(1.3452 * سيارة + 0.2828 * زجاجة )، (زهرة)}

سوف يحدث هذا. وهذا يؤدي إلى نتائج يمكن تبريرها على المستوى الرياضي، ولكن ليس لها معنى واضح على الفور في اللغة الطبيعية. ومع ذلك، يمكن تبرير مكون (1.3452 * سيارة + 0.2828 * زجاجة) لأن كل من الزجاجات والسيارات لها أجزاء شفافة وغير شفافة، وهي من صنع الإنسان ومن المرجح أن تحتوي على شعارات/كلمات على سطحها؛ وبالتالي، فإن هذين المفهومين "يتشاركان في الدلالات" بطرق عديدة. وهذا يعني أنه داخل اللغة المعنية، قد لا تكون هناك كلمة متاحة بسهولة لتعيينها وتصبح القدرة على التفسير مهمة تحليل على عكس مهمة تعيين كلمة/فئة/مفهوم بسيطة.

• لا يمكن لتحليل اللغة العامية أن يلتقط تعدد المعاني (أي المعاني المتعددة لكلمة واحدة) إلا جزئيًا لأن كل ظهور للكلمة يُعامل على أنه يحمل نفس المعنى نظرًا لتمثيل الكلمة كنقطة واحدة في الفضاء. على سبيل المثال، يُعتبر ظهور كلمة "كرسي" في مستند يحتوي على "كرسي المجلس" وفي مستند منفصل يحتوي على "صانع الكرسي" هو نفسه. يؤدي السلوك إلى أن يكون تمثيل المتجه عبارة عن متوسط ​​لجميع معاني الكلمة المختلفة في النص، مما قد يجعل المقارنة صعبة. ^[18] ومع ذلك، غالبًا ما يتضاءل التأثير بسبب الكلمات التي لها معنى سائد في جميع أنحاء النص (أي أن جميع المعاني ليست متساوية الاحتمال).
• حدود نموذج حقيبة الكلمات (BOW)، حيث يتم تمثيل النص كمجموعة غير مرتبة من الكلمات. لمعالجة بعض حدود نموذج حقيبة الكلمات (BOW)، يمكن استخدام القاموس متعدد الجرامات للعثور على الارتباط المباشر وغير المباشر بالإضافة إلى التواجد المشترك من الدرجة الأعلى بين المصطلحات. ^[19]
• لا يتطابق النموذج الاحتمالي لتحليل الدلالة الكامنة الاحتمالي مع البيانات المرصودة: يفترض تحليل الدلالة الكامنة الاحتمالي أن الكلمات والمستندات تشكل نموذجًا غاوسيًا مشتركًا ( فرضية إرجوديك ) ، في حين تم ملاحظة توزيع بواسون . وبالتالي، فإن البديل الأحدث هو التحليل الدلالي الكامن الاحتمالي ، استنادًا إلى نموذج متعدد الحدود ، والذي يُقال إنه يعطي نتائج أفضل من تحليل الدلالة الكامنة الاحتمالي القياسي. ^[20]

في التجزئة الدلالية ^[21] يتم تعيين المستندات إلى عناوين الذاكرة عن طريق شبكة عصبية بطريقة تجعل المستندات المتشابهة دلاليًا تقع في عناوين قريبة. تقوم الشبكة العصبية العميقة في الأساس ببناء نموذج رسومي لمتجهات عدد الكلمات التي تم الحصول عليها من مجموعة كبيرة من المستندات. يمكن بعد ذلك العثور على المستندات المشابهة لمستند الاستعلام ببساطة عن طريق الوصول إلى جميع العناوين التي تختلف ببضعة بتات فقط عن عنوان مستند الاستعلام. هذه الطريقة لتوسيع كفاءة ترميز التجزئة لتقريب المطابقة أسرع بكثير من التجزئة الحساسة للموقع ، وهي أسرع طريقة حالية. ^{[ بحاجة لتوضيح ]}

الفهرسة الدلالية الكامنة ( LSI ) هي طريقة فهرسة واسترجاع تستخدم تقنية رياضية تسمى تحلل القيمة المفردة (SVD ) لتحديد الأنماط في العلاقات بين المصطلحات والمفاهيم الواردة في مجموعة غير منظمة من النصوص. تعتمد LSI على مبدأ مفاده أن الكلمات المستخدمة في نفس السياقات تميل إلى أن يكون لها معاني متشابهة. تتمثل إحدى السمات الرئيسية لـ LSI في قدرتها على استخراج المحتوى المفاهيمي لجسم النص من خلال إنشاء ارتباطات بين تلك المصطلحات التي تظهر في سياقات متشابهة . ^[22]

LSI هو أيضًا تطبيق لتحليل المراسلات ، وهي تقنية إحصائية متعددة المتغيرات طورها جان بول بنزكري ^[23] في أوائل السبعينيات، لجدول طوارئ تم بناؤه من عدد الكلمات في المستندات.

يُطلق عليها " الفهرسة الدلالية الكامنة " نظرًا لقدرتها على ربط المصطلحات ذات الصلة دلاليًا والتي تكون كامنة في مجموعة من النصوص، وقد تم تطبيقها لأول مرة على النص في Bellcore في أواخر الثمانينيات. تكشف الطريقة، التي تسمى أيضًا التحليل الدلالي الكامن (LSA)، عن البنية الدلالية الكامنة الأساسية في استخدام الكلمات في نص وكيف يمكن استخدامها لاستخراج معنى النص استجابة لاستفسارات المستخدم، والتي يشار إليها عادةً باسم عمليات البحث عن المفاهيم. ستعيد الاستعلامات أو عمليات البحث عن المفاهيم ضد مجموعة من المستندات التي خضعت لتحليل LSI نتائج متشابهة مفهوميًا في المعنى مع معايير البحث حتى لو لم تشترك النتائج في كلمة أو كلمات معينة مع معايير البحث.

يساعد LSI في التغلب على الترادف من خلال زيادة التذكر ، وهو أحد أكثر القيود إشكالية في استعلامات الكلمات الرئيسية المنطقية ونماذج مساحة المتجهات. ^[18] غالبًا ما يكون الترادف سببًا لعدم التطابق في المفردات المستخدمة من قبل مؤلفي المستندات ومستخدمي أنظمة استرجاع المعلومات . ^[24] ونتيجة لذلك، غالبًا ما تعيد الاستعلامات المنطقية أو الكلمات الرئيسية نتائج غير ذات صلة وتفوت المعلومات ذات الصلة.

تُستخدم LSI أيضًا لإجراء تصنيف آلي للمستندات . في الواقع، أثبتت العديد من التجارب وجود عدد من الارتباطات بين الطريقة التي تعالج بها LSI والبشر النصوص وتصنفها. ^[25] تصنيف المستندات هو تعيين المستندات إلى فئة واحدة أو أكثر محددة مسبقًا بناءً على تشابهها مع المحتوى المفاهيمي للفئات. ^[26] تستخدم LSI مستندات نموذجية لإنشاء الأساس المفاهيمي لكل فئة. أثناء معالجة التصنيف، تتم مقارنة المفاهيم الموجودة في المستندات التي يتم تصنيفها بالمفاهيم الموجودة في عناصر المثال، ويتم تعيين فئة (أو فئات) للمستندات بناءً على أوجه التشابه بين المفاهيم التي تحتوي عليها والمفاهيم الموجودة في مستندات المثال.

يمكن أيضًا إنجاز التجميع الديناميكي استنادًا إلى المحتوى المفاهيمي للمستندات باستخدام LSI. التجميع هو طريقة لتجميع المستندات استنادًا إلى التشابه المفاهيمي بينها دون استخدام مستندات نموذجية لإنشاء الأساس المفاهيمي لكل مجموعة. هذا مفيد جدًا عند التعامل مع مجموعة غير معروفة من النصوص غير المنظمة.

نظرًا لاستخدامه نهجًا رياضيًا صارمًا، فإن LSI مستقل بطبيعته عن اللغة. وهذا يمكّن LSI من استنباط المحتوى الدلالي للمعلومات المكتوبة بأي لغة دون الحاجة إلى استخدام هياكل مساعدة، مثل القواميس والقاموسات. يمكن لـ LSI أيضًا إجراء بحث مفاهيمي عبر اللغات وتصنيف قائم على الأمثلة. على سبيل المثال، يمكن إجراء الاستعلامات بلغة واحدة، مثل اللغة الإنجليزية، وسيتم إرجاع نتائج مماثلة مفاهيميًا حتى لو كانت تتألف من لغة مختلفة تمامًا أو من لغات متعددة. ^{[ بحاجة لمصدر ]}

لا يقتصر LSI على العمل بالكلمات فقط. يمكنه أيضًا معالجة سلاسل أحرف عشوائية. يمكن تمثيل أي كائن يمكن التعبير عنه كنص في مساحة متجه LSI. على سبيل المثال، أظهرت الاختبارات التي أجريت على ملخصات MEDLINE أن LSI قادر على تصنيف الجينات بشكل فعال بناءً على النمذجة المفاهيمية للمعلومات البيولوجية الواردة في عناوين وملخصات الاستشهادات MEDLINE. ^[27]

يتكيف LSI تلقائيًا مع المصطلحات الجديدة والمتغيرة، وقد ثبت أنه متسامح للغاية مع الضوضاء (أي الكلمات المكتوبة بشكل خاطئ، والأخطاء المطبعية، والأحرف غير القابلة للقراءة، وما إلى ذلك). ^[28] وهذا مهم بشكل خاص للتطبيقات التي تستخدم النص المشتق من التعرف الضوئي على الحروف (OCR) وتحويل الكلام إلى نص. يتعامل LSI أيضًا بشكل فعال مع البيانات المتفرقة والغامضة والمتناقضة.

لا يلزم أن يكون النص في شكل جملة حتى يكون LSI فعالاً. يمكن استخدامه مع القوائم والملاحظات الحرة والبريد الإلكتروني والمحتوى المستند إلى الويب وما إلى ذلك. طالما أن مجموعة النصوص تحتوي على مصطلحات متعددة، يمكن استخدام LSI لتحديد الأنماط في العلاقات بين المصطلحات والمفاهيم المهمة الواردة في النص.

لقد ثبت أن LSI هو الحل المفيد لعدد من مشاكل المطابقة المفاهيمية. ^{[29] [30]} وقد ثبت أن هذه التقنية تلتقط معلومات العلاقة الرئيسية، بما في ذلك المعلومات السببية والموجهة نحو الهدف والتصنيفية. ^[31]

• منتصف الستينيات - تم وصف واختبار تقنية تحليل العوامل لأول مرة (H. Borko و M. Bernick)
• 1988 – تم نشر ورقة بحثية رائدة حول تقنية LSI ^[22]
• 1989 – تم منح براءة الاختراع الأصلية ^[22]
• 1992 – أول استخدام لـ LSI لتعيين المقالات للمراجعين ^[32]
• 1994 – تم منح براءة اختراع لتطبيق LSI عبر اللغات (Landauer et al.)
• 1995 – أول استخدام لـ LSI لتصنيف المقالات (Foltz، وآخرون، Landauer وآخرون).
• 1999 – أول تطبيق لتقنية LSI لمجتمع الاستخبارات لتحليل النصوص غير المنظمة ( SAIC ).
• 2002 – تقديم منتجات تعتمد على LSI للوكالات الحكومية القائمة على الاستخبارات (SAIC)

يستخدم LSI تقنيات الجبر الخطي الشائعة لتعلم الارتباطات المفاهيمية في مجموعة من النصوص. بشكل عام، تتضمن العملية إنشاء مصفوفة مصطلحات وثيقة مرجحة، وإجراء تحليل القيمة المفردة على المصفوفة، واستخدام المصفوفة لتحديد المفاهيم الواردة في النص.

يبدأ LSI بإنشاء مصفوفة مصطلح-وثيقة، ، لتحديد حالات ظهور المصطلحات الفريدة ضمن مجموعة من المستندات. في مصفوفة المصطلح-الوثيقة، يتم تمثيل كل مصطلح بواسطة صف، ويتم تمثيل كل مستند بواسطة عمود، مع تمثيل كل خلية مصفوفة، ، في البداية عدد مرات ظهور المصطلح المرتبط في المستند المشار إليه، . عادةً ما تكون هذه المصفوفة كبيرة جدًا ومتفرقة جدًا. ${\displaystyle A}$${\displaystyle m}$${\displaystyle n}$${\displaystyle a_{ij}}$${\displaystyle \mathrm {tf_{ij}} }$

بمجرد إنشاء مصفوفة مصطلح-مستند، يمكن تطبيق وظائف الترجيح المحلية والعالمية عليها لتكييف البيانات. تحول وظائف الترجيح كل خلية، من ، لتكون حاصل ضرب وزن مصطلح محلي، ، الذي يصف التكرار النسبي لمصطلح في مستند، ووزن عالمي، ، الذي يصف التكرار النسبي للمصطلح داخل مجموعة المستندات بالكامل. ${\displaystyle a_{ij}}$${\displaystyle A}$${\displaystyle l_{ij}}$${\displaystyle g_{i}}$

يتم تعريف بعض وظائف الترجيح المحلية الشائعة ^[33] في الجدول التالي.

ثنائي		${\displaystyle l_{ij}=1}$إذا كان المصطلح موجودًا في المستند، وإلا${\displaystyle 0}$
تردد المصطلح		${\displaystyle l_{ij}=\mathrm {tf} _{ij}}$, عدد مرات ظهور المصطلح في المستند${\displaystyle i}$${\displaystyle j}$
سجل		${\displaystyle l_{ij}=\log(\mathrm {tf} _{ij}+1)}$
أوغنورم		${\displaystyle l_{ij}={\frac {{\Big (}{\frac {\mathrm {tf} _{ij}}{\max _{i}(\mathrm {tf} _{ij})}}{\Big )}+1}{2}}}$

يتم تعريف بعض وظائف الترجيح العالمية الشائعة في الجدول التالي.

ثنائي		${\displaystyle g_{i}=1}$
طبيعي		${\displaystyle g_{i}={\frac {1}{\sqrt {\sum _{j}\mathrm {tf} _{ij}^{2}}}}}$
جي إف آي دي إف		${\displaystyle g_{i}=\mathrm {gf} _{i}/\mathrm {df} _{i}}$حيث أن هو العدد الإجمالي لمرات ظهور المصطلح في المجموعة بأكملها، و هو عدد المستندات التي يظهر فيها المصطلح. ${\displaystyle \mathrm {gf} _{i}}$${\displaystyle i}$${\displaystyle \mathrm {df} _{i}}$${\displaystyle i}$
IDF (تردد المستند العكسي)		${\displaystyle g_{i}=\log _{2}{\frac {n}{1+\mathrm {df} _{i}}}}$
إنتروبيا		${\displaystyle g_{i}=1+\sum _{j}{\frac {p_{ij}\log p_{ij}}{\log n}}}$، أين${\displaystyle p_{ij}={\frac {\mathrm {tf} _{ij}}{\mathrm {gf} _{i}}}}$

تشير الدراسات التجريبية التي أجريت باستخدام LSI إلى أن وظائف ترجيح اللوغاريتم والإنتروبيا تعمل بشكل جيد، في الممارسة العملية، مع العديد من مجموعات البيانات. ^[34] بعبارة أخرى، يتم حساب كل إدخال على النحو التالي :${\displaystyle a_{ij}}$${\displaystyle A}$

${\displaystyle g_{i}=1+\sum _{j}{\frac {p_{ij}\log p_{ij}}{\log n}}}$

${\displaystyle a_{ij}=g_{i}\ \log(\mathrm {tf} _{ij}+1)}$

يتم إجراء تحليل القيمة المفردة المخفضة الرتبة على المصفوفة لتحديد الأنماط في العلاقات بين المصطلحات والمفاهيم الواردة في النص. يشكل SVD الأساس لـ LSI. ^[35] فهو يحسب مساحات متجهات المصطلح والوثيقة من خلال تقريب مصفوفة تردد المصطلح الفردية، ، إلى ثلاث مصفوفات أخرى - مصفوفة متجه مصطلح-مفهوم m × r ، ومصفوفة قيم مفردة r × r ، ومصفوفة متجه مفهوم -وثيقة n × r ، ، والتي تلبي العلاقات التالية: ${\displaystyle A}$${\displaystyle T}$${\displaystyle S}$${\displaystyle D}$

${\displaystyle A\approx TSD^{T}}$

${\displaystyle T^{T}T=I_{r}\quad D^{T}D=I_{r}}$

${\displaystyle S_{1,1}\geq S_{2,2}\geq \ldots \geq S_{r,r}>0\quad S_{i,j}=0\;{\text{where}}\;i\neq j}$

في الصيغة، A هي مصفوفة مرجحة m × n من ترددات المصطلحات في مجموعة نصية حيث m هو عدد المصطلحات الفريدة، و n هو عدد المستندات. T هي مصفوفة محسوبة m × r من متجهات المصطلحات حيث r هي رتبة A — مقياس لأبعادها الفريدة ≤ min( m,n ) . S هي مصفوفة قطرية محسوبة r × r من القيم المفردة المتناقصة، و D هي مصفوفة محسوبة n × r من متجهات المستندات.

ثم يتم اقتطاع SVD لتقليل الرتبة من خلال الاحتفاظ فقط بأكبر إدخالات قطرية k «  r في مصفوفة القيمة المفردة S ، حيث يكون k عادةً في الترتيب من 100 إلى 300 بعد. وهذا يقلل فعليًا من أحجام مصفوفة المصطلح ومتجه المستند إلى m × k و n × k على التوالي. إن عملية SVD، جنبًا إلى جنب مع هذا التخفيض، لها تأثير الحفاظ على أهم المعلومات الدلالية في النص مع تقليل الضوضاء والتحف غير المرغوب فيها الأخرى للمساحة الأصلية لـ A. غالبًا ما يتم الإشارة إلى هذه المجموعة المختصرة من المصفوفات بصيغة معدلة مثل:

أ ≈ أ _ك = ت _ك س _ك د _ك ^ت

تحسب خوارزميات LSI الفعّالة فقط أول k من القيم المفردة ومتجهات المصطلح والوثيقة بدلاً من حساب SVD كامل ثم اقتطاعه.

لاحظ أن هذا التخفيض في الرتبة هو في الأساس نفس إجراء تحليل المكونات الأساسية (PCA) على المصفوفة A ، إلا أن تحليل المكونات الأساسية يطرح المتوسطات. يفقد تحليل المكونات الأساسية الندرة الموجودة في المصفوفة A ، مما قد يجعل الأمر غير قابل للتطبيق بالنسبة للمعاجم الكبيرة.

تحدد مصفوفات T _k و D _k المحسوبة فضاءات متجهات المصطلح والوثيقة، والتي تجسد مع القيم المفردة المحسوبة، S _k ، المعلومات المفاهيمية المستمدة من مجموعة المستندات. إن تشابه المصطلحات أو المستندات داخل هذه المساحات هو عامل في مدى قربها من بعضها البعض في هذه المساحات، ويتم حسابه عادةً كدالة للزاوية بين المتجهات المقابلة.

تُستخدم نفس الخطوات لتحديد المتجهات التي تمثل نص الاستعلامات والمستندات الجديدة داخل مساحة المستند لمؤشر LSI الحالي. من خلال تحويل بسيط لمعادلة A = TSD ^T إلى المعادلة المكافئة D = A ^T TS ⁻¹ ، يمكن إنشاء متجه جديد، d ، للاستعلام أو للمستند الجديد عن طريق حساب عمود جديد في A ثم ضرب العمود الجديد في TS ⁻¹ . يتم حساب العمود الجديد في A باستخدام أوزان المصطلحات العالمية المشتقة في الأصل وتطبيق نفس دالة الترجيح المحلية على المصطلحات في الاستعلام أو في المستند الجديد.

من عيوب حساب المتجهات بهذه الطريقة، عند إضافة مستندات جديدة قابلة للبحث، هو تجاهل المصطلحات التي لم تكن معروفة أثناء مرحلة SVD للفهرس الأصلي. لن يكون لهذه المصطلحات أي تأثير على الأوزان العالمية والارتباطات المكتسبة المستمدة من المجموعة الأصلية للنص. ومع ذلك، لا تزال المتجهات المحسوبة للنص الجديد ذات أهمية كبيرة لمقارنات التشابه مع جميع متجهات المستندات الأخرى.

تُسمى عملية زيادة مساحات متجه المستندات لمؤشر LSI بمستندات جديدة بهذه الطريقة بالطي . وعلى الرغم من أن عملية الطي لا تأخذ في الاعتبار المحتوى الدلالي الجديد للنص الجديد، فإن إضافة عدد كبير من المستندات بهذه الطريقة ستظل توفر نتائج جيدة للاستعلامات طالما أن المصطلحات والمفاهيم التي تحتوي عليها ممثلة بشكل جيد داخل مؤشر LSI الذي تتم إضافتها إليه. عندما تكون هناك حاجة إلى تضمين مصطلحات ومفاهيم مجموعة جديدة من المستندات في مؤشر LSI، فيجب إعادة حساب مصفوفة المصطلحات والمفاهيم وSVD أو تكون هناك حاجة إلى طريقة تحديث تدريجي (مثل تلك الموضحة في ^[14] ).

من المعروف عمومًا أن القدرة على العمل مع النص على أساس دلالي أمر ضروري لأنظمة استرجاع المعلومات الحديثة. ونتيجة لذلك، توسع استخدام LSI بشكل كبير في السنوات الأخيرة مع التغلب على التحديات السابقة في قابلية التوسع والأداء.

يتم استخدام LSI في مجموعة متنوعة من تطبيقات استرجاع المعلومات ومعالجة النصوص، على الرغم من أن تطبيقه الأساسي كان للبحث عن المفاهيم وتصنيف المستندات تلقائيًا. ^[36] فيما يلي بعض الطرق الأخرى التي يتم بها استخدام LSI:

• اكتشاف المعلومات ^[37] ( الاكتشاف الإلكتروني ، مجتمع الحكومة/الاستخبارات، النشر)
• تصنيف المستندات الآلي (الاكتشاف الإلكتروني، مجتمع الحكومة/الاستخبارات، النشر) ^[38]
• تلخيص النص ^[39] (الاكتشاف الإلكتروني، النشر)
• اكتشاف العلاقات ^[40] (الحكومة، مجتمع الاستخبارات، الشبكات الاجتماعية)
• التوليد التلقائي لمخططات الارتباط للأفراد والمنظمات ^[41] (الحكومة ومجتمع الاستخبارات)
• مطابقة الأوراق الفنية والمنح مع المراجعين ^[42] (الحكومة)
• دعم العملاء عبر الإنترنت ^[43] (إدارة العملاء)
• تحديد مؤلف الوثيقة ^[44] (التعليم)
• التعليق التلقائي على الكلمات الرئيسية للصور ^[45]
• فهم الكود المصدر للبرمجيات ^[46] (هندسة البرمجيات)
• تصفية البريد العشوائي ^[47] (إدارة النظام)
• تصور المعلومات ^[48]
• تقييم المقالات ^[49] (التعليم)
• الاكتشاف المبني على الأدب ^[50]
• التنبؤ بعائدات الأسهم ^[7]
• تحليل محتوى الحلم (علم النفس) ^[8]

تُستخدم تقنية LSI بشكل متزايد في اكتشاف المستندات الإلكترونية (eDiscovery) لمساعدة الشركات على الاستعداد للمقاضاة. في تقنية eDiscovery، تعد القدرة على تجميع وتصنيف والبحث في مجموعات كبيرة من النصوص غير المنظمة على أساس مفاهيمي أمرًا ضروريًا. تم تطبيق البحث القائم على المفاهيم باستخدام تقنية LSI على عملية eDiscovery من قبل مقدمي الخدمات الرائدين منذ عام 2003. ^[51]

ركزت التحديات المبكرة التي واجهت تقنية LSI على قابلية التوسع والأداء. تتطلب تقنية LSI أداءً حسابيًا وذاكرة مرتفعين نسبيًا مقارنة بتقنيات استرجاع المعلومات الأخرى. ^[52] ومع ذلك، مع تنفيذ المعالجات الحديثة عالية السرعة وتوافر الذاكرة غير المكلفة، تم التغلب على هذه الاعتبارات إلى حد كبير. التطبيقات في العالم الحقيقي التي تنطوي على أكثر من 30 مليون مستند تمت معالجتها بالكامل من خلال حسابات المصفوفة وSVD شائعة في بعض تطبيقات LSI. يتضمن برنامج gensim مفتوح المصدر تنفيذًا قابلًا للتوسع بالكامل (عدد غير محدود من المستندات والتدريب عبر الإنترنت) لتقنية LSI. ^[53]

كان التحدي الآخر الذي واجه LSI هو الصعوبة المزعومة في تحديد العدد الأمثل للأبعاد التي يجب استخدامها لإجراء SVD. كقاعدة عامة، يسمح عدد أقل من الأبعاد بإجراء مقارنات أوسع للمفاهيم الواردة في مجموعة من النصوص، بينما يتيح عدد أكبر من الأبعاد إجراء مقارنات أكثر تحديدًا (أو أكثر صلة) للمفاهيم. العدد الفعلي للأبعاد التي يمكن استخدامها محدود بعدد المستندات الموجودة في المجموعة. وقد أظهرت الأبحاث أن حوالي 300 بُعد ستوفر عادةً أفضل النتائج مع مجموعات المستندات متوسطة الحجم (مئات الآلاف من المستندات) وربما 400 بُعد لمجموعات المستندات الأكبر (ملايين المستندات). ^[54] ومع ذلك، تشير الدراسات الحديثة إلى أن 50-1000 بُعد مناسبة اعتمادًا على حجم وطبيعة مجموعة المستندات. ^[55] إن التحقق من نسبة التباين المحتفظ بها، على غرار تحليل المكونات الرئيسية أو تحليل العوامل ، لتحديد الأبعاد المثلى ليس مناسبًا لـ LSI. يعد استخدام اختبار المرادفات أو التنبؤ بالكلمات المفقودة طريقتين محتملتين للعثور على الأبعاد الصحيحة. ^[56] عندما يتم استخدام موضوعات LSI كميزات في طرق التعلم الخاضع للإشراف، يمكن للمرء استخدام قياسات خطأ التنبؤ للعثور على الأبعاد المثالية.

• كوه-ميتريكس
• معالجة المصطلحات المركبة
• دلالات التوزيع
• التحليل الدلالي الصريح
• رسم الخرائط الدلالية الكامنة
• فهرسة البنية الدلالية الكامنة
• تحليل المكونات الرئيسية
• التحليل الدلالي الكامن الاحتمالي
• سبامديكسينج
• متجه الكلمات
• نموذج الموضوع
  • تخصيص ديريتشليت الكامن

• لانداور، توماس ؛ فولتز، بيتر دبليو؛ لاهام، داريل (1998). "مقدمة إلى التحليل الدلالي الكامن" (PDF) . عمليات الخطاب . 25 (2-3): 259-284. CiteSeerX  10.1.1.125.109 . doi :10.1080/01638539809545028. S2CID  16625196.
• Deerwester, Scott ; Dumais, Susan T .; Furnas, George W .; Landauer, Thomas K .; Harshman, Richard (1990). "الفهرسة بواسطة التحليل الدلالي الكامن" (PDF) . مجلة الجمعية الأمريكية لعلوم المعلومات . 41 (6): 391–407. CiteSeerX  10.1.1.33.2447 . doi :10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9. مؤرشف من الأصل (PDF) في 2012-07-17.المقال الأصلي حيث تم الكشف عن النموذج لأول مرة.
• بيري، مايكل ؛ دومايس، سوزان ت.؛ أوبراين، جافين دبليو. (1995). "استخدام الجبر الخطي لاسترجاع المعلومات الذكية".(PDF) محفوظ في 2018-11-23 على موقع Wayback Machine . رسم توضيحي لتطبيق LSA في استرجاع المستندات.
• تشيكو، د؛ ماسيرولي، م (2015). "مجموعة برامج للتنبؤ بتعليقات الجينات والبروتينات والبحث عن التشابه". معاملات IEEE/ACM في علم الأحياء الحاسوبي وعلم المعلومات الحيوية . 12 (4): 837-843. doi :10.1109/TCBB.2014.2382127. hdl : 11311/959408 . PMID  26357324. S2CID  14714823.
• "التحليل الدلالي الكامن". InfoVis. مؤرشف من الأصل في 2020-02-18 . تم الاسترجاع في 2005-07-01 .
• Fridolin Wild (23 نوفمبر 2005). "حزمة LSA مفتوحة المصدر لـ R". CRAN . تم الاسترجاع في 20 نوفمبر 2006 .
• توماس لانداور ، سوزان ت. دومايس . "حل لمشكلة أفلاطون: نظرية التحليل الدلالي الكامن لاكتساب المعرفة واستقراءها وتمثيلها" . تم الاسترجاع في 2007-07-02 .

• التحليل الدلالي الكامن، مقالة في موسوعة علمية حول التحليل الدلالي الكامن كتبها توم لانداور، أحد مؤسسي التحليل الدلالي الكامن.

• نظرة عامة على LSA، محاضرة للأستاذ الدكتور توماس هوفمان أرشيف 2017-12-22 على موقع Wayback Machine تصف LSA وتطبيقاتها في استرجاع المعلومات وارتباطاتها بالتحليل الدلالي الكامن الاحتمالي .
• نموذج كود LSA كامل بلغة C# لنظام Windows. يتضمن الكود التجريبي ترقيم ملفات النصوص، وتصفية الكلمات المتوقفة، والتقسيم، وإنشاء مصفوفة مستند-مصطلح، وتحليل القيمة المفردة.

بفضل تطبيقاتها عبر المجالات في استرجاع المعلومات ومعالجة اللغة الطبيعية (NLP) والعلوم المعرفية واللغويات الحاسوبية ، تم تنفيذ LSA لدعم العديد من أنواع التطبيقات المختلفة.

• Sense Clusters، تنفيذ Perl موجه لاسترجاع المعلومات من LSA
• حزمة S-Space، وهي عبارة عن تطبيق Java موجه نحو اللغويات الحاسوبية والعلوم المعرفية لـ LSA
• تطبق Semantic Vectors الإسقاط العشوائي وLSA والفهرسة العشوائية العاكسة على مصفوفات المستندات المصطلحية في Lucene
• مشروع Infomap، وهو تنفيذ C موجه نحو معالجة اللغة الطبيعية لـ LSA (تم استبداله بمشروع semanticvectors)
• مولد النص إلى مصفوفة محفوظ في 2013-01-07 على archive.today ، مجموعة أدوات MATLAB لتوليد مصفوفات المستندات المصطلحية من مجموعات النصوص، مع دعم LSA
• يحتوي Gensim على تنفيذ Python لـ LSA للمصفوفات الأكبر من RAM.