الدرس 18: المعالجة الحاسوبية للهجات العربية

Arap Lehçelerinin Bilgisayarlı İşlenmesi

المدونات، التمييز الآلي للهجات، أدوات التحليل

أهداف الدرس

• يتعرّف الطالب على المدونات اللهجية المتاحة.
• يفهم مبدأ التمييز الآلي بين اللهجات.
• يستعمل أداة بسيطة لتحليل مدونة صغيرة.

المتن

دخل علم اللهجات طورًا جديدًا مع اتساع المعالجة الآلية للغة. فقد بُنيت مدونات لهجية كبرى مثل مشروع MADAR الذي يغطي عشرات المدن العربية بجمل متوازية، ومدونة القاهرة المشروحة، ومجموعات نصوص مستخرجة من وسائل التواصل موسومة بالمدينة. وتتيح هذه المدونات مهامّ لم تكن ممكنة من قبل: التمييز الآلي بين اللهجات وهو تصنيف نصٍّ إلى لهجته على مستوى القُطر أو المدينة، والوسم الصرفي لنصوص عامية، والترجمة الآلية بين لهجة وأخرى أو بينها وبين الفصحى، والتعرف على الكلام المنطوق باللهجة. والمشكلات التي تواجه هذا العمل معروفة: غياب إملاء موحّد للعامية، وتداخل المفردات بين اللهجات المتجاورة، وقلة البيانات الموسومة يدويًّا، وحضور التناوب اللغوي داخل النص الواحد. ودور الباحث اللهجي هنا محوري لا هامشي، فهو من يقدّم المعرفة اللغوية التي تحدد المعالم المميِّزة، ومن يراجع جودة الوسم، ومن ينبّه إلى أن النموذج الإحصائي قد يصنّف بدقة عالية دون أن يفسّر شيئًا. فالتفسير يبقى عملًا لغويًّا.

الأفكار الرئيسة

• المدونات الموازية غيّرت إمكانات البحث اللهجي.
• التمييز الآلي مهمة أساسية وتطبيقاتها واسعة.
• غياب الإملاء الموحّد أكبر عائق عملي.
• الدقة الإحصائية لا تُغني عن التفسير اللغوي.

مباحث مختصرة

• المدونات اللهجية الكبرى: MADAR وNADI وما بعدهما: يُعدّ مشروع MADAR (Multi-Arabic Dialect Applications and Resources) من أهم المدونات اللهجية العربية المعاصرة، وقد طوّره فريق بقيادة هُدى بوعمر وزملائها بالتعاون بين عدة مؤسسات، ويغطي عشرات المدن العربية بجمل متوازية مترجمة من الإنجليزية إلى كل لهجة على حدة، مما يتيح مقارنة مباشرة لكيفية تعبير كل مدينة عن المعنى نفسه، وهو ما يسمى بالمدونة الموازية (parallel corpus)، وقد وُصف في ورقة بوعمر وزملائها بعنوان «The MADAR Arabic Dialect Corpus and Lexicon». وإلى جانب MADAR، توجد سلسلة مسابقات وورش عمل NADI (Nuanced Arabic Dialect Identification) التي تنظَّم سنويًّا ضمن مؤتمرات المعالجة الحاسوبية للعربية، وتركز على مهمة تصنيف النصوص إلى بلدانها أو حتى مدنها بدقة أعلى من التصنيف القطري الخشن، وتتيح للباحثين مقارنة أداء نماذج مختلفة على بيانات موحدة، وهو ما يرفع من جودة المقارنة العلمية بين الطرق المختلفة.
• مبادئ التمييز الآلي بين اللهجات: من الخوارزميات الإحصائية إلى الشبكات العصبية: يقوم التمييز الآلي بين اللهجات (Automatic Dialect Identification) على مبدأ تصنيف نص مكتوب أو مقطع صوتي إلى فئة لهجية محددة اعتمادًا على سمات مميزة يتعلمها النموذج من بيانات موسومة سلفًا. وقد بدأت هذه المهمة بطرق إحصائية تقليدية تعتمد على تواتر الكلمات ومقاطعها (n-grams)، حيث يتعلم النموذج أن ظهور كلمات بعينها كـ«شلون» يرجّح التصنيف الخليجي أو العراقي، وظهور «إزيك» يرجّح المصري، وظهور «واش» يرجّح المغاربي، وهذه الطريقة وصفتها أوراق زيدان وكاليسون-بيرش المبكرة في هذا المجال.
• التحديات الخاصة بمعالجة العامية العربية حاسوبيًّا: تواجه معالجة العامية العربية آليًّا مجموعة من التحديات المتفردة نسبيًّا مقارنة بلغات أخرى كثيرة، أبرزها غياب معيار إملائي موحد للعامية، فالكلمة الواحدة قد تُكتب بعشرات الصور المختلفة باختلاف الكاتب، ما يشتت البيانات الإحصائية ويصعّب مهمة التطبيع النصي (text normalization) التي تسبق أي معالجة أخرى. ويضاف إلى ذلك التداخل المعجمي بين اللهجات المتجاورة، فكثير من الألفاظ مشترك بين الشامية والعراقية مثلًا بدرجات متفاوتة، ما يجعل حدود التصنيف احتمالية لا قطعية، وهو ما درسه نزار حبش في كتابه «مدخل إلى معالجة العربية الطبيعية» (Introduction to Arabic Natural Language Processing) بوصفه سمة بنيوية للاستمرارية اللهجية (dialect continuum) لا خللًا تقنيًّا يمكن حله بمزيد من البيانات فحسب.
• دور الباحث اللغوي التقليدي في مشاريع المعالجة الحاسوبية: قد يظن بعض الطلاب أن المعالجة الحاسوبية للغة مجال تقني بحت لا حاجة فيه لخبرة اللغوي الوصفي التقليدي، وهذا تصور خاطئ تمامًا. فدور اللغوي محوري في مراحل متعددة من المشروع: في مرحلة التصميم يحدد اللغوي السمات المميزة (features) التي ينبغي أن ينتبه إليها النموذج، معتمدًا على معرفته العميقة بالفروق الصوتية والصرفية والمعجمية بين اللهجات، وهذه المعرفة تختصر كثيرًا من الوقت الذي يُهدَر لو تُرك النموذج ليكتشف كل شيء من الصفر إحصائيًّا.

مصطلحات أساسية

أمثلة حيّة

• ما هذا؟ (Bu ne?): مصر (سمة تمييزية آلية معتمدة): «ده إيه ده؟»، الشام (سمة تمييزية آلية معتمدة): «شو هاد؟»، الخليج: «شنو هذا؟»، العراق: «شنو هاي؟»
• لن أذهب غدًا (Yarın gitmeyeceğim): مصر: «مش هروح بكرة»، الشام: «ما رح روح بكرا»، المغرب: «ما غاديش نمشي غدا»، العراق: «ماراح أروح باچر»
• مشروع MADAR: «25 مدينة عربية × 2000 جملة موازية». مدوّنة موازية تتيح المقارنة المعجمية والصرفية آليًّا بين المدن: نقلة من الوصف الفردي إلى القياس الشامل.
• NADI shared task: «تمييز آلي للهجة على مستوى المدينة». دقة التمييز تنخفض كلما دقّت الوحدة الجغرافية؛ نتيجة لها دلالة لسانية لا هندسية فقط.
• MADAMIRA / CAMeL Tools: «تحليل صرفي آلي للمصرية والمشرقية». أدوات جاهزة يمكن لطالب الماجستير استعمالها دون برمجة عميقة.

دراسة حالة: محاولة تمييز آلي مبسّطة بين لهجتين متجاورتين

توضح هذه التجربة المصغرة الفارق الجوهري بين السمة اللغوية التمييزية الحقيقية والسمة الموضوعية العرضية المرتبطة بمحتوى العينة لا بهوية المتحدث اللهجية. فأداتا النفي والاستفهام سمتان صرفيتان معروفتان في الأدبيات الوصفية التقليدية، وثبات تمييزهما إحصائيًّا عبر عينات اختبار مختلفة المصدر يؤكد صحتهما اللغوية الحقيقية، بخلاف كلمة «مباراة» التي بدت مميزة إحصائيًّا في العينة الأصلية فقط بسبب تحيز موضوعي عرضي، وانهيار قوتها التمييزية في عينة اختبار من مصدر مختلف يكشف زيف تمييزها.

تصويب مفاهيم شائعة

• ❌ دقة تصنيف آلي عالية تعني بالضرورة أن النموذج فهم الفروق اللغوية الحقيقية بين اللهجات.
  ✅ قد يحقق النموذج دقة عالية اعتمادًا على سمات سطحية أو موضوعية عرضية (topic bias) لا على فروق لغوية بنيوية حقيقية، ولا يثبت الفهم اللغوي إلا اختبار السمات على عينات مستقلة الموضوع والمصدر مع تحقق لغوي وصفي مواز.
• ❌ المدونات اللهجية المبنية على ترجمة جمل من الإنجليزية تمثل اللهجة الشفوية العفوية تمثيلًا كاملًا.
  ✅ الترجمة المقصودة بواسطة متحدثين واعين بأنهم يترجمون قد تُدخل تأثيرًا من الفصحى أو من بنية اللغة المصدر في اختياراتهم، فهي مفيدة للمقارنة المنهجية لكنها ليست بديلًا كاملًا عن الكلام العفوي المسجَّل ميدانيًّا.

اختبر نفسك

1. أكبر عائق عملي أمام معالجة العامية آليًّا:
   a) أ. قلة المتحدثين   b) ب. غياب إملاء موحّد   c) ج. صعوبة النحو   d) د. قلة الحواسيب
   الإجابة: b — الكلمة الواحدة تُكتب بصور متعددة فتتشتت البيانات.
2. دور الباحث اللهجي في المشاريع الحاسوبية:
   a) أ. هامشي   b) ب. تحديد المعالم المميِّزة ومراجعة الوسم والتفسير   c) ج. البرمجة فقط   d) د. جمع التمويل
   الإجابة: b — المعرفة اللغوية هي التي تمنح النموذج معناه وتفسيره.
3. ما المقصود بظاهرة «الانحياز إلى الموضوع» (topic bias) في مشاريع التمييز الآلي بين اللهجات؟
   a) أ. تفضيل النموذج للهجة واحدة فقط دون غيرها   b) ب. ارتباط كلمة إحصائيًّا بموضوع العينة العرضي لا بهوية اللهجة الحقيقية   c) ج. عدم توفر بيانات كافية لأي لهجة   d) د. خطأ في برمجة الخوارزمية فقط
   الإجابة: b — قد تبدو كلمة مميزة إحصائيًّا لأن موضوع العينة اقتضاها لا لأنها فعلًا سمة لهجية، وهذا يزول عند اختبارها على عينة مختلفة الموضوع.
4. لماذا لا تُعدّ المدونات المبنية على ترجمة جمل من الإنجليزية بديلًا كاملًا عن التسجيل الميداني العفوي؟
   a) أ. لأنها أصغر حجمًا دائمًا   b) ب. لأن وعي المترجم بأنه يترجم قد يُدخل تأثيرًا من الفصحى أو من بنية اللغة المصدر   c) ج. لأنها لا تحتوي على نصوص مكتوبة   d) د. لأنها مقصورة على لهجة واحدة فقط
   الإجابة: b — الترجمة المقصودة سياق مختلف عن الكلام العفوي الطبيعي، فقد تنحرف الاختيارات اللغوية عن الاستعمال اليومي الحر.
5. ما الدور الذي يؤكده نزار حبش للغوي التقليدي في مشاريع المعالجة الحاسوبية للعربية؟
   a) أ. لا دور له، فالمهمة تقنية بحتة   b) ب. تحديد السمات المميزة ومراجعة الوسم وتفسير النتائج تفسيرًا لغويًّا   c) ج. كتابة الشيفرة البرمجية فقط   d) د. تمويل المشروع وإدارته الإدارية
   الإجابة: b — أفضل المشاريع تجمع بين الخبرة التقنية والخبرة اللغوية الوصفية جمعًا حقيقيًّا متكاملًا لا شكليًّا.

للنقاش في الحلقة

تصميم مدونة صغيرة للهجة محلية: المعايير والتحديات والأخلاقيات.

قراءات مقترحة

• Bouamor et al., The MADAR Arabic Dialect Corpus and Lexicon.
• Habash, Introduction to Arabic Natural Language Processing.
• Zaidan & Callison-Burch, Arabic Dialect Identification.