Arap Lehçelerinin Bilgisayarlı İşlenmesi
الأسبوع 13 · المحور الرابع — التطبيقات والبحث · ٤ ساعات
1
دخل علم اللهجات طورًا جديدًا مع اتساع المعالجة الآلية للغة. فقد بُنيت مدونات لهجية كبرى مثل مشروع MADAR الذي يغطي عشرات المدن العربية بجمل متوازية، ومدونة القاهرة المشروحة، ومجموعات نصوص مستخرجة من وسائل التواصل موسومة بالمدينة. وتتيح هذه المدونات مهامّ لم تكن ممكنة من قبل: التمييز الآلي بين اللهجات وهو تصنيف نصٍّ إلى لهجته على مستوى القُطر أو المدينة، والوسم الصرفي لنصوص عامية، والترجمة الآلية بين لهجة وأخرى أو بينها وبين الفصحى…
Dilbilim bilimi, doğal dil işlemenin yaygınlaşmasıyla yeni bir evreye girdi. Arap şehirlerinin onlarca kapsayan MADAR projesi, açıklanmış Kahire lehçe derlemi ve şehir etiketli sosyal medya metin grupları gibi büyük lehçe derlemleri oluşturuldu. Bu derlemler daha önce mümkün olmayan görevleri mümkün kılıyor: Lehçeler arasında otomatik ayrım (bir metni il veya şehir seviyesinde lehçesine göre sınıflandırma), halk dilindeki metinlerin morfolojik etiketlenmesi ve bir lehçe ile başka bir lehçe veya edebi Arapça arasında makine çevirisi.
2
1. المدونات الموازية غيّرت إمكانات البحث اللهجي. 2. التمييز الآلي مهمة أساسية وتطبيقاتها واسعة. 3. غياب الإملاء الموحّد أكبر عائق عملي. 4. الدقة الإحصائية لا تُغني عن التفسير اللغوي.
1. Paralel bloglar lehçe aramalarının potansiyelini değiştirdi. 2. Otomatik ayırt etme temel bir görevdir ve uygulamaları geniştir. 3. Birleşik imlanın olmaması en büyük pratik engeldir. 4. İstatistiksel doğruluk dilsel yorumlamanın yerini tutmaz.
3
يُعدّ مشروع MADAR (Multi-Arabic Dialect Applications and Resources) من أهم المدونات اللهجية العربية المعاصرة، وقد طوّره فريق بقيادة هُدى بوعمر وزملائها بالتعاون بين عدة مؤسسات، ويغطي عشرات المدن العربية بجمل متوازية مترجمة من الإنجليزية إلى كل لهجة على حدة، مما يتيح مقارنة مباشرة لكيفية تعبير كل مدينة عن المعنى نفسه، وهو ما يسمى بالمدونة الموازية (parallel corpus)، وقد وُصف في ورقة بوعمر وزملائها بعنوان «The MADAR Arabic Dialect Corpus and Lexicon». وإلى…
MADAR (Çoklu Arapça Lehçe Uygulamaları ve Kaynakları) projesi, günümüzün en önemli Arap lehçeleri veri tabanlarından biri olup, Huda Bouammar ve meslektaşlarının liderliğindeki bir ekip tarafından çeşitli kurumların işbirliğiyle geliştirilmiştir. Proje, İngilizce'den her bir lehçeye ayrı ayrı çevrilmiş paralel cümlelerle onlarca Arap şehrini kapsamaktadır. Bu, her şehrin aynı anlamı nasıl ifade ettiğini doğrudan karşılaştırma imkanı sunar ki buna paralel veri tabanı (parallel corpus) denir. Bu durum, Bouammar ve arkadaşlarının "The MADAR Arabic Dialect Corpus and Lexicon" başlıklı makalesinde açıklanmıştır. Ve devamla…
4
يقوم التمييز الآلي بين اللهجات (Automatic Dialect Identification) على مبدأ تصنيف نص مكتوب أو مقطع صوتي إلى فئة لهجية محددة اعتمادًا على سمات مميزة يتعلمها النموذج من بيانات موسومة سلفًا. وقد بدأت هذه المهمة بطرق إحصائية تقليدية تعتمد على تواتر الكلمات ومقاطعها (n-grams)، حيث يتعلم النموذج أن ظهور كلمات بعينها كـ«شلون» يرجّح التصنيف الخليجي أو العراقي، وظهور «إزيك» يرجّح المصري، وظهور «واش» يرجّح المغاربي، وهذه الطريقة وصفتها أوراق زيدان وكاليسون-بيرش المبكرة في…
Otomatik Lehçe Tanımlama (Automatic Dialect Identification), önceden etiketlenmiş verilerden öğrenilen ayırt edici özelliklere dayanarak yazılı bir metni veya ses kaydını belirli bir lehçe kategorisine sınıflandırma ilkesine dayanır. Bu görev, kelime ve kelime öbeklerinin (n-gram) sıklığına dayanan geleneksel istatistiksel yöntemlerle başlamıştır. Model, "شلون" (şلون - nasıl) gibi belirli kelimelerin ortaya çıkmasının Körfez veya Irak lehçesi olarak sınıflandırmayı olası kıldığını, "إزيك" (izik - nasıl) kelimesinin Mısır lehçesini, "واش" (vaş - ne) kelimesinin ise Mağrip lehçesini olası kıldığını öğrenir. Bu yöntem, Zaidan ve Callison-Birch'in erken makalelerinde…
5
تواجه معالجة العامية العربية آليًّا مجموعة من التحديات المتفردة نسبيًّا مقارنة بلغات أخرى كثيرة، أبرزها غياب معيار إملائي موحد للعامية، فالكلمة الواحدة قد تُكتب بعشرات الصور المختلفة باختلاف الكاتب، ما يشتت البيانات الإحصائية ويصعّب مهمة التطبيع النصي (text normalization) التي تسبق أي معالجة أخرى. ويضاف إلى ذلك التداخل المعجمي بين اللهجات المتجاورة، فكثير من الألفاظ مشترك بين الشامية والعراقية مثلًا بدرجات متفاوتة، ما يجعل حدود التصنيف احتمالية لا قطعية، وهو ما درسه…
Arapça lehçelerinin makine tarafından işlenmesi, diğer birçok dile kıyasla nispeten kendine özgü zorluklarla karşı karşıyadır. Bunların en belirginleri, lehçeler için birleşik bir yazım standardının olmamasıdır. Aynı kelime, yazan kişiye göre düzinelerce farklı şekilde yazılabildiği için bu, istatistiksel verileri dağıtır ve başka herhangi bir işlemeden önce gelen metin normalleştirme görevini zorlaştırır. Buna ek olarak, komşu lehçeler arasındaki sözcüksel örtüşmeler de vardır; örneğin, Şami ve Irak lehçeleri arasında birçok kelime farklı derecelerde ortaktır, bu da sınıflandırma sınırlarını kesin değil olasılıksal hale getirir. Bu durum incelenmiştir…
6
تجربة توضيحية مصغرة على عينة افتراضية من ثلاثمئة تعليق من منصة تواصل اجتماعي، موزعة بالتساوي بين متحدثين يُرجَّح انتماؤهم إلى مصر والشام بحسب أداة النفي المستعملة. توضح هذه التجربة المصغرة الفارق الجوهري بين السمة اللغوية التمييزية الحقيقية والسمة الموضوعية العرضية المرتبطة بمحتوى العينة لا بهوية المتحدث اللهجية. فأداتا النفي والاستفهام سمتان صرفيتان معروفتان في الأدبيات الوصفية التقليدية، وثبات تمييزهما إحصائيًّا عبر عينات اختبار مختلفة المصدر يؤكد صحتهما اللغوية الحقيقية، بخلاف كلمة «مباراة»…
Sosyal medya platformundan alınan, kullanılan olumsuzlama aracına göre Mısır ve Levant kökenli olduğu muhtemel konuşmacılar arasında eşit olarak dağıtılmış 300 yorumdan oluşan sanal bir örneklem üzerinde küçük bir gösterim deneyi. Bu küçük deney, gerçek ayırt edici dilsel özellik ile lehçe konuşmacısının kimliğinden ziyade örneklemin içeriğiyle ilişkili rastgele nesnel özellik arasındaki temel farkı göstermektedir. Olumsuzlama ve soru araçları, geleneksel betimleyici literatürde bilinen iki morfolojik özelliktir ve farklı kaynaklardan gelen test örneklemleri aracılığıyla ayırt ediciliklerinin istatistiksel olarak doğrulanması, "maç" kelimesinin aksine dilsel geçerliliklerini teyit etmektedir...
7
التصور الخاطئ: دقة تصنيف آلي عالية تعني بالضرورة أن النموذج فهم الفروق اللغوية الحقيقية بين اللهجات. والتصحيح العلمي: قد يحقق النموذج دقة عالية اعتمادًا على سمات سطحية أو موضوعية عرضية (topic bias) لا على فروق لغوية بنيوية حقيقية، ولا يثبت الفهم اللغوي إلا اختبار السمات على عينات مستقلة الموضوع والمصدر مع تحقق لغوي وصفي مواز.
Yanlış Anlama: Yüksek bir otomatik sınıflandırma doğruluğu, modelin lehçeler arasındaki gerçek dilsel farkları anladığı anlamına gelmez. Bilimsel Düzeltme: Model, gerçek yapısal dilsel farklılıklardan ziyade yüzeysel özelliklere veya konu yanlılığına (topic bias) bağlı olarak yüksek doğruluk elde edebilir. Dilsel anlayış ancak, konu ve kaynaktan bağımsız örneklerde, eşzamanlı betimleyici dilsel doğrulama ile özelliklerin test edilmesiyle kanıtlanabilir.
8
ابنِ مدوّنة من 2000 كلمة من لهجة قليلة الموارد (ماردين مثلًا)، ووحّد تهجئتها، وأنتج قائمة تكرار لأكثر 50 كلمة، وناقش ما تكشفه.
Mardin gibi az kaynaklı bir lehçeden 2000 kelimelik bir blog yazısı oluşturun, yazımını standartlaştırın, en sık kullanılan 50 kelime için bir frekans listesi oluşturun ve bu listenin neler ortaya koyduğunu tartışın.
| المصطلح | Terim | التعريف |
|---|---|---|
| المدونة الموازية | Paralel derlem | نصوص متقابلة بلهجات متعددة تُتيح المقارنة. |
| التمييز الآلي للهجة | Otomatik lehçe tanıma | تصنيف نص إلى لهجته آليًّا. |
| الوسم الصرفي | Biçimbirimsel etiketleme | تحديد قسم الكلمة وسماتها آليًّا. |
| المعلم المميِّز | Ayırt edici öznitelik | عنصر لغوي يرجّح انتماء النص إلى لهجة. |
| المدونة الموازية | Paralel derlem | نصوص متقابلة المعنى بلهجات أو لغات متعددة تُتيح مقارنة مباشرة بين طرق التعبير. |
| التطبيع النصي | Metin normalizasyonu | توحيد الصور الكتابية المختلفة للكلمة الواحدة قبل المعالجة الإحصائية. |
| الخطوة | الأداة المقترحة | المخرج |
|---|---|---|
| الجمع | تسجيل ميداني / شبكات | ملفات صوت أو نصوص |
| التفريغ | ELAN / Praat | نص متزامن مع الصوت |
| توحيد التهجئة | معيار CODA | نص قابل للمعالجة |
| الوسم | CAMeL Tools | وسوم صرفية |
| التحليل | جداول تكرار | نتائج كمية |
حلقة النقاش: تصميم مدونة صغيرة للهجة محلية: المعايير والتحديات والأخلاقيات.