أداة “DeBERTa”: أقوى أنظمة الإجابة على الأسئلة بالذكاء الاصطناعي

تُعد أنظمة الإجابة على الأسئلة (QA) من Microsoft Research، المبنية على نماذج Turing-NLR وDeBERTa، من أبرز الابتكارات في مجال معالجة اللغة الطبيعية. تتميز هذه الأنظمة بقدرتها على فهم السياقات المعقدة وتقديم إجابات دقيقة، مما يجعلها أدوات فعّالة في البحث الأكاديمي والتعليم العالي.

• نظرة عامة على DeBERTa

DeBERTa (Decoding-enhanced BERT with Disentangled Attention) هو نموذج لغوي متقدم يُحسّن من أداء نماذج BERT وRoBERTa من خلال تقنيتين مبتكرتين:

1. آلية الانتباه المفكك (Disentangled Attention): يتم تمثيل كل كلمة باستخدام متجهين منفصلين يُشفّران المحتوى والموقع على التوالي، مما يُحسّن من فهم العلاقات بين الكلمات في السياق.
2. مُرمّز القناع المحسّن (Enhanced Mask Decoder): يُدمج معلومات الموقع المطلق في طبقة التشفير لتحسين التنبؤ بالكلمات المُقنّعة أثناء مرحلة ما قبل التدريب.

تُظهر نتائج DeBERTa أداء متفوقا على مجموعة من المهام المعيارية، مثل MNLI وSQuAD v2.0 وRACE، متجاوزا أداء النماذج السابقة وحتى الأداء البشري في بعض الحالات .(ADS)

1. آلية الانتباه المفكك

تُعد هذه الآلية تطورا مهما في نماذج اللغة، حيث تُفصل بين تمثيلات المحتوى والموقع للكلمات، مما يُتيح للنموذج فهما أعمق للعلاقات السياقية. هذا الفصل يُحسّن من قدرة النموذج على التعامل مع التراكيب اللغوية المعقدة.

2. مُرمّز القناع المحسّن

من خلال دمج معلومات الموقع المطلق في طبقة التشفير، يُحسّن DeBERTa من دقة التنبؤ بالكلمات المُقنّعة، مما يُعزز من جودة التمثيلات السياقية المُتعلّمة أثناء مرحلة ما قبل التدريب.

3. التدريب الافتراضي العدائي (Virtual Adversarial Training)

يُستخدم هذا الأسلوب لتحسين تعميم النموذج، حيث يُضيف تشويشا طفيفا إلى المدخلات أثناء التدريب، مما يجعل النموذج أكثر استقرارا وقدرة على التعامل مع بيانات غير مرئية.

التطبيقات البحثية

تُستخدم أنظمة QA المبنية على DeBERTa في مجالات متعددة، منها:(GitHub)

• هندسة البرمجيات: تحليل الشيفرات المصدرية وتوليد الوثائق التلقائية.
• علوم الحاسوب: فهم وتحليل النصوص التقنية والعلمية.
• البحث التربوي: تحليل المحتوى التعليمي وتوليد الأسئلة التلقائية.

يمكن الوصول إلى نماذج DeBERTa عبر مستودع GitHub الرسمي: microsoft/DeBERTa.

المرجع العلمي المعتمد:

He, P., Liu, X., Gao, J., & Chen, W. (2021). DeBERTa: Decoding-enhanced BERT with Disentangled Attention. arXiv:2006.03654.(ADS)