في أواخر التسعينيات، أطلق مؤتمر TREC (Text REtrieval Conference) مسابقة QA Tracks بهدف تحفيز البحث في أنظمة تُجيب مباشرة عن الأسئلة بدلا من عرض وثائق تحتوي على الإجابة. شملت TREC‑8 وTREC‑9 وTREC‑2001 مراحل تقييم لأنظمة الإجابات، ما مثل خطوة أساسية نحو تطوير تقنيات استرجاع المعلومات والذكاء الاصطناعي التفسيري قبل ظهور نماذج لغة كبيرة (LLMs).
ما هي TREC QA Tracks؟
هي إطار تنافسي بحثي ساهم في تطوير وتصنيف أنظمة QA مبنيّة على:
- استرجاع مقاطع دقيقة من النصوص (50–250 بايت) كإجابات.
- تقييم دقتها باستخدام Mean Reciprocal Rank (MRR) (egr.msu.edu, trec.nist.gov).
- تقييم طرق معالجة اللغة الطبيعية وفهم بنية الأسئلة، وليس فقط الكلمات المفتاحية.
أهم الميزات:
- توفير بيانات تقييم معيارية:
ملايين الوثائق وأسئلة مع تصحيحات بشرية سمحت بمقارنة مستوى الأداء منذ البداية . - تحفيز تطور تقنيات استرجاع المعلومات:
ساعدت على التطوّر من تقنيات bag-of-words نحو أنظمة أكثر تقدّما بفهم لغوي (researchgate.net). - توسيع نوعية الأسئلة:
بدأت بالأسئلة factoid—ثم أُضيفت list وdefinition وseries questions وأخيرا interactive ciQA منذ 2006 (trec.nist.gov). - التقييم المتقدم:
استُخدمت أساليب مثل nugget pyramid في تقييم السياق التفسيري منذ 2006 (trec.nist.gov). - تعزيز البحوث قبل عصر LLMs:
ساهمت في تأسيس أرضية معرفية لتحسين وفهم الأسئلة دون الاعتماد على نماذج ضخمة.
الأهمية البحثية والتطبيقات
- قاعدة معيارية للمقارنة بين أنظمة QA، مفيدة حتى اليوم.
- دراسة تطور تقنيات NLP من معالجة بسيطة نحو فهم بنيوي.
- تطبيقات عملية في بناء محركات ذكاء اصطناعي تُجيب عن أسئلة محددة بدقة وسرعة.
- تأثير طويل المدى: تُستخدم بيانات TREC لتقييم نماذج حديثة وحتى نماذج LLM جديدة (groups.csail.mit.edu).
مرجع:
Voorhees, E.M., & Tice, D.M. (2000). The TREC‑8 Question Answering Track Report. NIST. (egr.msu.edu)
رابط مباشر لتنزيل بيانات TREC QA أو الوصول إلى الأرشيف:
(trec.nist.gov)
