بناء نظام RAG عربي متقدم: من التقطيع للتقييم

الارتقاء بأنظمة RAG للغة العربية

أنظمة الاسترجاع المعزز بالتوليد (RAG) أصبحت المعيار الذهبي لإعطاء نماذج الذكاء الاصطناعي (LLMs) القدرة على الإجابة من بياناتك الخاصة. بناء نظام RAG للغة الإنجليزية يعتبر مباشراً نسبياً، لكن تطبيقه على اللغة العربية يتطلب معالجة خاصة للتعقيدات الصرفية (Morphology) وتداخل الكلمات. في هذا الدليل، سنبني معمارية RAG متقدمة تتجاوز مجرد “قراءة النصوص ووضعها في قاعدة بيانات”.

1. تقطيع النصوص العربية بذكاء (Chunking)

أكبر خطأ في بناء RAG عربي هو تقطيع النص بعدد محدد من الكلمات (Fixed-size Chunking). الكلمة العربية قد تحتوي على حرف جر واسم وضمير متصل (مثال: “وباستخدامها”). تقسيم الجملة في منتصفها يدمر المعنى (Context).

• استخدم Semantic Chunking: تقسيم النص بناءً على نهايات الجمل الفعلية وعلامات الترقيم (النقطة، الفاصلة).
• استخدم مكتبة مثل LangChain مع التعبير النمطي (Regex) المخصص للعربية: (?<=[.!?،])s+ لضمان بقاء الجمل المترابطة معاً.
• اضبط التداخل (Overlap) ليكون حوالي 15-20% للحفاظ على السياق بين القطع.

2. اختيار وتضمين المتجهات (Embeddings)

استخدام نماذج التضمين الإنجليزية سيؤدي إلى نتائج كارثية. النماذج يجب أن تفهم العلاقة الدلالية (Semantics) للغة العربية.

• ابتعد عن text-embedding-ada-002 في الاستخدامات المتخصصة؛ واستخدم نماذج مفتوحة المصدر تم تدريبها بعمق على نصوص عربية، مثل سلسلة نماذج BGE-M3 أو AraBERT.
• ارفع النصوص المعالجة إلى قاعدة بيانات اتجاهية قوية مثل Qdrant أو Milvus.

3. الاسترجاع الهجين (Hybrid Search)

البحث الاتجاهي (Vector Search) ممتاز لفهم “المعنى”، ولكنه ضعيف جداً في البحث عن الكلمات الدقيقة أو الأرقام (مثل اسم شخص محدد أو رقم قانون). النظام المتقدم يعتمد على الاسترجاع الهجين:

1. إجراء بحث اتجاهي (Dense Retrieval).
2. إجراء بحث بالكلمات المفتاحية باستخدام BM25 (Sparse Retrieval).
3. دمج النتائج (Reciprocal Rank Fusion – RRF) لضمان حصولك على أفضل القطع التي تناسب المعنى والكلمات الدقيقة معاً.

4. التوليد والتقييم (Generation & Evaluation)

بعد استرجاع أفضل 5 قطع نصية، مررها للنموذج اللغوي مع (Prompt) صارم باللغة العربية يجبر النموذج على عدم اختراع معلومات من خارج النص المرفق. ولكن كيف تتأكد من دقة النظام؟

استخدم إطار عمل مثل RAGAS (RAG Assessment) لتقييم:

• Faithfulness (الموثوقية): هل الإجابة مستمدة 100% من النصوص المسترجعة؟
• Answer Relevance (صلة الإجابة): هل أجاب النموذج حقاً على سؤال المستخدم؟

الخلاصة

بناء RAG عربي لا يعتمد فقط على ربط واجهات برمجية (APIs) ببعضها. الفهم العميق لأسس اللغة العربية في مرحلة التقطيع، اختيار نموذج التضمين المناسب، وتطبيق البحث الهجين، هي العوامل التي تفصل بين الأنظمة التجريبية (Prototypes) والأنظمة الإنتاجية الموثوقة للمؤسسات.