بناء أرشيف بحثي تفاعلي: PDFs → RAG → مساعد سؤال وجواب

التفاصيل البرمجية والتهيئة

مقدمة حول سير العمل

سير عمل لتحويل مكتبة وثائق بحثية (PDFs, DOCX) إلى مساعد ذكي قابل للسؤال عبر Open WebUI، مع تحديث تلقائي عند إضافة وثائق جديدة.

الهدف من سير العمل

تحويل أرشيف بحثي ثابت (200+ ملف PDF) إلى مصدر معرفة قابل للسؤال بلغة طبيعية، يجيب من الوثائق فقط مع ذكر المصدر، ويظل محدّثاً مع كل إضافة.

الأدوات والتقنيات المستخدمة

تم استخدام الأدوات التالية: open-webui و ollama و n8n و chroma OR qdrant و tika OR unstructured (PDF parsing)

تفاصيل تنفيذ سير العمل

• مستوى الصعوبة: متوسط
• الوقت المتوقع للإعداد:
• محفز التشغيل (Trigger):

خطوات العمل (الآلية)

وصف مفصل

## المشكلة باحث/مركز أبحاث لديه مكتبة PDFs تراكمت لسنوات. الوصول للمعلومة يتطلب فتح ملفات يدوياً، Ctrl+F، أو محاولة تذكر أي ملف يحوي أي معلومة. الفهرسة اليدوية مستهلكة، والـ full-text search القياسي يفشل في إجابة أسئلة معقدة. ## المُدخلات – مكتبة PDFs و DOCX و TXT (محلية أو على NextCloud / S3) – embedding model يدعم العربية (bge-m3) – نموذج LLM (qwen2.5:14b أو 32b للنوعية) – Open WebUI كواجهة سؤال وجواب – Vector DB (Chroma المدمج في Open WebUI، أو Qdrant خارجي) ## المُخرجات – Vector index قابل للاستعلام بأسئلة طبيعية – إجابات مع ذكر الصفحة + اسم الملف لكل ادعاء – تقرير شهري بأكثر الأسئلة المطروحة (يفيد توجيه الأبحاث المستقبلية) ## البنية المعمارية Watch Folder (or Webhook from NextCloud) → Apache Tika / Unstructured (PDF → text + metadata) → Chunking (per page or per 800 tokens) → bge-m3 Embedding → Vector DB Insert. Query Side: User asks in Open WebUI → embedding → top-K retrieval → LLM with retrieved chunks + question → answer with citations. ## اعتبارات الخصوصية كل شيء محلي. Ollama + Open WebUI + Chroma كلها on-prem. الوثائق البحثية حساسة (قد تحوي بيانات غير منشورة، مسودات، تواصل خاص). تشفير الأقراص، صلاحيات Open WebUI الدقيقة (كل باحث يرى Collections محددة). نسخ احتياطي مشفّر للـ Vector DB والوثائق. ## ملاحظات الصيانة embeddings تحتاج إعادة فهرسة عند تغيير نموذج embedding. حفّز إعادة الفهرسة سنوياً مع تطور النماذج (bge-m3 سيحصل على bge-m4 إلخ). راقب جودة الإجابات شهرياً — مكتبة كبيرة جداً (>10,000 وثيقة) قد تحتاج retrieval متقدم (rerankers). ## فرص الأتمتة – تنبيه عند إضافة وثائق جديدة لمواضيع يبحث عنها أحد الباحثين بنشاط – إنشاء ملخّصات تلقائية لكل ملف جديد عند الفهرسة – ربط بأرشيف مقالات الباحث في Zotero أو Mendeley لتزامن مرجعي – كشف وثائق متشابهة (cluster) لتنظيم المكتبة