نموذج إرشادي: مركز أبحاث يحوّل أرشيف 20 سنة إلى قاعدة معرفة ذكية
نموذج إرشادي لمركز أبحاث عربي صغير-متوسط يفتح أرشيفه المتراكم لعقدين (آلاف الوثائق، مقالات، مقابلات مفرّغة) للبحث الذكي بـ RAG محلي، مع الحفاظ على تصنيف الوصول حسب طبيعة الوثائق.
المشكلة قبل الحل
مركز أبحاث عمره 20+ سنة، أنتج آلاف الوثائق: مقالات أكاديمية منشورة، مسودات لم تنشر، مقابلات ميدانية مفرّغة، تقارير حقوقية، محاضر اجتماعات، أوراق سياسات، ندوات مسجلة. الأرشيف على عدة أقراص خارجية و Google Drive و Dropbox، بنظام تسمية غير موحّد. باحث جديد يقضي أسابيع للوصول لأي معلومة. الموارد البحثية المتراكمة لا تخدم أحداً عملياً لأنها غير قابلة للوصول. الإدارة تعرف أن هناك "كنز معرفي" داخل الأرشيف، لكن لا حل قابل للتنفيذ بميزانية المركز.
خطوات سير العمل وتطبيق الحل
بناء قاعدة معرفة موحّدة عبر Open WebUI + Ollama + Qdrant على خادم مخصص (VPS قوي بـ 64GB RAM و GPU بـ 16GB VRAM أو ما يعادله محلياً، استثمار مرة واحدة). الـ pipeline: • مرحلة 1: تنظيم الأرشيف يدوياً — تصنيف، حذف المكرر، فرز حسب الحساسية. • مرحلة 2: OCR للوثائق الممسوحة، استخراج النص بـ Apache Tika. • مرحلة 3: فهرسة كاملة بـ bge-m3 في Qdrant، Collections منفصلة لكل مشروع بحثي + Collection خاصة للوثائق الحساسة. • مرحلة 4: Open WebUI بـ Workspaces متطابقة، صلاحيات تعكس صلاحيات الوصول للأرشيف الأصلي. • مرحلة 5: تدريب الباحثين على الاستعلام الفعّال + Glossary أكاديمي مشترك. • مرحلة 6: workflow أتمتة (راجع wf-research-archive-search) لإضافة الوثائق الجديدة تلقائياً.
تفاصيل السيناريو
مقدمة عن السيناريو
نموذج إرشادي لمركز أبحاث عربي صغير-متوسط يفتح أرشيفه المتراكم لعقدين (آلاف الوثائق، مقالات، مقابلات مفرّغة) للبحث الذكي بـ RAG محلي، مع الحفاظ على تصنيف الوصول حسب طبيعة الوثائق.
توصيف المشكلة
مركز أبحاث عمره 20+ سنة، أنتج آلاف الوثائق: مقالات أكاديمية منشورة، مسودات لم تنشر، مقابلات ميدانية مفرّغة، تقارير حقوقية، محاضر اجتماعات، أوراق سياسات، ندوات مسجلة. الأرشيف على عدة أقراص خارجية و Google Drive و Dropbox، بنظام تسمية غير موحّد. باحث جديد يقضي أسابيع للوصول لأي معلومة. الموارد البحثية المتراكمة لا تخدم أحداً عملياً لأنها غير قابلة للوصول. الإدارة تعرف أن هناك “كنز معرفي” داخل الأرشيف، لكن لا حل قابل للتنفيذ بميزانية المركز.
الأدوات المستخدمة
- open-webui: أداة مستخدمة في سير العمل.
- ollama: أداة مستخدمة في سير العمل.
- qdrant: أداة مستخدمة في سير العمل.
- tika: أداة مستخدمة في سير العمل.
- tesseract: أداة مستخدمة في سير العمل.
- n8n: أداة مستخدمة في سير العمل.
مسار العمل (Workflow)
بناء قاعدة معرفة موحّدة عبر Open WebUI + Ollama + Qdrant على خادم مخصص (VPS قوي بـ 64GB RAM و GPU بـ 16GB VRAM أو ما يعادله محلياً، استثمار مرة واحدة). الـ pipeline: • مرحلة 1: تنظيم الأرشيف يدوياً — تصنيف، حذف المكرر، فرز حسب الحساسية. • مرحلة 2: OCR للوثائق الممسوحة، استخراج النص بـ Apache Tika. • مرحلة 3: فهرسة كاملة بـ bge-m3 في Qdrant، Collections منفصلة لكل مشروع بحثي + Collection خاصة للوثائق الحساسة. • مرحلة 4: Open WebUI بـ Workspaces متطابقة، صلاحيات تعكس صلاحيات الوصول للأرشيف الأصلي. • مرحلة 5: تدريب الباحثين على الاستعلام الفعّال + Glossary أكاديمي مشترك. • مرحلة 6: workflow أتمتة (راجع wf-research-archive-search) لإضافة الوثائق الجديدة تلقائياً.
النتائج والفرق في الأداء
- قبل التطبيق:
- بعد التطبيق:
التكلفة التقديرية
الدروس المستفادة
- تنظيف الأرشيف يدوياً قبل الفهرسة كان أصعب جزء — استغرق ضعف الوقت المتوقع • Collections منفصلة حسب الحساسية تختصر تعقيد الصلاحيات لاحقاً — لا تخلط الكل في collection واحد • Top-K كبير (15-20) أفضل من صغير (3-5) لأرشيف ضخم — تنويع المصادر أكثر أهمية من السرعة • Reranker الإضافي أحسّن نوعية الإجابات بشكل ملموس — يستحق التكاليف الحسابية • Glossary أكاديمي مشترك يضمن أن النموذج يستخدم المصطلحات الصحيحة للحقل — استثمار يستحق • اختبار permissions أمر معقد — استغرق أسبوعين من الاختبار قبل الإطلاق • الباحثون الذين تأقلموا على الأداة سريعاً كانوا الباحثين الذين يستخدمون GPT أصلاً — قاوم الباحثون التقليديون أكثر • بعد سنة من الاستخدام، الباحثون يطلبون ميزات لم تكن في الخطة: تنبيهات عند وثائق جديدة، رسم خرائط مفاهيمية، إلخ — الأداة تتطور مع الاستخدام • الـ logs لاستعلامات الباحثين أصبحت بحد ذاتها مصدر معرفة عن اتجاهات اهتمام المركز
الدروس والنتائج المستفادة
تنظيف الأرشيف يدوياً قبل الفهرسة كان أصعب جزء — استغرق ضعف الوقت المتوقع • Collections منفصلة حسب الحساسية تختصر تعقيد الصلاحيات لاحقاً — لا تخلط الكل في collection واحد • Top-K كبير (15-20) أفضل من صغير (3-5) لأرشيف ضخم — تنويع المصادر أكثر أهمية من السرعة • Reranker الإضافي أحسّن نوعية الإجابات بشكل ملموس — يستحق التكاليف الحسابية • Glossary أكاديمي مشترك يضمن أن النموذج يستخدم المصطلحات الصحيحة للحقل — استثمار يستحق • اختبار permissions أمر معقد — استغرق أسبوعين من الاختبار قبل الإطلاق • الباحثون الذين تأقلموا على الأداة سريعاً كانوا الباحثين الذين يستخدمون GPT أصلاً — قاوم الباحثون التقليديون أكثر • بعد سنة من الاستخدام، الباحثون يطلبون ميزات لم تكن في الخطة: تنبيهات عند وثائق جديدة، رسم خرائط مفاهيمية، إلخ — الأداة تتطور مع الاستخدام • الـ logs لاستعلامات الباحثين أصبحت بحد ذاتها مصدر معرفة عن اتجاهات اهتمام المركز
Ollama
Qdrant
n8n