نموذج إرشادي: صحفي استقصائي يستخدم Open WebUI لتحليل وثائق مسربة
نموذج إرشادي لكيفية استفادة صحفي/فريق صحفي صغير من Open WebUI و Ollama محلياً في تحليل أرشيف كبير من الوثائق المسربة (مئات إلى آلاف الصفحات) دون رفعها لخدمات سحابية.
المشكلة قبل الحل
صحفي استقصائي يستلم أرشيفاً مسرباً يحوي 3000+ صفحة وثائق (PDFs ممسوحة + مكتوبة)، رسائل بريد إلكتروني، وملفات Excel. القراءة اليدوية تأخذ شهوراً. خدمات مثل ChatGPT لا تصلح: 1) لا يمكن رفع وثائق سرية إلى OpenAI، 2) المصدر يطلب ضمانات صارمة على عدم خروج البيانات.
خطوات سير العمل وتطبيق الحل
بناء بيئة تحليل محلية كاملة: Ollama مع qwen2.5:32b أو llama3.1:70b كنموذج رئيسي، Open WebUI كواجهة، RAG على الأرشيف بـ bge-m3، Whisper المحلي للتسجيلات الصوتية، LibreTranslate للوثائق بلغات أخرى. كل شيء بلا اتصال إنترنت (air-gapped) لحساسية المصدر.
تفاصيل السيناريو
مقدمة عن السيناريو
نموذج إرشادي لكيفية استفادة صحفي/فريق صحفي صغير من Open WebUI و Ollama محلياً في تحليل أرشيف كبير من الوثائق المسربة (مئات إلى آلاف الصفحات) دون رفعها لخدمات سحابية.
توصيف المشكلة
صحفي استقصائي يستلم أرشيفاً مسرباً يحوي 3000+ صفحة وثائق (PDFs ممسوحة + مكتوبة)، رسائل بريد إلكتروني، وملفات Excel. القراءة اليدوية تأخذ شهوراً. خدمات مثل ChatGPT لا تصلح: 1) لا يمكن رفع وثائق سرية إلى OpenAI، 2) المصدر يطلب ضمانات صارمة على عدم خروج البيانات.
الأدوات المستخدمة
- open-webui: أداة مستخدمة في سير العمل.
- ollama: أداة مستخدمة في سير العمل.
- whisper: أداة مستخدمة في سير العمل.
- libretranslate: أداة مستخدمة في سير العمل.
- apache-tika: أداة مستخدمة في سير العمل.
مسار العمل (Workflow)
بناء بيئة تحليل محلية كاملة: Ollama مع qwen2.5:32b أو llama3.1:70b كنموذج رئيسي، Open WebUI كواجهة، RAG على الأرشيف بـ bge-m3، Whisper المحلي للتسجيلات الصوتية، LibreTranslate للوثائق بلغات أخرى. كل شيء بلا اتصال إنترنت (air-gapped) لحساسية المصدر.
النتائج والفرق في الأداء
- قبل التطبيق:
- بعد التطبيق:
التكلفة التقديرية
الدروس المستفادة
- لا تثق في إجابة LLM وحدها — كل ادعاء أساسي يحتاج اقتباساً من وثيقة فعلية • Top-K كبير (15-20 chunk) أفضل من صغير (3) للتحقيقات — تأكيد متعدد • احتفظ بسجل لكل سؤال طُرح وإجابة النموذج — يساعد في إعادة بناء التحقيق لاحقاً • صنّف الوثائق قبل الفهرسة — قائمة 3000 ملف غير مصنفة تربك حتى أفضل RAG • للمصدر: ضع شروطاً مكتوبة على من سيستخدم الأرشيف وكيف، حتى لو كنت وحدك • احتفظ بنسخة احتياطية مشفرة في مكان منفصل — تعطل قرص = خسارة شهور
الدروس والنتائج المستفادة
لا تثق في إجابة LLM وحدها — كل ادعاء أساسي يحتاج اقتباساً من وثيقة فعلية • Top-K كبير (15-20 chunk) أفضل من صغير (3) للتحقيقات — تأكيد متعدد • احتفظ بسجل لكل سؤال طُرح وإجابة النموذج — يساعد في إعادة بناء التحقيق لاحقاً • صنّف الوثائق قبل الفهرسة — قائمة 3000 ملف غير مصنفة تربك حتى أفضل RAG • للمصدر: ضع شروطاً مكتوبة على من سيستخدم الأرشيف وكيف، حتى لو كنت وحدك • احتفظ بنسخة احتياطية مشفرة في مكان منفصل — تعطل قرص = خسارة شهور
Ollama
Whisper
LibreTranslate