تحسين أداء Ollama: إدارة النماذج والذاكرة

السيطرة على وحش الذكاء الاصطناعي

تشغيل Ollama محلياً هو خطوة ممتازة نحو الاستقلالية التقنية، لكن سرعان ما يكتشف المطورون أن نماذج الذكاء الاصطناعي هي برمجيات شرهة جداً لموارد النظام (RAM و GPU). إذا لم يتم إعداد Ollama بشكل صحيح، فقد تواجه بطئاً شديداً في توليد النصوص أو انهياراً مفاجئاً للخادم. إليك كيف تحسن أداءه للوصول لأقصى كفاءة تشغيلية.

1. استخدام النماذج المضغوطة (Quantization)

نماذج الـ AI تُدرب باستخدام أرقام الفاصلة العائمة عالية الدقة (FP16)، مما يجعل حجم النموذج ضخماً جداً (عشرات الجيجابايت). لحسن الحظ، يوفر مجتمع المصادر المفتوحة نسخاً “مكممة” أو مضغوطة (Quantized) من هذه النماذج.

• بدلاً من تحميل النموذج الأساسي، ابحث عن إصدارات تنتهي بـ Q4 أو Q5 (مثل llama3:8b-instruct-q4_K_M).
• هذه الإصدارات تستخدم 4-bit بدلاً من 16-bit، مما يقلل حجم النموذج واستهلاك الذاكرة بنسبة 70%، بينما تظل الدقة اللغوية ممتازة وشبه مطابقة للنموذج الأصلي.

2. إدارة الذاكرة وتفريغها (Unloading Models)

افتراضياً، عندما تقوم بتشغيل نموذج في Ollama، فإنه يبقى محملاً في الذاكرة العشوائية (RAM) ليكون جاهزاً للرد السريع. إذا قمت بتشغيل نموذج آخر، فسيحاول حجز مساحة إضافية مما قد يؤدي لامتلاء الذاكرة (OOM Error).

• قم بتحديد مدة بقاء النموذج في الذاكرة (Keep-alive). عند استدعاء الـ API الخاص بـ Ollama، يمكنك تمرير المتغير "keep_alive": "5m"، مما يعني أن النموذج سيتم مسحه من الذاكرة تلقائياً بعد 5 دقائق من الخمول.
• لتفريغ الذاكرة فوراً برمجياً، أرسل طلباً للـ API لنفس النموذج ومرر "keep_alive": 0.

3. التحكم في أطوال السياق (Context Window)

المشكلة الكبرى التي تواجه أنظمة RAG (الاسترجاع المعزز) هي “نافذة السياق”. كلما زادت الكلمات التي ترسلها للنموذج ليقرأها، زاد استهلاك الذاكرة بشكل أُسّي.

• في إعدادات Ollama المتقدمة، يتم تحديد قيمة num_ctx (Context Size). القيمة الافتراضية للعديد من النماذج هي 2048 أو 4096 توكن.
• إذا كنت لست بحاجة لإرسال مقالات طويلة للنموذج، يمكنك تقليل هذه القيمة يدوياً عبر الـ API (مثلاً إلى 1024) لتسريع الأداء بشكل هائل وتقليل الضغط على المعالج.

4. المراقبة (Monitoring)

لا تعمل في الظلام. استخدم أوامر المراقبة المدمجة أو أدوات خارجية:

• الأمر ollama ps يعرض لك قائمة بالنماذج المحملة حالياً في الذاكرة وحجمها الفعلي وما إذا كانت تعمل على المعالج (CPU) أو كرت الشاشة (GPU).
• للمراقبة المتقدمة، يمكنك ربط الخادم الذي يعمل عليه Ollama بنظام Grafana و Prometheus لمراقبة درجة حرارة الـ GPU واستهلاك الـ VRAM في الوقت الفعلي.

الخلاصة

تشغيل نماذج الـ LLMs لا يعتمد فقط على قوة العتاد، بل على كفاءة الإدارة. عبر اختيار الإصدارات المضغوطة (Q4)، وإغلاق النماذج الخاملة، وضبط نافذة السياق، ستتمكن من تشغيل نماذج قوية حتى على خوادم ذات مواصفات متواضعة نسبياً دون التضحية بجودة الاستجابة.