Ollama
شغّل نماذج لغوية مفتوحة محليًا خلف API بسيطة
ينزّل Ollama النماذج اللغوية مفتوحة الأوزان ويشغّلها على جهازك، بأمر واحد لكل نموذج وAPI محلية تدعمها تطبيقات كثيرة. رخصته MIT، ويستخدم بطاقة الرسومات حين يستطيع، وهو المحرك المعتاد خلف واجهات الذكاء الاصطناعي المحلية.
يناسبك إن كنت
- تريد تشغيل نماذج لغوية على بطاقة رسوماتك
- تعمل ببيانات خاصة لا ينبغي أن تغادر جهازك
- تريد API محلية لواجهات المحادثة أو المحررات أو الوكلاء
انتبه إلى
- حجم النموذج محدود بذاكرة بطاقة الرسومات، والنماذج الأكبر تصبح بطيئة
- النماذج المحلية متأخرة عن أفضل النماذج المستضافة في المهام الصعبة
- الـ API بلا مصادقة، فلا تكشفها للإنترنت أبدًا
التثبيت
Install on Linux
curl -fsSL https://ollama.com/install.sh | shنماذج محلية بلا عناء الإعداد
تشغيل نموذج كان يعني اختيار الصيغة ودرجة التكميم وبيئة التشغيل يدويًا. يحوّل Ollama ذلك إلى سحب نموذج باسمه والتحدث معه من الطرفية أو عبر واجهة HTTP، التي تعرف واجهات المحادثة والمحررات والوكلاء كيف تستدعيها.
كل شيء يبقى على جهازك: الأوامر والمستندات والإجابات. وهذا يجعله مناسبًا للبيانات الخاصة والعمل دون اتصال والتجارب التي سيتراكم فيها التسعير لكل token.
عتادك هو الحد
يجب أن يتسع النموذج في الذاكرة. مع بطاقة رسومات بذاكرة 8 GB أنت في نطاق النماذج الصغيرة والمتوسطة، وأي نموذج أكبر يفيض إلى ذاكرة النظام ويبطؤ بشدة. وكل نموذج يأخذ عدة غيغابايتات على القرص، وتتراكم بسرعة.
النماذج المحلية أقل قدرة من أفضل النماذج المستضافة، فطابق المهمة مع النموذج. الـ API بلا مصادقة افتراضيًا، فأبقِها مربوطة بـ localhost أو بشبكتك الخاصة. والشركة تبيع أيضًا سحابة مدفوعة للنماذج الأكبر.
