أفضل نموذج LLM بدون رقابة للتشغيل محلياً: ريدت مقابل API

الكتابة "أفضل نموذج LLM بدون رقابة للتشغيل محلياً ريدت" في مربع البحث يمنحك أسماء النماذج، لكن القرار الأول هو ما إذا كنت ستشغل واحداً أصلاً. تقارن هذه الصفحة الأجهزة المحلية مع واجهة برمجة التطبيقات المستضافة لتختار قبل تحميل 40 غيغابايت من الأوزان.
محدّث
نقاط رئيسية
- تتفوق الحلول المحلية في الخصوصية، والاستخدام دون اتصال، والتحكم الكامل. لكنها تتطلب عتاداً، وطاقة، ووقت إعداد.
- حاجة الذاكرة للنموذج هي تقريباً عدد المعلمات مضروباً في البايتات لكل وزن، زائد مساحة للسياق.
- يفوز API المستضاف عندما لا تملك GPU كبير، أو تحتاج إلى العديد من الطلبات المتزامنة، أو تريد سياقاً بطول 100,000 رمز.
- بأسعار $0.15 و $0.50 لكل مليون رمز، تكلف عبء العمل اليومي المعتدل بضعة دولارات شهرياً.
الإجابة المختصرة
شغّل محلياً إذا كنت تمتلك بطاقة رسومات (GPU) ذات ذاكرة كافية، واستمتعت بضبط النماذج، أو يجب ألا تغادر بياناتك جهازك أبداً. استخدم واجهة برمجة تطبيقات مستضافة إذا كنت تريد نموذجاً كبيراً دون شراء عتاد، وتحتاج إلى عدة طلبات متزامنة، أو تفضل قضاء أمسياتك في منتجك بدلاً من برامج التشغيل وتنسيقات الكمّ.
معظم الأشخاص الذين يطرحون هذا السؤال لا يحتاجون إلى الاختيار مدى الحياة. المسار الشائع هو إنشاء نموذج أولي مقابل نقطة نهاية مستضافة، وفهم ما تحتاجه الموجّهات، ثم تحديد ما إذا كانت الإعدادات المحلية تستحق الجهد. لأن الجانبين يتشاركان تنسيق دردشة OpenAI، فإن التبديل لاحقاً يعني تعديل عنوان URL الأساسي، وليس إعادة كتابة الكود.
كيفية سير النقاشات حول هذا الموضوع عادةً
تميل مناقشات المنتديات والمجموعات حول النماذج المحلية uncensored إلى اتباع نمط معين. يسأل شخص ما عن أفضل نموذج للعب الأدوار أو الخيال، ويرد الآخرون بذكر عدد من النماذج المُعدّلة بدقة، ثم يتحول الجدل إلى الحجم، والكمّ، وإعدادات الاستخراج. تتغير الأسماء كل بضعة أسابيع، ولهذا السبب تتقادم القوائم الثابتة في المقالات بسرعة. ما يبقى مفيداً هو المنهجية وراء النصيحة.
ثلاثة أسئلة تحدد معظم النتائج:
- كم الذاكرة المتاحة لديك؟ يحدد ذلك أكبر نموذج يمكنك تشغيله بسرعة قابلة للاستخدام.
- ما هو الهدف؟ الكتابة الإبداعية، رفيق الدردشة، المساعدة في البرمجة واستخراج البيانات المهيكلة تفضل نماذج مختلفة.
- ما مدى صرامة متطلبات الرفض؟ تزيل بعض النماذج المُعدّلة بدقة الرفض بشكل أكثر اكتمالاً من غيرها، وتفقد بعضها جودة الكتابة في العملية. اختبرها بموجّهاتك الخاصة بدلاً من الاعتماد على لقطة شاشة.
عامل كل توصية تقرأها كنقطة بداية. قد يكون لدى الشخص الذي كتبها بطاقة رسومات (GPU) مختلفة، ونمط موجّه مختلف، وتحمل مختلف للإخراج البطيء.
ما يحتاجه التشغيل محلياً حقاً
القاعدة العامة بسيطة. تأخذ الأوزان حوالي عدد البارامترات مضروباً في البايتات المخزنة لكل بارامتر. يستخدم ملف التكميم 4-bit حوالي نصف بايت لكل بارامتر، لذا يحتاج نموذج يحتوي على 8 مليارات بارامتر إلى حوالي 8 × 0.5 = 4 جيجابايت للأوزان، ويحتاج نموذج يحتوي على 70 مليار بارامتر إلى حوالي 70 × 0.5 = 35 جيجابايت. أضف مساحة للذاكرة المؤقتة للسياق وفائض وقت التشغيل، والتي تزداد مع طول الموجّهات الخاصة بك.
يشرح هذا الحساب معظم الإعدادات المحلية. تتعامل بطاقة رسومات (GPU) استهلاكية واحدة بسهولة مع النماذج الصغيرة والمتوسطة الحجم. تحتاج أكبر النماذج مفتوحة الأوزان إلى مجموعة متعددة من بطاقات الرسومات، أو محطة عمل بذاكرة موحدة كبيرة، أو بديل بطيء للمعالج المركزي (CPU) يكون جيداً للاختبار ومرهقاً للاستخدام اليومي. تجعل أدوات مثل llama.cpp وOllama وLM Studio الجانب البرمجي أسهل، وتكشف بعضها عن نقطة نهاية محلية على طراز OpenAI.
تنخفض الجودة أيضاً كلما زاد التكميم. ملف 4-bit هو نقطة وسط معقولة للعديد من الأشخاص. يؤدي التكميم الأعمق إلى توفير الذاكرة وخسارة الاتساق، وتظهر الخسارة أولاً في الكتابة الإبداعية الطويلة والمفصلة.
التكاليف الخفية التي ينساها الناس
- الكهرباء والحرارة أثناء جلسات التوليد الطويلة.
- الوقت المستغرق في الاختيار بين ملفات النماذج، وقوالب الدردشة، والإعدادات المسبقة لأدوات الاستخراج.
- التحديثات: تظهر تنسيقات نماذج جديدة، ويحتاج إعدادك إلى الصيانة.
- حدود السياق: قد لا يتسع نموذج في الذاكرة عند 60,000 رمز، رغم أنه يتسع عند 8,000 رمز.
التشغيل المحلي والمضيف جنباً إلى جنب
| العامل | تشغيله محلياً | API غير خاضع للرقابة مستضاف |
|---|---|---|
| الخصوصية | لا شيء يغادر جهازك | تذهب الطلبات إلى مزود؛ لا تُستخدم الموجّهات للتدريب هنا |
| استخدام دون اتصال | يعمل بدون إنترنت | يحتاج إلى اتصال |
| التكلفة الأولية | الأجهزة التي قد تمتلكها بالفعل أو يجب شراؤها | لا شيء؛ رصيد مسبق الدفع من $20 |
| تكلفة التشغيل | الطاقة ووقتك | $0.15 لكل مليون رمز إدخال، و$0.50 لكل مليون رمز إخراج |
| اختيار النموذج | أي أوزان يمكنك تحميلها | نموذج واحد، المعرف uncensored |
| السياق | محدود بذاكرة جهازك | 100,000 رمز، الموجّه بالإضافة إلى الإكمال |
| الطلبات المتزامنة | محدود بطاقة الرسوميات (GPU) لديك | 8 طلبات متزامنة، 300 طلب في الدقيقة باستخدام مفتاح كامل |
| وقت الإعداد | ساعات إلى أيام | دقائق |
القراءة العادلة لهذا الجدول هي أن لا جانب يهيمن. يمنحك التشغيل المحلي التحكم والاستقلالية. يمنحك التشغيل المضيف الراحة والسعة. يعتمد مكان اختيارك على أي من هذين الجانبين تقدره أكثر لمشروعك.
تكلفة API المضيف لعملية عمل حقيقية
تسعير الدفع حسب الاستخدام سهل التقييم. لنفترض أنك تستخدم مساعد كتابة يرسل 1M رمز إدخال ويستقبل 0.5M رمز إخراج يوميًا. هذا يعني 1 × $0.15 = $0.15 للإدخال و0.5 × $0.50 = $0.25 للإخراج، أي $0.40 يوميًا. على مدار 30 يومًا يصبح $12.00.
حالة أكثر كثافة: تطبيق صغير يستخدم 5M رمز إدخال و2M رمز إخراج يوميًا يكلف 5 × $0.15 = $0.75 بالإضافة إلى 2 × $0.50 = $1.00، أي $1.75 يوميًا، أو $52.50 على مدار 30 يومًا. قارن هذه المجاميع بما تنفقه على بطاقة رسوميات (GPU)، واستهلاكها من الطاقة ووقتك الخاص. تحقق من أسعار الأجهزة الحالية بنفسك، إذ إنها تتغير.
بعض التفاصيل تساعدك عند التخطيط للميزانية. الرصيد لا ينتهي، لذا فإن الشحن الذي لا تستخدمه هذا الشهر لا يزال موجودًا الشهر التالي. يمكن أن يكون الشحن أي مبلغ صحيح يتراوح بين $20 و$500، مع مكافأة بنسبة 5 بالمائة من $50، و10 بالمائة من $100، و15 بالمائة من $200. الطلبات الفاشلة أو المرفوضة لا تُخصم منها. يعرض صفحة الأسعار وصفحة التسعير حسب الرمز التفاصيل الكاملة.
عندما لا تكون واجهة برمجة التطبيقات المستضافة هي الاختيار المناسب
هناك أسباب حقيقية للبقاء محليًا، وسيكون من غير الصدق تجاهلها:
- بيانات معزولة أو خاصة تمامًا. إذا كانت السياسة تمنع خروج النص من شبكتك، فإن الخدمة المستضافة غير متاحة بغض النظر عن شروطها.
- تريد نموذجًا محددًا. هذه واجهة برمجة التطبيقات تقدم نموذجًا واحدًا. إذا كنت بحاجة إلى ضبط دقيق معين، أو دمج قمت بإنشائه بنفسك، أو لورا مخصص، فإن الأوزان المحلية فقط هي القادرة على ذلك. كما أنها لا تقدم ضبطًا دقيقًا.
- العمل دون اتصال. الطائرات، المواقع النائية، والاتصالات السيئة.
- حجم مرتفع ومستقر للغاية. إذا كنت تنتج الرموز على مدار الساعة، فقد تتفوق الأجهزة المملوكة في النهاية على تسعير الرموز. قم بإجراء الحسابات بأرقامك الخاصة.
- التعلم. إذا كان هدفك هو فهم كيفية عمل الاستنتاج، فإن تشغيل النماذج بنفسك هو أفضل معلم.
من ناحية أخرى، يناسب المسار المستضاف إذا كنت تفتقر إلى بطاقة رسوميات كبيرة، وتريد مشاركة نقطة نهاية واحدة عبر فريق، أو بناء منتج يحتاج إلى واجهة مستقرة، أو تحتاج إلى سياق طويل دون شراء ذاكرة له.
جرّب المسار المستضاف في خمس دقائق
يمكنك اختباره قبل إنفاق أي شيء. يمكن للمستخدمين الجدد الحصول على $0.50 من الرصيد التجريبي بنقرة واحدة على صفحة مفتاح API بعد تسجيل الدخول باستخدام Google أو البريد الإلكتروني. لا يحتاج إلى بطاقة وهو صالح لمدة 7 أيام. يسمح مفتاح التجربة بـ 2 طلب متزامن و60 طلبًا في الدقيقة، وهو ما يكفي لاختبار متوازٍ ضد النموذج المحلي الخاص بك.
طلب أولي باستخدام curl، مع بث الإجابة:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'ونفس الشيء باستخدام مكتبة Python OpenAI SDK. إذا كنت تستخدم بالفعل خادمًا محليًا عبر هذه المكتبة، فستتعرف على كل سطر:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)أرسل نفس عشرة موجّهات إلى النموذج المحلي الخاص بك وإلى نقطة النهاية هذه، ثم قارن الردود من حيث الجودة والرفض والسرعة على أجهزتك واتصالك الخاص. يدرج توثيق API استدعاء الدوال، ووضع JSON، ومعاملات أخذ العينات التي يتم تمريرها. النموذج للنص فقط، لذا فإن توليد الصور والصوت والفيديو غير متاح، ويتم استبعاد المحتوى الذي يتضمن قاصرين بشكل كامل. كل ما يفعله آخر هو للاستخدام القانوني للبالغين.
المزيد من الأدلة
الأسئلة والأجوبة
كم حجم الذاكرة اللازمة لتشغيل نموذج بدون رقابة محليًا؟
اضرب عدد البارامترات بالمليارات في حوالي 0.5 للحصول على حجم ملف بـ 4 بت، ثم أضف مساحة للسياق. يحتاج نموذج 8B إلى حوالي 4 جيجابايت للأوزان، بينما يحتاج نموذج 70B إلى حوالي 35 جيجابايت.
هل تكون الـ API غير الخاضعة للرقابة المستضافة أقل خصوصية من التشغيل محلياً؟
نعم، بالمعنى البسيط أن موجّهاتك تنتقل إلى خادم. هنا لا تُستخدم الموجّهات للتدريب، ولكن إذا كانت سياستك تمنع إرسال النصوص خارج شبكتك، فقم بالتشغيل محلياً.
هل يمكنني استخدام نفس الكود للنماذج المحلية والمستضافة؟
عادةً. تعرض العديد من مشغلات النماذج المحلية نقطة نهاية على طراز OpenAI، لذا يمكنك الاحتفاظ بكود العميل وتغيير فقط عنوان URL الأساسي والمفتاح واسم النموذج.
هل تتيح لي الـ API المستضافة اختياراً بين عدة نماذج؟
لا. تقدم نموذجاً واحداً مفتوح الأوزان بمعرف النموذج uncensored. إذا كنت بحاجة إلى الاختيار بين النماذج المدقنة، فإن الإعداد المحلي يمنحك تلك الحرية.
مفتاحك على بُعد استمارة واحدة
أنشئ حساباً، وانسخ المفتاح، ثم غيّر عنوان URL الأساسي. هذه هي الإعدادات الكاملة.