HI ▾
API कुंजी पाएँ

स्थानीय रूप से चलाने के लिए सर्वश्रेष्ठ बिना सेंसर LLM: Reddit बनाम API

स्थानीय और होस्टेड LLMs की तुलना करते हुए, स्थानीय ग्राफिक्स कार्ड और क्लाउड सर्वर एक पैमाने पर संतुलित

"स्थानीय रूप से चलाने के लिए सर्वश्रेष्ठ बिना सेंसर LLM reddit" को खोज बॉक्स में टाइप करने पर आपको मॉडल के नाम मिलते हैं, लेकिन पहला निर्णय यह है कि क्या उन्हें चलाना है या नहीं। यह पृष्ठ स्थानीय हार्डवेयर की तुलना एक होस्टेड API से करता है ताकि आप 40 GB वजन डाउनलोड करने से पहले चुन सकें।

अद्यतन

मुख्य बिंदु

  1. स्थानीय रूप से चलाना निजीकरण, ऑफलाइन उपयोग और पूर्ण नियंत्रण पर जीतता है। इसमें हार्डवेयर, बिजली और सेटअप समय की लागत आती है।
  2. एक मॉडल की मेमोरी आवश्यकता लगभग उसके पैरामीटर की संख्या गुणा प्रति वजन बाइट्स होती है, जोड़कर कॉन्टेक्स्ट के लिए जगह।
  3. एक होस्टेड API तब जीतता है जब आपके पास कोई बड़ा GPU नहीं है, आपको कई समानांतर अनुरोधों की आवश्यकता है या एक 100,000-टोकन कॉन्टेक्स्ट चाहते हैं।
  4. प्रति 1M टोकन $0.15 और $0.50 पर, एक मध्यम दैनिक कार्यभार मासिक कुछ डॉलर की लागत आती है।

संक्षिप्त उत्तर

स्थानीय रूप से चलाएं यदि आपके पास पर्याप्त मेमोरी वाला GPU है, आपको मॉडल ट्यून करने में मज़ा आता है, या आपका डेटा कभी भी आपकी मशीन से बाहर नहीं जाना चाहिए। एक होस्टेड API का उपयोग करें यदि आप हार्डवेयर खरीदे बिना एक बड़े मॉडल चाहते हैं, एक साथ कई अनुरोध भेजने की आवश्यकता है, या आप अपनी शाम अपने उत्पाद पर बिताना चाहते हैं ड्राइवरों और क्वांटीज़ेशन फॉर्मेट पर नहीं।

ज्यादातर लोग जो इस प्रश्न पूछते हैं, उन्हें हमेशा के लिए चुनने की आवश्यकता नहीं है। एक सामान्य मार्ग एक होस्टेड एंडपॉइंट के खिलाफ प्रोटोटाइप बनाना है, यह जानना है कि आपके प्रॉम्प्ट को क्या चाहिए, और फिर यह तय करना है कि क्या एक स्थानीय सेटअप प्रयास के लायक है। चूँकि दोनों ओर OpenAI चैट फॉर्मेट का उपयोग करते हैं, बाद में स्विच करने का मतलब बेस URL संपादित करना है, कोड को फिर से लिखना नहीं है।

आमतौर पर इस विषय पर थ्रेड्स कैसे चलते हैं

स्थानीय बिना सेंसर मॉडल पर फोरम और सबरेडिट चर्चाएं एक पैटर्न का पालन करती हैं। कोई सर्वश्रेष्ठ मॉडल रोलप्ले या फिक्शन के लिए पूछता है, जवाब कुछ फाइन-ट्यून नाम बताते हैं, और बहस साइज, क्वांटीज़ेशन और सैंपलिंग सेटिंग्स पर केंद्रित होती है। नाम हर कुछ हफ्तों में बदल जाते हैं, इसलिए एक लेख में एक स्थिर सूची जल्दी पुरानी हो जाती है। जो उपयोगी रहता है वह सलाह के पीछे की विधि है।

तीन सवाल ज्यादातर परिणाम तय करते हैं:

  1. आपके पास कितनी मेमोरी है? यह वह सबसे बड़ा मॉडल निर्धारित करता है जिसे आप एक उपयोगी गति पर चला सकते हैं।
  2. काम क्या है? रचनात्मक लेखन, चैट साथी, कोडिंग सहायता और संरचित एक्सट्रैक्शन अलग-अलग मॉडल को पुरस्कृत करते हैं।
  3. अस्वीकृति की शर्त कितनी कठोर है? कुछ फाइन-ट्यून अस्वीकृति को अन्य की तुलना में अधिक पूरी तरह हटा देते हैं, और कुछ में लेखन गुणवत्ता खो जाती है। अपने स्वयं के प्रॉम्प्ट से टेस्ट करें, स्क्रीनशॉट पर भरोसा करने के बजाय।

जो सिफारिश आप पढ़ते हैं उसे एक शुरुआती बिंदु मानें। जिसने इसे लिखा है, उसके पास अलग GPU, अलग प्रॉम्प्ट शैली और धीमी आउटपुट के लिए अलग सहनशीलता हो सकती है।

स्थानीय रूप से चलाने के लिए वास्तव में क्या चाहिए

सामान्य नियम सरल है। वजन लगभग पैरामीटर की संख्या गुणा प्रति पैरामीटर स्टोर किए गए बाइट्स लेते हैं। एक 4-बिट क्वांटाइज्ड फ़ाइल प्रति पैरामीटर लगभग आधा बाइट का उपयोग करती है, इसलिए 8 अरब पैरामीटर वाले मॉडल को वजन के लिए लगभग 8 x 0.5 = 4 GB की आवश्यकता होती है, और 70 अरब पैरामीटर वाले मॉडल को वजन के लिए लगभग 70 x 0.5 = 35 GB की आवश्यकता होती है। कॉन्टेक्स्ट कैश और रनटाइम ओवरहेड के लिए जगह जोड़ें, जो आपके प्रॉम्प्ट लंबे होने के साथ बढ़ता है।

यह अंकगणित अधिकांश स्थानीय सेटअप की व्याख्या करती है। एक अकेला उपभोक्ता GPU छोटे और मध्यम आकार के मॉडल को आराम से संभाल लेता है। सबसे बड़े ओपन-वेट मॉडल को एक मल्टी-GPU रैक, एक वर्कस्टेशन जिसमें पर्याप्त यूनिफाइड मेमोरी है, या एक धीमा CPU फॉलबैक की आवश्यकता होती है जो परीक्षण के लिए ठीक है लेकिन दैनिक उपयोग के लिए थकाऊ है। llama.cpp, Ollama और LM Studio जैसे टूल्स सॉफ़्टवेयर पक्ष को आसान बनाते हैं, और कई उनमें एक OpenAI-शैली स्थानीय एंडपॉइंट होता है।

गुणवत्ता भी जितना आप कठोरता से क्वांटाइज़ करते हैं उतनी ही गिरती है। एक 4-बिट फ़ाइल कई लोगों के लिए एक उचित मध्यम मार्ग है। कम जाने से मेमोरी बचती है और संगति खो जाती है, और यह हानि पहले लंबे, विस्तृत रचनात्मक लेखन में दिखाई देती है।

छुपी हुई लागतें जिन्हें लोग भूल जाते हैं

  • लंबी जनरेशन सत्रों के दौरान बिजली और गर्मी।
  • मॉडल फ़ाइलों, चैट टेम्पलेट्स और सैंपलर प्रीसेट्स के बीच चुनने में लगा समय।
  • अपडेट: नए मॉडल फॉर्मेट आते हैं, और आपके सेटअप को रखरखाव की आवश्यकता होती है।
  • कॉन्टेक्स्ट लिमिट्स: एक मॉडल जो 8,000 टोकन पर मेमोरी में फिट बैठता है, वह 60,000 पर फिट नहीं हो सकता है।

स्थानीय और होस्टेड एक साथ

कारकइसे स्थानीय रूप से चलाएंहोस्टेड बिना सेंसर API
गोपनीयताकुछ भी आपकी मशीन से बाहर नहीं जाताअनुरोध एक प्रदाता को जाते हैं; प्रॉम्प्ट को ट्रेनिंग के लिए यहाँ उपयोग नहीं किया जाता है
ऑफ़लाइन उपयोगइंटरनेट के बिना काम करता हैएक कनेक्शन की आवश्यकता है
अग्रिम लागतहार्डवेयर जिसे आप पहले से ही स्वयं के पास हो सकता है, या खरीदनी पड़ सकती हैकोई नहीं; $20 से प्रीपेड क्रेडिट
चलाने की लागतबिजली और आपका समय$0.15 प्रति 1M इनपुट टोकन, $0.50 प्रति 1M आउटपुट टोकन
मॉडल चयनकोई भी वेट्स जिसे आप लोड कर सकते हैंएक मॉडल, ID uncensored
कॉन्टेक्स्ट विंडोआपकी मेमोरी द्वारा सीमित100,000 टोकन, प्रॉम्प्ट और पूर्णता
समानांतर अनुरोधआपके GPU द्वारा सीमित8 समानांतर अनुरोध, एक पूर्ण कुंजी पर प्रति मिनट 300 अनुरोध
सेटअप समयघंटे से लेकर दिनमिनट

इस तालिका का निष्पक्ष पठन यह है कि कोई भी पक्ष हावी नहीं है। स्थानीय आपको नियंत्रण और स्वतंत्रता देता है। होस्टेड आपको सुविधा और क्षमता देता है। आप कहाँ रुकते हैं यह उस पर निर्भर करता है कि आप अपने प्रोजेक्ट के लिए उनमें से किसे अधिक महत्व देते हैं।

एक वास्तविक वर्कलोड के लिए होस्टेड API की लागत क्या है

Pay-as-you-go pricing आसान है। मान लीजिए कि आप एक लेखन सहायक का उपयोग करते हैं जो प्रतिदिन 1M इनपुट टोकन भेजता है और प्रतिदिन 0.5M आउटपुट टोकन प्राप्त करता है। इनपुट के लिए 1 x $0.15 = $0.15 और आउटपुट के लिए 0.5 x $0.50 = $0.25, यानी प्रतिदिन $0.40। 30 दिनों में यह $12.00 होता है।

एक भारी मामले की गणना: प्रतिदिन 5M इनपुट टोकन और 2M आउटपुट टोकन वाले एक छोटे ऐप की लागत 5 x $0.15 = $0.75 प्लस 2 x $0.50 = $1.00, यानी प्रतिदिन $1.75 या 30 दिनों में $52.50 होती है। इन कुल राशियों की तुलना GPU, इसकी पावर ड्रॉ और आपके समय से करें। वर्तमान हार्डवेयर कीमतें स्वयं जांचें, क्योंकि वे बदलती रहती हैं।

बजट की योजना बनाते समय कुछ विवरण मदद करते हैं। क्रेडिट कभी समाप्त नहीं होता, इसलिए यदि आप इस महीने टॉप-अप नहीं करते हैं, तो अगले महीने वह मौजूद रहेगा। टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि में हो सकते हैं, $50 पर 5 प्रतिशत बोनस, $100 पर 10 प्रतिशत और $200 पर 15 प्रतिशत मिलता है। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। मूल्य निर्धारण पेज और प्रति-टोकन मूल्य निर्धारण पेज पर पूर्ण विवरण दिखाया गया है।

जब होस्टेड API सही विकल्प नहीं है

स्थानीय रूप से रहने के वास्तविक कारण हैं, और उन्हें नज़रअंदाज करना बेईमानी होगी:

  • Air-gapped या कठोरता से निजी डेटा। यदि नीति कहती है कि टेक्स्ट आपके नेटवर्क से बाहर नहीं जा सकता, तो इसके टर्म्स चाहे जो भी हों, होस्टेड सर्विस बाहर है।
  • आप एक विशिष्ट मॉडल चाहते हैं। यह API एक ही मॉडल प्रदान करता है। यदि आपको किसी विशेष फाइन-ट्यून, अपनी बनाई हुई merge या कस्टम LoRA की आवश्यकता है, तो केवल लोकल वेट्स ही वह कर सकते हैं। इसमें फाइन-ट्यून की सुविधा भी नहीं दी जाती।
  • ऑफलाइन कार्य। हवाई जहाज, रिमोट साइट्स और खराब कनेक्शन।
  • बहुत अधिक, स्थिर मात्रा। यदि आप टोकन दिन-रात बनाते हैं, तो स्वयं की हार्डवेयर अंततः प्रति-टोकन मूल्य निर्धारण से बेहतर साबित हो सकती है। अपने खुद के आंकड़ों से गणना करें।
  • सीखना। यदि आपका लक्ष्य यह समझना है कि इनफरेंस कैसे काम करता है, तो मॉडल को स्वयं चलाना सबसे अच्छा शिक्षक है।

दूसरी ओर, होस्टेड मार्ग तब उपयुक्त है यदि आपके पास बड़ा GPU नहीं है, आप एक टीम के लिए एक एंडपॉइंट साझा करना चाहते हैं, एक उत्पाद बना रहे हैं जिसके लिए स्थिर इंटरफ़ेस की आवश्यकता है, या बिना मेमोरी खरीदे लंबे कॉन्टेक्स्ट की आवश्यकता है।

पांच मिनट में होस्टेड मार्ग आज़माएं

आप कुछ भी खर्च करने से पहले इसे परीक्षण कर सकते हैं। नए उपयोगकर्ता Google या ईमेल से साइन अप करने के बाद, API कुंजी पृष्ठ पर एक क्लिक से $0.50 का ट्रायल क्रेडिट प्राप्त कर सकते हैं। इसके लिए कार्ड की आवश्यकता नहीं है और यह 7 दिनों के लिए मान्य है। ट्रायल कुंजी 2 समकाली अनुरोधों और प्रति मिनट 60 अनुरोधों की अनुमति देती है, जो आपके स्थानीय मॉडल के साथ साइड-बाय-साइड टेस्ट के लिए पर्याप्त है।

curl के साथ एक पहला अनुरोध, उत्तर को स्ट्रीमिंग करते हुए:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

और Python OpenAI SDK के साथ वही। यदि आप इस SDK के माध्यम से पहले से एक स्थानीय सर्वर का उपयोग कर रहे हैं, तो आपको हर लाइन परिचित लगेगी:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

अपने स्थानीय मॉडल और इस एंडपॉइंट को समान दस प्रॉम्प्ट भेजें, फिर अपनी हार्डवेयर और कनेक्शन पर गुणवत्ता, अस्वीकृतियों और गति के लिए जवाबों की तुलना करें। API दस्तावेज़ीकरण टूल कॉलिंग, JSON मोड और पास किए जाने वाले सैंपलिंग पैरामीटरों की सूची देता है। मॉडल केवल टेक्स्ट है, इसलिए इमेज, ऑडियो और वीडियो जनरेशन उपलब्ध नहीं हैं, और नाबालिगों से जुड़ी सामग्री पूरी तरह से बाहर है। बाकी सब कुछ जो यह करता है, वह कानूनी वयस्क उपयोग के लिए है।

प्रश्न और उत्तर

क्या मुझे एक Uncensored मॉडल को स्थानीय रूप से चलाने के लिए कितनी मेमोरी की आवश्यकता है?

4-बिट फ़ाइल के लिए अरबों में पैरामीटर संख्या को लगभग 0.5 से गुणा करें ताकि वेट्स के लिए गिगाबाइट्स प्राप्त हों, फिर कॉन्टेक्स्ट के लिए जगह जोड़ें। 8B मॉडल को वेट्स के लिए लगभग 4 GB और 70B मॉडल को लगभग 35 GB की आवश्यकता होती है।

क्या होस्टेड uncensored API स्थानीय रूप से चलाने की तुलना में कम निजी है?

हाँ, इस साधारण अर्थ में कि आपके प्रॉम्प्ट एक सर्वर पर जाते हैं। यहाँ प्रॉम्प्ट को ट्रेनिंग के लिए उपयोग नहीं किया जाता है, लेकिन यदि आपकी नीति टेक्स्ट को आपके नेटवर्क से बाहर भेजने की अनुमति नहीं देती है, तो स्थानीय रूप से चलाएँ।

क्या मैं स्थानीय और होस्टेड मॉडल के लिए एक ही कोड का उपयोग कर सकता हूँ?

आमतौर पर। कई स्थानीय रनर एक OpenAI-शैली एंडपॉइंट प्रदान करते हैं, इसलिए आप क्लाइंट कोड बनाए रख सकते हैं और केवल बेस URL, कुंजी और मॉडल नाम बदल सकते हैं।

क्या होस्टेड API मुझे कई मॉडल के बीच चुनने की अनुमति देता है?

नहीं। यह uncensored आईडी वाले एक ओपन-वेट मॉडल को सर्व करता है। यदि आपको फाइन-ट्यून के बीच चुनने की आवश्यकता है, तो एक स्थानीय सेटअप आपको वह स्वतंत्रता देता है।

आपकी कुंजी बस एक कदम दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। यही पूरा सेटअप है।

API कुंजी पाएँ