NL ▾
API-sleutel aanvragen

Beste ongecensureerde LLM om lokaal te draaien: Reddit vs API

Lokale GPU en cloudserver in balans op een schaal, ter vergelijking van lokale en gehoste LLM's

Typ "best uncensored llm to run locally reddit" in een zoekbalk en je krijgt modelnamen, maar de eerste beslissing is of je er überhaupt een draait. Deze pagina vergelijkt lokale hardware met een gehoste API zodat je kunt kiezen voordat je 40 GB aan gewichten downloadt.

Bijgewerkt

Belangrijkste punten

  1. Lokaal wint op privacy, offline gebruik en volledige controle. Het kost hardware, stroom en insteltijd.
  2. De geheugenbehoefte van een model is ongeveer het aantal parameters vermenigvuldigd met de bytes per gewicht, plus ruimte voor context.
  3. Een gehoste API wint als je geen grote GPU hebt, veel gelijktijdige verzoeken nodig hebt of een contextvenster van 100.000 tokens wilt.
  4. Bij $0,15 en $0,50 per 1M tokens kost een gemiddelde dagelijkse werklast een paar dollar per maand.

Het korte antwoord

Draai lokaal als je een GPU met veel geheugen hebt, je modellen fijn-tunes, of je data je machine nooit mag verlaten. Gebruik een gehoste API als je een groot model wilt zonder hardware te kopen, meerdere verzoeken tegelijk nodig hebt, of je avonden liever aan je product besteedt dan aan drivers en kwantisatieformaten.

De meeste mensen die deze vraag stellen hoeven niet voor altijd te kiezen. Een veelvoorkomend pad is om te prototypen tegen een gehost endpoint, te leren wat je prompts nodig hebben, en dan te beslissen of een lokale setup de moeite waard is. Omdat beide kanten het OpenAI chat-formaat spreken, betekent overschakelen later alleen het aanpassen van een URL, niet het herschrijven van code.

Hoe threads over dit onderwerp meestal verlopen

Forum- en subreddit-discussies over lokale ongecensureerde modellen volgen vaak een patroon. Iemand vraagt om het beste model voor rollenspel of fictie, krijgt een paar fine-tunes genoemd, en het debat gaat over grootte, quantization en samplinginstellingen. De namen veranderen elke paar weken, waardoor een vaste lijst in een artikel snel veroudert. Wat nuttig blijft, is de methode achter het advies.

Drie vragen bepalen het grootste deel van het resultaat:

  1. Hoeveel geheugen heb je? Dit bepaalt het grootste model dat je met een bruikbare snelheid kunt draaien.
  2. Wat is de taak? Creatief schrijven, chatcompanions, programmeerhulp en gestructureerde extractie belonen verschillende modellen.
  3. Hoe streng is je weigeringseis? Sommige fine-tunes verwijderen weigeringen vollediger dan anderen, en een paar verliezen schrijfkwaliteit in het proces. Test met je eigen prompts in plaats van een screenshot te vertrouwen.

Beschouw elke aanbeveling die je leest als een startpunt. De persoon die het schreef kan een andere GPU hebben, een andere promptstijl en een andere tolerantie voor langzame output.

Wat lokaal draaien echt nodig heeft

De vuistregel is eenvoudig. De gewichten nemen ongeveer het aantal parameters vermenigvuldigd met de bytes per parameter in beslag. Een 4-bit gekwantiseerd bestand gebruikt ongeveer een halve byte per parameter, dus een model met 8 miljard parameters heeft ongeveer 8 x 0,5 = 4 GB nodig voor gewichten, en een model met 70 miljard parameters ongeveer 70 x 0,5 = 35 GB. Voeg ruimte toe voor de contextcache en runtime-overhead, die groeit naarmate je prompts langer worden.

Die rekenkunde verklaart de meeste lokale setups. Een enkele consumenten-GPU behandelt kleine en middelgrote modellen comfortabel. De grootste open modellen vereisen een multi-GPU rig, een workstation met veel geïntegreerd geheugen, of een langzame CPU-fallback die goed is voor testen maar vermoeiend is voor dagelijks gebruik. Tools zoals llama.cpp, Ollama en LM Studio maken de softwarekant makkelijker, en een aantal van hen biedt een OpenAI-style lokaal endpoint.

Kwaliteit daalt ook naarmate je harder kwantiseert. Een 4-bit bestand is een redelijk middenpunt voor veel mensen. Lager gaan bespaart geheugen en kost coherentie, en het verlies komt eerst naar voren in lange, gedetailleerde creatieve teksten.

Verborgen kosten die mensen vergeten

  • Elektriciteit en warmte tijdens lange generatiesessies.
  • Tijd besteed aan het kiezen tussen modelbestanden, chattemplates en sampler presets.
  • Updates: nieuwe modelformaten verschijnen, en je setup moet onderhouden worden.
  • Contextlimieten: een model dat past in geheugen bij 8.000 tokens past mogelijk niet bij 60.000.

Lokaal en gehost naast elkaar

FactorDraai het lokaalGehoste ongecensureerde API
PrivacyNiets verlaat je machineVerzoeken gaan naar een provider; prompts worden hier niet gebruikt voor training
Offline gebruikWerkt zonder internetVereist een verbinding
Voorafgaande kostenHardware die je misschien al hebt, of moet kopenGeen; prepaid credit vanaf $20
UitvoeringskostenStroom en je tijd$0,15 per 1M input tokens, $0,50 per 1M output tokens
ModelkeuzeAlle gewichten die je kunt ladenEén model, ID uncensored
ContextBeperkt door je geheugen100.000 tokens, prompt plus voltooiing
Gelijktijdige verzoekenBeperkt door je GPU8 gelijktijdige verzoeken, 300 verzoeken per minuut op een volledige sleutel
Inzetk TijdUren tot dagenMinuten

De eerlijke lezing van deze tabel is dat geen van beide kanten domineert. Lokaal geeft je controle en onafhankelijkheid. Gehost geeft je gemak en capaciteit. Waar je landt hangt af van welke van die twee je meer waardeert voor je project.

Wat een gehoste API kost voor een echte werklast

Pay-as-you-go prijzen zijn makkelijk te schatten. Stel je gebruikt een schrijfassistentie die 1M input tokens verstuurt en 0,5M output tokens ontvangt per dag. Dat is 1 x $0,15 = $0,15 voor input en 0,5 x $0,50 = $0,25 voor output, dus $0,40 per dag. Over 30 dagen is dat $12,00.

Een zwaarder geval: een kleine app met 5M input tokens en 2M output tokens per dag kost 5 x $0,15 = $0,75 plus 2 x $0,50 = $1,00, wat $1,75 per dag is, of $52,50 over 30 dagen. Vergelijk die totalen met wat je zou uitgeven aan een GPU, zijn stroomverbruik en je eigen tijd. Controleer zelf de huidige hardwareprijzen, omdat die veranderen.

Sommige details helpen bij het plannen van een budget. Krediet verloopt nooit, dus een top-up die je deze maand niet gebruikt, zit volgende maand nog steeds klaar. Top-ups kunnen elk geheel bedrag zijn van $20 tot $500, met een bonus van 5 procent vanaf $50, 10 procent vanaf $100 en 15 procent vanaf $200. Mislukte of geweigerde verzoeken worden niet in rekening gebracht. De prijzenpagina en de pagina over per-token prijzen tonen de volledige opsplitsing.

Wanneer een gehoste API niet de juiste keuze is

Er zijn echte redenen om lokaal te blijven, en het zou oneerlijk zijn om ze weg te wuiven:

  • Air-gapped of strikt privé data. Als beleid zegt dat tekst je netwerk niet mag verlaten, is een gehoste service buiten beschouwing, ongeacht de voorwaarden.
  • Je wilt een specifiek model. Deze API serveert één model. Als je een specifieke fine-tune, een merge die je zelf hebt gemaakt of een aangepaste LoRA nodig hebt, kunnen alleen lokale gewichten dat. Het biedt ook geen fine-tuning.
  • Offline werk. Vliegtuigen, afgelegen locaties en slechte verbindingen.
  • Zeer hoog, stabiel volume. Als je tokens de klok rond genereert, kan eigen hardware op termijn per-token prijzen verslaan. Doe de rekenkunde met je eigen cijfers.
  • Leren. Als je doel is om te begrijpen hoe inferentie werkt, is het zelf draaien van modellen de beste leraar.

Aan de andere kant past de gehoste route als je geen grote GPU hebt, één endpoint met een team wilt delen, een product bouwt dat een stabiele interface nodig heeft, of lange context nodig hebt zonder geheugen te kopen.

Probeer de gehoste route in vijf minuten

Je kunt het testen voordat je geld uitgeeft. Nieuwe gebruikers claimen $0,50 aan proeftegoed met één klik op de API-sleutelpagina na het aanmelden met Google of e-mail. Er is geen kaart nodig en het is 7 dagen geldig. De proefsleutel staat 2 gelijktijdige verzoeken en 60 verzoeken per minuut toe, wat ruim voldoende is voor een side-by-side test tegen je lokale model.

Een eerste verzoek met curl, streaming het antwoord:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

En hetzelfde met de Python OpenAI SDK. Als je al een lokale server gebruikt via deze SDK, herken je elke regel:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Stuur dezelfde tien prompts naar je lokale model en naar dit endpoint, en vergelijk dan de antwoorden op kwaliteit, afwijzingen en snelheid op je eigen hardware en verbinding. De API-documentatie noemt function calling, JSON mode en de sampling parameters die doorgestuurd worden. Het model is alleen tekst, dus image, audio en video generatie zijn niet beschikbaar, en content met minderjarigen is volledig uitgesloten. Alles wat het wel doet, is voor wettelijk volwassen gebruik.

Vragen en antwoorden

Hoeveel geheugen heb ik nodig om een ongecensureerd model lokaal te draaien?

Vermenigvuldig het parameteraantal in miljarden met ongeveer 0,5 voor een 4-bit bestand om gigabytes aan gewichten te krijgen, en voeg ruimte toe voor context. Een 8B model heeft ongeveer 4 GB aan gewichten nodig, en een 70B model ongeveer 35 GB.

Is een gehoste ongecensureerde API minder privé dan lokaal draaien?

Ja, in de eenvoudige zin dat je prompts naar een server reizen. Hier worden prompts niet gebruikt voor training, maar als je beleid het verzenden van tekst buiten je netwerk verbiedt, draai dan lokaal.

Kan ik dezelfde code gebruiken voor lokale en gehoste modellen?

Meestal wel. Veel lokale uitvoerders bieden een OpenAI-stijl endpoint, zodat je de clientcode kunt behouden en alleen de base URL, sleutel en modelnaam hoeft aan te passen.

Laat de gehoste API me kiezen uit verschillende modellen?

Nee. Het serveert één open-weight model met de ID uncensored. Als je moet kunnen kiezen tussen fine-tuned modellen, geeft een lokale setup je die vrijheid.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel aanvragen