Bestes unzensiertes LLM zum lokalen Ausführen: Reddit vs. API

Die Eingabe von „bestes unzensiertes LLM lokal Reddit“ in eine Suchleiste liefert Modellnamen, aber die erste Entscheidung ist, ob du überhaupt eines ausführst. Diese Seite vergleicht lokale Hardware mit einer API, damit du vor dem Download von 40 GB Gewichten wählen kannst.
Aktualisiert
Wichtige Punkte
- Lokal gewinnt bei Privatsphäre, Offline-Nutzung und vollständiger Kontrolle. Es kostet Hardware, Strom und Einrichtungszeit.
- Der Speicherbedarf eines Modells entspricht grob der Parameteranzahl multipliziert mit den Bytes pro Gewicht, plus Platz für den Kontext.
- Eine API gewinnt, wenn du keine große GPU hast, viele parallele Anfragen benötigst oder ein Kontextfenster mit 100.000 Token möchtest.
- Bei $0,15 und $0,50 pro 1M Token kostet eine moderate tägliche Arbeitslast ein paar Dollar im Monat.
Die kurze Antwort
Führe lokal aus, wenn du eine GPU mit viel Speicher besitzt, Modelle gerne anpasst oder deine Daten deine Maschine nie verlassen dürfen. Nutze eine API, wenn du ein großes Modell möchtest, ohne Hardware zu kaufen, mehrere Anfragen gleichzeitig benötigst oder lieber Abende mit deinem Produkt statt mit Treibern und Quantisierungsformaten verbringen willst.
Die meisten, die diese Frage stellen, müssen nicht für immer wählen. Ein üblicher Weg ist, gegen einen API-Endpunkt zu prototypen, zu lernen, was deine Prompts benötigen, und dann zu entscheiden, ob eine lokale Einrichtung den Aufwand wert ist. Da beide Seiten das OpenAI-Chat-Format sprechen, bedeutet ein späterer Wechsel nur das Bearbeiten einer Basis-URL, nicht das Umschreiben von Code.
Wie die Threads zu diesem Thema normalerweise verlaufen
Diskussionen in Foren und Subreddits über lokale unzensierte Modelle folgen oft einem Muster. Jemand fragt nach dem besten Modell für Roleplay oder Fiktion, andere nennen ein paar Fine-Tunes, und die Diskussion dreht sich um Größe, Quantisierung und Sampling-Einstellungen. Die Namen ändern sich alle paar Wochen, weshalb eine feste Liste in einem Artikel schnell veraltet wird. Was nützlich bleibt, ist die Methode hinter den Empfehlungen.
Drei Fragen entscheiden über das Ergebnis:
- Wie viel Speicher hast du? Dies bestimmt das größte Modell, das du mit einer nutzbaren Geschwindigkeit ausführen kannst.
- Was ist die Aufgabe? Kreatives Schreiben, Chat-Begleiter, Programmierhilfe und strukturierte Extraktion belohnen unterschiedliche Modelle.
- Wie streng ist dein Ablehnungsanspruch? Einige Fine-Tunes entfernen Ablehnungen vollständiger als andere, und dabei geht die Schreibqualität bei einigen verloren. Teste mit deinen eigenen Prompts, statt dich auf Screenshots zu verlassen.
Behandle jede Empfehlung, die du liest, als Ausgangspunkt. Die Person, die sie geschrieben hat, hat möglicherweise eine andere GPU, einen anderen Prompt-Stil und eine andere Toleranz für langsame Ausgaben.
Was das lokale Ausführen wirklich erfordert
Die Faustregel ist einfach. Die Gewichte benötigen etwa die Parameteranzahl multipliziert mit den Bytes pro Parameter. Eine 4-Bit-quantisierte Datei verwendet etwa ein halbes Byte pro Parameter, sodass ein Modell mit 8 Milliarden Parametern etwa 8 x 0,5 = 4 GB für Gewichte benötigt und ein Modell mit 70 Milliarden Parametern etwa 70 x 0,5 = 35 GB. Füge Platz für den Kontext-Cache und Laufzeit-Overhead hinzu, der mit längeren Prompts wächst.
Diese Arithmetik erklärt die meisten lokalen Einrichtugen. Eine einzelne Consumer-GPU bewältigt kleine und mittelgroße Modelle problemlos. Die größten offenen Modelle benötigen eine Multi-GPU-Anlage, eine Workstation mit viel Unified Memory oder einen langsamen CPU-Fallback, der für Tests in Ordnung ist, aber im täglichen Einsatz ermüdend sein kann. Tools wie llama.cpp, Ollama und LM Studio erleichtern die Softwareseite, und mehrere davon bieten einen OpenAI-kompatiblen lokalen Endpunkt.
Die Qualität sinkt auch, wenn du stärker quantisierst. Eine 4-Bit-Datei ist für viele ein guter Kompromiss. Ein tieferes Quantisierungslevel spart Speicher und kostet die Kohärenz, und der Verlust zeigt sich zuerst bei langen, detaillierten kreativen Texten.
Verborgene Kosten, die Menschen vergessen
- Strom und Wärme während langer Generierungssitzungen.
- Zeit, die mit der Auswahl zwischen Modell-Dateien, Chat-Vorlagen und Sampler-Voreinstellungen verbracht wird.
- Updates: Neue Modellformate erscheinen, und deine Einrichtung benötigt Wartung.
- Kontextgrenzen: Ein Modell, das bei 8.000 Token in den Speicher passt, passt möglicherweise nicht bei 60.000.
Lokal und gehostet im Vergleich
| Faktor | Lokal ausführen | Gehostete unzensierte API |
|---|---|---|
| Datenschutz | Nichts verlässt deine Maschine | Anfragen gehen an einen Anbieter; Prompts werden hier nicht zum Training verwendet |
| Offline-Nutzung | Funktioniert ohne Internet | Benötigt eine Verbindung |
| Vorabkosten | Hardware, die du bereits besitzt oder kaufen musst | Keine; Prepaid-Guthaben ab $20 |
| Betriebskosten | Strom und deine Zeit | $0,15 pro 1M Input, $0,50 pro 1M Output Token |
| Model choice | Alle Gewichte, die du laden kannst | Ein Modell, ID uncensored |
| Kontext | Begrenzt durch deinen Speicher | 100.000 Token, Prompt plus Vervollständigung |
| Parallele Anfragen | Begrenzt durch deine GPU | 8 gleichzeitige, 300 Anfragen pro Minute mit einem vollständigen Schlüssel |
| Einrichtungszeit | Stunden bis Tage | Minuten |
Die faire Lesart dieser Tabelle ist, dass keine Seite dominiert. Lokal gibt dir Kontrolle und Unabhängigkeit. Hosted gibt dir Bequemlichkeit und Kapazität. Wo du landest, hängt davon ab, welche der beiden Optionen du für dein Projekt mehr schätzt.
Was eine gehostete API für eine echte Arbeitslast kostet
Pay-as-you-go-Preise sind leicht zu schätzen. Nimm an, du nutzt einen Schreibassistenten, der 1M Input-Token und 0,5M Output-Token pro Tag sendet. Das sind 1 x 0,15 $ = 0,15 $ für Input und 0,5 x 0,50 $ = 0,25 $ für Output, also 0,40 $ pro Tag. Über 30 Tage sind das 12,00 $.
Ein schwererer Fall: Eine kleine App mit 5M Input-Token und 2M Output-Token pro Tag kostet 5 x $0,15 = $0,75 plus 2 x $0,50 = $1,00, was $1,75 pro Tag oder $52,50 über 30 Tage ergibt. Vergleiche diese Summen mit dem, was du für eine GPU, deren Stromverbrauch und deine eigene Zeit ausgeben würdest. Prüfe selbst die aktuellen Hardware-Preise, da sie sich ändern.
Einige Details helfen bei der Budgetplanung. Guthaben verfällt nie, also ist eine Aufladung, die du diesen Monat nicht nutzt, nächsten Monat noch da. Aufladungen können jeden beliebigen Gesamtbetrag von $20 bis $500 haben, mit einem Bonus von 5 Prozent ab $50, 10 Prozent ab $100 und 15 Prozent ab $200. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Die Preisseite und die Seite zur Token-Preisgestaltung zeigen die vollständige Aufschlüsselung.
Wenn eine gehostete API nicht die richtige Wahl ist
Es gibt echte Gründe, lokal zu bleiben, und es wäre unehrlich, diese zu übergehen:
- Air-gapped oder streng private Daten. Wenn die Richtlinie besagt, dass Text dein Netzwerk nicht verlassen darf, ist ein gehosteter Dienst unabhängig von seinen Bedingungen ausgeschlossen.
- Du möchtest ein bestimmtes Modell. Diese API bedient ein Modell. Wenn du ein bestimmtes Fine-Tune, eine von dir selbst erstellte Merge oder ein benutzerdefiniertes LoRA benötigst, können das nur lokale Gewichte leisten. Fine-Tuning wird ebenfalls nicht angeboten.
- Offline-Arbeit. Flugzeuge, abgelegene Standorte und schlechte Verbindungen.
- Sehr hohes, gleichmäßiges Volumen. Wenn du rund um die Uhr Token generierst, kann eigene Hardware die Token-basierte Abrechnung langfristig übertreffen. Rechne es mit deinen eigenen Zahlen durch.
- Lernen. Wenn dein Ziel ist zu verstehen, wie Inferenz funktioniert, ist das Ausführen von Modellen der beste Lehrer.
Auf der anderen Seite passt die API-Route, wenn du keine große GPU hast, einen Endpunkt im Team teilen möchtest, ein Produkt mit stabiler Schnittstelle aufbaust oder langen Kontext benötigst, ohne Speicher dafür zu kaufen.
Teste die gehostete Route in fünf Minuten
Du kannst es testen, bevor du Geld ausgibst. Neue Nutzer erhalten $0,50 Testguthaben mit einem Klick auf der API-Schlüssel-Seite nach der Anmeldung mit Google oder E-Mail. Es benötigt keine Kreditkarte und ist 7 Tage gültig. Der Test-API-Schlüssel erlaubt 2 parallele Anfragen und 60 Anfragen pro Minute, was für einen Vergleichstest gegen dein lokales Modell mehr als ausreichend ist.
Eine erste Anfrage mit curl, die Antwort gestreamt:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'Und das Gleiche mit dem Python OpenAI SDK. Wenn du bereits einen lokalen Server über dieses SDK nutzt, wirst du jede Zeile wiedererkennen:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Sende dieselben zehn Prompts an dein lokales Modell und an diesen Endpunkt, und vergleiche dann die Antworten auf Qualität, Ablehnungen und Geschwindigkeit auf deiner eigenen Hardware und Verbindung. Die API-Dokumentation listet Function Calling, JSON-Modus und die durchgegebenen Abtastparameter auf. Das Modell ist nur für Text, daher sind Bild-, Audio- und Videogenerierung nicht verfügbar, und Inhalte mit Minderjährigen sind vollständig ausgeschlossen. Alles andere ist für die rechtmäßige Nutzung durch Erwachsene gedacht.
Weitere Anleitungen
Fragen und Antworten
Wie viel Speicher brauche ich, um ein unzensiertes Modell lokal auszuführen?
Multipliziere die Parameteranzahl in Milliarden mit etwa 0,5 für eine 4-Bit-Datei, um Gigabyte für die Gewichte zu erhalten, und füge dann Platz für den Kontext hinzu. Ein 8B-Modell braucht etwa 4 GB für die Gewichte, und ein 70B-Modell etwa 35 GB.
Ist eine gehostete unzensierte API weniger privat als die lokale Ausführung?
Ja, im reinen Sinne, dass deine Prompts zu einem Server gesendet werden. Hier werden Prompts nicht zum Training verwendet, aber wenn deine Richtlinie das Senden von Text außerhalb deines Netzwerks verbietet, führe das Modell lokal aus.
Kann ich denselben Code für lokale und gehostete Modelle verwenden?
Normalerweise. Viele lokale Runner bieten einen OpenAI-kompatiblen Endpunkt, sodass du den Client-Code beibehalten und nur die Basis-URL, den Schlüssel und den Modellnamen ändern kannst.
Ermöglicht die gehostete API die Auswahl zwischen mehreren Modellen?
Nein. Es bedient ein Open-Weight-Modell mit der ID uncensored. Wenn du zwischen Fine-Tunes wählen musst, gibt dir eine lokale Einrichtung diese Freiheit.
Dein Schlüssel ist nur einen Klick entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.