Miglior LLM senza censura da eseguire in locale: Reddit vs API

Digitare "best uncensored llm to run locally reddit" in una casella di ricerca ti restituisce nomi di modelli, ma la prima decisione è se eseguirne uno o meno. Questa pagina confronta l'hardware locale con un API hostato così che tu possa scegliere prima di scaricare 40 GB di pesi.
Aggiornato
Punti chiave
- Il locale vince su privacy, uso offline e controllo completo. Costa hardware, energia e tempo di configurazione.
- Il bisogno di memoria di un modello è approssimativamente il suo conteggio dei parametri moltiplicato per i byte per peso, più spazio per il contesto.
- Un'API ospitata vince quando non hai una GPU grande, hai bisogno di molte richieste parallele o vuoi un contesto da 100.000 token.
- A $0,15 e $0,50 per 1M di token, un carico di lavoro giornaliero moderato costa pochi dollari al mese.
La risposta breve
Esegui in locale se possiedi una GPU con molta memoria, ti piace ottimizzare i modelli o i tuoi dati non devono mai lasciare la tua macchina. Usa un'API ospitata se vuoi un modello grande senza acquistare hardware, hai bisogno di diverse richieste in corso contemporaneamente o preferisci passare le tue serate sul tuo prodotto piuttosto che sui driver e sui formati di quantizzazione.
La maggior parte delle persone che pongono questa domanda non deve scegliere per sempre. Un percorso comune è fare prototipi contro un endpoint ospitato, imparare di cosa hanno bisogno i tuoi prompt, e poi decidere se un'installazione locale vale lo sforzo. Poiché entrambi i lati parlano il formato chat OpenAI, passare in seguito significa modificare un URL di base, non riscrivere il codice.
Come di solito vanno i thread su questo argomento
Le discussioni sui forum e subreddit sui modelli locali senza censura tendono a seguire uno schema. Qualcuno chiede il modello migliore per il roleplay o la narrativa, le risposte nominano alcuni fine-tune, e l'argomento si sposta su dimensione, quantizzazione e impostazioni di campionamento. I nomi cambiano ogni poche settimane, motivo per cui un elenco fisso in un articolo diventa presto obsoleto. Ciò che rimane utile è il metodo dietro il consiglio.
Tre domande decidono la maggior parte del risultato:
- Quanta memoria hai? Questo stabilisce il modello più grande che puoi eseguire a una velocità utilizzabile.
- Qual è il lavoro? Scrittura creativa, compagni di chat, aiuto nella codifica ed estrazione strutturata premiano modelli diversi.
- Quanto rigorosa è la tua richiesta di rifiuto? Alcuni modelli affinati rimuovono i rifiuti di risposta in modo più completo di altri, e alcuni perdono qualità di scrittura nel processo. Testa con i tuoi prompt invece di fidarti di uno screenshot.
Tratta qualsiasi raccomandazione che leggi come un punto di partenza. La persona che l'ha scritta potrebbe avere una GPU diversa, uno stile di prompt diverso e una diversa tolleranza per l'output lento.
Cosa richiede davvero l'esecuzione in locale
La regola pratica è semplice. I pesi occupano circa il conteggio dei parametri moltiplicato per i byte memorizzati per parametro. Un file quantizzato a 4 bit usa circa mezzo byte per parametro, quindi un modello da 8 miliardi di parametri richiede circa 8 x 0,5 = 4 GB per i pesi, e un modello da 70 miliardi di parametri richiede circa 70 x 0,5 = 35 GB. Aggiungi spazio per la cache del contesto e l'overhead di runtime, che cresce man mano che i tuoi prompt diventano più lunghi.
Quell'aritmetica spiega la maggior parte delle configurazioni locali. Una singola GPU consumer gestisce modelli piccoli e di medie dimensioni con facilità. I modelli open più grandi richiedono una configurazione multi-GPU, una workstation con molta memoria unificata, o un fallback CPU lento che va bene per i test ma stanca per l'uso quotidiano. Strumenti come llama.cpp, Ollama e LM Studio rendono più facile il lato software, e diversi di essi espongono un endpoint locale in stile OpenAI.
La qualità diminuisce anche quando quantizzi di più. Un file a 4 bit è un compromesso ragionevole per molte persone. Andare più in basso risparmia memoria e costa coerenza, e la perdita si manifesta prima nella scrittura creativa lunga e dettagliata.
Costi nascosti che la gente dimentica
- Elettricità e calore durante le lunghe sessioni di generazione.
- Tempo speso a scegliere tra file di modelli, modelli di chat e preset del sampler.
- Aggiornamenti: appaiono nuovi formati di modello e la tua configurazione necessita di manutenzione.
- Limiti di contesto: un modello che si adatta alla memoria a 8.000 token potrebbe non adattarsi a 60.000.
Locale e ospitato fianco a fianco
| Fattore | Eseguilo in locale | API uncensored hostata |
|---|---|---|
| Privacy | Nulla lascia la tua macchina | Le richieste vanno a un provider; i prompt non vengono utilizzati per l'addestramento qui |
| Uso offline | Funziona senza internet | Richiede una connessione |
| Costo iniziale | Hardware che potresti già possedere, o devi acquistare | Nessuno; credito prepagato da $20 |
| Costo di esercizio | Energia e il tuo tempo | $0,15 per 1M token di input, $0,50 per 1M token di output |
| Scelta del modello | Qualsiasi peso che puoi caricare | Un modello, ID uncensored |
| Contesto | Limitato dalla tua memoria | 100.000 token, prompt più completamento |
| Richieste parallele | Limitato dalla tua GPU | 8 concorrenti, 300 richieste al minuto su una chiave completa |
| Tempo di configurazione | Ore o giorni | Minuti |
La lettura onesta di questa tabella è che nessun lato domina. Il locale ti dà controllo e indipendenza. L'ospitato ti dà convenienza e capacità. Dove atterri dipende da quale di questi due valori di più per il tuo progetto.
Quanto costa un'API ospitata per un carico di lavoro reale
La tariffazione pay-as-you-go è facile da stimare. Supponi di usare un assistente di scrittura che invia 1M di token di input e riceve 0,5M di token di output al giorno. Questo è 1 x $0,15 = $0,15 per l'input e 0,5 x $0,50 = $0,25 per l'output, quindi $0,40 al giorno. In 30 giorni sono $12,00.
Un caso più pesante: un'app piccola con 5M di token di input e 2M di token di output al giorno costa 5 x $0,15 = $0,75 più 2 x $0,50 = $1,00, che è $1,75 al giorno, o $52,50 in 30 giorni. Confronta questi totali con quello che spenderesti per una GPU, il suo consumo energetico e il tuo tempo. Controlla i prezzi attuali dell'hardware da solo, poiché variano.
Alcuni dettagli aiutano quando pianifichi un budget. Il credito non scade mai, quindi una ricarica che non usi questo mese è ancora lì il mese prossimo. Le ricariche possono essere qualsiasi importo intero da $20 a $500, con un bonus del 5 percento da $50, 10 percento da $100 e 15 percento da $200. Le richieste fallite o rifiutate non vengono addebitate. La pagina dei prezzi e la pagina sulla tariffazione per token mostrano la suddivisione completa.
Quando un'API ospitata non è la scelta giusta
Ci sono motivi reali per restare locali, e sarebbe disonesto sminuirli:
- Dati isolati o strettamente privati. Se la politica dice che il testo non può lasciare la tua rete, un servizio hostato è fuori indipendentemente dai suoi termini.
- Vuoi un modello specifico. Questa API offre un solo modello. Per un fine-tune, una fusione o un LoRA personalizzato, servono solo i pesi locali. Non offre fine-tuning.
- Lavoro offline. Aerei, siti remoti e connessioni scadenti.
- Volume molto alto e costante. Se generi token tutto il giorno, l'hardware posseduto potrebbe alla fine battere il prezzo per token. Fai i calcoli con i tuoi numeri.
- Apprendimento. Se il tuo obiettivo è capire come funziona l'inferenza, eseguire i modelli da solo è il miglior insegnante.
Dall'altra parte, la soluzione ospitata è adatta se non hai una GPU potente, vuoi condividere un endpoint tra un team, costruire un prodotto che richiede un'interfaccia stabile o hai bisogno di un contesto lungo senza acquistare memoria per esso.
Prova la rotta ospitata in cinque minuti
Puoi testarlo prima di spendere qualcosa. I nuovi utenti ottengono $0,50 di credito di prova con un clic sulla pagina della chiave API dopo essersi registrati con Google o email. Non serve una carta ed è valido per 7 giorni. La chiave di prova permette 2 richieste concorrenti e 60 richieste al minuto, che è abbastanza per un test fianco a fianco contro il tuo modello locale.
Una prima richiesta con curl, in streaming della risposta:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'E la stessa cosa con l'SDK Python OpenAI. Se usi già un server locale attraverso questo SDK, riconoscerai ogni riga:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Invia gli stessi dieci prompt al tuo modello locale e a questo endpoint, poi confronta le risposte per qualità, rifiuti e velocità sul tuo hardware e connessione. La documentazione API elenca la chiamata di funzioni, la modalità JSON e i parametri di campionamento che sono passati attraverso. Il modello è solo testo, quindi la generazione di immagini, audio e video non è disponibile, e i contenuti che coinvolgono minorenni sono esclusi del tutto. Tutto ciò che fa è per l'uso adulto legale.
Altre guide
Domande e risposte
Quanta memoria serve per eseguire un modello senza censura in locale?
Moltiplica il numero di parametri in miliardi per circa 0,5 per un file a 4 bit per ottenere i gigabyte per i pesi, poi aggiungi spazio per il contesto. Un modello da 8B richiede circa 4 GB per i pesi, mentre un modello da 70B circa 35 GB.
Un'API hostato senza censura è meno privato rispetto all'esecuzione locale?
Sì, nel senso semplice che i tuoi prompt viaggiano verso un server. Qui i prompt non vengono utilizzati per l'addestramento, ma se la tua politica vieta l'invio di testo fuori dalla tua rete, esegui in locale.
Posso usare lo stesso codice per modelli locali e hostati?
Di solito sì. Molti runner locali espongono un endpoint in stile OpenAI, quindi puoi mantenere il codice del client e modificare solo l'URL di base, la chiave e il nome del modello.
L'API hostato mi permette di scegliere tra diversi modelli?
No. Offre un unico modello a pesi aperti con ID uncensored. Se hai bisogno di scegliere tra fine-tune, un'installazione locale ti offre questa libertà.
La tua chiave è a un modulo di distanza
Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.