Melhor LLM sem censura para rodar localmente: Reddit vs API

Digitar "melhor llm sem censura para rodar localmente reddit" em uma caixa de pesquisa traz nomes de modelos, mas a primeira decisão é se executar um de qualquer maneira. Esta página compara hardware local com uma API hospedada para que você possa escolher antes de baixar 40 GB de pesos.
Atualizado
Pontos principais
- O local vence em privacidade, uso offline e controle total. Custa hardware, energia e tempo de configuração.
- A necessidade de memória de um modelo é aproximadamente sua contagem de parâmetros vezes os bytes por peso, mais espaço para o contexto.
- Uma API hospedada vence quando você não tem uma GPU grande, precisa de muitas requisições simultâneas ou quer um contexto de 100.000 tokens.
- A $0,15 e $0,50 por 1M de tokens, uma carga de trabalho diária moderada custa alguns dólares por mês.
A resposta curta
Rode localmente se você possui uma GPU com muita memória, gosta de ajustar modelos ou seus dados não devem sair da sua máquina. Use uma API hospedada se quiser um modelo grande sem comprar hardware, precisar de várias requisições em execução ao mesmo tempo ou preferir gastar suas noites no seu produto do que com drivers e formatos de quantização.
A maioria das pessoas que faz essa pergunta não precisa escolher para sempre. Um caminho comum é prototipar contra um endpoint hospedado, aprender o que seus prompts precisam e então decidir se uma configuração local vale o esforço. Como ambos os lados falam o formato de chat OpenAI, mudar depois significa editar uma URL base, não reescrever o código.
Como os tópicos sobre este assunto geralmente são
Discussões em fóruns e subreddits sobre modelos locais sem censura tendem a seguir um padrão. Alguém pergunta pelo melhor modelo para roleplay ou ficção, as respostas nomeiam alguns ajustes finos, e o argumento muda para tamanho, quantização e configurações de amostragem. Os nomes mudam a cada poucas semanas, por isso uma lista fixa em um artigo fica desatualizada rapidamente. O que permanece útil é o método por trás do conselho.
Três perguntas decidem a maioria dos resultados:
- Quanta memória você tem? Isso define o maior modelo que você pode rodar a uma velocidade utilizável.
- Qual é a tarefa? Escrita criativa, companheiros de conversa, ajuda com código e extração estruturada recompensam diferentes modelos.
- Quão rigorosa é sua exigência de recusa? Alguns ajustes finos removem recusas mais completamente do que outros, e alguns perdem qualidade de escrita no processo. Teste com seus próprios prompts em vez de confiar em uma captura de tela.
Trate qualquer recomendação que você ler como um ponto de partida. A pessoa que escreveu pode ter uma GPU diferente, um estilo de prompt diferente e uma tolerância diferente para saída lenta.
O que rodar localmente realmente precisa
A regra prática é simples. Os pesos ocupam cerca da contagem de parâmetros multiplicada pelos bytes armazenados por parâmetro. Um arquivo quantizado de 4 bits usa cerca de meio byte por parâmetro, então um modelo de 8 bilhões de parâmetros precisa de cerca de 8 x 0,5 = 4 GB para pesos, e um modelo de 70 bilhões de parâmetros precisa de cerca de 70 x 0,5 = 35 GB. Adicione espaço para o cache de contexto e sobrecarga de tempo de execução, que cresce conforme seus prompts ficam mais longos.
Essa aritmética explica a maioria das configurações locais. Uma única GPU de consumidor lida confortavelmente com modelos pequenos e de tamanho médio. Os maiores modelos abertos precisam de um rig multi-GPU, uma estação de trabalho com muita memória unificada ou um fallback lento de CPU que é bom para testes e cansativo para uso diário. Ferramentas como llama.cpp, Ollama e LM Studio facilitam o lado do software, e vários deles expõem um endpoint local estilo OpenAI.
A qualidade também cai conforme você quantiza mais. Um arquivo de 4 bits é um meio-termo razoável para muitas pessoas. Ir mais baixo economiza memória e custa coerência, e a perda aparece primeiro em escrita criativa longa e detalhada.
Custos ocultos que as pessoas esquecem
- Eletricidade e calor durante sessões longas de geração.
- Tempo gasto escolhendo entre arquivos de modelo, modelos de chat e presets de sampler.
- Atualizações: novos formatos de modelo aparecem, e sua configuração precisa de manutenção.
- Limites de contexto: um modelo que cabe na memória em 8.000 tokens pode não caber em 60.000.
Local e hospedado lado a lado
| Fator | Rode localmente | API sem censura hospedada |
|---|---|---|
| Privacidade | Nada sai da sua máquina | As requisições vão para um provedor; os prompts não são usados para treinamento aqui |
| Uso offline | Funciona sem internet | Precisa de uma conexão |
| Custo inicial | Hardware que você já pode possuir, ou deve comprar | Nenhum; crédito pré-pago a partir de $20 |
| Custo de execução | Energia e seu tempo | $0,15 por 1M de entrada, $0,50 por 1M de tokens de saída |
| Escolha de modelo | Quaisquer pesos que você possa carregar | Um modelo, ID uncensored |
| Contexto | Limitado pela sua memória | 100.000 tokens, prompt mais conclusão |
| Requisições simultâneas | Limitado pela sua GPU | 8 concorrentes, 300 requisições por minuto em uma chave completa |
| Tempo de configuração | Horas a dias | Minutos |
A leitura justa desta tabela é que nenhum lado domina. A solução local dá a você controle e independência. A solução hospedada dá conveniência e capacidade. Onde você pousa depende de qual desses dois você valoriza mais para o seu projeto.
Quanto custa uma API hospedada para uma carga de trabalho real
O preço pagamento por uso é fácil de estimar. Digamos que você use um assistente de escrita que envia 1M de tokens de entrada e recebe 0,5M de tokens de saída por dia. Isso é 1 x $0,15 = $0,15 para entrada e 0,5 x $0,50 = $0,25 para saída, então $0,40 por dia. Em 30 dias é $12,00.
Um caso mais pesado: um pequeno aplicativo com 5M de tokens de entrada e 2M de tokens de saída por dia custa 5 x $0,15 = $0,75 mais 2 x $0,50 = $1,00, o que dá $1,75 por dia, ou $52,50 em 30 dias. Compare esses totais com o que você gastaria em uma GPU, seu consumo de energia e seu próprio tempo. Verifique os preços atuais de hardware por conta própria, pois eles variam.
Alguns detalhes ajudam quando você planeja um orçamento. Crédito nunca expira, então um recarregamento que você não usar este mês ainda estará disponível no próximo mês. Os recarregamentos podem ser qualquer valor inteiro de $20 a $500, com um bônus de 5% a partir de $50, 10% a partir de $100 e 15% a partir de $200. Requisições falhas ou recusadas não são cobradas. A página de preços e a página sobre preços por token mostram a divisão completa.
Quando uma API hospedada não é a escolha certa
Há razões reais para permanecer local, e seria desonesto ignorá-las:
- Dados isolados da rede ou estritamente privados. Se a política diz que o texto não pode sair da sua rede, um serviço hospedado está fora, independentemente de seus termos.
- Você quer um modelo específico. Esta API serve um modelo. Se você precisa de um ajuste fino particular, uma fusão que você fez sozinho ou um LoRA personalizado, apenas pesos locais podem fazer isso. Também não oferece ajuste fino.
- Trabalho offline. Aviões, locais remotos e conexões ruins.
- Volume muito alto e constante. Se você gera tokens o dia todo, o hardware próprio pode eventualmente superar o preço por token. Faça a aritmética com seus próprios números.
- Aprendizado. Se seu objetivo é entender como a inferência funciona, rodar modelos você mesmo é o melhor professor.
Por outro lado, a opção hospedada se encaixa se você não tem uma GPU grande, quer compartilhar um endpoint único entre uma equipe, construir um produto que precisa de uma interface estável ou precisa de contexto longo sem comprar memória para isso.
Experimente a rota hospedada em cinco minutos
Você pode testar antes de gastar qualquer coisa. Novos usuários reivindicam $0,50 de crédito de teste com um clique na página da chave de API após entrar com Google ou e-mail. Não precisa de cartão e é válido por 7 dias. A chave de teste permite 2 requisições simultâneas e 60 requisições por minuto, o que é mais do que suficiente para um teste lado a lado contra seu modelo local.
Uma primeira solicitação com curl, transmitindo a resposta:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'E a mesma coisa com o SDK OpenAI para Python. Se você já usa um servidor local através deste SDK, você reconhecerá cada linha:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Envie as mesmas dez prompts para o seu modelo local e para este endpoint, depois compare as respostas quanto à qualidade, recusas e velocidade no seu próprio hardware e conexão. A documentação da API lista chamada de funções, modo JSON e os parâmetros de amostragem que são passados. O modelo é apenas de texto, então geração de imagem, áudio e vídeo não estão disponíveis, e conteúdo envolvendo menores de idade é excluído inteiramente. Todo o resto que ele faz é para uso adulto e legal.
Mais guias
Perguntas e respostas
Quanta memória eu preciso para executar um modelo sem censura localmente?
Multiplique a contagem de parâmetros em bilhões por cerca de 0,5 para um arquivo em 4 bits para obter gigabytes para pesos, depois adicione espaço para contexto. Um modelo de 8B precisa de cerca de 4 GB para pesos, e um modelo de 70B cerca de 35 GB.
Uma API hospedada sem censura é menos privada do que executar localmente?
Sim, no sentido simples de que seus prompts são enviados para um servidor. Aqui, os prompts não são usados para treinamento, mas se sua política proíbe o envio de texto para fora da sua rede, execute localmente.
Posso usar o mesmo código para modelos locais e hospedados?
Geralmente. Muitos executores locais expõem um endpoint no estilo OpenAI, então você pode manter o código do cliente e alterar apenas a base URL, a chave e o nome do modelo.
A API hospedada me permite escolher entre vários modelos?
Não. Ela serve um único modelo de pesos abertos com o ID uncensored. Se você precisar escolher entre ajustes finos, uma configuração local oferece essa liberdade.
Sua chave está a um clique de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.