Meilleur LLM sans censure à exécuter localement : Reddit vs API

Taper « meilleur llm non censuré à exécuter localement reddit » dans une barre de recherche vous donne des noms de modèles, mais la première décision est de savoir s’il faut en exécuter un. Cette page compare le matériel local à une API hébergée pour que vous puissiez choisir avant de télécharger 40 Go de poids.
Mis à jour
Points clés
- Le local gagne en confidentialité, en utilisation hors ligne et en contrôle total. Il coûte du matériel, de l’énergie et du temps d’installation.
- Le besoin en mémoire d'un modèle est approximativement son nombre de paramètres multiplié par les octets par poids, plus de place pour le contexte.
- Une API hébergée gagne lorsque vous n'avez pas de gros GPU, avez besoin de nombreuses requêtes simultanées ou voulez un contexte de 100 000 tokens.
- À $0,15 et $0,50 par 1M de tokens, une charge de travail quotidienne modérée coûte quelques dollars par mois.
La réponse courte
Exécutez localement si vous possédez un GPU avec beaucoup de mémoire, si vous aimez ajuster les modèles, ou si vos données ne doivent jamais quitter votre machine. Utilisez une API hébergée si vous voulez un grand modèle sans acheter de matériel, si vous avez besoin de plusieurs requêtes simultanées en même temps, ou si vous préférez passer vos soirées sur votre produit plutôt que sur les pilotes et les formats de quantification.
La plupart des personnes qui posent cette question n’ont pas besoin de choisir pour toujours. Un parcours courant consiste à prototyper contre un endpoint hébergé, à apprendre ce dont vos prompts ont besoin, puis à décider si une configuration locale vaut l’effort. Comme les deux côtés utilisent le format de chat OpenAI, passer à l’autre plus tard signifie modifier une URL de base, pas réécrire le code.
Comment se déroulent généralement les fils de discussion sur ce sujet
Les discussions sur les forums et les subreddits concernant les modèles locaux sans censure suivent souvent un schéma. Quelqu'un demande le meilleur modèle pour le jeu de rôle ou la fiction, les réponses citent quelques fine-tunes, et l'argument porte sur la taille, la quantification et les paramètres d'échantillonnage. Les noms changent toutes les quelques semaines, c'est pourquoi une liste fixe dans un article devient vite obsolète. Ce qui reste utile, c'est la méthode derrière les conseils.
Trois questions décident de la plupart des résultats :
- De combien de mémoire disposez-vous ? Cela définit le plus grand modèle que vous pouvez exécuter à une vitesse utilisable.
- Quel est le travail ? L'écriture créative, les compagnons de chat, l'aide au codage et l'extraction structurée récompensent différents modèles.
- À quel point votre exigence de refus est-elle stricte ? Certains fine-tunes suppriment les refus plus complètement que d'autres, et quelques-uns perdent en qualité d'écriture dans le processus. Testez avec vos propres prompts plutôt que de faire confiance à une capture d'écran.
Traitez toute recommandation que vous lisez comme un point de départ. La personne qui l'a écrite peut avoir un GPU différent, un style de prompt différent et une tolérance différente pour les sorties lentes.
Ce dont l'exécution locale a vraiment besoin
La règle empirique est simple. Les poids prennent environ le nombre de paramètres multiplié par les octets stockés par paramètre. Un fichier quantifié 4 bits utilise environ un demi-octet par paramètre, donc un modèle de 8 milliards de paramètres nécessite environ 8 x 0,5 = 4 Go pour les poids, et un modèle de 70 milliards de paramètres nécessite environ 70 x 0,5 = 35 Go. Ajoutez de la place pour le cache de contexte et la surcharge d'exécution, qui augmente à mesure que vos prompts deviennent plus longs.
Cette arithmétique explique la plupart des configurations locales. Un GPU grand public gère facilement les modèles petits et de taille moyenne. Les plus grands modèles ouverts nécessitent un ensemble multi-GPU, une station de travail avec beaucoup de mémoire unifiée, ou un fallback CPU lent qui est suffisant pour les tests et fatigant pour une utilisation quotidienne. Des outils tels que llama.cpp, Ollama et LM Studio facilitent le côté logiciel, et plusieurs d’entre eux exposent un endpoint local au format OpenAI.
La qualité diminue également lorsque vous quantifiez plus fortement. Un fichier 4 bits est un milieu raisonnable pour beaucoup de gens. Descendre plus bas économise de la mémoire et coûte en cohérence, et la perte apparaît d'abord dans l'écriture créative longue et détaillée.
Les coûts cachés que les gens oublient
- Électricité et chaleur pendant les longues sessions de génération.
- Temps passé à choisir entre des fichiers de modèles, des modèles de conversation et des préréglages de sampler.
- Mises à jour : de nouveaux formats de modèles apparaissent, et votre configuration nécessite une maintenance.
- Limites de contexte : un modèle qui tient en mémoire à 8 000 tokens peut ne pas tenir à 60 000.
Local et hébergé côte à côte
| Facteur | Exécutez-le localement | API hébergée sans censure |
|---|---|---|
| Confidentialité | Rien ne quitte votre machine | Les requêtes vont à un fournisseur ; les prompts ne sont pas utilisés pour l'entraînement ici |
| Utilisation hors ligne | Fonctionne sans internet | Nécessite une connexion |
| Coût initial | Matériel que vous possédez peut-être déjà, ou que vous devez acheter | Aucun ; crédit prépayé à partir de 20 $ |
| Coût d'exécution | Énergie et votre temps | $0,15 par 1M de tokens d'entrée, $0,50 par 1M de tokens de sortie |
| Choix du modèle | Tous les poids que vous pouvez charger | Un modèle, ID uncensored |
| Contexte | Limité par votre mémoire | 100 000 tokens, prompt plus complétion |
| Concurrence | Limité par votre GPU | 8 concurrentes, 300 requêtes par minute sur une clé entièrement financée |
| Temps de configuration | Heures à jours | Minutes |
La lecture impartiale de ce tableau est que aucun côté ne domine. Le local vous donne le contrôle et l’indépendance. L’hébergé vous donne la commodité et la capacité. Là où vous atterrissez dépend de laquelle de ces deux options vous valorisez le plus pour votre projet.
Ce que coûte une API hébergée pour une charge de travail réelle
Le paiement à l'usage est facile à estimer. Disons que vous utilisez un assistant d'écriture qui envoie 1M de tokens d'entrée et reçoit 0,5M de tokens de sortie par jour. Cela fait 1 x 0,15 $ = 0,15 $ pour l'entrée et 0,5 x 0,50 $ = 0,25 $ pour la sortie, soit 0,40 $ par jour. Sur 30 jours, cela fait 12,00 $.
Un cas plus lourd : une petite application avec 5M de tokens d'entrée et 2M de tokens de sortie par jour coûte 5 x 0,15 $ = 0,75 $ plus 2 x 0,50 $ = 1,00 $, soit 1,75 $ par jour, ou 52,50 $ sur 30 jours. Comparez ces totaux avec ce que vous dépenseriez pour un GPU, sa consommation électrique et votre propre temps. Vérifiez vous-même les prix actuels du matériel, car ils fluctuent.
Certains détails aident lorsque vous planifiez un budget. Le crédit prépayé n’expire jamais, donc un rechargement que vous n’utilisez pas ce mois-ci est toujours là le mois suivant. Les rechargements peuvent être n’importe quel montant entier de 20 $ à 500 $, avec un bonus de 5 pour cent à partir de 50 $, 10 pour cent à partir de 100 $ et 15 pour cent à partir de 200 $. Les requêtes échouées ou refusées ne sont pas facturées. La page de tarification et la page sur la tarification par token montrent le détail complet.
Quand une API hébergée n'est pas le meilleur choix
Il y a de vraies raisons de rester local, et ce serait malhonnête de les écarter d'un geste de la main :
- Données isolées ou strictement privées. Si la politique dit que le texte ne peut pas quitter votre réseau, un service hébergé est exclu quelles que soient ses conditions.
- Vous voulez un modèle spécifique. Cette API sert un seul modèle. Si vous avez besoin d'un fine-tune particulier, d'une fusion que vous avez faite vous-même ou d'un LoRA personnalisé, seuls les poids locaux peuvent le faire. Elle n'offre pas non plus de fine-tuning.
- Travail hors ligne. Avions, sites distants et mauvaises connexions.
- Volume très élevé et constant. Si vous générez des tokens en continu, votre matériel propre finira par être plus rentable que le prix par token. Faites le calcul avec vos propres chiffres.
- Apprentissage. Si votre but est de comprendre comment fonctionne l'inférence, exécuter vous-même les modèles est le meilleur professeur.
De l'autre côté, la route hébergée convient si vous manquez d'un gros GPU, voulez partager un endpoint unique entre une équipe, construire un produit qui a besoin d'une interface stable, ou avez besoin d'un long contexte sans acheter de mémoire pour cela.
Essayez la solution hébergée en cinq minutes
Vous pouvez le tester avant de dépenser quoi que ce soit. Les nouveaux utilisateurs obtiennent 0,50 $ de crédit d'essai gratuit en un clic sur la page clé API après s'être connecté avec Google ou e-mail. Cela ne nécessite pas de carte et est valide pendant 7 jours. La clé d'essai permet 2 requêtes simultanées et 60 requêtes par minute, ce qui est suffisant pour un test côte à côte contre votre modèle local.
Une première requête avec curl, en streaming la réponse :
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'Et la même chose avec le SDK OpenAI pour Python. Si vous utilisez déjà un serveur local via ce SDK, vous reconnaîtrez chaque ligne :
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Envoyez les mêmes dix prompts à votre modèle local et à cet endpoint, puis comparez les réponses en qualité, refus et vitesse sur votre propre matériel et connexion. La documentation de l'API liste l'appel de fonctions, le mode JSON et les paramètres d'échantillonnage qui sont transmis. Le modèle est textuel uniquement, donc la génération d'images, d'audio et de vidéo n'est pas disponible, et le contenu impliquant des mineurs est entièrement exclu. Tout le reste est destiné à un usage adulte légal.
Plus de guides
Questions et réponses
Quelle quantité de mémoire faut-il pour exécuter un modèle sans censure en local ?
Multipliez le nombre de paramètres en milliards par environ 0,5 pour un fichier 4 bits et obtenez les gigaoctets pour les poids, puis ajoutez de l’espace pour le contexte. Un modèle 8B nécessite environ 4 Go pour les poids, et un modèle 70B environ 35 Go.
Une API hébergée sans censure est-elle moins privée qu'une exécution en local ?
Oui, dans le sens où vos prompts sont envoyés à un serveur. Ici, les prompts ne sont pas utilisés pour l'entraînement, mais si votre politique interdit l'envoi de texte hors de votre réseau, exécutez en local.
Puis-je utiliser le même code pour les modèles locaux et hébergés ?
Habituellement. De nombreux exécutants locaux exposent un endpoint au format OpenAI, vous pouvez donc conserver le code client et modifier uniquement l’URL de base, la clé et le nom du modèle.
L'API hébergée me permet-elle de choisir parmi plusieurs modèles ?
Non. Elle propose un seul modèle à poids ouverts avec l'ID de modèle uncensored. Si vous devez choisir entre des modèles ajustés, une configuration locale vous offre cette liberté.
Votre clé est à une étape de formulaire
Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.