RU ▾
Получить API-ключ

Лучшая uncensored LLM для локального запуска: Reddit против API

Локальная видеокарта и облачный сервер, сбалансированные по шкале, сравнение локальных и хостинговых LLM

Ввод «лучшая uncensored llm для локального запуска reddit» в строку поиска выдает названия моделей, но первое решение — стоит ли запускать одну вообще. Эта страница сравнивает локальное оборудование с хостинговым API, чтобы вы могли выбрать вариант до загрузки 40 ГБ весов.

Обновлено

Ключевые моменты

  1. Локальный запуск выигрывает в приватности, автономности и полном контроле. Он требует оборудования, энергии и времени на настройку.
  2. Потребность модели в памяти примерно равна количеству параметров, умноженному на количество байт на вес, плюс место для контекста.
  3. Хостинговый API выигрывает, когда у вас нет мощного GPU, нужны многочисленные параллельные запросы или требуется контекст на 100 000 токенов.
  4. При цене $0,15 и $0,50 за 1 млн токенов умеренная ежедневная нагрузка обходится в несколько долларов в месяц.

Краткий ответ

Запускайте локально, если у вас есть GPU с достаточным объемом памяти, вы любите настраивать модели или ваши данные никогда не должны покидать компьютер. Используйте хостинговый API, если хотите большую модель без покупки оборудования, нужны несколько одновременных запросов или предпочитаете тратить вечера на свой продукт, а не на драйверы и форматы квантования.

Большинство людей, задающих этот вопрос, не обязаны выбирать навсегда. Обычный путь — прототипирование на хостинговом endpoint, изучение требований ваших промптов и решение, стоит ли локальная настройка усилий. Поскольку обе стороны используют формат чата OpenAI, последующее переключение означает изменение базового URL, а не переписывание кода.

Как обычно развиваются обсуждения на эту тему

Обсуждения на форумах и в сабреддитах о локальных моделях без цензуры обычно следуют шаблону. Кто-то спрашивает о лучшей модели для ролевых игр или художественной литературы, в ответах называют несколько дообученных моделей, и спор переходит к размеру, квантованию и настройкам сэмплирования. Названия меняются каждые несколько недель, поэтому фиксированный список в статье быстро устаревает. Полезным остается метод, лежащий в основе советов.

Три вопроса определяют большинство результатов:

  1. Сколько у вас памяти? Это определяет максимальный размер модели, которую можно запустить с приемлемой скоростью.
  2. Какая задача? Художественное письмо, чат-компаньоны, помощь в коде и структурированное извлечение по-разному оцениваются разными моделями.
  3. Насколько строгие требования к отказам? Некоторые дообученные модели убирают отказы более полностью, чем другие, а некоторые теряют качество письма в процессе. Тестируйте своими промптами, а не доверяйте скриншотам.

Относитесь к любой рекомендации как к отправной точке. Автор мог иметь другой GPU, другой стиль промптов и другую толерантность к медленному выводу.

Что действительно нужно для локального запуска

Практическое правило простое. Веса занимают примерно количество параметров, умноженное на количество байт, хранимых на параметр. Файл с квантованием 4-bit использует примерно полбайта на параметр, поэтому модели с 8 миллиардами параметров требуется около 8 x 0,5 = 4 ГБ для весов, а модели с 70 миллиардами параметров — около 70 x 0,5 = 35 ГБ. Добавьте место для кэша контекста и накладных расходов среды выполнения, которые растут по мере увеличения длины ваших промптов.

Эта арифметика объясняет большинство локальных конфигураций. Одна потребительская видеокарта легко справляется с небольшими и средними моделями. Крупнейшие open-weight модели требуют многопроцессорной GPU-системы, рабочей станции с большим объёмом единой памяти или медленного резервного варианта на CPU, что подходит для тестов, но утомляет при ежедневном использовании. Такие инструменты, как llama.cpp, Ollama и LM Studio, упрощают программную часть, а некоторые из них предоставляют локальный эндпоинт в стиле OpenAI.

Качество также снижается при более сильном квантовании. Файл 4-bit — разумный компромисс для многих. Снижение ниже экономит память, но стоит когерентности, и потери проявляются в первую очередь в длинном детальном художественном письме.

Скрытые расходы, которые забывают

  • Электричество и тепло во время длительных сессий генерации.
  • Время, потраченное на выбор между файлами моделей, шаблонами чата и пресетами сэмплера.
  • Обновления: появляются новые форматы моделей, и ваша настройка требует обслуживания.
  • Ограничения контекста: модель, которая помещается в память при 8 000 токенов, может не поместиться при 60 000.

Локальный и хостинговый рядом

ФакторЗапустить локальноХостинговый API без цензуры
КонфиденциальностьНичего не покидает вашу машинуЗапросы отправляются провайдеру; промпты здесь не используются для обучения
Офлайн-использованиеРаботает без интернетаТребуется подключение
Предварительные затратыОборудование, которое у вас уже есть, или которое нужно купитьНет; предоплаченный баланс от $20
Стоимость запускаЭнергия и ваше время$0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов
Выбор моделиЛюбые веса, которые вы можете загрузитьОдна модель, ID uncensored
КонтекстОграничено вашей памятью100 000 токенов, промпт плюс завершение
Параллельные запросыОграничено вашим GPU8 параллельных запросов, 300 запросов в минуту на полном ключе
Время настройкиЧасы или дниМинуты

Справедливое чтение этой таблицы показывает, что ни одна сторона не доминирует. Локальный запуск даёт вам контроль и независимость. Хостинг предоставляет удобство и мощность. Ваш выбор зависит от того, что для вашего проекта вы цените больше.

Сколько стоит хостинговый API для реальной нагрузки

Ценообразование pay as you go легко оценить. Скажем, вы используете помощника для письма, который отправляет 1 млн входных токенов и получает 0,5 млн выходных токенов в день. Это 1 x $0,15 = $0,15 за вход и 0,5 x $0,50 = $0,25 за выход, итого $0,40 в день. За 30 дней это $12,00.

Более тяжелый случай: небольшое приложение с 5 млн входных токенов и 2 млн выходных токенов в день стоит 5 x $0,15 = $0,75 плюс 2 x $0,50 = $1,00, что составляет $1,75 в день или $52,50 за 30 дней. Сравните эти суммы с тем, что вы потратите на GPU, его энергопотребление и свое время. Проверьте текущие цены на оборудование самостоятельно, так как они меняются.

Некоторые детали помогают при планировании бюджета. Кредит не сгорает, поэтому пополнение, которое вы не использовали в этом месяце, останется в следующем. Пополнения могут быть любой целой суммой от $20 до $500, с бонусом 5 процентов от $50, 10 процентов от $100 и 15 процентов от $200. Отказанные или отклонённые запросы не оплачиваются. На странице ценообразования и на странице ценообразования за токен показан полный разбор.

Когда размещённый API — не лучший выбор

Есть реальные причины оставаться локально, и было бы нечестно игнорировать их:

  • Данные в изолированной сети или строго конфиденциальные. Если политика запрещает выход текста за пределы вашей сети, размещённый сервис не подходит независимо от его условий.
  • Вы хотите конкретную модель. Этот API предоставляет одну модель. Если вам нужна конкретная дообученная модель, слияние, которое вы сделали сами, или пользовательский LoRA, только локальные веса могут это обеспечить. Он также не предлагает дообучение.
  • Офлайн работа. Самолеты, удаленные площадки и плохие соединения.
  • Очень высокий, стабильный объем. Если вы генерируете токены круглосуточно, собственное оборудование в конечном итоге может превзойти ценообразование за токен. Сделайте арифметику со своими числами.
  • Обучение. Если ваша цель — понять, как работает вывод, запуск моделей самостоятельно — лучший способ обучения.

С другой стороны, маршрут с размещённым API подходит, если у вас нет большого GPU, вы хотите разделить один эндпоинт между командой, создаёте продукт, которому нужен стабильный интерфейс, или вам нужен длинный контекст без покупки для него памяти.

Попробуйте размещённый маршрут за пять минут

Вы можете протестировать его, не тратя ничего. Новые пользователи получают $0,50 пробного кредита одним нажатием на странице API-ключа после регистрации через Google или email. Карта не нужна, срок действия — 7 дней. Ключ пробного доступа позволяет выполнять 2 параллельных запроса и до 60 запросов в минуту, чего вполне достаточно для сравнительного тестирования с вашей локальной моделью.

Первый запрос с curl, потоковая передача ответа:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

И то же самое с Python SDK OpenAI. Если вы уже используете локальный сервер через этот SDK, вы узнаете каждую строку:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Отправьте те же десять промптов вашей локальной модели и в этот эндпоинт, затем сравните ответы по качеству, отказам и скорости на вашем собственном оборудовании и соединении. В документации API описаны вызов функций, JSON-режим и параметры сэмплирования, которые передаются напрямую. Модель работает только с текстом, поэтому генерация изображений, аудио и видео недоступна, а контент с участием несовершеннолетних полностью исключён. Всё остальное предназначено для законного использования взрослыми.

Вопросы и ответы

Сколько памяти нужно для запуска модели без цензуры локально?

Умножьте количество параметров в миллиардах на примерно 0.5 для 4-битного файла, чтобы получить гигабайты для весов, затем добавьте место для контекста. Модели на 8B нужно около 4 ГБ для весов, а модели на 70B — около 35 ГБ.

Менее ли приватен размещённый API без цензуры, чем локальный запуск?

Да, в самом простом смысле: ваши промпты отправляются на сервер. Здесь промпты не используются для обучения, но если ваша политика запрещает отправку текста за пределы вашей сети, запускайте модель локально.

Могу ли я использовать тот же код для локальных и хостинговых моделей?

Обычно да. Многие локальные среды выполнения предоставляют эндпоинт в стиле OpenAI, поэтому вы можете сохранить код клиента и изменить только базовый URL, ключ и имя модели.

Позволяет ли хостинг API выбирать между несколькими моделями?

Нет. Он предоставляет одну модель с открытыми весами с идентификатором uncensored. Если вам нужно выбирать между дообученными моделями, локальная настройка даст вам эту свободу.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ