PL ▾
Pobierz klucz API

Najlepszy model LLM bez cenzury do uruchomienia lokalnie: Reddit vs API

Lokalna karta graficzna i serwer chmurowy zbalansowane na wadze, porównanie lokalnych i hostowanych LLM

Wpisanie „najlepszy uncensored llm do uruchomienia lokalnie reddit” w pole wyszukiwania daje nazwy modeli, ale pierwszą decyzją jest to, czy w ogóle je uruchomić. Ta strona porównuje sprzęt lokalny z API hostowanym, żebyś mógł wybrać przed pobraniem 40 GB wag.

Zaktualizowano

Kluczowe punkty

  1. Lokalne rozwiązanie wygrywa pod względem prywatności, pracy offline i pełnej kontroli. Kosztuje sprzęt, energię i czas konfiguracji.
  2. Wymagania pamięciowe modelu to w przybliżeniu liczba parametrów razy bajty na wagę, plus miejsce na kontekst.
  3. Hostowane API wygrywa, gdy nie masz dużej GPU, potrzebujesz wielu równoległych zapytań lub chcesz mieć kontekst 100 000 tokenów.
  4. Po $0,15 i $0,50 za 1 mln tokenów, umiarkowane dzienne obciążenie kosztuje kilka dolarów miesięcznie.

Krótka odpowiedź

Uruchom lokalnie, jeśli posiadasz GPU z dużą ilością pamięci, lubisz dostrajać modele lub twoje dane nigdy nie powinny opuścić twojej maszyny. Użyj hostowanego API, jeśli chcesz duży model bez kupowania sprzętu, potrzebujesz kilku zapytań w locie naraz lub wolisz spędzać wieczory na swoim produkcie, a nie na sterownikach i formatach kwantyzacji.

Większość osób pytających o to nie musi wybierać na zawsze. Typowa ścieżka to prototypowanie na hostowanym endpointzie, nauka tego, czego potrzebują Twoje prompty, a następnie decyzja, czy lokalna konfiguracja jest warta wysiłku. Ponieważ obie strony obsługują format czatu OpenAI, przełączenie się później oznacza edycję bazowego URL, a nie przepisywanie kodu.

Jak zwykle wyglądają wątki na ten temat

Dyskusje na forach i subredditach dotyczących lokalnych modeli bez cenzury mają tendencję do podążania pewnym schematem. Ktoś pyta o najlepszy model do odgrywania ról lub fikcji, odpowiedzi wymieniają kilka dostrajanych modeli, a dyskusja przechodzi w wielkość, kwantyzację i ustawienia próbkowania. Nazwy zmieniają się co kilka tygodni, dlatego stała lista w artykule szybko się starzeje. To, co pozostaje przydatne, to metoda stojąca za poradami.

Trzy pytania decydują o większości wyników:

  1. Ile masz pamięci? To wyznacza największy model, który uruchomisz z użyteczną prędkością.
  2. Czym jest zadanie? Twórcze pisanie, rozmowy z towarzyszami, pomoc w kodowaniu i ekstrakcja struktury nagradzają różne modele.
  3. Jak rygorystyczne są Twoje wymagania dotyczące odmowy? Niektóre dostrajane modele usuwają odmowy bardziej kompletnie niż inne, a kilka traci przy tym jakość pisania. Testuj na własnych promptach, a nie polegaj na zrzutach ekranu.

Traktuj każdą przeczytaną rekomendację jako punkt wyjścia. Osoba, która ją napisała, może mieć inną GPU, inny styl promptów i inną tolerancję dla wolnego wyniku.

Czego naprawdę wymaga uruchomienie lokalne

Zasada jest prosta. Wagi zajmują około liczby parametrów pomnożonej przez bajty przechowywane na parametr. Plik z kwantyzacją 4-bit zużywa około pół bajta na parametr, więc model z 8 miliardami parametrów potrzebuje około 8 x 0.5 = 4 GB na wagi, a model z 70 miliardami parametrów potrzebuje około 70 x 0.5 = 35 GB. Dodaj miejsce na bufor kontekstu i narzut środowiska uruchomieniowego, który rośnie wraz z długością promptów.

Ta arytmetyka wyjaśnia większość lokalnych konfiguracji. Pojedyncza karta GPU użytkownika obsługuje małe i średnie modele bez problemu. Największe modele o otwartych wagach wymagają zestawu z wieloma kartami GPU, stacji roboczej z dużą ilością pamięci zintegrowanej lub wolnego zapasowego procesora, co jest wystarczające do testów, ale męczące w codziennym użytkowaniu. Narzędzia takie jak llama.cpp, Ollama i LM Studio ułatwiają stronę oprogramowania, a kilka z nich udostępnia lokalny endpoint w stylu OpenAI.

Jakość spada również wraz z twardszą kwantyzacją. Plik 4-bit jest rozsądnym kompromisem dla wielu osób. Niższy poziom kwantyzacji oszczędza pamięć kosztem spójności, a strata pojawia się najpierw w długich, szczegółowych tekstach twórczych.

Ukryte koszty, o których ludzie zapominają

  • Pobór prądu i ciepło podczas długich sesji generowania.
  • Czas spędzony na wyborze między plikami modeli, szablonami czatu i ustawieniami samplerów.
  • Aktualizacje: pojawiają się nowe formaty modeli, a Twoja konfiguracja wymaga konserwacji.
  • Ograniczenia kontekstu: model, który mieści się w pamięci przy 8 000 tokenach, może nie zmieścić się przy 60 000.

Lokalne i hostowane obok siebie

CzynnikUruchom lokalnieHostowane API bez cenzury
PrywatnośćNic nie opuszcza Twojego urządzeniaZapytania trafiają do dostawcy; prompty nie są używane do trenowania
Praca offlineDziała bez internetuWymaga połączenia
Koszt początkowySprzęt, który możesz już posiadać lub musisz kupićBrak; przedpłacony kredyt od $20
Koszt działaniaEnergia i Twój czas$0,15 za 1 mln tokenów wejścia, $0,50 za 1 mln tokenów wyjścia
Wybór modeluDowolne wagi, które możesz załadowaćJeden model, ID uncensored
KontekstOgraniczone przez Twoją pamięć100 000 tokenów, prompt plus completion
Równoległe zapytaniaOgraniczone przez Twoje GPU8 równoległych, 300 zapytań na minutę na pełnym kluczu
Czas konfiguracjiGodziny do dniMinuty

Słuszna lektura tej tabeli pokazuje, że żadna ze stron nie dominuje. Rozwiązania lokalne dają ci kontrolę i niezależność. Rozwiązania hostowane oferują wygodę i moc. To, na którym polu staniesz, zależy od tego, którą z tych dwóch cech cenisz bardziej w swoim projekcie.

Ile kosztuje hostowane API za rzeczywiste obciążenie

Model rozliczeń pay-as-you-go jest łatwy do oszacowania. Załóżmy, że używasz asystenta do pisania, który wysyła 1M tokenów wejściowych i otrzymuje 0.5M tokenów wyjściowych dziennie. To 1 x $0,15 = $0,15 za wejście i 0.5 x $0,50 = $0,25 za wyjście, czyli $0,40 dziennie. Przez 30 dni daje to $12,00.

Cięższy przypadek: mała aplikacja z 5M tokenów wejściowych i 2M tokenami wyjściowymi dziennie kosztuje 5 x $0,15 = $0,75 plus 2 x $0,50 = $1,00, co daje $1,75 dziennie, albo $52,50 przez 30 dni. Porównaj te kwoty z tym, co wydałbyś na GPU, jego pobór prądu i swój czas. Sprawdź aktualne ceny sprzętu samemu, bo się zmieniają.

Niektóre szczegóły pomagają przy planowaniu budżetu. Kredyt nigdy nie wygasa, więc doładowanie, którego nie użyjesz w tym miesiącu, będzie dostępne w następnym. Doładowania mogą być dowolną kwotą całkowitą od $20 do $500, z bonusem 5 procent od $50, 10 procent od $100 i 15 procent od $200. Nieudane lub odrzucone zapytania nie są rozliczane. Strona cen i strona dotycząca ceny za token pokazują pełny podział.

Kiedy hostowane API nie jest dobrym wyborem

Istnieją prawdziwe powody, aby pozostać lokalnie, i byłoby nieuczciwe ignorować je:

  • Oddzielone od sieci lub ściśle prywatne dane. Jeśli polityka mówi, że tekst nie może opuścić Twojej sieci, usługa hostowana jest wykluczona niezależnie od jej regulaminu.
  • Chcesz konkretny model. To API serwuje jeden model. Jeśli potrzebujesz konkretnego dostrajania, mergu, który zrobiłeś samodzielnie, lub niestandardowego LoRA, tylko lokalne wagi mogą to zapewnić. Nie oferuje również dostrajania.
  • Praca offline. Samoloty, zdalne tereny i słabe połączenia.
  • Bardzo wysoki, stały wolumen. Jeśli generujesz tokeny przez całą dobę, posiadany sprzęt może ostatecznie wygrać z ceną za token. Oblicz to na swoich własnych liczbach.
  • Nauka. Jeśli Twoim celem jest zrozumienie, jak działa wnioskowanie, uruchamianie modeli samodzielnie jest najlepszym nauczycielem.

Z drugiej strony, opcja hostowana pasuje, jeśli nie masz dużej GPU, chcesz udostępnić jeden endpoint zespołowi, budujesz produkt wymagający stabilnego interfejsu lub potrzebujesz długiego kontekstu bez kupowania pamięci.

Wypróbuj opcję hostowaną w pięć minut

Przetestuj go przed wydatkowaniem środków. Nowi użytkownicy otrzymują $0,50 kredytu próbnego po kliknięciu na stronie klucza API po zalogowaniu się przez Google lub e-mail. Nie wymaga karty i jest ważny przez 7 dni. Klucz próbny pozwala na 2 równoległe zapytania i 60 zapytań na minutę, co wystarczy do testu z modelem lokalnym.

Pierwsze zapytanie z curl, strumieniowanie odpowiedzi:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

I to samo z Python OpenAI SDK. Jeśli już używasz lokalnego serwera przez to SDK, rozpoznasz każdą linię:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Wyślij te same dziesięć promptów do swojego lokalnego modelu i na ten endpoint, a następnie porównaj odpowiedzi pod kątem jakości, odrzuceń i szybkości na swoim sprzęcie i połączeniu. Dokumentacja API wymienia wywoływanie funkcji, tryb JSON oraz parametry próbkowania przekazywane dalej. Model jest tekstowy, więc generowanie obrazu, audio i wideo nie jest dostępne, a treści z udziałem nieletnich są całkowicie wykluczone. Wszystko, co robi, jest przeznaczone do prawnego użytku przez osoby dorosłe.

Pytania i odpowiedzi

Ile pamięci potrzebuję, aby uruchomić model bez cenzury lokalnie?

Pomnóż liczbę parametrów w miliardach przez około 0,5 dla pliku 4-bitowego, aby uzyskać gigabajty dla wag, a następnie dodaj miejsce na kontekst. Model 8B potrzebuje około 4 GB na wagi, a model 70B około 35 GB.

Czy API hostowane bez cenzury jest mniej prywatne niż uruchamianie lokalnie?

Tak, w zwykłym sensie, że Twoje prompty trafiają do serwera. Tutaj prompty nie są używane do trenowania, ale jeśli Twoja polityka zabrania wysyłania tekstu poza sieć, uruchom lokalnie.

Czy mogę użyć tego samego kodu dla modeli lokalnych i hostowanych?

Zazwyczaj. Wiele lokalnych runnerów udostępnia endpoint w stylu OpenAI, więc możesz zachować kod klienta i zmienić tylko bazowy URL, klucz i nazwę modelu.

Czy API hostowane pozwala mi wybrać spośród kilku modeli?

Nie. Udostępnia jeden model o otwartych wagach o ID uncensored. Jeśli potrzebujesz wyboru między fine-tunami, lokalna konfiguracja daje Ci tę swobodę.

Twój klucz jest o jeden formularz dalej

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API