Yerel Çalıştırılacak En İyi Sansürsüz LLM: Reddit vs API

"yerel olarak çalıştırılacak en iyi sansürsüz llm reddit" araması model isimleri getirir, ancak ilk karar bir modeli hiç çalıştırmayı gerektirip gerektirmediğidir. Bu sayfa, yerel donanımı barındırılan bir API ile karşılaştırır, böylece 40 GB ağırlığı indirmeden önce seçim yapabilirsiniz.
Güncellendi
Temel noktalar
- Gizlilik, çevrimdışı kullanım ve tam kontrol açısından yerel çözüm kazanır. Donanım, elektrik ve kurulum süresi maliyeti gerektirir.
- Bir modelin bellek ihtiyacı, yaklaşık parametre sayısının ağırlık başına bayt sayısıyla çarpımı artı bağlam için yer eklenmesiyle belirlenir.
- Büyük bir GPU'nuz yoksa, çok sayıda eşzamanlı istek gerekiyorsa veya 100.000 token'lık bir bağlam penceresi istiyorsanız barındırılan API kazanır.
- 1M token başına $0,15 ve $0,50 ile, orta düzey günlük bir iş yükü ayda birkaç dolara mal olur.
Kısa cevap
Yeterli belleğe sahip bir GPU'ya sahipseniz, modelleri ince ayarlamaktan hoşlanıyorsanız veya verilerinizin asla makinenizden ayrılmaması gerekiyorsa yerel olarak çalıştırın. Donanım satın almadan büyük bir modele ihtiyacınız varsa, aynı anda birden fazla istek göndermek istiyorsanız veya akşamlarınızı sürücüler ve niceleme formatlarıyla geçirmek yerine ürününüz üzerinde çalıştırmayı tercih ediyorsanız barındırılan bir API kullanın.
Bu soruyu soranların çoğu sonsuza kadar seçim yapmak zorunda değildir. Yaygın bir yol, barındırılan bir uç noktaya karşı prototip geliştirmek, istemlerinizin neye ihtiyaç duyduğunu öğrenmek ve ardından yerel bir kurulumun çabaya değip değmeyeceğine karar vermektir. Her iki taraf da OpenAI sohbet formatını konuştuğu için, daha sonra geçiş yapmak kodu yeniden yazmayı değil, temel URL'yi düzenlemeyi gerektirir.
Bu konudaki tartışma threadlerinin gidişatı
Yerel sansürsüz modeller hakkında forum ve subreddit tartışmaları genellikle bir kalıp izler. Birisi rol yapma veya kurgu için en iyi modeli sorar, yanıtlar birkaç ince ayarlanmış modeli adlandırır ve tartışma boyut, niceleme ve örnekleme ayarlarına döner. İsimler birkaç haftada bir değişir, bu nedenle bir makaledeki sabit liste hızla eskir. Faydalı olan, tavsiyenin arkasındaki yöntemdir.
Çoğu sonucu belirleyen üç soru şunlardır:
- Ne kadar belleğiniz var? Bu, kullanılabilir bir hızta çalıştırabileceğiniz en büyük modeli belirler.
- İş nedir? Yaratıcı yazım, sohbet arkadaşları, kodlama yardımı ve yapılandırılmış çıkış farklı modelleri destekler.
- Reddetme gereksiniminiz ne kadar katı? Bazı ince ayarlar reddetmeleri diğerlerinden daha tamamen kaldırır ve bazıları bu süreçte yazma kalitesini kaybeder. Bir ekran görüntüsüne güvenmek yerine kendi istemlerinizle test yapın.
Okuduğunuz her tavsiyeyi bir başlangıç noktası olarak değerlendirin. Bunu yazan kişinin farklı bir GPU'su, farklı bir istem stili ve yavaş çıktıya karşı farklı bir toleransı olabilir.
Yerelde çalıştırmak gerçekten ne gerektirir
Kural basittir. Ağırlıklar, parametre sayısının parametre başına saklanan bayt sayısıyla çarpımına yaklaşık olarak eşittir. 4-bit nicelemeli bir dosya parametre başına yaklaşık yarım bayt kullanır, bu nedenle 8 milyar parametreli bir model için ağırlıklar yaklaşık 8 x 0,5 = 4 GB gerektirir ve 70 milyar parametreli bir model için yaklaşık 70 x 0,5 = 35 GB gerektirir. Bağlam önbelleği ve istemleriniz uzadıkça artan çalışma zamanı ek yükü için alan ekleyin.
Bu aritmetik çoğu yerel kurulumu açıklar. Tek bir tüketici GPU'su küçük ve orta boyutlu modelleri rahatlıkla yönetir. En büyük açık modeller çoklu GPU'lu bir kurulum, çoklu birleşik belleğe sahip bir iş istasyonu veya test için uygun ancak günlük kullanım için yorucu olan yavaş bir CPU yedeklemesi gerektirir. llama.cpp, Ollama ve LM Studio gibi araçlar yazılım tarafını kolaylaştırır ve bunların birkaçı OpenAI tarzı yerel bir uç nokta sunar.
Kalite, quantization arttıkça da düşer. 4-bit dosya birçok kişi için makul bir orta yol sunar. Daha düşük seviyeye inmek bellek tasarrufu sağlar ancak tutarlılıktan ödün verir ve kayıp önce uzun, detaylı yaratıcı yazmada ortaya çıkar.
İnsanların unuttuğu gizli maliyetler
- Uzun üretim oturumları sırasında elektrik ve ısı.
- Model dosyaları, sohbet şablonları ve örnekleme ön ayarları arasında geçirdiğiniz zaman.
- Güncellemeler: yeni model formatları ortaya çıkar ve kurulumunuz bakım gerektirir.
- Bağlam limitleri: 8.000 token'da belleğe sığan bir model 60.000 token'da sığmayabilir.
Yerel ve barındırılan yan yana
| Faktör | Yerelde çalıştırın | Barındırılan sansürsüz API |
|---|---|---|
| Gizlilik | Hiçbir şey makinenizden ayrılmaz | İstekler bir sağlayıcıya gider; istemler burada eğitim için kullanılmaz |
| Çevrimdışı kullanım | İnternet olmadan çalışır | Bir bağlantı gerektirir |
| Ön maliyet | Zaten sahip olabileceğiniz veya satın almanız gereken donanım | Yok; $20'den başlayan ön ödemeli kredi |
| Çalıştırma maliyeti | Elektrik ve zamanınız | 1M giriş token'ı başına $0,15, 1M çıkış token'ı başına $0,50 |
| Model seçimi | Yüklenebilecek tüm ağırlıklar | Tek model, ID uncensored |
| Bağlam | Belleğinizle sınırlıdır | 100.000 token, istem plus tamamlama |
| Paralel istekler | GPU'nuz tarafından sınırlı | Tam anahtar başına dakikada 8 eşzamanlı, 300 istek |
| Kurulum süresi | Saatler veya günler | Dakikalar |
Bu tablonun adil okuması, hiçbir tarafın baskın olmadığıdır. Yerel kontrol ve bağımsızlık sağlar. Barındırılan kolaylık ve kapasite sağlar. Nerede duracağınız, projeniz için bu ikiden hangisini daha çok değerli bulduğunuza bağlıdır.
Gerçek bir iş yükü için barındırılan bir API'nin maliyeti
Kullandıkça ödemeli fiyatlandırma kolayca tahmin edilebilir. Diyelim ki gününde 1M giriş token'ı gönderen ve gününde 0,5M çıktı token'ı alan bir yazım asistanı kullanıyorsunuz. Bu, giriş için 1 x $0,15 = $0,15 ve çıktı için 0,5 x $0,50 = $0,25, yani günlük $0,40 eder. 30 gün içinde $12,00 eder.
Daha ağır bir vaka: günlük 5M giriş token'ı ve 2M çıktı token'ı alan küçük bir uygulama, 5 x $0,15 = $0,75 artı 2 x $0,50 = $1,00 eder, yani günlük $1,75 veya 30 gün içinde $52,50 eder. Bu toplamları bir GPU'ya, güç tüketimine ve kendi zamanınıza harcadıklarınızla karşılaştırın. Hareket ettikleri için güncel donanım fiyatlarını kendiniz kontrol edin.
Bütçe planlarken bazı ayrıntılar yardımcı olur. Kredi asla tükenmez, bu yüzden bu ay kullanmadığınız bir bakiye yükleme bir sonraki ay da orada kalır. Bakiye yüklemeler $20 ile $500 arasında herhangi bir tam miktar olabilir, $50'den itibaren %5, $100'den itibaren %10 ve $200'den itibaren %15 bonus vardır. Başarısız veya reddedilen istekler için ücret alınmaz. fiyatlandırma sayfası ve token başına fiyatlandırma sayfası tam ayrıntıları gösterir.
Barındırılan API'nin doğru tercih olmadığı durumlar
Yerelde kalmak için gerçek nedenler vardır ve bunları görmezden gelmek haksızlık olur:
- Hava geçişsiz veya kesinlikle özel veri. Politika metnin ağınızdan ayrılmaması gerektiğini söylüyorsa, barındırılan bir hizmet şartlarına bakılmaksızın elenir.
- Belirli bir model istiyorsunuz. Bu API tek bir modeli sunar. Belirli bir ince ayarlanmış modeli, kendiniz birleştirdiğiniz bir modeli veya özel bir LoRA'ya ihtiyacınız varsa, bunu yalnızca yerel model ağırlıkları yapabilir. Ayrıca ince ayarlamayı da sunmaz.
- Çevrimdışı çalışma. Uçaklar, uzak siteler ve kötü bağlantılar.
- Çok yüksek, istikrarlı hacim. Tokenları gün boyu üretiyorsanız, sahip olunan donanım nihayetinde token başına fiyatlandırmayı geçebilir. Kendi sayılarınızla hesaplamayı yapın.
- Öğrenme. Amacınız çıkarımın nasıl çalıştığını anlamaksa, modelleri kendiniz çalıştırmak en iyi öğretmendir.
Öte yandan, barındırılan yol; büyük bir GPU'nuz yoksa, bir uç noktayı bir ekip arasında paylaşmak istiyorsanız, kararlı bir arayüz gerektiren bir ürün oluşturuyorsanız veya bellek satın almadan uzun bağlama ihtiyacınız varsa uygundur.
Beş dakikada barındırılan rotayı deneyin
Hiçbir şey harcamadan önce test edebilirsiniz. Yeni kullanıcılar Google veya e-posta ile kayıt olduktan sonra API anahtarı sayfası üzerinde tek tıkla $0,50 deneme kredisi alır. Kart gerekmez ve 7 gün geçerlidir. Deneme anahtı dakikada 2 eşzamanlı istek ve dakikada 60 istek izni verir, bu da yerel modelinize karşı yan yana test için fazlasıyla yeterlidir.
Cevabı akış olarak alan bir ilk curl isteği:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'Python OpenAI SDK ile aynı şey. Zaten bu SDK aracılığıyla yerel bir sunucu kullanıyorsanız, her satırı tanıyacaksınız:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Aynı on istemi yerel modelinize ve bu uç noktaya gönderin, ardından yanıtları kendi donanımınız ve bağlantınızda kalite, reddetmeler ve hız açısından karşılaştırın. API belgeleri araç çağırma, JSON modu ve geçirilen örnekleme parametrelerini listeler. Model yalnızca metin destekler, bu nedenle görüntü, ses ve video üretimi mevcut değildir ve reşit olmayanlar içeren içerik tamamen hariç tutulmuştur. Geri kalan her şey yasal yetişkin kullanımı içindir.
Daha fazla kılavuz
Sorular ve cevaplar
Sansürsüz bir modeli yerel olarak çalıştırmak için ne kadar belleğe ihtiyacım var?
4-bit bir dosya için parametre sayısını milyarlarca yaklaşık 0,5 ile çarparak ağırlıklar için gigabaytları alın, ardından bağlam için alan ekleyin. 8B bir model için ağırlıklar yaklaşık 4 GB gerektirir ve 70B model için yaklaşık 35 GB gerektirir.
Barındırılan sansürsüz API, yerel olarak çalıştırmaya göre daha az gizli midir?
Evet, basit anlamda istemleriniz bir sunucuya gider. Burada istemler eğitim için kullanılmaz, ancak politikalarınız metni ağınız dışına göndermeyi yasaklıyorsa yerel olarak çalıştırın.
Yerel ve barındırılan modeller için aynı kodu kullanabilir miyim?
Genellikle. Birçok yerel çalıştırıcı OpenAI tarzı bir uç nokta sunar, böylece istemci kodunu koruyabilir ve yalnızca temel URL'yi, anahtarı ve model adını değiştirebilirsiniz.
Barındırılan API bana birkaç model arasında seçim yapma imkanı tanıyor mu?
Hayır. uncensored ID'sine sahip tek bir açık ağırlıklı modeli sunar. İnce ayarlar arasında seçim yapmanız gerekiyorsa, yerel bir kurulum size bu özgürlüğü sağlar.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.