Model LLM tanpa sensor terbaik untuk dijalankan secara lokal: Reddit vs API

Mengetik "best uncensored llm to run locally reddit" ke kotak pencarian memberi Anda nama model, tetapi keputusan pertama adalah apakah akan menjalankan salah satunya sama sekali. Halaman ini membandingkan perangkat keras lokal dengan API yang dihosting agar Anda dapat memilih sebelum mengunduh 40 GB bobot.
Diperbarui
Poin utama
- Lokal menang dalam hal privasi, penggunaan offline, dan kontrol penuh. Ini membutuhkan perangkat keras, daya, dan waktu penyiapan.
- Kebutuhan memori model adalah kira-kira jumlah parameternya dikali byte per bobot, ditambah ruang untuk konteks.
- API yang di-host menang ketika Anda tidak memiliki GPU besar, membutuhkan banyak permintaan paralel, atau menginginkan konteks 100.000 token.
- Dengan harga $0,15 dan $0,50 per 1 juta token, beban kerja harian sedang membutuhkan beberapa dolar per bulan.
Jawaban singkat
Jalankan secara lokal jika Anda memiliki GPU dengan memori yang cukup, Anda menikmati penyetelan model, atau data Anda harus tetap di mesin Anda. Gunakan API yang di-host jika Anda menginginkan model besar tanpa membeli perangkat keras, membutuhkan beberapa permintaan yang berjalan sekaligus, atau lebih memilih menghabiskan malam Anda pada produk Anda daripada pada driver dan format kuantisasi.
Sebagian besar orang yang mengajukan pertanyaan ini tidak perlu memilih selamanya. Jalur umum adalah melakukan prototipe terhadap endpoint yang di-host, mempelajari kebutuhan prompt Anda, dan kemudian memutuskan apakah pengaturan lokal sepadan dengan usaha. Karena kedua belah pihak menggunakan format chat OpenAI, beralih di kemudian hari berarti mengedit URL dasar, bukan menulis ulang kode.
Bagaimana thread pada topik ini biasanya berjalan
Diskusi di forum dan subreddit tentang model tanpa sensor lokal cenderung mengikuti pola. Seseorang meminta model terbaik untuk roleplay atau fiksi, balasan menyebutkan beberapa fine-tune, dan argumen berubah menjadi ukuran, kuantisasi, dan pengaturan sampling. Nama-nama berubah setiap beberapa minggu, itulah mengapa daftar tetap dalam artikel menjadi cepat usang. Yang tetap berguna adalah metode di balik saran tersebut.
Tiga pertanyaan menentukan sebagian besar hasil:
- Berapa banyak memori yang Anda miliki? Ini menetapkan model terbesar yang dapat Anda jalankan dengan kecepatan yang dapat digunakan.
- Apa tugasnya? Penulisan kreatif, teman obrolan, bantuan coding, dan ekstraksi terstruktur memberi hadiah pada model yang berbeda.
- Seberapa ketat persyaratan penolakan Anda? Beberapa penyesuaian halus menghilangkan penolakan lebih lengkap daripada yang lain, dan beberapa kehilangan kualitas penulisan dalam prosesnya. Uji dengan prompt Anda sendiri daripada mempercayai screenshot.
Perlakukan rekomendasi apa pun yang Anda baca sebagai titik awal. Orang yang menulisnya mungkin memiliki GPU yang berbeda, gaya prompt yang berbeda, dan toleransi yang berbeda terhadap output yang lambat.
Apa yang benar-benar dibutuhkan untuk menjalankan model secara lokal
Aturan praktisnya sederhana. Bobot memakan sekitar jumlah parameter dikalikan dengan byte yang disimpan per parameter. File kuantisasi 4-bit menggunakan kira-kira setengah byte per parameter, jadi model dengan 8 miliar parameter membutuhkan sekitar 8 x 0,5 = 4 GB untuk bobot, dan model dengan 70 miliar parameter membutuhkan sekitar 70 x 0,5 = 35 GB. Tambahkan ruang untuk cache konteks dan overhead runtime, yang tumbuh seiring dengan panjang prompt Anda.
Aritmatika itu menjelaskan sebagian besar pengaturan lokal. Satu GPU konsumen menangani model kecil dan berukuran menengah dengan nyaman. Model terbuka terbesar membutuhkan rig multi-GPU, workstation dengan memori terpadu yang banyak, atau fallback CPU lambat yang baik untuk pengujian dan melelahkan untuk penggunaan harian. Alat seperti llama.cpp, Ollama dan LM Studio membuat sisi perangkat lunak lebih mudah, dan beberapa di antaranya mengekspos endpoint lokal bergaya OpenAI.
Kualitas juga turun saat Anda melakukan kuantisasi lebih keras. File 4-bit adalah titik tengah yang wajar bagi banyak orang. Menurunkan lebih jauh menghemat memori dan mengorbankan koherensi, dan loss muncul pertama kali dalam penulisan kreatif panjang dan terperinci.
Biaya tersembunyi yang dilupakan orang
- Listrik dan panas selama sesi generasi panjang.
- Waktu yang dihabiskan untuk memilih antara file model, template obrolan, dan preset sampler.
- Pembaruan: format model baru muncul, dan pengaturan Anda membutuhkan pemeliharaan.
- Batas konteks: model yang muat dalam memori pada 8.000 token mungkin tidak muat pada 60.000.
Lokal dan yang di-host berdampingan
| Faktor | Jalankan secara lokal | API uncensored yang di-hosting |
|---|---|---|
| Privasi | Tidak ada yang keluar dari mesin Anda | Permintaan dikirim ke penyedia; prompt tidak digunakan untuk pelatihan di sini |
| Penggunaan offline | Bekerja tanpa internet | Membutuhkan koneksi |
| Biaya awal | Perangkat keras yang mungkin sudah Anda miliki, atau harus beli | Tidak ada; kredit prabayar mulai $20 |
| Biaya operasional | Daya dan waktu Anda | $0,15 per 1M token input, $0,50 per 1M token output |
| Pilihan model | Bobot apa pun yang dapat Anda muat | Satu model, ID uncensored |
| Konteks | Dibatasi oleh memori Anda | 100.000 token, prompt plus penyelesaian |
| Permintaan paralel | Dibatasi oleh GPU Anda | 8 permintaan paralel, 300 permintaan per menit pada kunci penuh |
| Waktu penyiapan | Jam hingga hari | Menit |
Pembacaan adil dari tabel ini adalah bahwa tidak ada sisi yang mendominasi. Lokal memberi Anda kontrol dan kemandirian. Di-host memberi Anda kenyamanan dan kapasitas. Di mana Anda mendarat tergantung pada mana dari dua hal itu yang Anda hargai lebih untuk proyek Anda.
Biaya API Ter-host untuk Beban Kerja Nyata
Harga bayar-per-penggunaan mudah diperkirakan. Katakanlah Anda menggunakan asisten penulisan yang mengirim 1M token input dan menerima 0,5M token output per hari. Itu adalah 1 x $0,15 = $0,15 untuk input dan 0,5 x $0,50 = $0,25 untuk output, jadi $0,40 per hari. Selama 30 hari adalah $12,00.
Kasus yang lebih berat: aplikasi kecil dengan 5M token input dan 2M token output per hari biaya 5 x $0,15 = $0,75 ditambah 2 x $0,50 = $1,00, yang merupakan $1,75 per hari, atau $52,50 selama 30 hari. Bandingkan total tersebut dengan apa yang akan Anda habiskan pada GPU, konsumsi dayanya, dan waktu Anda sendiri. Periksa harga perangkat keras saat ini sendiri, karena harganya bergerak.
Beberapa detail membantu saat Anda merencanakan anggaran. Kredit tidak pernah kedaluwarsa, sehingga isi saldo yang tidak Anda gunakan bulan ini masih ada bulan depan. Isi saldo dapat berupa jumlah bulat apa pun dari $20 hingga $500, dengan bonus 5 persen dari $50, 10 persen dari $100 dan 15 persen dari $200. Permintaan yang gagal atau ditolak tidak dikenakan biaya. Halaman harga dan halaman tentang harga per-token menunjukkan rincian lengkap.
Kapan API yang di-host bukan pilihan yang tepat
Ada alasan nyata untuk tetap lokal, dan akan tidak jujur jika mengabaikan mereka:
- Data yang terisolasi secara fisik atau sangat privat. Jika kebijakan mengatakan teks tidak boleh keluar dari jaringan Anda, layanan yang dihosting bukan pilihan terlepas dari syarat dan ketentuannya.
- Anda menginginkan model tertentu. API ini melayani satu model. Jika Anda membutuhkan penyesuaian halus tertentu, penggabungan yang Anda buat sendiri, atau LoRA kustom, hanya bobot lokal yang dapat melakukan itu. Ini juga tidak menawarkan penyesuaian halus.
- Bekerja offline. Pesawat, situs terpencil, dan koneksi buruk.
- Volume tinggi yang sangat stabil. Jika Anda menghasilkan token sepanjang waktu, perangkat keras milik sendiri mungkin akhirnya mengalahkan harga per-token. Lakukan aritmatika dengan angka Anda sendiri.
- Pembelajaran. Jika tujuan Anda adalah memahami bagaimana inferensi bekerja, menjalankan model sendiri adalah guru terbaik.
Di sisi lain, jalur yang di-host cocok jika Anda tidak memiliki GPU besar, ingin berbagi satu endpoint di seluruh tim, membangun produk yang membutuhkan antarmuka yang stabil, atau membutuhkan konteks panjang tanpa membeli memori untuk itu.
Coba jalur yang di-host dalam lima menit
Anda dapat mengujinya sebelum mengeluarkan biaya apa pun. Pengguna baru mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API setelah masuk dengan Google atau email. Ini tidak memerlukan kartu dan berlaku selama 7 hari. Kunci uji coba memungkinkan 2 permintaan konkuren dan 60 permintaan per menit, yang cukup untuk pengujian berdampingan melawan model lokal Anda.
Permintaan pertama dengan curl, streaming jawaban:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'Dan hal yang sama dengan SDK OpenAI Python. Jika Anda sudah menggunakan server lokal melalui SDK ini, Anda akan mengenali setiap baris:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Kirim sepuluh prompt yang sama ke model lokal Anda dan ke endpoint ini, lalu bandingkan balasan untuk kualitas, penolakan, dan kecepatan pada perangkat keras dan koneksi Anda sendiri. Dokumentasi API mencantumkan pemanggilan fungsi, mode JSON, dan parameter sampling yang diteruskan. Model hanya teks, sehingga generasi gambar, audio, dan video tidak tersedia, dan konten yang melibatkan anak di bawah umur dikecualikan sepenuhnya. Semua hal lain yang dilakukannya adalah untuk penggunaan dewasa yang sah.
Panduan lainnya
Tanya jawab
Berapa banyak memori yang saya butuhkan untuk menjalankan model tanpa sensor secara lokal?
Kalikan jumlah parameter dalam miliaran dengan sekitar 0,5 untuk file 4-bit guna mendapatkan gigabyte untuk bobot, lalu tambahkan ruang untuk konteks. Model 8B membutuhkan sekitar 4 GB untuk bobot, dan model 70B sekitar 35 GB.
Apakah API tanpa sensor yang dihosting kurang privat daripada dijalankan secara lokal?
Ya, dalam pengertian sederhana bahwa prompt Anda dikirim ke server. Di sini prompt tidak digunakan untuk pelatihan, tetapi jika kebijakan Anda melarang mengirim teks keluar dari jaringan Anda, jalankan secara lokal.
Apakah saya dapat menggunakan kode yang sama untuk model lokal dan yang di-host?
Biasanya. Banyak pelari lokal mengekspos endpoint bergaya OpenAI, sehingga Anda dapat mempertahankan kode klien dan hanya mengubah base URL, kunci, dan nama model.
Apakah API yang dihosting memungkinkan saya memilih di antara beberapa model?
Tidak. API ini melayani satu model bobot terbuka dengan ID uncensored. Jika Anda perlu memilih di antara fine-tuning, pengaturan lokal memberi Anda kebebasan tersebut.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah base URL. Itu saja seluruh pengaturannya.