LLM không kiểm duyệt tốt nhất để chạy cục bộ: Reddit so với API

Gõ "best uncensored llm to run locally reddit" vào hộp tìm kiếm sẽ cho bạn tên các mô hình, nhưng quyết định đầu tiên là liệu bạn có nên chạy một mô hình hay không. Trang này so sánh phần cứng cục bộ với API lưu trữ để bạn có thể chọn trước khi tải xuống 40 GB trọng số.
Cập nhật
Điểm chính
- Cục bộ thắng về quyền riêng tư, khả năng hoạt động ngoại tuyến và sự kiểm soát hoàn toàn. Nó tốn kém phần cứng, điện năng và thời gian thiết lập.
- Nhu cầu bộ nhớ của một mô hình xấp xỉ số lượng tham số nhân với số byte trên mỗi trọng số, cộng thêm dung lượng cho ngữ cảnh.
- API lưu trữ thắng khi bạn không có GPU lớn, cần nhiều yêu cầu đồng thời hoặc muốn có cửa sổ ngữ cảnh 100.000 token.
- Ở mức $0,15 và $0,50 cho mỗi 1 triệu token, một khối lượng công việc hàng ngày vừa phải sẽ tốn vài đô la mỗi tháng.
Câu trả lời ngắn gọn
Hãy chạy cục bộ nếu bạn sở hữu GPU có nhiều bộ nhớ, bạn thích tinh chỉnh mô hình hoặc dữ liệu của bạn không bao giờ được rời khỏi máy. Hãy dùng API lưu trữ nếu bạn muốn một mô hình lớn mà không cần mua phần cứng, cần nhiều yêu cầu đồng thời hoặc muốn dành buổi tối cho sản phẩm của mình hơn là cho trình điều khiển và định dạng lượng tử hóa.
Hầu hết mọi người hỏi câu hỏi này không cần phải chọn mãi mãi. Một lộ trình phổ biến là thử nghiệm với endpoint lưu trữ, tìm hiểu những gì prompt của bạn cần, và sau đó quyết định xem thiết lập cục bộ có đáng công sức không. Vì cả hai bên đều sử dụng định dạng chat OpenAI, việc chuyển đổi sau này chỉ cần chỉnh sửa base URL chứ không cần viết lại mã.
Cách các luồng thảo luận về chủ đề này thường diễn ra
Các thảo luận trên diễn đàn và subreddit về các mô hình uncensored cục bộ thường theo một khuôn mẫu. Ai đó hỏi về mô hình tốt nhất cho việc nhập vai hoặc hư cấu, người khác gợi ý một vài bản fine-tune, và cuộc tranh luận chuyển sang kích thước, lượng tử hóa và cài đặt lấy mẫu. Các tên thay đổi sau vài tuần, đó là lý do tại sao một danh sách cố định trong bài viết nhanh chóng lỗi thời. Điều vẫn hữu ích là phương pháp đằng sau lời khuyên đó.
Ba câu hỏi quyết định phần lớn kết quả:
- Bạn có bao nhiêu bộ nhớ? Điều này xác định mô hình lớn nhất bạn có thể chạy với tốc độ hữu ích.
- Nhiệm vụ là gì? Văn sáng tạo, trò chuyện, hỗ trợ lập trình và trích xuất có cấu trúc phù hợp với các mô hình khác nhau.
- Yêu cầu từ chối nghiêm ngặt đến mức nào? Một số mô hình tinh chỉnh loại bỏ từ chối triệt để hơn các mô hình khác, và một vài mô hình làm giảm chất lượng văn bản trong quá trình đó. Hãy thử nghiệm với prompt của bạn thay vì tin vào ảnh chụp màn hình.
Hãy coi bất kỳ lời khuyên nào bạn đọc được là điểm bắt đầu. Người viết nó có thể có GPU khác, phong cách prompt khác và mức độ chịu đựng đầu ra chậm khác nhau.
Những gì chạy cục bộ thực sự cần
Quy tắc ngón tay cái rất đơn giản. Trọng số chiếm khoảng số lượng tham số nhân với số byte lưu trữ trên mỗi tham số. Một tệp lượng tử hóa 4-bit sử dụng xấp xỉ nửa byte trên mỗi tham số, vì vậy một mô hình 8 tỷ tham số cần khoảng 8 x 0,5 = 4 GB cho trọng số, và một mô hình 70 tỷ tham số cần khoảng 70 x 0,5 = 35 GB. Dành chỗ cho bộ nhớ đệm ngữ cảnh và quá tải thời gian chạy, vốn tăng lên khi prompt của bạn dài hơn.
Phép tính đó giải thích hầu hết các thiết lập cục bộ. Một GPU tiêu dùng xử lý các mô hình nhỏ và trung bình một cách thoải mái. Các mô hình mở lớn nhất cần một bộ nhiều GPU, một máy trạm có nhiều bộ nhớ thống nhất hoặc một bộ xử lý dự phòng chậm, đủ tốt cho thử nghiệm và mệt mỏi cho việc sử dụng hàng ngày. Các công cụ như llama.cpp, Ollama và LM Studio làm cho phần mềm dễ dàng hơn, và một vài trong số chúng cung cấp endpoint cục bộ kiểu OpenAI.
Chất lượng cũng giảm khi bạn lượng tử hóa mạnh hơn. Một tệp 4-bit là một điểm giữa hợp lý cho nhiều người. Giảm thấp hơn tiết kiệm bộ nhớ và đánh đổi độ mạch lạc, và sự mất mát này xuất hiện đầu tiên trong các bài viết sáng tạo dài, chi tiết.
Chi phí ẩn mà mọi người thường quên
- Điện và nhiệt trong các phiên tạo dài.
- Thời gian dành để chọn giữa các tệp mô hình, mẫu chat và cài đặt trước của bộ lấy mẫu.
- Cập nhật: các định dạng mô hình mới xuất hiện và thiết lập của bạn cần bảo trì.
- Giới hạn ngữ cảnh: một mô hình vừa với bộ nhớ ở 8.000 token có thể không vừa ở 60.000 token.
Cục bộ và lưu trữ cùng lúc
| Yếu tố | Chạy nó cục bộ | API không kiểm duyệt được lưu trữ |
|---|---|---|
| Quyền riêng tư | Không có gì rời khỏi máy của bạn | Yêu cầu được gửi đến nhà cung cấp; prompt không được dùng để huấn luyện ở đây |
| Sử dụng ngoại tuyến | Hoạt động không cần internet | Cần một kết nối |
| Chi phí ban đầu | Phần cứng bạn có thể đã sở hữu hoặc phải mua | Không; tín dụng trả trước từ $20 |
| Chi phí vận hành | Điện năng và thời gian của bạn | $0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra |
| Lựa chọn mô hình | Bất kỳ trọng số nào bạn có thể tải vào bộ nhớ | Một mô hình, ID uncensored |
| Ngữ cảnh | Giới hạn bởi bộ nhớ của bạn | 100.000 token, prompt cộng với hoàn tất |
| Yêu cầu đồng thời | Giới hạn bởi GPU của bạn | 8 đồng thời, 300 yêu cầu mỗi phút trên một khóa đầy đủ |
| Thời gian thiết lập | Vài giờ đến vài ngày | Vài phút |
Cách đọc công bằng của bảng này là không bên nào chiếm ưu thế. Cục bộ mang lại cho bạn sự kiểm soát và độc lập. Lưu trữ mang lại cho bạn sự tiện lợi và khả năng. Lựa chọn của bạn phụ thuộc vào việc bạn đánh giá cao hơn cái nào trong hai điều đó cho dự án của mình.
Chi phí API lưu trữ cho một khối lượng công việc thực tế
Giá theo mức sử dụng dễ ước tính. Giả sử bạn sử dụng trợ lý viết gửi 1 triệu token đầu vào và nhận 0,5 triệu token đầu ra mỗi ngày. Đó là 1 x $0,15 = $0,15 cho đầu vào và 0,5 x $0,50 = $0,25 cho đầu ra, vậy $0,40 mỗi ngày. Trong 30 ngày là $12,00.
Một trường hợp nặng hơn: một ứng dụng nhỏ với 5 triệu token đầu vào và 2 triệu token đầu ra mỗi ngày tốn 5 x $0,15 = $0,75 cộng 2 x $0,50 = $1,00, tức là $1,75 mỗi ngày, hoặc $52,50 trong 30 ngày. So sánh những tổng đó với những gì bạn sẽ chi cho GPU, mức tiêu thụ điện năng và thời gian của chính bạn. Hãy tự kiểm tra giá phần cứng hiện tại vì chúng biến động.
Một số chi tiết giúp ích khi bạn lập kế hoạch ngân sách. Tín dụng không bao giờ hết hạn, vì vậy khoản nạp tiền bạn không sử dụng trong tháng này vẫn còn đó vào tháng sau. Các khoản nạp tiền có thể là bất kỳ số nguyên nào từ $20 đến $500, với khoản bonus 5 phần trăm từ $50, 10 phần trăm từ $100 và 15 phần trăm từ $200. Các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí. Trang giá cả và trang về giá theo token hiển thị chi tiết đầy đủ.
Khi API lưu trữ không phải là lựa chọn phù hợp
Có những lý do thực tế để giữ mô hình cục bộ, và sẽ không thành thật nếu phớt lờ chúng:
- Dữ liệu cách ly hoàn toàn hoặc riêng tư nghiêm ngặt. Nếu chính sách nói rằng văn bản không được rời khỏi mạng của bạn, dịch vụ lưu trữ sẽ bị loại bỏ bất kể điều khoản của nó.
- Bạn muốn một mô hình cụ thể. API này cung cấp một mô hình. Nếu bạn cần một fine-tune cụ thể, một hợp nhất bạn tự tạo hoặc một LoRA tùy chỉnh, chỉ có trọng số cục bộ mới có thể làm được điều đó. Nó cũng không cung cấp fine-tuning.
- Công việc ngoại tuyến. Máy bay, địa điểm từ xa và kết nối kém.
- Khối lượng rất cao và ổn định. Nếu bạn tạo token quanh năm, phần cứng sở hữu có thể cuối cùng sẽ vượt trội hơn về giá mỗi token. Hãy tính toán với các số liệu của riêng bạn.
- Học hỏi. Nếu mục tiêu của bạn là hiểu cách suy luận hoạt động, việc tự chạy mô hình là cách học tốt nhất.
Mặt khác, giải pháp lưu trữ phù hợp nếu bạn thiếu GPU lớn, muốn chia sẻ một endpoint cho một nhóm, xây dựng một sản phẩm cần giao diện ổn định hoặc cần ngữ cảnh dài mà không cần mua bộ nhớ cho nó.
Hãy thử lộ trình lưu trữ trong năm phút
Bạn có thể thử trước khi chi tiêu bất cứ thứ gì. Người dùng mới nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API sau khi đăng ký bằng Google hoặc email. Nó không cần thẻ và có giá trị trong 7 ngày. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, đủ cho một bài kiểm tra so sánh với mô hình cục bộ của bạn.
Một yêu cầu đầu tiên với curl, truyền phát câu trả lời:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'Và cùng một thứ với SDK OpenAI Python. Nếu bạn đã sử dụng máy chủ cục bộ thông qua SDK này, bạn sẽ nhận ra mọi dòng:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Gửi 10 prompt giống nhau cho mô hình local và endpoint này, sau đó so sánh phản hồi về chất lượng, từ chối và tốc độ trên phần cứng và kết nối của bạn. Tài liệu API liệt kê gọi hàm, chế độ JSON và các tham số lấy mẫu được chuyển tiếp. Mô hình chỉ xử lý văn bản, nên không hỗ trợ tạo ảnh, âm thanh và video, đồng thời loại trừ nội dung liên quan đến người chưa thành niên. Mọi tính năng khác đều dành cho mục đích người lớn hợp pháp.
Hướng dẫn khác
Hỏi đáp
Tôi cần bao nhiêu bộ nhớ để chạy mô hình không kiểm duyệt cục bộ?
Nhân số lượng tham số (tính bằng tỷ) với khoảng 0,5 để lấy số gigabyte cho trọng số của tệp lượng tử hóa 4-bit, sau đó cộng thêm dung lượng cho ngữ cảnh. Một mô hình 8B cần khoảng 4 GB cho trọng số, và một mô hình 70B cần khoảng 35 GB.
API lưu trữ không kiểm duyệt có kém riêng tư hơn so với chạy cục bộ không?
Có, theo nghĩa thông thường là các prompt của bạn được gửi đến máy chủ. Tại đây, các prompt không được sử dụng để huấn luyện, nhưng nếu chính sách của bạn cấm gửi văn bản ra khỏi mạng của bạn, hãy chạy cục bộ.
Tôi có thể sử dụng cùng mã cho các mô hình cục bộ và lưu trữ không?
Thường là có. Nhiều công cụ chạy cục bộ cung cấp endpoint theo chuẩn OpenAI, nên bạn có thể giữ nguyên mã client và chỉ thay đổi base URL, khóa và tên mô hình.
API lưu trữ có cho phép tôi chọn giữa nhiều mô hình không?
Không. Nó phục vụ một mô hình trọng số mở duy nhất với ID là uncensored. Nếu bạn cần chọn giữa các bản fine-tune, một cài đặt cục bộ sẽ mang lại cho bạn sự tự do đó.
Khóa của bạn chỉ cách một bước
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ cài đặt.