最佳本地运行无审查 LLM:Reddit 对比 API

在搜索框中输入“best uncensored llm to run locally reddit”会给你模型名称,但第一个决定是是否要运行一个。本页面比较本地硬件与托管 API,以便你在下载 40 GB 权重之前做出选择。
已更新
要点
- 本地运行在隐私、离线使用和完全控制方面胜出。它需要硬件、电力和设置时间。
- 模型的内存需求大致是其参数量乘以每个权重的字节数,加上上下文空间。
- 当你没有大型 GPU、需要大量并发请求或想要 100,000-token 上下文时,托管 API 胜出。
- 每 1M token $0.15和 $0.50,适度的日常工作量每月花费几美元。
简短回答
如果你拥有内存充足的 GPU、喜欢调整模型,或者数据必须绝不离开你的机器,请本地运行。如果你想要大型模型而不购买硬件,需要同时处理多个请求,或者宁愿把晚上时间花在产品上而不是驱动程序和量化格式上,请使用托管 API。
大多数问这个问题的人不需要永远做出选择。常见的路径是先针对托管接口进行原型设计,了解你的提示词需求,然后决定是否值得进行本地设置。由于双方都使用 OpenAI 聊天格式,稍后切换只需编辑 base URL,无需重写代码。
该主题线程通常的走向
关于本地无审查模型的论坛和 subreddit 讨论往往遵循一种模式。有人询问角色扮演或小说的最佳模型,回复者列出几个微调模型,争论转向大小、量化和采样设置。名称每几周变化一次,这就是为什么文章中的固定列表很快过时。有用的是建议背后的方法。
三个问题决定了大部分结果:
- 你有多少内存? 这决定了你能以可用速度运行的最大模型。
- 任务是什么? 创意写作、聊天伴侣、编码帮助和结构化提取任务中,不同的模型表现各异。
- 你的拒绝要求有多严格? 一些微调模型比其他模型更彻底地去除拒绝,而少数模型在此过程中损失写作质量。使用你自己的提示词进行测试,而不是相信截图。
将任何你读到的建议视为起点。撰写它的人可能拥有不同的 GPU、不同的提示词风格和不同的慢输出容忍度。
本地运行真正需要什么
经验法则很简单。权重的大小约等于参数量乘以每个参数占用的字节数。4-bit 量化文件每个参数大约占用 0.5 字节,因此 80 亿参数的模型权重约需 8 x 0.5 = 4 GB,而 700 亿参数的模型权重约需 70 x 0.5 = 35 GB。还需为上下文缓存和运行时开销留出空间,随着提示词变长,这些开销也会增加。
这种计算解释了大多数本地部署情况。单个消费级 GPU 可以舒适地处理小型和中规模模型。最大的开源模型需要多 GPU 机架、具有大量统一内存的工作站,或者作为测试可行但日常使用令人疲惫的缓慢 CPU 回退方案。llama.cpp、Ollama 和 LM Studio 等工具简化了软件侧的操作,其中几个提供了 OpenAI 风格的本地端点。
随着量化程度加深,质量也会下降。4-bit 文件对许多人来说是合理的中间地带。更低会节省内存并损失连贯性,损失首先出现在长而详细的创意写作中。
人们忘记的隐藏成本
- 长时间生成期间的电力和热量。
- 在模型文件、聊天模板和采样器预设之间花费的时间。
- 更新:出现了新的模型格式,你的设置需要维护。
- 上下文限制:在 8,000 token 下适合内存的模型在 60,000 token 下可能不适合。
本地和托管并排
| 因素 | 本地运行 | 托管无审查 API |
|---|---|---|
| 隐私 | 没有任何内容离开你的机器 | 请求发送到提供商;提示词不在此处用于训练 |
| 离线使用 | 无需互联网即可工作 | 需要连接 |
| 前期成本 | 你可能已经拥有或必须购买的硬件 | 无;预付额度从 $20 起 |
| 运行成本 | 电力和你的时间 | 输入每 100 万 token $0.15,输出每 100 万 token $0.50 |
| 模型选择 | 你可以加载的任何权重 | 单一模型,ID uncensored |
| 上下文 | 受你的内存限制 | 100,000 token,包含提示词和补全 |
| 并发 | 受你的 GPU 限制 | 完整套餐密钥下支持 8 个并发,每分钟 300 个请求 |
| 设置时间 | 数小时至数天 | 分钟 |
该表的公平解读是双方都不占主导。本地部署给你控制和独立性。托管服务给你便利和容量。你的选择取决于你的项目更看重这两者中的哪一个。
真实工作负载下托管 API 的成本
按量付费定价易于估算。假设你使用一个写作助手,每天发送 1M 输入 token 并接收 0.5M 输出 token。输入为 1 x $0.15 = $0.15,输出为 0.5 x $0.50 = $0.25,所以每天 $0.40。30 天是 $12.00。
更重的情况:每天 5M 输入 token 和 2M 输出 token 的小型应用花费 5 x $0.15 = $0.75 加上 2 x $0.50 = $1.00,即每天 $1.75,或 30 天内 $52.50。将这些总数与你本应花在 GPU、其功耗和你自己时间上的费用进行比较。自己检查当前的硬件价格,因为它们会波动。
规划预算时一些细节有帮助。额度永不过期,所以本月未使用的充值下个月仍然存在。充值可以是 $20 到 $500 之间的任何整数金额,$50 起有 5% 奖金,$100 起有 10% 奖金,$200 起有 15% 奖金。失败或被拒绝的请求不收费。定价页面和每 token 定价页面显示完整细分。
托管 API 不是最佳选择时
留在本地有真正的理由,忽视它们是欺骗性的:
- 气隙或严格私有数据。 如果策略规定文本不得离开你的网络,托管服务无论如何都不行。
- 你想要特定模型。 此 API 提供一个模型。如果你需要特定的微调模型、你自己制作的合并或自定义 LoRA,只有本地权重可以做到。它也不提供微调。
- 离线工作。 飞机、偏远站点和糟糕的连接。
- 非常高且稳定的量。 如果你全天候生成 token,自有硬件最终可能在每 token 定价上胜出。用你自己的数字进行计算。
- 学习。 如果你的目标是了解推理如何工作,自己运行模型是最好的老师。
另一方面,托管方案适合以下情况:你缺乏大型 GPU,希望团队共享一个端点,构建需要稳定接口的产品,或需要长上下文而无需为此购买内存。
五分钟内尝试托管路线
你可以在花费任何资金之前先进行测试。新用户注册 Google 或邮箱后,只需在 API 密钥页面 点击一下即可领取 $0.50 的试用额度。无需信用卡,有效期为 7 天。试用密钥允许 2 个并发请求和每分钟 60 个请求,足以与你的本地模型进行对比测试。
使用 curl 的第一个请求,流式输出答案:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'使用 Python OpenAI SDK 的相同操作。如果你已经通过此 SDK 使用本地服务器,你会认出每一行:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)将相同的十个提示词发送给你的本地模型和此接口,然后比较回复的质量、拒答情况和在你自己的硬件与连接上的速度。API 文档 列出了函数调用、JSON 模式以及透传的采样参数。该模型仅支持文本,因此不提供图像、音频和视频生成功能,且完全排除涉及未成年人的内容。其余所有功能均适用于合法的成人用途。
更多指南
问答
在本地运行无审查模型需要多少内存?
将数十亿参数的数量乘以约 0.5(针对 4-bit 文件)以获取权重的 GB 数,然后为上下文留出余量。8B 模型需要约 4 GB 权重空间,70B 模型需要约 35 GB。
托管的无审查 API 比本地运行隐私性差吗?
是的,从基本意义上说,因为你的提示词会传输到服务器。这里的提示词不用于训练,但如果你禁止将文本发送到网络之外,请在本地运行。
我可以对本地和托管模型使用相同的代码吗?
通常可以。许多本地运行器暴露 OpenAI 风格的端点,因此你可以保留客户端代码,仅更改基础 URL、密钥和模型名称。
托管 API 允许我在多个模型之间进行选择吗?
不可以。它提供 ID 为 uncensored 的单一开放权重模型。如果你需要在微调模型之间进行选择,本地设置能给你这种自由。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。