最佳本地運行無審查 LLM:Reddit 討論 vs API

在搜尋框輸入「適合本地執行的最佳無審查 LLM reddit」會得到模型名稱,但第一個決定是是否要執行。本頁比較本地硬體與託管 API,讓你在下載 40 GB 權重之前就能做出選擇。
更新
重點摘要
- 本地運行在隱私、離線使用和完全控制方面勝出。它需要硬體、電力和設定時間的成本。
- 模型的記憶體需求大約是參數數量乘以每個權重的位元組數,加上上下文空間。
- 當你沒有大型 GPU、需要許多並行請求或想要 100,000-token 上下文時,託管 API 勝出。
- 每 1M token 價格為 $0.15 和 $0.50 時,適度的每日工作負載每月成本僅幾美元。
簡短答案
如果你擁有記憶體充足的 GPU、喜歡調整模型,或資料必須永遠不離開你的機器,請在本地運行。如果你想要大型模型而不購買硬體、需要同時處理多個請求,或者寧願把晚上時間花在產品上而不是驅動程式和量化格式上,請使用託管 API。
大多數問這個問題的人並不需要永遠做出選擇。常見的路徑是先針對託管端點進行原型開發,了解提示詞所需的特性,然後決定本地設置是否值得努力。由於兩方都使用 OpenAI 聊天格式,稍後切換只需編輯 Base URL,無需重寫程式碼。
此主題的討論線程通常如何進行
關於本地無審查模型的論壇和 subreddit 討論往往遵循某種模式。有人詢問角色扮演或小說的最佳模型,回覆者會列出幾種微調模型,接著討論會轉向模型大小、量化和採樣設定。這些名稱每隔幾週就會改變,因此文章中的固定清單很快就會過時。真正有用的是建議背後的方法。
三個問題決定了大多數結果:
- 你有多少記憶體? 這決定了你能以可用速度運行的最大模型。
- 工作是什麼?創意寫作、聊天夥伴、程式碼協助和結構化提取等任務適合不同的模型。
- 你的拒絕要求有多嚴格? 一些微調模型比其他模型更徹底地移除拒絕,而少數模型在此過程中會失去寫作質量。使用你自己的提示詞進行測試,而不是相信截圖。
將你讀到的任何建議視為起點。撰寫它的人可能擁有不同的 GPU、不同的提示詞風格和對慢速輸出的不同容忍度。
本地運行真正需要什麼
經驗法則很簡單。權重大約佔參數數量乘以每個參數存儲的位元組數。4-bit 量化文件每個參數大約使用半個位元組,因此 80 億參數模型需要約 8 x 0.5 = 4 GB 權重空間,700 億參數模型需要約 70 x 0.5 = 35 GB。加上上下文快取和運行時開銷的空間,這會隨著提示詞變長而增長。
這種算術解釋了大多數本地設置。單個消費級 GPU 可以輕鬆處理小型和中大型模型。最大的開放模型需要多 GPU 機箱、擁有大量統一記憶體的工作站,或作為緩慢的 CPU 後備方案,這用於測試尚可但日常使用會感到疲勞。llama.cpp、Ollama 和 LM Studio 等工具讓軟體側變得更簡單,其中幾個提供 OpenAI 風格的本地端點。
隨著量化程度加深,質量也會下降。4-bit 文件對許多人來說是一個合理的中間選擇。進一步降低量化會節省記憶體並損失連貫性,這種損失首先出現在長篇、詳細的創意寫作中。
人們常忽略的隱藏成本
- 長時間生成過程中的電力和熱量。
- 在模型文件、聊天模板和採樣器預設之間選擇所花費的時間。
- 更新:新的模型格式出現,你的設置需要維護。
- 上下文限制:在 8,000 token 時適合記憶體的模型,在 60,000 token 時可能無法適合。
本地與託管並排比較
| 因素 | 在本地運行 | 託管無審查 API |
|---|---|---|
| 隱私權 | 沒有任何東西離開你的機器 | 請求傳送到提供者;此處提示詞不用於訓練 |
| 離線使用 | 無需網路即可運作 | 需要連接 |
| 前期成本 | 你可能已經擁有或必須購買的硬體 | 無;預付額度從 $20 起 |
| 運行成本 | 電力與你的時間 | 每 1M 輸入 token $0.15,每 1M 輸出 token $0.50 |
| 模型選擇 | 你可以加載的任何權重 | 單一模型,ID uncensored |
| 上下文 | 受你的記憶體限制 | 100,000 token,含提示詞與補全 |
| 並行請求 | 受你的 GPU 限制 | 8 個並行請求,完整金鑰每分鐘 300 個請求 |
| 設定時間 | 數小時至數天 | 分鐘 |
對這個表格的公平解讀是沒有任何一方佔據優勢。本地給你控制和獨立性。託管給你便利和容量。你落在哪裡取決於你的專案更重視這兩者中的哪一個。
託管 API 在實際工作負載下的成本
隨用隨付定價很容易估算。假設你使用一個寫作助手,每天發送 1M 輸入 token 並接收 0.5M 輸出 token。輸入為 1 x $0.15 = $0.15,輸出為 0.5 x $0.50 = $0.25,所以每天 $0.40。30 天內為 $12.00。
更重的案例:一個小型應用程式每天 5M 輸入 token 和 2M 輸出 token 的成本為 5 x $0.15 = $0.75 加上 2 x $0.50 = $1.00,即每天 $1.75,或 30 天內 $52.50。將這些總額與你在 GPU、功耗和自身時間上的花費進行比較。自行檢查目前的硬體價格,因為它們會波動。
規劃預算時,一些細節很有幫助。額度永不過期,所以本月未使用的儲值在下個月仍然存在。儲值金額可以是 $20 到 $500 之間的任何整數金額,從 $50 開始有 5% 獎金,從 $100 開始有 10% 獎金,從 $200 開始有 15% 獎金。失敗或被拒絕的請求不會收費。定價頁面和每 token 定價頁面顯示完整細目。
當託管 API 不是合適選擇時
有留在本地的真正理由,忽視這些理由是不誠實的:
- 氣隙隔離或嚴格保密的資料。 如果政策規定文字不得離開你的網路,無論其條款如何,託管服務都不行。
- 你想要特定模型。 此 API 只提供一個模型。如果你需要特定的微調模型、你自己製作的合併模型或自定義 LoRA,只有本地權重能做到。它也不提供微調服務。
- 離線工作。 飛機、偏遠地點和糟糕的連接。
- 非常高且穩定的量。 如果你全天候生成 token,自有硬體最終可能在每 token 定價上勝出。用你自己的數字進行計算。
- 學習。 如果你的目標是了解推理如何運作,自己運行模型是最好的老師。
另一方面,如果你缺乏大型 GPU、希望跨團隊共享一個端點、構建需要穩定介面的產品,或需要長上下文視窗而不購買記憶體,託管路線適合你。
五分鐘內嘗試託管路線
你可以在花費任何費用之前先進行測試。新用戶在透過 Google 或電子郵件註冊後,只需在 API 金鑰頁面 點擊一次即可領取 $0.50 的試用額度。無需綁定信用卡,有效期為 7 天。試用金鑰允許 2 個並行請求和每分鐘 60 個請求,這足以讓你與本機模型進行並排測試。
使用 curl 發送第一個請求,串流輸出答案:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'Python OpenAI SDK 也是一樣的。如果你已經透過此 SDK 使用本機伺服器,你會認出每一行程式碼:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)將相同的十個提示詞發送給你的本地模型和此端點,然後比較回覆的質量、拒絕回應和速度,這是在你自己的硬體和連接上進行的。API 文件列出了工具呼叫、JSON 模式和傳遞的採樣參數。該模型僅限文字,因此不提供圖像、音訊和影片生成,且完全排除涉及未成年人的內容。其他所有功能均供合法成人使用。
更多指南
問答
在本地運行無審查模型需要多少記憶體?
將以十億為單位的參數數量乘以約 0.5,即可得到 4-bit 權重檔案所需的 GB 數,然後再加上上下文所需的空間。8B 模型需要約 4 GB 的權重空間,而 70B 模型則需要約 35 GB。
託管無審查 API 的隱私性是否不如本地運行?
是的,從基本意義上來說,因為你的提示詞會傳送至伺服器。此處的提示詞不會用於訓練,但若你的政策禁止將文字傳送至網路之外,請選擇本地運行。
我可以對本地和託管模型使用相同的程式碼嗎?
通常可以。許多本地執行器會提供 OpenAI 風格的端點,因此你可以保留客戶端程式碼,僅更改 base URL、金鑰和模型名稱。
託管 API 讓我能在多個模型之間選擇嗎?
不行。它提供單一 ID 為 uncensored 的開放權重模型。如果你需要在微調模型之間進行選擇,本地設定能讓你擁有那種自由。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。