繁中 ▾
取得 API 金鑰

最佳本地運行無審查 LLM:Reddit 討論 vs API

本地顯示卡與雲端伺服器在秤上權衡,比較本地與託管 LLM

在搜尋框輸入「適合本地執行的最佳無審查 LLM reddit」會得到模型名稱,但第一個決定是是否要執行。本頁比較本地硬體與託管 API,讓你在下載 40 GB 權重之前就能做出選擇。

更新

重點摘要

  1. 本地運行在隱私、離線使用和完全控制方面勝出。它需要硬體、電力和設定時間的成本。
  2. 模型的記憶體需求大約是參數數量乘以每個權重的位元組數,加上上下文空間。
  3. 當你沒有大型 GPU、需要許多並行請求或想要 100,000-token 上下文時,託管 API 勝出。
  4. 每 1M token 價格為 $0.15 和 $0.50 時,適度的每日工作負載每月成本僅幾美元。

簡短答案

如果你擁有記憶體充足的 GPU、喜歡調整模型,或資料必須永遠不離開你的機器,請在本地運行。如果你想要大型模型而不購買硬體、需要同時處理多個請求,或者寧願把晚上時間花在產品上而不是驅動程式和量化格式上,請使用託管 API。

大多數問這個問題的人並不需要永遠做出選擇。常見的路徑是先針對託管端點進行原型開發,了解提示詞所需的特性,然後決定本地設置是否值得努力。由於兩方都使用 OpenAI 聊天格式,稍後切換只需編輯 Base URL,無需重寫程式碼。

此主題的討論線程通常如何進行

關於本地無審查模型的論壇和 subreddit 討論往往遵循某種模式。有人詢問角色扮演或小說的最佳模型,回覆者會列出幾種微調模型,接著討論會轉向模型大小、量化和採樣設定。這些名稱每隔幾週就會改變,因此文章中的固定清單很快就會過時。真正有用的是建議背後的方法。

三個問題決定了大多數結果:

  1. 你有多少記憶體? 這決定了你能以可用速度運行的最大模型。
  2. 工作是什麼?創意寫作、聊天夥伴、程式碼協助和結構化提取等任務適合不同的模型。
  3. 你的拒絕要求有多嚴格? 一些微調模型比其他模型更徹底地移除拒絕,而少數模型在此過程中會失去寫作質量。使用你自己的提示詞進行測試,而不是相信截圖。

將你讀到的任何建議視為起點。撰寫它的人可能擁有不同的 GPU、不同的提示詞風格和對慢速輸出的不同容忍度。

本地運行真正需要什麼

經驗法則很簡單。權重大約佔參數數量乘以每個參數存儲的位元組數。4-bit 量化文件每個參數大約使用半個位元組,因此 80 億參數模型需要約 8 x 0.5 = 4 GB 權重空間,700 億參數模型需要約 70 x 0.5 = 35 GB。加上上下文快取和運行時開銷的空間,這會隨著提示詞變長而增長。

這種算術解釋了大多數本地設置。單個消費級 GPU 可以輕鬆處理小型和中大型模型。最大的開放模型需要多 GPU 機箱、擁有大量統一記憶體的工作站,或作為緩慢的 CPU 後備方案,這用於測試尚可但日常使用會感到疲勞。llama.cpp、Ollama 和 LM Studio 等工具讓軟體側變得更簡單,其中幾個提供 OpenAI 風格的本地端點。

隨著量化程度加深,質量也會下降。4-bit 文件對許多人來說是一個合理的中間選擇。進一步降低量化會節省記憶體並損失連貫性,這種損失首先出現在長篇、詳細的創意寫作中。

人們常忽略的隱藏成本

  • 長時間生成過程中的電力和熱量。
  • 在模型文件、聊天模板和採樣器預設之間選擇所花費的時間。
  • 更新:新的模型格式出現,你的設置需要維護。
  • 上下文限制:在 8,000 token 時適合記憶體的模型,在 60,000 token 時可能無法適合。

本地與託管並排比較

因素在本地運行託管無審查 API
隱私權沒有任何東西離開你的機器請求傳送到提供者;此處提示詞不用於訓練
離線使用無需網路即可運作需要連接
前期成本你可能已經擁有或必須購買的硬體無;預付額度從 $20 起
運行成本電力與你的時間每 1M 輸入 token $0.15,每 1M 輸出 token $0.50
模型選擇你可以加載的任何權重單一模型,ID uncensored
上下文受你的記憶體限制100,000 token,含提示詞與補全
並行請求受你的 GPU 限制8 個並行請求,完整金鑰每分鐘 300 個請求
設定時間數小時至數天分鐘

對這個表格的公平解讀是沒有任何一方佔據優勢。本地給你控制和獨立性。託管給你便利和容量。你落在哪裡取決於你的專案更重視這兩者中的哪一個。

託管 API 在實際工作負載下的成本

隨用隨付定價很容易估算。假設你使用一個寫作助手,每天發送 1M 輸入 token 並接收 0.5M 輸出 token。輸入為 1 x $0.15 = $0.15,輸出為 0.5 x $0.50 = $0.25,所以每天 $0.40。30 天內為 $12.00。

更重的案例:一個小型應用程式每天 5M 輸入 token 和 2M 輸出 token 的成本為 5 x $0.15 = $0.75 加上 2 x $0.50 = $1.00,即每天 $1.75,或 30 天內 $52.50。將這些總額與你在 GPU、功耗和自身時間上的花費進行比較。自行檢查目前的硬體價格,因為它們會波動。

規劃預算時,一些細節很有幫助。額度永不過期,所以本月未使用的儲值在下個月仍然存在。儲值金額可以是 $20 到 $500 之間的任何整數金額,從 $50 開始有 5% 獎金,從 $100 開始有 10% 獎金,從 $200 開始有 15% 獎金。失敗或被拒絕的請求不會收費。定價頁面和每 token 定價頁面顯示完整細目。

當託管 API 不是合適選擇時

有留在本地的真正理由,忽視這些理由是不誠實的:

  • 氣隙隔離或嚴格保密的資料。 如果政策規定文字不得離開你的網路,無論其條款如何,託管服務都不行。
  • 你想要特定模型。 此 API 只提供一個模型。如果你需要特定的微調模型、你自己製作的合併模型或自定義 LoRA,只有本地權重能做到。它也不提供微調服務。
  • 離線工作。 飛機、偏遠地點和糟糕的連接。
  • 非常高且穩定的量。 如果你全天候生成 token,自有硬體最終可能在每 token 定價上勝出。用你自己的數字進行計算。
  • 學習。 如果你的目標是了解推理如何運作,自己運行模型是最好的老師。

另一方面,如果你缺乏大型 GPU、希望跨團隊共享一個端點、構建需要穩定介面的產品,或需要長上下文視窗而不購買記憶體,託管路線適合你。

五分鐘內嘗試託管路線

你可以在花費任何費用之前先進行測試。新用戶在透過 Google 或電子郵件註冊後,只需在 API 金鑰頁面 點擊一次即可領取 $0.50 的試用額度。無需綁定信用卡,有效期為 7 天。試用金鑰允許 2 個並行請求和每分鐘 60 個請求,這足以讓你與本機模型進行並排測試。

使用 curl 發送第一個請求,串流輸出答案:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

Python OpenAI SDK 也是一樣的。如果你已經透過此 SDK 使用本機伺服器,你會認出每一行程式碼:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

將相同的十個提示詞發送給你的本地模型和此端點,然後比較回覆的質量、拒絕回應和速度,這是在你自己的硬體和連接上進行的。API 文件列出了工具呼叫、JSON 模式和傳遞的採樣參數。該模型僅限文字,因此不提供圖像、音訊和影片生成,且完全排除涉及未成年人的內容。其他所有功能均供合法成人使用。

問答

在本地運行無審查模型需要多少記憶體?

將以十億為單位的參數數量乘以約 0.5,即可得到 4-bit 權重檔案所需的 GB 數,然後再加上上下文所需的空間。8B 模型需要約 4 GB 的權重空間,而 70B 模型則需要約 35 GB。

託管無審查 API 的隱私性是否不如本地運行?

是的,從基本意義上來說,因為你的提示詞會傳送至伺服器。此處的提示詞不會用於訓練,但若你的政策禁止將文字傳送至網路之外,請選擇本地運行。

我可以對本地和託管模型使用相同的程式碼嗎?

通常可以。許多本地執行器會提供 OpenAI 風格的端點,因此你可以保留客戶端程式碼,僅更改 base URL、金鑰和模型名稱。

託管 API 讓我能在多個模型之間選擇嗎?

不行。它提供單一 ID 為 uncensored 的開放權重模型。如果你需要在微調模型之間進行選擇,本地設定能讓你擁有那種自由。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰