JA ▾
API キーを取得

ローカル実行に最適な無検閲LLM:RedditとAPIの比較

ローカルとホストされたLLMを比較するためのスケール上のローカルグラフィックカードとクラウドサーバー

検索ボックスに「best uncensored llm to run locally reddit」と入力するとモデル名が表示されますが、最初の判断はそもそもそれを実行するかどうかです。このページではローカルハードウェアとホストAPIを比較し、40GBの重みをダウンロードする前に選択できるようにします。

更新

主要ポイント

  1. プライバシー、オフライン使用、完全な制御においてローカルが優れています。ただし、ハードウェア、電力、セットアップ時間がかかります。
  2. モデルのメモリ要件は、パラメータ数に重みあたりのバイト数を掛けたものプラス、コンテキスト用の領域です。
  3. GPUが大きいものがない場合、多くの並列リクエストが必要、または10万トークンのコンテキストを必要とする場合に、ホステッドAPIが優位です。
  4. 1Mトークンあたり$0.15と$0.50の場合、適度な日常ワークロードは月数ドルのコストがかかります。

短い答え

十分なメモリを持つGPUをお持ちの場合、モデルのチューニングを楽しむ場合、またはデータがマシンから決して離れてはいけない場合はローカルで実行してください。ハードウェアを購入せずに大きなモデルを必要とする場合、複数のリクエストを同時に実行する必要がある場合、またはドライバーや量子化形式よりも製品に時間をかけたい場合はホストAPIを使用してください。

この質問をする人の多くは、永遠に選択する必要はありません。一般的なパスは、ホステッドエンドポイントに対してプロトタイプを作成し、プロンプトが必要とするものを学び、ローカルセットアップがその労力に見合うかどうかを判断することです。両側がOpenAIチャット形式を話すため、後で切り替えるにはベースURLを編集するだけで済み、コードを書き直す必要はありません。

このトピックのスレッドの一般的な進行

ローカル無検閲モデルに関するフォーラムやサブレッドの議論は、あるパターンに従う傾向があります。誰かがロールプレイやフィクションのための最良のモデルを尋ね、返信がいくつかのファインチューンを挙げ、議論はサイズ、量子化、サンプリング設定に焦点を当てます。名前は数週間ごとに変わるため、記事の固定リストはすぐに古くなります。有用なのは、アドバイス背後の手法です。

3つの質問が結果の大部分を決定します:

  1. どのくらいのメモリがありますか? これは、実用的な速度で実行できる最大のモデルを決定します。
  2. 仕事の内容は?クリエイティブライティング、チャット相棒、コーディング支援、構造化データ抽出では、異なるモデルが異なる強みを示します。
  3. 拒否の基準はどのくらい厳格ですか?いくつかのファインチューニングは他よりも完全に拒否を除去しますが、その過程でテキスト生成の品質が低下するものもあります。スクリーンショットを信じるのではなく、独自のプロンプトでテストしてください。

読んだ推奨事項を出発点として扱ってください。それを書いた人は、異なるGPU、異なるプロンプトスタイル、異なる遅い出力への許容度を持っているかもしれません。

ローカル実行に本当に必要なもの

目安は単純です。重みは、パラメータ数にパラメータあたりのバイト数を掛けたものになります。4ビット量子化ファイルはパラメータあたり約0.5バイトしか使用しないため、80億パラメータのモデルには重み用に約8 x 0.5 = 4 GB、700億パラメータのモデルには約70 x 0.5 = 35 GB必要です。コンテキストキャッシュとランタイムオーバーヘッド用のスペースを加算してください。これはプロンプトが長くなるほど増加します。

その算術はほとんどのローカルセットアップを説明します。単一の消費者GPUは小規模および中規模モデルを快適に処理します。最大のオープンモデルにはマルチGPUラック、多くの統合メモリを持つワークステーション、またはテストには適していますが日常使用には疲れるCPUフォールバックが必要です。llama.cpp、Ollama、LM Studioなどのツールはソフトウェア面を容易にし、それらのいくつかはOpenAIスタイルのローカルエンドポイントを公開しています。

量子化を強くするほど品質も低下します。4ビットのファイルは多くの人にとって適切な中間点です。さらに下げるとメモリを節約できますが、一貫性が損なわれ、その品質の低下はまず長く詳細なクリエイティブライティングに現れます。

人々が忘れがちな隠れたコスト

  • 長時間の生成セッション中の電気と熱。
  • モデルファイル、チャットテンプレート、サンプラープリセットの間で選択する時間。
  • アップデート:新しいモデルフォーマットが登場し、セットアップにはメンテナンスが必要です。
  • コンテキスト制限:8,000トークンでメモリに収まるモデルでも、60,000トークンでは収まらない場合があります。

ローカルとホステッドの並置

要因ローカルで実行するホステッド uncensored API
プライバシーデータはあなたのマシンから一切離れませんリクエストはプロバイダーに送信されます;ここでプロンプトはトレーニングに使用されません
オフライン使用インターネットなしで動作接続が必要
初期費用すでに所有しているか、購入する必要があるハードウェアなし;$20からの前払いクレジット
運用コスト電力とあなたの時間入力トークン 1M あたり $0.15、出力トークン 1M あたり $0.50
モデルの選択ロードできる任意の重み単一のモデル、ID uncensored
コンテキストあなたのメモリによって制限されます100,000 トークン(プロンプトと補完を含む)
同時実行GPU によって制限8同時リクエスト、フルキーあたり1分間300リクエスト
セットアップ時間数時間〜数日数分

この表の公平な読み取りは、どちら側が優位ではないということです。ローカルは制御と独立性を提供します。ホスト型は利便性と容量を提供します。どちらをプロジェクトでより重視するかによって、あなたの選択は変わります。

実際のワークロードにおけるホストAPIのコスト

従量課金制は見積もりが簡単です。1日あたり1M入力トークンを送信し、0.5M出力トークンを受信するライティングアシスタントを使用すると仮定します。入力は1 x $0.15 = $0.15、出力は0.5 x $0.50 = $0.25なので、1日あたり$0.40です。30日間では$12.00になります。

より重いケース:1日あたり5M入力トークンと2M出力トークンを持つ小さなアプリは、5 x $0.15 = $0.75プラス2 x $0.50 = $1.00、つまり1日あたり$1.75、30日間では$52.50かかります。GPU、その電力消費、あなたの時間にかかる費用と比較してください。価格が変動するため、現在のハードウェア価格を自分で確認してください。

予算計画にはいくつかの細部が役立ちます。クレジットは期限切れにならないため、今月使用しなかったチャージは翌月にも残っています。チャージは$20から$500までの任意の整数額で行え、$50以上で5パーセント、$100以上で10パーセント、$200以上で15パーセントのボーナスが付きます。失敗または拒否されたリクエストには課金されません。料金ページおよびトークン単位の料金ページに完全な内訳が記載されています。

ホストAPIが適切な選択ではない場合

ローカルにとどまるための実際の理由があり、それらを無視するのは不誠実です:

  • エアギャップ環境または厳格なプライベートデータ。ポリシーでテキストがネットワークから離れてはならないとされている場合、その利用規約に関係なくホスト型サービスは対象外です。
  • 特定のモデルが欲しい。 このAPIは1つのモデルのみを提供します。特定のファインチューン、自分で作成したマージ、またはカスタムLoRAが必要な場合、ローカルの重みのみがそれを実現できます。また、ファインチューンも提供していません。
  • オフライン作業。 飛行機、遠隔地、接続不良。
  • 非常に高く、安定したボリューム。トークンを24時間生成する場合、所有するハードウェアは最終的にトークン単位の料金より有利になる可能性があります。自分の具体的な使用数値で計算してください。
  • 学習。 推論の仕組みを理解することが目標の場合、自分でモデルを実行することが最高の教師です。

一方で、大きなGPUがない場合、チーム全体で1つのエンドポイントを共有したい場合、安定したインターフェースを必要とする製品を構築する場合、またはメモリを購入せずに長いコンテキストを必要とする場合は、ホストルートが適合します。

5分でホストルートを試す

何か使う前にテストできます。Googleまたはメールで登録後、APIキーページでワンクリックで新しいユーザーは$0.50の無料トライアルクレジットを取得できます。カードは不要で、7日間有効です。トライアルキーは2同時リクエストと1分間60リクエストまで許可され、ローカルモデルとの並べた比較テストには十分です。

curlを使用した最初のリクエスト、回答をストリーミング:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

Python OpenAI SDKを使用した同じもの。このSDKを通じてすでにローカルサーバーを使用している場合、すべての行に馴染みがあるはずです:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

同じ10個のプロンプトをローカルモデルとこのエンドポイントに送信し、独自ハードウェアと接続上で、品質、拒否、速度の返信を比較してください。APIドキュメントには、ツール呼び出し、JSONモード、および渡されるサンプリングパラメータがリストされています。モデルはテキストのみ対応のため、画像、音声、動画の生成は利用できず、未成年者を含むコンテンツは完全に除外されます。それ以外のすべては合法的な成人向け利用向けです。

質問と回答

無検閲モデルをローカルで実行するにはどのくらいのメモリが必要ですか?

4ビットファイルの場合、パラメータ数(十億単位)に約0.5を掛けて重みのギガバイト数を算出し、その後コンテキスト用のスペースを加算してください。8Bモデルには重み用に約4 GB、70Bモデルには約35 GB必要です。

ホスト型の無検閲APIはローカル実行よりもプライバシーが低いのですか?

はい、プロンプトがサーバーに送信されるという単純な意味でそうです。ここでプロンプトはトレーニングに使用されませんが、テキストをネットワーク外に出すことがポリシーで禁止されている場合は、ローカルで実行してください。

ローカルとホスト型のモデルに同じコードを使用できますか?

通常は可能です。多くのローカルランナーはOpenAIスタイルのエンドポイントを公開しているため、クライアントコードをそのまま維持し、Base URL、API キー、モデル名のみを変更できます。

ホスト型APIでは複数のモデルから選択できますか?

いいえ。IDがuncensoredの1つのオープンウェイトモデルのみを提供しています。ファインチューニング間で選択する必要がある場合は、ローカル環境がその自由度を提供します。

キーはフォーム1つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得