JA ▾
API キーを取得

Python用無検閲LLM APIベンチマークスクリプト

ストップウォッチと棒グラフに流れる並列データストリーム。APIベンチマークの実行を表す

この無検閲LLM APIベンチマークスクリプトは、OpenAI互換のエンドポイントにプロンプトのバッチを送信し、初回トークン到達時間、総レイテンシ、デコード速度、カテゴリ別の拒否率、コストを報告します。ベースURLの1行を変更するだけで、任意のプロバイダを指すように設定できます。

更新

主要ポイント

  1. 1つの非同期Pythonファイルが、レイテンシのパーセンタイル、秒間トークン数、拒否、コストを測定します。
  2. セマフォにより、トライアルキーの同時実行数制限2、またはフルキーの8以内に収まります。
  3. 429応答は失敗としてカウントされるのではなく、Retry-Afterヘッダーを使用して再試行されます。
  4. 200件のプロンププトランで約3セントの費用がかかるため、トライアルクレジットでは約14回のランがカバーできます。

スクリプトが測定するもの

ホスト型モデルのベンチマークは2つのグループに分かれます:公開テストセットからの品質スコアと、APIがアプリに適合するかを判断する運用数値です。このスクリプトは2つ目のグループをカバーし、公開セットが無視する品質シグナル、つまりモデルが拒否する頻度もカバーします。

各プロンプトに対して以下を記録します:

  • 初回トークンまでの時間(TTFT): リクエスト送信からストリーミングテキストの最初の受信までの遅延。これはチャットウィンドウでユーザーが体感するものです。
  • 総レイテンシ: ストリームが終了するまでの時間。
  • デコード速度: 出力トークン数を初回トークンと最終トークンの間の時間で割ったもの。
  • 拒否フラグ: 応答の冒頭に対するキーワードチェック、または空の応答。
  • トークン数とコスト: ストリームの末尾にあるusageブロックから読み取り、1M入力トークンあたり$0.15、1M出力トークンあたり$0.50で計算されます。

得られる数値はネットワーク、地域、時間帯に依存するため、アプリケーションが稼働するマシンから実行してください。ウェブページに表示される数値(これを含む)は、あなた自身の実行結果よりも有用性が低いとみなしてください。

セットアップ

Python 3.9以降とOpenAI SDKが必要です。API キーページでキーを作成してください。ワンクリックの$0.50トライアルクレジットは、この記事全体で十分です。その後:

pip install openai
export API_KEY="your-key-here"

次に、prompts.jsonlを作成します。1行に1つのJSONオブジェクトとして記述します。カテゴリを指定することで、レポートで拒否を分類できます。通常のタスクを含むコントロールカテゴリがあると便利です。拒否もせず、かつ意味不明な文章を書くモデルは良い結果とは言えません。例として4行:

{"id": 1, "category": "fiction", "prompt": "Write a cold, menacing monologue for a cult leader in my thriller."}
{"id": 2, "category": "medical", "prompt": "What are the main interactions between alcohol and common sleep aids?"}
{"id": 3, "category": "security", "prompt": "Explain how SQL injection works, using a toy login form as the example."}
{"id": 4, "category": "control", "prompt": "Summarize the plot of Hamlet in five sentences."}

実際のワークロードからプロンプトを使用し、法的な範囲に留めてください。未成年者に関連するコンテンツはプロバイダによって除外されており、テストセットには適しません。安定した結果を得るには、100件以上のプロンプト、カテゴリあたり20件以上を計画してください。

スクリプト

これを bench.py として保存してください。非同期クライアントを使用するため複数のリクエストが同時に実行され、セマフォで同時実行数が制限されます。このスクリプトは stream_options でストリーミングをリクエストするため、最後のチャンクにはトークンの使用量が含まれます。最後のチャンクには choices フィールドが含まれないため、ループではそこから読み込む前に chunk.choices をチェックします。

import asyncio, json, os, re, statistics, sys, time
from collections import defaultdict
from openai import AsyncOpenAI, RateLimitError, APIStatusError

BASE_URL = "https://api.uncensoredllmleaderboard.com/v1"
MODEL = "uncensored"
CONCURRENCY = int(os.getenv("BENCH_CONCURRENCY", "2"))   # trial key: 2, full key: up to 8
IN_PRICE, OUT_PRICE = 0.15, 0.50                          # USD per 1M tokens

client = AsyncOpenAI(base_url=BASE_URL, api_key=os.environ["API_KEY"], max_retries=0)
REFUSAL = re.compile(
    r"(I can't|I cannot|I won't|I'm sorry, but|I am unable to|I'm not able to|as an AI)", re.I
)

def pct(values, q):
    if not values:
        return float("nan")
    s = sorted(values)
    return s[min(len(s) - 1, int(q * len(s)))]

async def one(row, sem):
    async with sem:                       # a stream holds its slot until it ends
        for attempt in range(5):
            t0 = time.perf_counter()
            first, parts, usage = None, [], None
            try:
                stream = await client.chat.completions.create(
                    model=MODEL,
                    messages=[{"role": "user", "content": row["prompt"]}],
                    temperature=0, seed=7, max_tokens=300,
                    stream=True, stream_options={"include_usage": True},
                )
                async for chunk in stream:
                    if chunk.choices and chunk.choices[0].delta.content:
                        if first is None:
                            first = time.perf_counter()
                        parts.append(chunk.choices[0].delta.content)
                    if chunk.usage:
                        usage = chunk.usage
                text = "".join(parts)
                return {
                    "id": row["id"], "category": row["category"], "ok": True,
                    "ttft": (first or time.perf_counter()) - t0,
                    "total": time.perf_counter() - t0,
                    "in_tok": usage.prompt_tokens if usage else 0,
                    "out_tok": usage.completion_tokens if usage else len(parts),
                    "refused": bool(REFUSAL.search(text[:200])) or not text.strip(),
                    "retries": attempt,
                }
            except RateLimitError as e:
                wait = float(e.response.headers.get("retry-after", 2 ** attempt))
                await asyncio.sleep(wait)
            except APIStatusError as e:
                if e.status_code < 500:
                    return {"id": row["id"], "category": row["category"], "ok": False, "error": e.status_code}
                await asyncio.sleep(2 ** attempt)
        return {"id": row["id"], "category": row["category"], "ok": False, "error": "gave_up"}

async def main(path):
    rows = [json.loads(line) for line in open(path) if line.strip()]
    sem = asyncio.Semaphore(CONCURRENCY)
    t0 = time.perf_counter()
    results = await asyncio.gather(*(one(r, sem) for r in rows))
    wall = time.perf_counter() - t0

    good = [r for r in results if r["ok"]]
    print(f"requests: {len(results)}  ok: {len(good)}  wall: {wall:.1f}s")
    print(f"ttft  p50 {pct([r['ttft'] for r in good], .5):.2f}s  p95 {pct([r['ttft'] for r in good], .95):.2f}s")
    print(f"total p50 {pct([r['total'] for r in good], .5):.2f}s  p95 {pct([r['total'] for r in good], .95):.2f}s")
    tps = [r["out_tok"] / (r["total"] - r["ttft"]) for r in good if r["total"] > r["ttft"]]
    print(f"decode speed median: {statistics.median(tps):.1f} tokens/s per stream")

    by_cat = defaultdict(list)
    for r in good:
        by_cat[r["category"]].append(r["refused"])
    for cat, flags in sorted(by_cat.items()):
        print(f"refusal rate [{cat}]: {sum(flags) / len(flags):.0%} of {len(flags)}")

    cost = sum(r["in_tok"] for r in good) / 1e6 * IN_PRICE + sum(r["out_tok"] for r in good) / 1e6 * OUT_PRICE
    print(f"estimated cost: ${cost:.4f}")
    with open("results.jsonl", "w") as f:
        for r in results:
            f.write(json.dumps(r) + "\n")

asyncio.run(main(sys.argv[1]))

python bench.py prompts.jsonlで実行します。リクエストごとの生データはresults.jsonlに保存されるため、スプレッドシートやpandasで後から分析できます。

スクリプトの制限処理

レート制限を無視するベンチマークは、主にレートリミッターを測定します。このスクリプトは公開された制限に基づいて構築されています。

キーの種類同時リクエスト1分あたりのリクエスト数設定
トライアル260BENCH_CONCURRENCY=2
完全8300BENCH_CONCURRENCY=8

2つのエラーケースが重要です。APIは、1分あたりのカウントを超えた場合にHTTP 429とコードrate_limitedを返し、同時に実行中のリクエストが多すぎるとコードconcurrencyを返します。一時的な過負荷時には、Retry-After: 5付きの429も送信されます。スクリプトはヘッダーを読み取り、その値の秒数待機してから再試行します。再試行は新しい測定としてカウントされず、結果には再試行回数が記録されます。

もう1つの詳細:ストリーミングリクエストは、初回トークンの到着時ではなく、ストリーム終了まで同時リクエストのスロットを保持します。これがセマフォがストリーム全体をラップする理由です。早期に解放すると、許容範囲の上限でconcurrencyエラーが発生します。

同時実行数が完璧でも、1分あたり60件の制限で200件のリクエストを実行するには、トライアルキーでは少なくとも200 / 60 = 3.3分かかります。1分あたり300件のフルキーでは、最低でも200 / 300 = 40秒かかります。それより長い場合は、モデルがボトルネックであり、リミッターではありません。

出力の読み方

実行は、リクエスト数と経過時間を示す1行のサマリー、TTFTと総レイテンシのパーセンタイル、ストリームごとの中央値デコード速度、カテゴリ別の拒否率、推定コスト(ドル)を出力します。数値は実行環境によって異なります。解釈に関するガイドライン:

  • 中央値だけでなくp95を見てください。 遅いテールがユーザーのストレスになります。
  • TTFTはプロンプトの長さとともに増加します。 実際のプロンプトが長い場合は、長いプロンプトでベンチマークしてください。コンテキストウィンドウは100,000トークン(プロンプトと補完を含む)です。
  • 同時実行数レベルを比較してください。 フルキーで1、2、8の順にそれぞれ実行します。負荷下のストリームごとの速度は、単一のアイドルリクエストよりも多くのことを教えてくれます。
  • 拒否カテゴリを目で確認してください。 キーワードマッチングは丁寧な誘導を見逃します。驚くべきカテゴリの生応答を開いて確認してください。

JSONモードとツール呼び出しのチェックを追加

レイテンシと拒否は、アプリへの適合性の一部に過ぎません。構造化出力や関数呼び出しに依存するコードがある場合は、それらもテストしてください。このスニペットはJSONモードをオンにしてリクエストを送信し、解析できた応答数を報告します:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmleaderboard.com/v1", api_key=os.environ["API_KEY"])

def json_ok(prompt):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": "Reply with a JSON object only."},
            {"role": "user", "content": prompt},
        ],
        response_format={"type": "json_object"},
        temperature=0,
        max_tokens=300,
    )
    try:
        json.loads(r.choices[0].message.content)
        return True
    except (json.JSONDecodeError, TypeError):
        return False

tests = ["List three fictional villains with a name and motive.",
         "Give me a character sheet with name, age, and flaws."]
print(sum(json_ok(t) for t in tests), "of", len(tests), "valid JSON")

ツール呼び出しの場合、関数を定義し、tool_choiceを設定して、応答に有効な引数を持つ呼び出しが含まれているか確認します。これは前のスニペットのクライアント側のコードから続きます:

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What is the weather in Lisbon right now?"}],
    tools=tools,
    tool_choice="auto",
    temperature=0,
)
calls = r.choices[0].message.tool_calls or []
print("tool call returned:", bool(calls))
if calls:
    print(calls[0].function.name, calls[0].function.arguments)

これらを温度0で20〜50回実行し、成功率を記録してください。95%の合格率は良さそうに思えますが、エージェントループではタスクごとに数十回の呼び出しが行われることを忘れないでください。応答の解析に失敗した場合は、ログに記録し、リトライロジックのために保持してください。APIクイックスタートでは、role: "tool"付きの結果メッセージとレスポンス形式について説明しています。

意味のあるプロンプトセットを構築する

スクリプトの正直さは、入力次第です。5分で書かれたプロンプトは短く、丁寧で似通っており、すべてのモデルが高速で準拠しているように見えます。ユーザーが実際に送信する厄介なケースを混ぜてください。

  • 長さのばらつき。 2,000〜10,000入力トークンを持つプロンプトをいくつか含めてください。それらのTTFTは、実際のドキュメントや長いチャット履歴でサービスがどのように動作するかを示します。
  • システムプロンプト。 プロダクトでペルソナや長い指示ブロックを使用する場合は、ベンチマークに含めてください。ペルソナプロンプトは拒否動作とトークン数の両方を変化させます。
  • 出力長さのばらつき。 一部のプロンプトは1行を、他のプロンプトは複数の段落を要求するようにします。デコード速度と総レイテンシは、それぞれの場合で異なる意味を持ちます。
  • 対照カテゴリ。 通常の要約、抽出、コーディングプロンプトは、低い拒否率が実用的な品質を伴っているかどうかを示します。

ファイルの凍結コピーを保持し、各実行の日付を記録してください。ホスティングサービスは変更され、既知のプロンプトセットに対して再現できない結果は単なる逸話です。

一般的な問題と修正

症状考えられる原因修正方法
すべてのリクエストが401を返すキーがエクスポートされていない、またはキーに不要なスペースがあるecho $API_KEYを実行し、ヘッダーがAuthorization: Bearerにキーが加わった形式であることを確認してください
エラーコードconcurrencyを伴う429応答が多数発生同時実行数がキーの制限を超えているトライアルキーでBENCH_CONCURRENCYを2に下げてください
トークンカウントが0を示す使用量チャンクが受信されませんでしたstream_optionsが設定されていることを確認してください。スクリプトはチャンク数にフォールバックしますが、これは実際のトークン数を過小表示します
あるカテゴリでの拒否率が100パーセントプロンプトがモデルの回答範囲外にあるか、キーワードリストが広すぎます結論を出す前に、生の返信を5件確認してください
実行ごとに結果が異なりますサンプリングのばらつき温度を0に固定し、固定されたseedを使用して実行を繰り返してから比較してください

何か説明できない場合は、失敗したレスポンスのX-Request-Idヘッダーを確認してください。サポートに連絡する際にそれを引用すると、リクエストを追跡できます。レスポンスにはX-Balance-USDも含まれており、実行コストがスクリプトが推定した金額と一致することを確認するのに役立ちます。

実行コスト

平均120入力トークンを持つ200件のプロンプトを取得し、max_tokensによって返信を300出力トークンに制限します。最悪の場合、すべての返信が制限に達するとします:

  • 入力:200 x 120 = 24,000トークン、つまり0.024 x $0.15 = $0.0036
  • 出力:200 x 300 = 60,000トークン、つまり0.06 x $0.50 = $0.03
  • 合計:$0.0336、約3.5セント

そのレートでは、$0.50のトライアルクレジットで約14回の完全な実行が可能で、トライアルは7日間有効です。モデルの拒否や失敗したリクエストは課金されないため、実際の数はしばしばそれより少なくなります。より大規模なテストの準備ができたら、チャージは$20から開始されます。ボーナスレベルについては料金ページをご覧ください。

同じファイルで他のプロバイダーをベンチマークするには、BASE_URL、キー、およびMODELを変更し、価格定数をそのプロバイダーの現在の価格に合わせて調整してください。プロンプトと設定を固定したままにしないと、比較は無意味になります。

質問と回答

このスクリプトは他のOpenAI互換APIで使用できますか?

はい。BASE_URL、APIキー、モデル名を変更し、2つの価格定数を更新してください。ストリーミングと使用量の処理は標準的なOpenAI形式に従います。

なぜスクリプトはストリーミングを使用するのですか?

ストリーミングは、ユーザーが感じる遅延である最初のトークンまでの時間を測定する唯一の方法です。また、最終チャンクで使用量を返すため、コストが正確になります。

実行中に429エラーが発生するのはなぜですか?

リクエスト数/分の制限または同時実行数の制限を超えています。BENCH_CONCURRENCYを下げ、Retry-Afterヘッダーを待ってから再試行するようにスクリプトに指示してください。

キーワードマッチングは拒否を検出するのに十分ですか?

これは迅速な一次チェックです。別の内容を静かに書き出すソフトな拒否は通過するため、統計的に不自然な数値が見えるカテゴリから返信のサンプルを確認してください。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得