JA ▾

検閲なしLLM:ローカルかAPIか、どちらを選ぶべきか

検閲なしLLMは自分のPCで実行するか、API経由で呼び出すことができます。ここでは両方のアプローチのハードウェア、コスト、保守について、検証可能な数値を交えて解説します。

無検閲AI:利用可能なオプションの分析

更新日:

等身大のバランス:一方にはローカルGPU搭載ワークステーション、他方には有線接続のクラウドサーバー。

主要ポイント

  • ローカルではハードウェアに即時支払いし、常に保守コストがかかります。APIでは使用したトークンのみに対して支払いします。
  • 入力1Mトークンあたり$0.15、出力1Mトークンあたり$0.50の場合、$20で数千万トークンをカバーできます。
  • ローカルは継続的な大量利用、オフライン作業、重みへの完全な制御に適しています。
  • APIは今日から始めたい人、GPUが限られている人、またはOpenAI互換エンドポイントが必要な人に適しています。

簡潔な回答

検閲なしLLMを求め、十分なメモリを持つGPUを持っていない場合、APIが最も合理的な出発点となるケースがほとんどです。一方、終日テキストを生成する、オフラインで作業する、重みを選択・変更したい場合は、ローカルが投資に見合う結果をもたらします。以下に比較表を示します。

項目ローカルAPI経由
初期コストGPU、電源、冷却装置なし。$20からチャージ可能
継続コスト電気代、摩耗、あなたの時間使用したトークンのみ
開始までの時間ダウンロードからテストまで数時間〜数日数分
モデルの選択自由。複数のモデルを保持可能1つ。プロバイダが選択
最大コンテキスト利用可能なメモリ次第100,000トークン
オフラインで動作しますはいなし
同時リクエストGPUが処理できる数フルキーで8

絶対的な正解はありません。以下のセクションは、あなたがどちらの立場にあるかを理解するのに役立ちます。

自宅で実行するために本当に必要なもの

ボトルネックはビデオメモリです。モデルの重みはVRAMに収まる必要があり、そうでない場合システムRAMに切り替わり、速度が急落します。目安として、4bit量子化された小規模モデルは通常数GBしか占用しませんが、非常に大きなモデルでは数十GB必要になることもあります。正確な値はモデルと量子化方式に依存するため、常に個別モデルの仕様書とツールのドキュメントを確認してください。

これにコンテキストキャッシュが加わります。会話が長ければ長いほど、重み以外に多くのメモリを消費します。大きなモデルで数万トークンのコンテキストを使用すると、さらに数GB必要になる場合があります。

ソフトウェア

ローカル推論にはllama.cpp、Ollama、vLLMなどのよく知られたツールがあります。OllamaとvLLMはOpenAI互換フォーマットのエンドポイントも公開するため、ローカルサーバー用に書いたコードは2行変更するだけでリモートAPIに移動できます。インストールの詳細は各プロジェクトのドキュメントを参照してください。

モデルの検索

拒否の少ないオープンウェイトモデルは複数のコミュニティによって公開されていますが、品質は大きく異なります。変更後に一貫性を失うモデルもあれば、特定のプロンプト形式でのみ良好に動作するモデルもあります。適切なモデルを見つけるまでいくつか試す必要があります。

APIのコスト:計算済み

料金は入力1Mトークンあたり$0.15、出力1Mトークンあたり$0.50で、前払い制、サブスクリプションなしです。失敗または拒否されたリクエストは課金されず、クレジットは期限切れになりません。3つのシナリオを見てみましょう。

  • 軽量使用。 月間入力2Mトークン、出力500,000トークン:2 × $0.15 = $0.30 + 0.5 × $0.50 = $0.25、合計$0.55。
  • 平均的な使用量。 5000万トークンの入力と1000万トークンの出力:50 × $0.15 = $7.50、10 × $0.50 = $5.00、合計 $12.50。
  • 多量の使用量。 4億トークンの入力と8000万トークンの出力:400 × $0.15 = $60、80 × $0.50 = $40、合計 $100。

最小チャージ額は$20のため、中程度使用の場合、1回のチャージで1ヶ月以上カバーできます。一定の閾値を超えるとボーナスがあります:$50で+5%、$100で+10%、$200で+15%。例えば$100は$110のクレジットになります。完全な価格表はAPIの価格ページに記載されています。

ローカルの計算はそれほど単純ではありません。GPUの価格から始め、想定使用月数で割り、さらに電気代を加算します(消費電力kW × 使用時間 × 契約単価)。この結果を実際に生成するトークン数で割ると、1Mトークンあたりのコストが算出されます。あなたの数値で計算し、出力1Mトークンあたり$0.50と比較してください。

通常忘れられがちな保守

ローカルを選択する人は、その他すべてを管理します。アップデート後に壊れるCUDAドライバとライブラリ、新しい推論エンジンのバージョン、変更される量子化フォーマット、再ダウンロードが必要なモデル。サービスが他者にも提供される場合は、監視、自動再起動、GPUの処理能力を超えるリクエストが到着した際のキュー管理を追加してください。

これらすべては難しいことではありませんが、定期的な時間を要します。あなたの時間が価値あるものであるなら、それを計算してください:月数時間の作業は、前述の平均シナリオの$12.50よりも重みがあります。

APIを使用すれば、メンテナンスはAPIキー、Base URL、およびドキュメントで説明されている429エラーの処理に集約されます。その代わり、プロバイダーに依存することになります:プロバイダーに問題があれば、あなたは介入できません。

ローカルとAPI、どちらが適しているか

ローカルを選ぶべき場合

  • 適切なGPUをすでに所有しており、コストの増加分が電気代のみである場合;
  • 毎日、何時間も連続してテキストを生成する場合;
  • ネットワークなしで作業するか、データをマシンから外部に出したくない場合;
  • モデルを頻繁に変更したい場合、ファインチューニングを行う場合、またはウェイトをいじって実験したい場合。

APIを選ぶべき場合

  • 何も購入せずに今日から動作するエンドポイントが欲しい場合;
  • 使用量が波がある場合:ボット、夜間のスクリプト、プロトタイプなど;
  • メモリをサイズ調整することなく長いコンテキストウィンドウ(ここでは100,000トークン)が必要である場合;
  • ハードウェアのことを考えずに8つの同時リクエストにスケールアップしたい場合。

多くのチームは両方のアプローチを併用しています:APIで始め、ピーク時に使用し、ローカルで安定した負荷を処理します。フォーマットが同じであるため、一方から他方へ移行してもアプリケーションを書き直す必要はありません。

判断するための簡単な方法

何かを購入する前に、測定してください。1週間、回答のusageフィールドまたはツールのカウンターからトークン消費量を記録してください。そして、3つの計算を行ってください。

  1. 週ごとの入力トークン数に4を掛け、さらに100万トークンあたり$0.15を掛けます。
  2. 出力トークンについても同じ計算を行い、$0.50を使用します。
  3. 2つの結果を合計し、ハードウェアの月額料金と電気代と比較してください。

APIの合計が月額数十ドル以下であれば、これ専用のGPUを購入する意味はほとんどありません。もし大幅に月額料金を超える場合、ローカルの方が魅力的になってきます。ただし、レイテンシは別です:自分のマシンではネットワークを介さないため、大きなモデルを搭載した家庭用GPUは、ホストされたサービスよりも遅くなる可能性があります。モデルやプロンプトの長さに依存するため、実際の負荷で両方を試してください。

成長も考慮してください。今日少量の消費で済むプロトタイプも、他のユーザーが使用すると消費量が増加する可能性があります。APIは完全なキーで最大8つの同時リクエストを処理しますが、ローカルではハードウェアを追加するまで、ユーザーが増えるごとに他のユーザーの処理がすべて遅くなります。

5分でAPIを試す

テストするにはキーが必要です。Googleまたはメールアドレスとパスワードで登録後、キーページでワンクリックで$0.50の無料トライアルクレジットをリクエストできます。有効期限は7日で、支払いの必要はありません。APIキーを取得するにアクセスしてください。テストキーは同時2リクエスト、1分あたり60リクエストの制限があります。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

将来互換性のあるエンドポイントを持つローカルサーバーに移行したい場合、base_urlとモデル名を変更するだけです。

何もしないこと

これは単一のオープンウェイトモデルで、独立したプロバイダによって管理され、合法的なアダルトコンテンツに対するフィルタリングを最小限に抑えるようにトレーニングされています。大手ラボの公式APIではなく、画像や音声、動画の生成は行わず、埋め込みやファインチューニングも提供しません。絶対的な制限として、未成年者を含む性的コンテンツは禁止です。より広範な概要については無検閲AIページをご覧ください。プロンプトはトレーニングに使用されません。

その他のガイド

よくある質問

ローカルのLLMは本当にプライバシー保護に優れているのか?

ローカルではデータはあなたのマシン上に残るため、マシンを保護している限り、プライバシー面で優れています。APIではプロンプトがプロバイダーへ送信されますが、ここではトレーニングに使用されません。

$20でどのくらいのトークンを使えるか?

すべてが入力の場合、約1億3,330万トークン($20 ÷ $0.15 / 1M)。すべてが出力の場合、4,000万トークン($20 ÷ $0.50 / 1M)。実際にはその中間に位置し、両者の比率によって異なります。

既存のOpenAIコードを使用できるか?

はい。APIはOpenAI SDKと互換性があります:Base URLとキーを変更し、uncensoredモデルを使用します。チャット補完、レスポンス、ストリーミング、ツール呼び出しがサポートされています。

コンテキストウィンドウはローカルとAPIで同じか?

いいえ。API経由では、プロンプトと応答の合計の制限は100,000トークンです。ローカルではモデルとGPUのメモリに依存します。コンテキストキャッシュは長さに伴って増加するためです。

あなたのキーは、フォーム一つで簡単に入手できます

アカウントを作成し、キーをコピーし、Base URLを変更します。設定はこれだけです。