主要ポイント
- ローカルではハードウェアに即時支払いし、常に保守コストがかかります。APIでは使用したトークンのみに対して支払いします。
- 入力1Mトークンあたり$0.15、出力1Mトークンあたり$0.50の場合、$20で数千万トークンをカバーできます。
- ローカルは継続的な大量利用、オフライン作業、重みへの完全な制御に適しています。
- APIは今日から始めたい人、GPUが限られている人、またはOpenAI互換エンドポイントが必要な人に適しています。
簡潔な回答
検閲なしLLMを求め、十分なメモリを持つGPUを持っていない場合、APIが最も合理的な出発点となるケースがほとんどです。一方、終日テキストを生成する、オフラインで作業する、重みを選択・変更したい場合は、ローカルが投資に見合う結果をもたらします。以下に比較表を示します。
| 項目 | ローカル | API経由 |
|---|---|---|
| 初期コスト | GPU、電源、冷却装置 | なし。$20からチャージ可能 |
| 継続コスト | 電気代、摩耗、あなたの時間 | 使用したトークンのみ |
| 開始までの時間 | ダウンロードからテストまで数時間〜数日 | 数分 |
| モデルの選択 | 自由。複数のモデルを保持可能 | 1つ。プロバイダが選択 |
| 最大コンテキスト | 利用可能なメモリ次第 | 100,000トークン |
| オフラインで動作します | はい | なし |
| 同時リクエスト | GPUが処理できる数 | フルキーで8 |
絶対的な正解はありません。以下のセクションは、あなたがどちらの立場にあるかを理解するのに役立ちます。
自宅で実行するために本当に必要なもの
ボトルネックはビデオメモリです。モデルの重みはVRAMに収まる必要があり、そうでない場合システムRAMに切り替わり、速度が急落します。目安として、4bit量子化された小規模モデルは通常数GBしか占用しませんが、非常に大きなモデルでは数十GB必要になることもあります。正確な値はモデルと量子化方式に依存するため、常に個別モデルの仕様書とツールのドキュメントを確認してください。
これにコンテキストキャッシュが加わります。会話が長ければ長いほど、重み以外に多くのメモリを消費します。大きなモデルで数万トークンのコンテキストを使用すると、さらに数GB必要になる場合があります。
ソフトウェア
ローカル推論にはllama.cpp、Ollama、vLLMなどのよく知られたツールがあります。OllamaとvLLMはOpenAI互換フォーマットのエンドポイントも公開するため、ローカルサーバー用に書いたコードは2行変更するだけでリモートAPIに移動できます。インストールの詳細は各プロジェクトのドキュメントを参照してください。
モデルの検索
拒否の少ないオープンウェイトモデルは複数のコミュニティによって公開されていますが、品質は大きく異なります。変更後に一貫性を失うモデルもあれば、特定のプロンプト形式でのみ良好に動作するモデルもあります。適切なモデルを見つけるまでいくつか試す必要があります。
APIのコスト:計算済み
料金は入力1Mトークンあたり$0.15、出力1Mトークンあたり$0.50で、前払い制、サブスクリプションなしです。失敗または拒否されたリクエストは課金されず、クレジットは期限切れになりません。3つのシナリオを見てみましょう。
- 軽量使用。 月間入力2Mトークン、出力500,000トークン:2 × $0.15 = $0.30 + 0.5 × $0.50 = $0.25、合計$0.55。
- 平均的な使用量。 5000万トークンの入力と1000万トークンの出力:50 × $0.15 = $7.50、10 × $0.50 = $5.00、合計 $12.50。
- 多量の使用量。 4億トークンの入力と8000万トークンの出力:400 × $0.15 = $60、80 × $0.50 = $40、合計 $100。
最小チャージ額は$20のため、中程度使用の場合、1回のチャージで1ヶ月以上カバーできます。一定の閾値を超えるとボーナスがあります:$50で+5%、$100で+10%、$200で+15%。例えば$100は$110のクレジットになります。完全な価格表はAPIの価格ページに記載されています。
ローカルの計算はそれほど単純ではありません。GPUの価格から始め、想定使用月数で割り、さらに電気代を加算します(消費電力kW × 使用時間 × 契約単価)。この結果を実際に生成するトークン数で割ると、1Mトークンあたりのコストが算出されます。あなたの数値で計算し、出力1Mトークンあたり$0.50と比較してください。
通常忘れられがちな保守
ローカルを選択する人は、その他すべてを管理します。アップデート後に壊れるCUDAドライバとライブラリ、新しい推論エンジンのバージョン、変更される量子化フォーマット、再ダウンロードが必要なモデル。サービスが他者にも提供される場合は、監視、自動再起動、GPUの処理能力を超えるリクエストが到着した際のキュー管理を追加してください。
これらすべては難しいことではありませんが、定期的な時間を要します。あなたの時間が価値あるものであるなら、それを計算してください:月数時間の作業は、前述の平均シナリオの$12.50よりも重みがあります。
APIを使用すれば、メンテナンスはAPIキー、Base URL、およびドキュメントで説明されている429エラーの処理に集約されます。その代わり、プロバイダーに依存することになります:プロバイダーに問題があれば、あなたは介入できません。
ローカルとAPI、どちらが適しているか
ローカルを選ぶべき場合
- 適切なGPUをすでに所有しており、コストの増加分が電気代のみである場合;
- 毎日、何時間も連続してテキストを生成する場合;
- ネットワークなしで作業するか、データをマシンから外部に出したくない場合;
- モデルを頻繁に変更したい場合、ファインチューニングを行う場合、またはウェイトをいじって実験したい場合。
APIを選ぶべき場合
- 何も購入せずに今日から動作するエンドポイントが欲しい場合;
- 使用量が波がある場合:ボット、夜間のスクリプト、プロトタイプなど;
- メモリをサイズ調整することなく長いコンテキストウィンドウ(ここでは100,000トークン)が必要である場合;
- ハードウェアのことを考えずに8つの同時リクエストにスケールアップしたい場合。
多くのチームは両方のアプローチを併用しています:APIで始め、ピーク時に使用し、ローカルで安定した負荷を処理します。フォーマットが同じであるため、一方から他方へ移行してもアプリケーションを書き直す必要はありません。
判断するための簡単な方法
何かを購入する前に、測定してください。1週間、回答のusageフィールドまたはツールのカウンターからトークン消費量を記録してください。そして、3つの計算を行ってください。
- 週ごとの入力トークン数に4を掛け、さらに100万トークンあたり$0.15を掛けます。
- 出力トークンについても同じ計算を行い、$0.50を使用します。
- 2つの結果を合計し、ハードウェアの月額料金と電気代と比較してください。
APIの合計が月額数十ドル以下であれば、これ専用のGPUを購入する意味はほとんどありません。もし大幅に月額料金を超える場合、ローカルの方が魅力的になってきます。ただし、レイテンシは別です:自分のマシンではネットワークを介さないため、大きなモデルを搭載した家庭用GPUは、ホストされたサービスよりも遅くなる可能性があります。モデルやプロンプトの長さに依存するため、実際の負荷で両方を試してください。
成長も考慮してください。今日少量の消費で済むプロトタイプも、他のユーザーが使用すると消費量が増加する可能性があります。APIは完全なキーで最大8つの同時リクエストを処理しますが、ローカルではハードウェアを追加するまで、ユーザーが増えるごとに他のユーザーの処理がすべて遅くなります。
5分でAPIを試す
テストするにはキーが必要です。Googleまたはメールアドレスとパスワードで登録後、キーページでワンクリックで$0.50の無料トライアルクレジットをリクエストできます。有効期限は7日で、支払いの必要はありません。APIキーを取得するにアクセスしてください。テストキーは同時2リクエスト、1分あたり60リクエストの制限があります。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
将来互換性のあるエンドポイントを持つローカルサーバーに移行したい場合、base_urlとモデル名を変更するだけです。
何もしないこと
これは単一のオープンウェイトモデルで、独立したプロバイダによって管理され、合法的なアダルトコンテンツに対するフィルタリングを最小限に抑えるようにトレーニングされています。大手ラボの公式APIではなく、画像や音声、動画の生成は行わず、埋め込みやファインチューニングも提供しません。絶対的な制限として、未成年者を含む性的コンテンツは禁止です。より広範な概要については無検閲AIページをご覧ください。プロンプトはトレーニングに使用されません。

