繁中 ▾

無審查 LLM:本地部署或 API,該如何選擇

無審查 LLM 可在個人電腦上運行,也可透過 API 呼叫。此處提供兩種方案的硬體、成本與維護資訊,並附有可驗證的數據。

無審查 AI:可用選項分析

更新時間:

等臂天平:一邊是帶有本地 GPU 的工作站,另一邊是透過電纜連接的雲端伺服器。

重點摘要

  • 本地部署需立即支付硬體費用並持續維護;API 則僅按使用的 token 付費。
  • 輸入每百萬 token $0.15,輸出每百萬 token $0.50,$20 可涵蓋數千萬個 token。
  • 對於持續密集使用、離線工作及完全控制權重的情況,本地部署勝出。
  • 對於今日即開始使用、GPU 資源有限或希望獲得 OpenAI 相容端點的使用者,API 勝出。

簡短答案

如果你尋找無審查 LLM且沒有配備大量記憶體的 GPU,API 幾乎總是更合理的起點。反之,如果你整天生成文字、離線工作或想選擇並修改權重,本地部署能回報投資。以下是比較表。

項目本地部署透過 API
初始成本GPU、電源供應器、散熱設備無,從 $20 起儲值
經常性成本電力、磨損、你的時間僅按使用 token 計費
開始所需時間下載與測試之間需數小時或數天數分鐘
模型選擇無限制,你可保留多個單一,由供應商選擇
最大上下文取決於你的 VRAM100,000 個 token
離線運作是否
並行請求你的 GPU 能處理的數量完整 API 金鑰為 8 個

沒有絕對正確的選擇。以下章節將幫助你釐清自身需求。

在家中運行真正需要什麼

瓶頸在於顯存。模型權重必須存放在 VRAM 中,否則會移至系統 RAM,導致速度大幅下降。作為粗略估計,4 位元量化的小模型通常僅佔幾 GB,而大型模型可能需要數十 GB。確切數值取決於模型與量化方式,因此請務必查閱單一模型的規格表與工具文件。

此外還有上下文快取:對話越長,除了權重外消耗的記憶體越多。大型模型上數萬個 token 的上下文可能還需額外數 GB。

軟體

本地推論有知名工具如 llama.cpp、Ollama 和 vLLM。Ollama 和 vLLM 也提供與 OpenAI 格式相容的端點,因此今日為本地伺服器編寫的程式碼,只需更改兩行即可移至遠端 API。安裝詳情請參考各專案的文件。

尋找模型

拒絕較少的開放權重模型由各個社群發布,但品質差異很大。有些模型在微調後會失去一致性,有些則僅在特定格式的提示詞下才能良好回應。在找到適合的模型之前,你需要嘗試多個。

算過帳後 API 的成本

費率為輸入每 1M token $0.15,輸出每 1M token $0.50,採預付額度,無訂閱費。失敗或被拒絕的請求免費,且額度永不過期。讓我們看看三個情境。

  • 輕度使用。 每月輸入 2M token,輸出 500,000 token:2 × $0.15 = $0.30,加上 0.5 × $0.50 = $0.25,總計 $0.55。
  • 平均使用量。 輸入 50M,輸出 10M:50 × $0.15 = $7.50,加上 10 × $0.50 = $5.00,總計 $12.50。
  • 重度使用。 輸入 400M,輸出 80M:400 × $0.15 = $60 加上 80 × $0.50 = $40,總計 $100。

最低儲值金額為 $20,因此平均而言,一次儲值即可覆蓋超過一個月的用量。超過特定門檻時有贈額:$50 起贈 5%,$100 起贈 10%,$200 起贈 15%。例如 $100 會變成 $110 的額度。完整價目表請見 API 價格 頁面。

本地計算則較不直接。從 GPU 價格開始,除以你預計使用的月數,再加上電費:功率(kW)× 使用小時數 × 你的電費單價。將結果除以你真正產生的 token 數,即為每百萬 token 的成本。用你的數據計算並與輸出每百萬 $0.50 進行比較。

常被忽略的維護

選擇本地部署也需處理其他事項。驅動程式和 CUDA 庫可能在更新後損壞,推論引擎有新版本,量化格式變更,模型需重新下載。若服務供他人使用,還需加入監控、自動重啟及佇列管理,以應對超過 GPU 負載的請求。

這些都不難,但需要耗費重複的時間。如果你的時間有價值,請將它算進去:每月幾小時的成本遠高於上述平均情境下的 $12.50。

透過 API,你端的維護工作簡化為一個金鑰、一個 Base URL 以及 文件中所述的 429 錯誤處理。代價是你依賴供應商:如果供應商出現問題,你無法介入。

何時適合本地部署,何時適合 API

如果以下情況,請選擇本地部署:

  • 你已經有合適的 GPU,且邊際成本僅為電費;
  • 你連續數小時、每天持續生成文本;
  • 你需要在無網路環境下工作,或數據不能離開你的機器;
  • 你想經常更換模型、進行微調或實驗權重。

如果以下情況,請選擇 API:

  • 你想要一個今天就能運作的端點,無需購買任何硬體;
  • 你的使用量呈尖峰狀:例如機器人、夜間腳本或原型;
  • 你需要長上下文(此處為 100,000 token),且無需擔心記憶體配置;
  • 你想擴展至 8 個並行請求,而無需考慮硬體。

許多團隊同時使用兩種方式:API 用於起步和應對尖峰,本地部署用於穩定負載。由於格式相同,從一種方式切換到另一種方式無需重寫應用程式。

一個簡單的決策方法

在購買任何東西之前,先進行測量。為期一週,記錄你消耗的 token 數量,可從回應中的 usage欄位或你的工具計數器中獲取。然後進行三次計算。

  1. 將每週輸入 token 數乘以 4,再乘以 $0.15 除以一百萬。
  2. 對輸出 token 數做同樣的計算,使用 $0.50。
  3. 將兩個結果相加,並與硬體月費加上電費進行比較。

如果 API 的總費用每月低於幾十美元,僅為此購買 GPU 通常沒有意義。如果超過月費很多,本地部署開始變得有吸引力。一個例外情況是延遲:在你的機器上不會經過網路,但配備大型模型的家用 GPU 可能比託管服務更慢。在你的負載下測試兩者,因為差異取決於模型和提示詞的長度。

也要考慮增長。今天消耗較少的原型,當其他人使用時可能會增加用量。API 支援最多 8 個並行請求(使用完整金鑰),而在本地部署中,每個新增用戶都會減慢其他用戶的速度,直到你增加硬體為止。

五分鐘內試用 API

測試需要金鑰。使用 Google 或電子郵件與密碼註冊後,你可以在金鑰頁面一鍵申請 $0.50 的免費試用額度,有效期 7 天且無需付款。前往 取得 API 金鑰。測試金鑰限制為 2 個並行請求,每分鐘 60 個請求。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

如果未來你想遷移到具有相容端點的本地伺服器,只需更改 base_url和模型名稱即可。

不具備的功能

這是一個單一權重開放模型,由獨立供應商管理,並針對合法成人用途的無審查回應進行訓練。它不是任何大型實驗室官方的 API,不生成圖像、音訊或影片,也不提供嵌入或微調。絕對限制是:禁止涉及未成年人的性內容。更多概覽請見 無審查 AI頁面。提示詞不會用於訓練。

其他指南

常見問題

本地 LLM 真的更隱私嗎?

使用本地部署時,數據保留在你的機器上,因此是的,前提是保護好它。使用 API 時,提示詞會傳送至供應商;此處提示詞不會用於訓練。

$20 可以用多少 token?

如果全部是輸入,則為 1.333 億個 token($20 除以每百萬 $0.15)。如果全部是輸出,則為 4000 萬($20 除以 $0.50)。實際上介於兩者之間,取決於兩者的比例。

我可以使用現有的 OpenAI 程式碼嗎?

可以。API 與 OpenAI SDK 相容:更改 Base URL 和金鑰即可使用 uncensored 模型。支援完整聊天、responses、串流輸出和函式呼叫。

本地和 API 的上下文相同嗎?

否。透過 API 的限制是提示詞和回應之間共 100,000 個 token。本地端則取決於模型和你的 GPU VRAM,因為上下文快取會隨著長度增加。

你的金鑰只差一個表單的距離

建立帳戶,複製金鑰,修改 Base URL。配置僅此而已。