重點摘要
- 本地部署需立即支付硬體費用並持續維護;API 則僅按使用的 token 付費。
- 輸入每百萬 token $0.15,輸出每百萬 token $0.50,$20 可涵蓋數千萬個 token。
- 對於持續密集使用、離線工作及完全控制權重的情況,本地部署勝出。
- 對於今日即開始使用、GPU 資源有限或希望獲得 OpenAI 相容端點的使用者,API 勝出。
簡短答案
如果你尋找無審查 LLM且沒有配備大量記憶體的 GPU,API 幾乎總是更合理的起點。反之,如果你整天生成文字、離線工作或想選擇並修改權重,本地部署能回報投資。以下是比較表。
| 項目 | 本地部署 | 透過 API |
|---|---|---|
| 初始成本 | GPU、電源供應器、散熱設備 | 無,從 $20 起儲值 |
| 經常性成本 | 電力、磨損、你的時間 | 僅按使用 token 計費 |
| 開始所需時間 | 下載與測試之間需數小時或數天 | 數分鐘 |
| 模型選擇 | 無限制,你可保留多個 | 單一,由供應商選擇 |
| 最大上下文 | 取決於你的 VRAM | 100,000 個 token |
| 離線運作 | 是 | 否 |
| 並行請求 | 你的 GPU 能處理的數量 | 完整 API 金鑰為 8 個 |
沒有絕對正確的選擇。以下章節將幫助你釐清自身需求。
在家中運行真正需要什麼
瓶頸在於顯存。模型權重必須存放在 VRAM 中,否則會移至系統 RAM,導致速度大幅下降。作為粗略估計,4 位元量化的小模型通常僅佔幾 GB,而大型模型可能需要數十 GB。確切數值取決於模型與量化方式,因此請務必查閱單一模型的規格表與工具文件。
此外還有上下文快取:對話越長,除了權重外消耗的記憶體越多。大型模型上數萬個 token 的上下文可能還需額外數 GB。
軟體
本地推論有知名工具如 llama.cpp、Ollama 和 vLLM。Ollama 和 vLLM 也提供與 OpenAI 格式相容的端點,因此今日為本地伺服器編寫的程式碼,只需更改兩行即可移至遠端 API。安裝詳情請參考各專案的文件。
尋找模型
拒絕較少的開放權重模型由各個社群發布,但品質差異很大。有些模型在微調後會失去一致性,有些則僅在特定格式的提示詞下才能良好回應。在找到適合的模型之前,你需要嘗試多個。
算過帳後 API 的成本
費率為輸入每 1M token $0.15,輸出每 1M token $0.50,採預付額度,無訂閱費。失敗或被拒絕的請求免費,且額度永不過期。讓我們看看三個情境。
- 輕度使用。 每月輸入 2M token,輸出 500,000 token:2 × $0.15 = $0.30,加上 0.5 × $0.50 = $0.25,總計 $0.55。
- 平均使用量。 輸入 50M,輸出 10M:50 × $0.15 = $7.50,加上 10 × $0.50 = $5.00,總計 $12.50。
- 重度使用。 輸入 400M,輸出 80M:400 × $0.15 = $60 加上 80 × $0.50 = $40,總計 $100。
最低儲值金額為 $20,因此平均而言,一次儲值即可覆蓋超過一個月的用量。超過特定門檻時有贈額:$50 起贈 5%,$100 起贈 10%,$200 起贈 15%。例如 $100 會變成 $110 的額度。完整價目表請見 API 價格 頁面。
本地計算則較不直接。從 GPU 價格開始,除以你預計使用的月數,再加上電費:功率(kW)× 使用小時數 × 你的電費單價。將結果除以你真正產生的 token 數,即為每百萬 token 的成本。用你的數據計算並與輸出每百萬 $0.50 進行比較。
常被忽略的維護
選擇本地部署也需處理其他事項。驅動程式和 CUDA 庫可能在更新後損壞,推論引擎有新版本,量化格式變更,模型需重新下載。若服務供他人使用,還需加入監控、自動重啟及佇列管理,以應對超過 GPU 負載的請求。
這些都不難,但需要耗費重複的時間。如果你的時間有價值,請將它算進去:每月幾小時的成本遠高於上述平均情境下的 $12.50。
透過 API,你端的維護工作簡化為一個金鑰、一個 Base URL 以及 文件中所述的 429 錯誤處理。代價是你依賴供應商:如果供應商出現問題,你無法介入。
何時適合本地部署,何時適合 API
如果以下情況,請選擇本地部署:
- 你已經有合適的 GPU,且邊際成本僅為電費;
- 你連續數小時、每天持續生成文本;
- 你需要在無網路環境下工作,或數據不能離開你的機器;
- 你想經常更換模型、進行微調或實驗權重。
如果以下情況,請選擇 API:
- 你想要一個今天就能運作的端點,無需購買任何硬體;
- 你的使用量呈尖峰狀:例如機器人、夜間腳本或原型;
- 你需要長上下文(此處為 100,000 token),且無需擔心記憶體配置;
- 你想擴展至 8 個並行請求,而無需考慮硬體。
許多團隊同時使用兩種方式:API 用於起步和應對尖峰,本地部署用於穩定負載。由於格式相同,從一種方式切換到另一種方式無需重寫應用程式。
一個簡單的決策方法
在購買任何東西之前,先進行測量。為期一週,記錄你消耗的 token 數量,可從回應中的 usage欄位或你的工具計數器中獲取。然後進行三次計算。
- 將每週輸入 token 數乘以 4,再乘以 $0.15 除以一百萬。
- 對輸出 token 數做同樣的計算,使用 $0.50。
- 將兩個結果相加,並與硬體月費加上電費進行比較。
如果 API 的總費用每月低於幾十美元,僅為此購買 GPU 通常沒有意義。如果超過月費很多,本地部署開始變得有吸引力。一個例外情況是延遲:在你的機器上不會經過網路,但配備大型模型的家用 GPU 可能比託管服務更慢。在你的負載下測試兩者,因為差異取決於模型和提示詞的長度。
也要考慮增長。今天消耗較少的原型,當其他人使用時可能會增加用量。API 支援最多 8 個並行請求(使用完整金鑰),而在本地部署中,每個新增用戶都會減慢其他用戶的速度,直到你增加硬體為止。
五分鐘內試用 API
測試需要金鑰。使用 Google 或電子郵件與密碼註冊後,你可以在金鑰頁面一鍵申請 $0.50 的免費試用額度,有效期 7 天且無需付款。前往 取得 API 金鑰。測試金鑰限制為 2 個並行請求,每分鐘 60 個請求。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
如果未來你想遷移到具有相容端點的本地伺服器,只需更改 base_url和模型名稱即可。
不具備的功能
這是一個單一權重開放模型,由獨立供應商管理,並針對合法成人用途的無審查回應進行訓練。它不是任何大型實驗室官方的 API,不生成圖像、音訊或影片,也不提供嵌入或微調。絕對限制是:禁止涉及未成年人的性內容。更多概覽請見 無審查 AI頁面。提示詞不會用於訓練。

