中文 ▾

无审查 LLM:本地部署还是 API 调用?

无审查 LLM 可以在本地运行或通过 API 调用。这里提供两种方案的硬件、成本和维护信息,数据均可验证。

无审查 AI:可用选项分析

更新于:

等臂天平:一侧是带有本地 GPU 的工作站,另一侧是通过网线连接的云服务器。

关键点

  • 本地部署需立即支付硬件费用并持续维护;API 调用仅按使用的 token 付费。
  • 输入每百万 token $0.15,输出每百万 token $0.50,$20 可覆盖数千万 token。
  • 本地方案在持续高强度使用、离线工作和完全控制模型权重时胜出。
  • API 方案适合今天就开始使用、GPU 资源有限或希望获得兼容 OpenAI 的接口的人。

简短回答

如果你需要一个 无审查 LLM且没有大显存 GPU,API 几乎总是更合理的起点。如果你整天生成文本、离线工作或想选择和修改权重,本地部署能收回投资。以下是对比表。

方面本地通过 API
初始成本GPU、电源、散热无,从 $20 起充值
持续成本电费、损耗、你的时间仅使用 token
启动时间下载与测试之间需数小时或数天几分钟
模型选择自由,你可以保留多个单一,由提供商选择
最大上下文取决于你拥有的内存100,000 token
离线运行是否
并发请求取决于你的 GPU 能承受的并发请求数完整密钥支持 8 个并发请求

没有绝对正确的选择。下面的章节将帮助你明确你的立场。

在家运行真正需要什么

瓶颈在于显存。模型的权重必须位于 VRAM 中,否则会转移到系统 RAM,导致速度下降。作为数量级参考,一个 4 bit 量化的小型模型通常只需几 GB,而大型模型可能需要数十 GB。具体数值取决于模型和量化方式,因此请务必查阅单个模型的规格表及工具文档。

此外还有上下文缓存:对话越长,除权重外消耗的内存越多。在大型模型上,数万个 token 的上下文可能需要额外的 GB。

软件

本地推理有知名工具如 llama.cpp、Ollama 和 vLLM。Ollama 和 vLLM 也暴露兼容 OpenAI 格式的接口,因此你今天为本地服务器编写的代码只需更改两行即可迁移到远程 API。安装详情请参考各项目的文档。

寻找模型

各社区发布了多种拒绝较少的开放权重模型,但质量参差不齐。有些模型在修改后会丧失一致性,有些仅在特定的提示词格式下表现良好。在找到合适的模型之前,你可能需要尝试多个。

API 成本计算

价格为 每 1M 输入 token $0.15,每 1M 输出 token $0.50,预付,无订阅。失败或被拒的请求不扣费,额度不失效。我们来看三种场景。

  • 轻度使用。 每月输入 2M token,输出 500,000 token:2 × $0.15 = $0.30,加上 0.5 × $0.50 = $0.25,总计 $0.55。
  • 中度使用。 50M 输入和 10M 输出:50 × $0.15 = $7.50 加上 10 × $0.50 = $5.00,总计 $12.50。
  • 重度使用。 400M 输入和 80M 输出:400 × $0.15 = $60 加上 80 × $0.50 = $40,总计 $100。

最低充值为 $20,因此中等情况下单次充值可覆盖一个月以上。超过一定阈值有奖金:$50 起 +5%,$100 起 +10%,$200 起 +15%。例如 $100 变为 $110 额度。完整价格表见 API 价格 页面。

本地部署的成本计算不那么直接。从 GPU 价格开始,除以你计划使用的月数,再加上电费:功率(kW)× 使用小时数 × 你的合同电价。结果除以你实际生成的 token 数,即为你每百万 token 的成本。用你的数据计算一下,并与每百万输出 token $0.50 进行对比。

常被忽视的维护

选择本地方案的人还需负责其他一切。CUDA 驱动和库在更新后可能损坏,推理引擎的新版本,变化的量化格式,需重新下载的模型。如果服务供他人使用,还需添加监控、自动重启和队列管理,以应对超过 GPU 承载能力的请求。

这一切都不难,但需要重复投入时间。如果你的时间有价值,请算进成本:每月几小时的时间成本远高于上述平均场景下的 $12.50。

使用 API,你侧的维护工作简化为密钥、Base URL 和 429 错误处理,详见 文档。代价是你依赖提供商:如果它出问题,你无法干预。

何时选择本地部署,何时选择 API

选择本地部署,如果

  • 你已有合适的 GPU,且边际成本仅为电费;
  • 你全天候连续生成文本;
  • 你需要离线工作,或数据不能离开你的机器;
  • 你想频繁更换模型、进行微调或尝试不同权重。

选择 API,如果

  • 你想要今天就能用的接口,无需购买任何硬件;
  • 你的使用呈峰值特征:例如一个机器人、夜间脚本或原型;
  • 你需要长上下文(此处为 100,000 token),而无需调整内存大小;
  • 你想扩展到 8 个并发请求,而无需考虑硬件。

许多团队同时使用两种方式:API 用于起步和峰值,本地用于稳定负载。由于格式相同,从一种方式切换到另一种方式无需重写应用程序。

一个简单的决策方法

在购买任何东西之前,先测量。记录一周内你消耗的 token 数量,可以从响应的 usage 字段或你使用的工具计数器中获取。然后进行计算。

  1. 将每周输入 token 数乘以 4,再乘以 $0.15 除以一百万。
  2. 对输出 token 做同样的计算,使用 $0.50。
  3. 将两个结果相加,并与硬件月费加上电费进行比较。

如果 API 的总费用每月保持在几十美元以下,为此购买 GPU 通常没有意义。如果远超月费,本地部署才开始变得有吸引力。另一个例外是延迟:在你的机器上无需经过网络,但带有大型模型的家用 GPU 可能比托管服务更慢。在你的负载上测试两者,因为差异取决于模型和提示词长度。

还要考虑增长。今天消耗较少的原型,当被其他人使用时可能会成倍增长。API 使用完整密钥可处理最多 8 个并发请求,而在本地,每个额外用户都会拖慢其他人的速度,直到你增加硬件。

五分钟体验 API

测试需要密钥。通过 Google 或电子邮件和密码注册后,你可以在密钥页面一键申请 $0.50 的试用额度,有效期 7 天,无需付费。前往 获取 API 密钥。测试密钥限制为 2 个并发请求和每分钟 60 个请求。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

如果将来你想迁移到具有兼容接口的本地服务器,只需更改 base_url 和模型名称即可。

它不能做什么

这是一个由独立提供商管理、专为合法成人用途进行无拒绝回答训练的开放权重模型。它并非任何大型实验室的官方 API,不生成图像、音频或视频,也不提供嵌入或微调功能。唯一的绝对限制是:禁止涉及未成年人的性内容。更全面的概览请参见 无审查 AI 页面。提示词不用于训练。

其他指南

常见问题

本地 LLM 真的更私密吗?

使用本地部署,数据保留在你的机器上,因此是的,前提是你保护好了它。使用 API,提示词会传输到提供商;这里不用于训练。

$20 能用多少 token?

如果全部是输入,则为 1.333 亿 token($20 除以每百万 $0.15)。如果全部是输出,则为 4000 万($20 除以每百万 $0.50)。实际上介于两者之间,取决于两者的比例。

我可以使用现有的 OpenAI 代码吗?

可以。API 兼容 OpenAI SDK:更改 Base URL 和密钥,即可使用 uncensored 模型。支持 chat completions、responses、streaming 和 tool calling。

本地和 API 的上下文相同吗?

不。通过 API 接口,提示词和响应的 token 总数上限为 100,000。本地部署则取决于模型和你 GPU 的显存,因为上下文缓存会随长度增加。

你的密钥只需填写一个表单

创建账户,复制密钥,修改 Base URL。配置就这么简单。