Ключевые моменты
- Локально вы платите за железо сразу и за обслуживание всегда; через API — только за использованные токены.
- При $0,15 за 1M входных и $0,50 за 1M выходных токенов $20 покрывают десятки миллионов токенов.
- Локальный запуск выигрывает при интенсивном использовании, офлайн-работе и полном контроле над весами.
- API выигрывает для старта сегодня, при слабой GPU или желании получить совместимый с OpenAI эндпоинт.
Краткий ответ
Если вам нужен LLM без цензуры и нет GPU с большой памятью, API почти всегда — самый разумный старт. Если вы генерируете текст весь день, работаете офлайн или хотите выбирать и менять веса, локальный запуск окупает вложения. Вот сравнение в таблице.
| Аспект | Локально | Через API |
|---|---|---|
| Начальная стоимость | GPU, блок питания, охлаждение | Нет, пополнение от $20 |
| Текущие расходы | Электричество, износ, ваше время | Только использованные токены |
| Время до запуска | Часы или дни на скачивание и тесты | Несколько минут |
| Выбор модели | Любые, можно держать много | Один, выбранный провайдером |
| Максимальный контекст | Зависит от памяти, которая у вас есть | 100 000 токенов |
| Работает офлайн | Да | Нет |
| Параллельные запросы | Те, которые выдержит ваша GPU | 8 с полным ключом |
Абсолютно правильного варианта нет. Разделы ниже помогут вам понять, какой вариант вам ближе.
Что действительно нужно для запуска дома
Узкое место — видеопамять. Веса модели должны помещаться в VRAM, иначе они уходят в системную RAM и скорость падает. В качестве ориентировочного порядка величин: квантованная 4-битная малая модель обычно занимает несколько ГБ, в то время как очень большая может требовать десятки. Точные значения зависят от модели и квантования, поэтому всегда проверяйте спецификацию конкретной модели и документацию инструмента.
К этому добавляется кэш контекста: чем длиннее диалог, тем больше памяти он потребляет сверх весов. Контекст в десятки тысяч токенов на большой модели может потребовать дополнительные ГБ.
Программное обеспечение
Для локального инференса есть известные инструменты: llama.cpp, Ollama и vLLM. Ollama и vLLM также предоставляют эндпоинт, совместимый с форматом OpenAI, поэтому код для локального сервера переносится на удалённое API сменой двух строк. По деталям установки обращайтесь к документации каждого проекта.
Поиск модели
Модели с открытыми весами и сниженным уровнем отказов публикуются различными сообществами, но качество очень неоднородно. Некоторые теряют связность после модификации, другие хорошо реагируют только на определённый формат промпта. Ожидайте, что придётся протестировать несколько, прежде чем найти подходящую.
Сколько стоит API с учётом всех расходов
Цена $0,15 за 1M входящих токенов и $0,50 за 1M исходящих токенов, предоплаченный баланс, без подписки. Неудачные или отклонённые запросы не списываются, а кредит не сгорает. Рассмотрим три сценария.
- Лёгкое использование. 2M входных и 500 000 выходных токенов в месяц: 2 × $0,15 = $0,30 плюс 0,5 × $0,50 = $0,25, итого $0,55.
- Среднее использование. 50M входных и 10M выходных: 50 × $0,15 = $7,50 плюс 10 × $0,50 = $5,00, итого $12,50.
- Интенсивное использование. 400M входных и 80M выходных: 400 × $0,15 = $60 плюс 80 × $0,50 = $40, итого $100.
Минимальная сумма пополнения — $20, поэтому в среднем одного пополнения хватает более чем на месяц. При определённых порогах есть бонус: +5% от $50, +10% от $100, +15% от $200. Например, $100 превращаются в $110 кредита. Полный прайс-лист — на странице цены API.
Для локального развёртывания расчёт менее очевиден. Возьмите стоимость GPU, разделите на месяцы, в течение которых планируете её использовать, и добавьте электроэнергию: мощность в кВт × часы использования × тариф вашего контракта. Разделите результат на количество токенов, которые вы реально генерируете, — это и будет ваша стоимость за миллион. Подставьте свои цифры и сравните с $0,50 за миллион исходящих токенов.
Обслуживание, о котором часто забывают
Выбирая локальный запуск, вы берёте на себя всё остальное. Драйверы и библиотеки CUDA, ломающиеся после обновлений, новые версии движка инференса, меняющиеся форматы квантования, необходимость скачивания моделей заново. Если сервис используется другими, добавьте мониторинг, автоперезагрузки и управление очередью, когда запросов больше, чем выдерживает GPU.
Всё это несложно, но требует регулярных затрат времени. Если ваше время что-то стоит, учтите это: несколько часов в месяц обходятся дороже, чем $12,50 в среднем по сценарию выше.
С API ваша часть поддержки сводится к одному API-ключу, базовому URL и обработке ошибок 429, описанной в документации. Взамен вы зависите от провайдера: если у него проблема, вы не можете вмешаться.
Когда подходит локальное решение, а когда API
Выбирайте локальное решение, если
- у вас уже есть подходящая GPU и предельная стоимость — только электричество;
- вы генерируете текст непрерывно, часами, каждый день;
- вам нужно работать без сети или с данными, которые не должны покидать ваш компьютер;
- вы часто меняете модель, делаете тонкую настройку или экспериментируете с весами.
Выбирайте API, если
- вам нужен рабочий эндпоинт уже сегодня, без покупки оборудования;
- ваша нагрузка имеет пики: бот, ночной скрипт, прототип;
- вам нужен длинный контекст (здесь 100 000 токенов) без необходимости подбирать объём памяти;
- вам нужно масштабироваться до 8 параллельных запросов, не думая об оборудовании.
Многие команды используют оба варианта: API для старта и пиковых нагрузок, локальное решение для стабильной нагрузки. Поскольку формат одинаковый, переход с одного на другой не требует переписывания приложения.
Простой способ принять решение
Прежде чем что-либо покупать, измерьте. В течение недели записывайте, сколько токенов вы потребляете, получая данные из поля usage ответов или из счётчика вашего инструмента. Затем сделайте три расчёта.
- Умножьте еженедельные входные токены на 4 и на $0,15 за миллион.
- Сделайте то же самое с выходными токенами и $0,50.
- Сложите два результата и сравните их с ежемесячным платежом за оборудование плюс электричество.
Если сумма по API остаётся ниже нескольких десятков долларов в месяц, покупка GPU только ради этого редко имеет смысл. Если же она значительно превышает платёж, локальное решение начинает выглядеть привлекательно. Отдельный случай — задержка: на вашем компьютере вы не проходите через сеть, но домашняя GPU с большой моделью может быть медленнее, чем хостинг-сервис. Попробуйте оба варианта на вашей нагрузке, потому что различия зависят от модели и длины промптов.
Учитывайте также рост. Прототип, который сегодня потребляет мало, может умножить потребление, когда им начнут пользоваться другие. API обрабатывает до 8 параллельных запросов с полным ключом, тогда как в локальном режиме каждый новый пользователь замедляет всех остальных, пока вы не добавите оборудование.
Попробуйте API за пять минут
Для тестов нужен ключ. После входа через Google или по email и паролю на странице ключа вы можете одним кликом получить $0,50 бесплатного пробного баланса, который действует 7 дней и не требует оплаты. Перейдите на получение API-ключа. Пробный ключ имеет лимит 2 параллельных запроса и 60 в минуту.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
Если в будущем вы захотите перейти на локальный сервер с совместимым эндпоинтом, достаточно изменить base_url и имя модели.
Что не делает
Это единственная модель с открытыми весами, управляемая независимым провайдером и обученная отвечать без отказов в контенте для законного использования взрослыми. Это не официальный API ни одной крупной лаборатории, она не генерирует изображения, аудио или видео и не предлагает эмбеддинги или тонкую настройку. Остаётся абсолютное ограничение: запрет на сексуальный контент с участием несовершеннолетних. Более широкий обзор см. на странице ИИ без цензуры. Промпты не используются для обучения.

