RU ▾

LLM без цензуры: локально или через API, что выбрать

LLM без цензуры можно запустить на своём ПК или вызывать через API. Здесь — железо, стоимость и обслуживание обоих вариантов с проверяемыми цифрами.

Безцензурный ИИ: анализ доступных вариантов

Обновлено:

Изометрическая иллюстрация: слева — рабочая станция с локальной GPU, справа — облачный сервер, подключённый кабелем.

Ключевые моменты

  • Локально вы платите за железо сразу и за обслуживание всегда; через API — только за использованные токены.
  • При $0,15 за 1M входных и $0,50 за 1M выходных токенов $20 покрывают десятки миллионов токенов.
  • Локальный запуск выигрывает при интенсивном использовании, офлайн-работе и полном контроле над весами.
  • API выигрывает для старта сегодня, при слабой GPU или желании получить совместимый с OpenAI эндпоинт.

Краткий ответ

Если вам нужен LLM без цензуры и нет GPU с большой памятью, API почти всегда — самый разумный старт. Если вы генерируете текст весь день, работаете офлайн или хотите выбирать и менять веса, локальный запуск окупает вложения. Вот сравнение в таблице.

АспектЛокальноЧерез API
Начальная стоимостьGPU, блок питания, охлаждениеНет, пополнение от $20
Текущие расходыЭлектричество, износ, ваше времяТолько использованные токены
Время до запускаЧасы или дни на скачивание и тестыНесколько минут
Выбор моделиЛюбые, можно держать многоОдин, выбранный провайдером
Максимальный контекстЗависит от памяти, которая у вас есть100 000 токенов
Работает офлайнДаНет
Параллельные запросыТе, которые выдержит ваша GPU8 с полным ключом

Абсолютно правильного варианта нет. Разделы ниже помогут вам понять, какой вариант вам ближе.

Что действительно нужно для запуска дома

Узкое место — видеопамять. Веса модели должны помещаться в VRAM, иначе они уходят в системную RAM и скорость падает. В качестве ориентировочного порядка величин: квантованная 4-битная малая модель обычно занимает несколько ГБ, в то время как очень большая может требовать десятки. Точные значения зависят от модели и квантования, поэтому всегда проверяйте спецификацию конкретной модели и документацию инструмента.

К этому добавляется кэш контекста: чем длиннее диалог, тем больше памяти он потребляет сверх весов. Контекст в десятки тысяч токенов на большой модели может потребовать дополнительные ГБ.

Программное обеспечение

Для локального инференса есть известные инструменты: llama.cpp, Ollama и vLLM. Ollama и vLLM также предоставляют эндпоинт, совместимый с форматом OpenAI, поэтому код для локального сервера переносится на удалённое API сменой двух строк. По деталям установки обращайтесь к документации каждого проекта.

Поиск модели

Модели с открытыми весами и сниженным уровнем отказов публикуются различными сообществами, но качество очень неоднородно. Некоторые теряют связность после модификации, другие хорошо реагируют только на определённый формат промпта. Ожидайте, что придётся протестировать несколько, прежде чем найти подходящую.

Сколько стоит API с учётом всех расходов

Цена $0,15 за 1M входящих токенов и $0,50 за 1M исходящих токенов, предоплаченный баланс, без подписки. Неудачные или отклонённые запросы не списываются, а кредит не сгорает. Рассмотрим три сценария.

  • Лёгкое использование. 2M входных и 500 000 выходных токенов в месяц: 2 × $0,15 = $0,30 плюс 0,5 × $0,50 = $0,25, итого $0,55.
  • Среднее использование. 50M входных и 10M выходных: 50 × $0,15 = $7,50 плюс 10 × $0,50 = $5,00, итого $12,50.
  • Интенсивное использование. 400M входных и 80M выходных: 400 × $0,15 = $60 плюс 80 × $0,50 = $40, итого $100.

Минимальная сумма пополнения — $20, поэтому в среднем одного пополнения хватает более чем на месяц. При определённых порогах есть бонус: +5% от $50, +10% от $100, +15% от $200. Например, $100 превращаются в $110 кредита. Полный прайс-лист — на странице цены API.

Для локального развёртывания расчёт менее очевиден. Возьмите стоимость GPU, разделите на месяцы, в течение которых планируете её использовать, и добавьте электроэнергию: мощность в кВт × часы использования × тариф вашего контракта. Разделите результат на количество токенов, которые вы реально генерируете, — это и будет ваша стоимость за миллион. Подставьте свои цифры и сравните с $0,50 за миллион исходящих токенов.

Обслуживание, о котором часто забывают

Выбирая локальный запуск, вы берёте на себя всё остальное. Драйверы и библиотеки CUDA, ломающиеся после обновлений, новые версии движка инференса, меняющиеся форматы квантования, необходимость скачивания моделей заново. Если сервис используется другими, добавьте мониторинг, автоперезагрузки и управление очередью, когда запросов больше, чем выдерживает GPU.

Всё это несложно, но требует регулярных затрат времени. Если ваше время что-то стоит, учтите это: несколько часов в месяц обходятся дороже, чем $12,50 в среднем по сценарию выше.

С API ваша часть поддержки сводится к одному API-ключу, базовому URL и обработке ошибок 429, описанной в документации. Взамен вы зависите от провайдера: если у него проблема, вы не можете вмешаться.

Когда подходит локальное решение, а когда API

Выбирайте локальное решение, если

  • у вас уже есть подходящая GPU и предельная стоимость — только электричество;
  • вы генерируете текст непрерывно, часами, каждый день;
  • вам нужно работать без сети или с данными, которые не должны покидать ваш компьютер;
  • вы часто меняете модель, делаете тонкую настройку или экспериментируете с весами.

Выбирайте API, если

  • вам нужен рабочий эндпоинт уже сегодня, без покупки оборудования;
  • ваша нагрузка имеет пики: бот, ночной скрипт, прототип;
  • вам нужен длинный контекст (здесь 100 000 токенов) без необходимости подбирать объём памяти;
  • вам нужно масштабироваться до 8 параллельных запросов, не думая об оборудовании.

Многие команды используют оба варианта: API для старта и пиковых нагрузок, локальное решение для стабильной нагрузки. Поскольку формат одинаковый, переход с одного на другой не требует переписывания приложения.

Простой способ принять решение

Прежде чем что-либо покупать, измерьте. В течение недели записывайте, сколько токенов вы потребляете, получая данные из поля usage ответов или из счётчика вашего инструмента. Затем сделайте три расчёта.

  1. Умножьте еженедельные входные токены на 4 и на $0,15 за миллион.
  2. Сделайте то же самое с выходными токенами и $0,50.
  3. Сложите два результата и сравните их с ежемесячным платежом за оборудование плюс электричество.

Если сумма по API остаётся ниже нескольких десятков долларов в месяц, покупка GPU только ради этого редко имеет смысл. Если же она значительно превышает платёж, локальное решение начинает выглядеть привлекательно. Отдельный случай — задержка: на вашем компьютере вы не проходите через сеть, но домашняя GPU с большой моделью может быть медленнее, чем хостинг-сервис. Попробуйте оба варианта на вашей нагрузке, потому что различия зависят от модели и длины промптов.

Учитывайте также рост. Прототип, который сегодня потребляет мало, может умножить потребление, когда им начнут пользоваться другие. API обрабатывает до 8 параллельных запросов с полным ключом, тогда как в локальном режиме каждый новый пользователь замедляет всех остальных, пока вы не добавите оборудование.

Попробуйте API за пять минут

Для тестов нужен ключ. После входа через Google или по email и паролю на странице ключа вы можете одним кликом получить $0,50 бесплатного пробного баланса, который действует 7 дней и не требует оплаты. Перейдите на получение API-ключа. Пробный ключ имеет лимит 2 параллельных запроса и 60 в минуту.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

Если в будущем вы захотите перейти на локальный сервер с совместимым эндпоинтом, достаточно изменить base_url и имя модели.

Что не делает

Это единственная модель с открытыми весами, управляемая независимым провайдером и обученная отвечать без отказов в контенте для законного использования взрослыми. Это не официальный API ни одной крупной лаборатории, она не генерирует изображения, аудио или видео и не предлагает эмбеддинги или тонкую настройку. Остаётся абсолютное ограничение: запрет на сексуальный контент с участием несовершеннолетних. Более широкий обзор см. на странице ИИ без цензуры. Промпты не используются для обучения.

Другие руководства

Вопросы и ответы

Действительно ли локальный LLM более приватен?

При локальном использовании данные остаются на вашем компьютере, так что да, при условии его защиты. При API промпты передаются провайдеру; здесь они не используются для обучения.

Сколько токенов я могу использовать за $20?

Если бы всё было входящим, это 133,3 млн токенов ($20, делённые на $0,15 за миллион). Если бы всё было исходящим, это 40 млн ($20, делённые на $0,50). На практике — где-то посередине, в зависимости от соотношения между ними.

Могу ли я использовать уже имеющийся код OpenAI?

Да. API совместим с SDK OpenAI: вы меняете базовый URL и ключ и используете модель uncensored. Поддерживаются потоковая передача, chat completions, responses и вызов функций.

Контекст одинаков в локальном режиме и через API?

Нет. Через API лимит составляет 100 000 токенов между промптом и ответом. В локальном режиме это зависит от модели и памяти вашей GPU, так как кэш контекста растёт с длиной.

Ваш ключ — в одном поле формы

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.