VI ▾

LLM không kiểm duyệt: chạy local hay qua API, nên chọn gì

LLM không kiểm duyệt có thể chạy trên PC của bạn hoặc gọi qua API. Tại đây bạn tìm thấy phần cứng, chi phí và bảo trì cho cả hai hướng đi, với các số liệu có thể kiểm chứng.

Phân tích các tùy chọn LLM không kiểm duyệt

Cập nhật:

Cân bằng đẳng hướng: một bên là máy trạm với GPU local, bên kia là máy chủ cloud kết nối qua cáp.

Điểm chính

  • Local bạn trả tiền phần cứng ngay và bảo trì liên tục; qua API bạn chỉ trả tiền token đã dùng.
  • Với $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra, $20 bao gồm hàng chục triệu token.
  • Local thắng cho việc sử dụng liên tục cường độ cao, làm việc offline và kiểm soát hoàn toàn trọng số.
  • API thắng cho người bắt đầu ngay hôm nay, có ít GPU hoặc muốn endpoint tương thích OpenAI.

Câu trả lời ngắn gọn

Nếu bạn tìm kiếm một llm không kiểm duyệt và chưa có GPU nhiều bộ nhớ, API gần như luôn là điểm bắt đầu hợp lý nhất. Nếu bạn tạo văn bản cả ngày, làm việc offline hoặc muốn chọn và sửa đổi trọng số, local sẽ đền đáp khoản đầu tư. Dưới đây là bảng so sánh.

Tiêu chíLocalQua API
Chi phí ban đầuGPU, nguồn điện, làm mátKhông, nạp từ $20
Chi phí định kỳĐiện, hao mòn, thời gian của bạnChỉ token đã dùng
Thời gian bắt đầuVài giờ hoặc vài ngày giữa tải xuống và thử nghiệmVài phút
Lựa chọn mô hìnhTự do, bạn có thể giữ nhiều mô hìnhChỉ một, do nhà cung cấp chọn
Ngữ cảnh tối đaPhụ thuộc vào bộ nhớ bạn có100.000 token
Hoạt động offlineCóKhông
Yêu cầu đồng thờiNhững gì GPU của bạn chịu được8 với khóa đầy đủ

Không có lựa chọn đúng tuyệt đối. Các phần dưới giúp bạn hiểu mình đang ở phía nào.

Cần gì thực sự để chạy tại nhà

Nút cổ chai là bộ nhớ video. Trọng số của mô hình phải nằm trong VRAM, nếu không chúng sẽ chuyển sang RAM hệ thống và tốc độ giảm mạnh. Theo thứ tự độ lớn tham khảo, mô hình nhỏ lượng tử hóa 4 bit thường chiếm vài gigabyte, trong khi mô hình rất lớn có thể cần hàng chục gigabyte. Giá trị chính xác phụ thuộc vào mô hình và lượng tử hóa, vì vậy hãy luôn kiểm tra bảng thông số của từng mô hình và tài liệu công cụ.

Điều này cộng với bộ nhớ ngữ cảnh: cuộc trò chuyện càng dài, bộ nhớ tiêu thụ càng nhiều ngoài trọng số. Ngữ cảnh hàng chục nghìn token trên mô hình lớn có thể cần thêm vài gigabyte.

Phần mềm

Để suy luận local có các công cụ nổi tiếng như llama.cpp, Ollama và vLLM. Ollama và vLLM cũng cung cấp endpoint tương thích định dạng OpenAI, vì vậy mã bạn viết hôm nay cho máy chủ local có thể chuyển sang API từ xa bằng cách thay đổi hai dòng. Để biết chi tiết cài đặt, hãy tham khảo tài liệu của từng dự án.

Tìm mô hình

Các mô hình trọng số mở ít từ chối được phát hành bởi nhiều cộng đồng, nhưng chất lượng rất không đồng đều. Một số mất tính nhất quán sau khi tinh chỉnh, một số khác chỉ phản hồi tốt với một định dạng prompt cụ thể. Bạn hãy chuẩn bị tinh thần thử nhiều mô hình khác nhau trước khi tìm được mô hình phù hợp.

Chi phí API thực tế là bao nhiêu

Giá là $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra, tín dụng trả trước, không đăng ký. Các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí và tín dụng không hết hạn. Hãy xem ba kịch bản.

  • Sử dụng nhẹ. 2M token đầu vào và 500.000 token đầu ra mỗi tháng: 2 × $0,15 = $0,30 cộng 0,5 × $0,50 = $0,25, tổng cộng $0,55.
  • Sử dụng trung bình. 50M đầu vào và 10M đầu ra: 50 × $0,15 = $7,50 cộng 10 × $0,50 = $5,00, tổng cộng $12,50.
  • Sử dụng nặng. 400M đầu vào và 80M đầu ra: 400 × $0,15 = $60 cộng 80 × $0,50 = $40, tổng cộng $100.

Mức nạp tối thiểu là $20, nên trong trường hợp trung bình, một lần nạp duy nhất có thể chi trả cho hơn một tháng. Vượt qua các ngưỡng nhất định, bạn sẽ nhận được bonus: +5% từ $50, +10% từ $100, +15% từ $200. Ví dụ: $100 sẽ trở thành $110 tín dụng. Bảng giá đầy đủ có trên trang giá API.

Đối với trường hợp chạy tại chỗ, việc tính toán sẽ phức tạp hơn. Bạn hãy bắt đầu từ giá GPU, chia cho số tháng bạn dự định sử dụng nó, rồi thêm chi phí điện: công suất (kW) × giờ sử dụng × giá điện của bạn. Kết quả chia cho số token bạn thực sự tạo ra sẽ ra chi phí cho mỗi triệu token. Hãy tính với con số của bạn và so sánh với mức $0,50 cho mỗi triệu token đầu ra.

Bảo trì thường bị lãng quên

Người chọn local cũng phải lo mọi thứ khác. Driver và thư viện CUDA bị hỏng sau khi cập nhật, phiên bản mới của công cụ suy luận, định dạng lượng tử hóa thay đổi, mô hình cần tải lại. Nếu dịch vụ phục vụ người khác, hãy thêm giám sát, khởi động lại tự động và quản lý hàng đợi khi có nhiều yêu cầu hơn GPU chịu được.

Tất cả những điều này đều không khó, nhưng chúng đòi hỏi thời gian bảo trì định kỳ. Nếu thời gian của bạn có giá trị, hãy tính vào chi phí: vài giờ mỗi tháng sẽ tốn kém hơn mức $12,50 trong kịch bản trung bình đã đề cập ở trên.

Với API, việc bảo trì phía bạn chỉ còn một khóa, một URL cơ sở và xử lý lỗi 429, được mô tả trong tài liệu. Đổi lại, bạn phụ thuộc vào nhà cung cấp: nếu họ có sự cố, bạn không thể can thiệp.

Khi nào nên dùng local và khi nào dùng API

Chọn local nếu

  • bạn đã có GPU phù hợp và chi phí biên chỉ là tiền điện;
  • bạn tạo văn bản liên tục, trong nhiều giờ, mỗi ngày;
  • bạn cần làm việc không có mạng hoặc với dữ liệu không thể rời khỏi máy của bạn;
  • bạn muốn thay đổi mô hình thường xuyên, fine-tuning hoặc thử nghiệm với các trọng số.

Chọn API nếu

  • bạn muốn một endpoint hoạt động ngay hôm nay, không cần mua gì;
  • sử dụng của bạn theo đợt: một bot, một script chạy đêm, một nguyên mẫu;
  • bạn cần ngữ cảnh dài (ở đây 100.000 token) mà không cần tính toán bộ nhớ;
  • bạn muốn mở rộng lên 8 yêu cầu đồng thời mà không cần nghĩ đến phần cứng.

Nhiều nhóm sử dụng cả hai cách: API để bắt đầu và xử lý các đợt cao điểm, local cho tải ổn định. Vì định dạng giống nhau, chuyển từ cái này sang cái kia không cần viết lại ứng dụng.

Một phương pháp đơn giản để quyết định

Trước khi mua bất cứ thứ gì, hãy đo lường. Trong một tuần, hãy ghi lại số token bạn tiêu thụ, lấy từ trường usage trong phản hồi hoặc bộ đếm công cụ của bạn. Sau đó, hãy tính toán.

  1. Nhân số token đầu vào hàng tuần với 4 và với $0,15 chia cho một triệu.
  2. Làm tương tự với token đầu ra và $0,50.
  3. Cộng hai kết quả và so sánh với chi phí phần cứng hàng tháng cộng tiền điện.

Nếu tổng chi phí API thấp hơn vài chục đô la mỗi tháng, việc mua GPU chỉ cho mục đích này thường không hợp lý. Nếu vượt xa chi phí đó, local bắt đầu trở nên hấp dẫn. Một trường hợp riêng biệt là độ trễ: trên máy của bạn, bạn không đi qua mạng, nhưng một GPU gia dụng với mô hình lớn có thể chậm hơn dịch vụ lưu trữ. Hãy thử cả hai trên tải của bạn, vì sự khác biệt phụ thuộc vào mô hình và độ dài của prompt.

Hãy lưu ý đến sự tăng trưởng. Một nguyên mẫu hôm nay tiêu thụ ít có thể tăng lên khi người khác sử dụng. API xử lý tối đa 8 yêu cầu đồng thời với khóa đầy đủ, trong khi local, mỗi người dùng thêm vào sẽ làm chậm tất cả những người khác cho đến khi bạn thêm phần cứng.

Thử API trong năm phút

Để kiểm tra cần một khóa. Sau khi đăng ký bằng Google hoặc email và mật khẩu, trên trang khóa, bạn có thể yêu cầu với một cú nhấp $0,50 tín dụng dùng thử, có giá trị 7 ngày và không cần thanh toán. Truy cập lấy khóa API. Khóa thử nghiệm có giới hạn 2 yêu cầu đồng thời và 60 mỗi phút.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

Nếu trong tương lai bạn muốn chuyển sang máy chủ local với endpoint tương thích, chỉ cần thay đổi base_url và tên mô hình.

Điều gì không làm được

Đây là một mô hình trọng số mở duy nhất, được quản lý bởi một nhà cung cấp độc lập và được huấn luyện để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Đây không phải là API chính thức của bất kỳ phòng thí nghiệm lớn nào, không tạo hình ảnh, âm thanh hoặc video và không cung cấp embedding hay fine-tuning. Giới hạn tuyệt đối vẫn còn: không có nội dung tình dục liên quan đến người chưa thành niên. Để xem tổng quan rộng hơn, hãy xem trang AI không kiểm duyệt. Prompt không được sử dụng để huấn luyện.

Các hướng dẫn khác

Câu hỏi và trả lời

LLM local thực sự riêng tư hơn?

Với local, dữ liệu vẫn ở trên máy của bạn, vì vậy có, miễn là bạn bảo vệ nó. Với API, prompt được gửi đến nhà cung cấp; ở đây không được sử dụng để huấn luyện.

Tôi có thể sử dụng bao nhiêu token với $20?

Nếu tất cả là đầu vào, 133,3 triệu token ($20 chia cho $0,15 mỗi triệu). Nếu tất cả là đầu ra, 40 triệu ($20 chia cho $0,50). Về cơ bản là ở giữa, tùy thuộc vào tỷ lệ giữa hai thứ đó.

Tôi có thể sử dụng mã OpenAI hiện có không?

Có. API tương thích với SDK OpenAI: bạn thay đổi URL cơ sở và khóa và sử dụng mô hình uncensored. Hỗ trợ chat completions, responses, streaming và gọi công cụ.

Ngữ cảnh có giống nhau ở local và qua API không?

Không. Qua API, giới hạn là 100.000 token giữa prompt và câu trả lời. Ở local phụ thuộc vào mô hình và bộ nhớ GPU của bạn, vì bộ nhớ đệm ngữ cảnh tăng lên theo độ dài.

Khóa API của bạn chỉ cách bạn một bước đăng ký

Tạo tài khoản, sao chép khóa, sửa đổi URL cơ sở. Đó là toàn bộ cấu hình.