Điểm chính
- Local bạn trả tiền phần cứng ngay và bảo trì liên tục; qua API bạn chỉ trả tiền token đã dùng.
- Với $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra, $20 bao gồm hàng chục triệu token.
- Local thắng cho việc sử dụng liên tục cường độ cao, làm việc offline và kiểm soát hoàn toàn trọng số.
- API thắng cho người bắt đầu ngay hôm nay, có ít GPU hoặc muốn endpoint tương thích OpenAI.
Câu trả lời ngắn gọn
Nếu bạn tìm kiếm một llm không kiểm duyệt và chưa có GPU nhiều bộ nhớ, API gần như luôn là điểm bắt đầu hợp lý nhất. Nếu bạn tạo văn bản cả ngày, làm việc offline hoặc muốn chọn và sửa đổi trọng số, local sẽ đền đáp khoản đầu tư. Dưới đây là bảng so sánh.
| Tiêu chí | Local | Qua API |
|---|---|---|
| Chi phí ban đầu | GPU, nguồn điện, làm mát | Không, nạp từ $20 |
| Chi phí định kỳ | Điện, hao mòn, thời gian của bạn | Chỉ token đã dùng |
| Thời gian bắt đầu | Vài giờ hoặc vài ngày giữa tải xuống và thử nghiệm | Vài phút |
| Lựa chọn mô hình | Tự do, bạn có thể giữ nhiều mô hình | Chỉ một, do nhà cung cấp chọn |
| Ngữ cảnh tối đa | Phụ thuộc vào bộ nhớ bạn có | 100.000 token |
| Hoạt động offline | Có | Không |
| Yêu cầu đồng thời | Những gì GPU của bạn chịu được | 8 với khóa đầy đủ |
Không có lựa chọn đúng tuyệt đối. Các phần dưới giúp bạn hiểu mình đang ở phía nào.
Cần gì thực sự để chạy tại nhà
Nút cổ chai là bộ nhớ video. Trọng số của mô hình phải nằm trong VRAM, nếu không chúng sẽ chuyển sang RAM hệ thống và tốc độ giảm mạnh. Theo thứ tự độ lớn tham khảo, mô hình nhỏ lượng tử hóa 4 bit thường chiếm vài gigabyte, trong khi mô hình rất lớn có thể cần hàng chục gigabyte. Giá trị chính xác phụ thuộc vào mô hình và lượng tử hóa, vì vậy hãy luôn kiểm tra bảng thông số của từng mô hình và tài liệu công cụ.
Điều này cộng với bộ nhớ ngữ cảnh: cuộc trò chuyện càng dài, bộ nhớ tiêu thụ càng nhiều ngoài trọng số. Ngữ cảnh hàng chục nghìn token trên mô hình lớn có thể cần thêm vài gigabyte.
Phần mềm
Để suy luận local có các công cụ nổi tiếng như llama.cpp, Ollama và vLLM. Ollama và vLLM cũng cung cấp endpoint tương thích định dạng OpenAI, vì vậy mã bạn viết hôm nay cho máy chủ local có thể chuyển sang API từ xa bằng cách thay đổi hai dòng. Để biết chi tiết cài đặt, hãy tham khảo tài liệu của từng dự án.
Tìm mô hình
Các mô hình trọng số mở ít từ chối được phát hành bởi nhiều cộng đồng, nhưng chất lượng rất không đồng đều. Một số mất tính nhất quán sau khi tinh chỉnh, một số khác chỉ phản hồi tốt với một định dạng prompt cụ thể. Bạn hãy chuẩn bị tinh thần thử nhiều mô hình khác nhau trước khi tìm được mô hình phù hợp.
Chi phí API thực tế là bao nhiêu
Giá là $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra, tín dụng trả trước, không đăng ký. Các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí và tín dụng không hết hạn. Hãy xem ba kịch bản.
- Sử dụng nhẹ. 2M token đầu vào và 500.000 token đầu ra mỗi tháng: 2 × $0,15 = $0,30 cộng 0,5 × $0,50 = $0,25, tổng cộng $0,55.
- Sử dụng trung bình. 50M đầu vào và 10M đầu ra: 50 × $0,15 = $7,50 cộng 10 × $0,50 = $5,00, tổng cộng $12,50.
- Sử dụng nặng. 400M đầu vào và 80M đầu ra: 400 × $0,15 = $60 cộng 80 × $0,50 = $40, tổng cộng $100.
Mức nạp tối thiểu là $20, nên trong trường hợp trung bình, một lần nạp duy nhất có thể chi trả cho hơn một tháng. Vượt qua các ngưỡng nhất định, bạn sẽ nhận được bonus: +5% từ $50, +10% từ $100, +15% từ $200. Ví dụ: $100 sẽ trở thành $110 tín dụng. Bảng giá đầy đủ có trên trang giá API.
Đối với trường hợp chạy tại chỗ, việc tính toán sẽ phức tạp hơn. Bạn hãy bắt đầu từ giá GPU, chia cho số tháng bạn dự định sử dụng nó, rồi thêm chi phí điện: công suất (kW) × giờ sử dụng × giá điện của bạn. Kết quả chia cho số token bạn thực sự tạo ra sẽ ra chi phí cho mỗi triệu token. Hãy tính với con số của bạn và so sánh với mức $0,50 cho mỗi triệu token đầu ra.
Bảo trì thường bị lãng quên
Người chọn local cũng phải lo mọi thứ khác. Driver và thư viện CUDA bị hỏng sau khi cập nhật, phiên bản mới của công cụ suy luận, định dạng lượng tử hóa thay đổi, mô hình cần tải lại. Nếu dịch vụ phục vụ người khác, hãy thêm giám sát, khởi động lại tự động và quản lý hàng đợi khi có nhiều yêu cầu hơn GPU chịu được.
Tất cả những điều này đều không khó, nhưng chúng đòi hỏi thời gian bảo trì định kỳ. Nếu thời gian của bạn có giá trị, hãy tính vào chi phí: vài giờ mỗi tháng sẽ tốn kém hơn mức $12,50 trong kịch bản trung bình đã đề cập ở trên.
Với API, việc bảo trì phía bạn chỉ còn một khóa, một URL cơ sở và xử lý lỗi 429, được mô tả trong tài liệu. Đổi lại, bạn phụ thuộc vào nhà cung cấp: nếu họ có sự cố, bạn không thể can thiệp.
Khi nào nên dùng local và khi nào dùng API
Chọn local nếu
- bạn đã có GPU phù hợp và chi phí biên chỉ là tiền điện;
- bạn tạo văn bản liên tục, trong nhiều giờ, mỗi ngày;
- bạn cần làm việc không có mạng hoặc với dữ liệu không thể rời khỏi máy của bạn;
- bạn muốn thay đổi mô hình thường xuyên, fine-tuning hoặc thử nghiệm với các trọng số.
Chọn API nếu
- bạn muốn một endpoint hoạt động ngay hôm nay, không cần mua gì;
- sử dụng của bạn theo đợt: một bot, một script chạy đêm, một nguyên mẫu;
- bạn cần ngữ cảnh dài (ở đây 100.000 token) mà không cần tính toán bộ nhớ;
- bạn muốn mở rộng lên 8 yêu cầu đồng thời mà không cần nghĩ đến phần cứng.
Nhiều nhóm sử dụng cả hai cách: API để bắt đầu và xử lý các đợt cao điểm, local cho tải ổn định. Vì định dạng giống nhau, chuyển từ cái này sang cái kia không cần viết lại ứng dụng.
Một phương pháp đơn giản để quyết định
Trước khi mua bất cứ thứ gì, hãy đo lường. Trong một tuần, hãy ghi lại số token bạn tiêu thụ, lấy từ trường usage trong phản hồi hoặc bộ đếm công cụ của bạn. Sau đó, hãy tính toán.
- Nhân số token đầu vào hàng tuần với 4 và với $0,15 chia cho một triệu.
- Làm tương tự với token đầu ra và $0,50.
- Cộng hai kết quả và so sánh với chi phí phần cứng hàng tháng cộng tiền điện.
Nếu tổng chi phí API thấp hơn vài chục đô la mỗi tháng, việc mua GPU chỉ cho mục đích này thường không hợp lý. Nếu vượt xa chi phí đó, local bắt đầu trở nên hấp dẫn. Một trường hợp riêng biệt là độ trễ: trên máy của bạn, bạn không đi qua mạng, nhưng một GPU gia dụng với mô hình lớn có thể chậm hơn dịch vụ lưu trữ. Hãy thử cả hai trên tải của bạn, vì sự khác biệt phụ thuộc vào mô hình và độ dài của prompt.
Hãy lưu ý đến sự tăng trưởng. Một nguyên mẫu hôm nay tiêu thụ ít có thể tăng lên khi người khác sử dụng. API xử lý tối đa 8 yêu cầu đồng thời với khóa đầy đủ, trong khi local, mỗi người dùng thêm vào sẽ làm chậm tất cả những người khác cho đến khi bạn thêm phần cứng.
Thử API trong năm phút
Để kiểm tra cần một khóa. Sau khi đăng ký bằng Google hoặc email và mật khẩu, trên trang khóa, bạn có thể yêu cầu với một cú nhấp $0,50 tín dụng dùng thử, có giá trị 7 ngày và không cần thanh toán. Truy cập lấy khóa API. Khóa thử nghiệm có giới hạn 2 yêu cầu đồng thời và 60 mỗi phút.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
Nếu trong tương lai bạn muốn chuyển sang máy chủ local với endpoint tương thích, chỉ cần thay đổi base_url và tên mô hình.
Điều gì không làm được
Đây là một mô hình trọng số mở duy nhất, được quản lý bởi một nhà cung cấp độc lập và được huấn luyện để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Đây không phải là API chính thức của bất kỳ phòng thí nghiệm lớn nào, không tạo hình ảnh, âm thanh hoặc video và không cung cấp embedding hay fine-tuning. Giới hạn tuyệt đối vẫn còn: không có nội dung tình dục liên quan đến người chưa thành niên. Để xem tổng quan rộng hơn, hãy xem trang AI không kiểm duyệt. Prompt không được sử dụng để huấn luyện.

