핵심 포인트
- 로컬은 초기 하드웨어 비용과 지속적인 유지보수 비용이 들며, API는 사용한 토큰만큼만 지불합니다.
- 입력 토큰 1M당 $0.15, 출력 1M당 $0.50이면 $20으로 수천만 토큰을 커버할 수 있습니다.
- 지속적인 고부하 사용, 오프라인 작업, 가중치 완전 제어에는 로컬이 유리합니다.
- 오늘 시작하거나 GPU가 부족하거나 OpenAI 호환 엔드포인트가 필요하면 API가 유리합니다.
간단한 답변
무검열 LLM을 찾고 있고 이미 메모리가 많은 GPU를 보유하고 있지 않다면, API가 거의 항상 가장 합리적인 시작점입니다. 반면에 하루 종일 텍스트를 생성하거나 오프라인으로 작업하거나 가중치를 선택하고 수정하고 싶다면 로컬 환경이 투자 대비 효과를 냅니다. 아래 표로 비교해 보세요.
| 외관 | 로컬 | API |
|---|---|---|
| 초기 비용 | GPU, 전원 공급 장치, 냉각 시스템 | 없음, $20부터 충전 |
| 지속 비용 | 전기, 마모, 당신의 시간 | 사용한 토큰만 |
| 시작 시간 | 다운로드와 테스트 사이의 시간: 시간 또는 일 | 몇 분 |
| 모델 선택 | 자유롭고, 여러 개 보유 가능 | 제공업체가 선택한 단일 모델 |
| 최대 컨텍스트 | 사용 가능한 메모리에 따라 다름 | 100,000 토큰 |
| 오프라인 작동 | 예 | 아니요 |
| 동시 요청 | GPU가 감당하는 한도 | 전체 키 기준 8개 |
절대적인 정답은 없습니다. 아래 섹션에서 자신의 상황에 맞는 방향을 이해하세요.
집에서 실행하는 데 정말 필요한 것
병목 현상은 비디오 메모리입니다. 모델의 가중치는 VRAM에 들어야 하며, 그렇지 않으면 시스템 RAM으로 이동하여 속도가 급감합니다. 대략적인 규모로, 4비트 양자화된 작은 모델은 일반적으로 몇 기가바이트만 차지하지만 매우 큰 모델은 수십 기가바이트가 필요할 수 있습니다. 정확한 수치는 모델과 양자화 방식에 따라 다르므로 항상 개별 모델 시트와 도구 문서를 확인하세요.
여기에 컨텍스트 캐시가 추가됩니다. 대화 길이가 길어질수록 가중치 외에 더 많은 메모리를 소비합니다. 큰 모델에서 수만 토큰 컨텍스트는 추가 기가바이트가 필요할 수 있습니다.
소프트웨어
로컬 추론을 위해 llama.cpp, Ollama, vLLM과 같은 잘 알려진 도구들이 있습니다. Ollama와 vLLM은 OpenAI 형식의 엔드포인트도 제공하므로, 오늘 로컬 서버를 위해 작성한 코드는 두 줄만 변경하면 원격 API로 이동할 수 있습니다. 설치 세부 사항은 각 프로젝트의 문서를 참조하세요.
모델 찾기
거부가 적은 오픈 웨이트 모델은 다양한 커뮤니티에서 출시하지만 품질이 매우 불균일합니다. 일부는 수정 후 일관성을 잃고, 일부는 특정 프롬프트 형식에서만 잘 응답합니다. 적합한 모델을 찾기 위해 여러 가지를 테스트해 보세요.
API 비용 계산
요금은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50이며, 선불 방식이고 구독료가 없습니다. 실패하거나 거부된 요청에는 요금이 부과되지 않으며 크레딧은 만료되지 않습니다. 세 가지 시나리오를 살펴보겠습니다.
- 경미한 사용. 월 입력 2M, 출력 500,000: 2 × $0.15 = $0.30 + 0.5 × $0.50 = $0.25, 총 $0.55.
- 중간 사용. 입력 50M, 출력 10M: 50 × $0.15 = $7.50 + 10 × $0.50 = $5.00, 총 $12.50.
- 고부하 사용. 입력 400M, 출력 80M: 400 × $0.15 = $60 + 80 × $0.50 = $40, 총 $100.
최소 충전 금액은 $20이므로, 평균적으로 한 번의 충전으로 한 달 이상 커버할 수 있습니다. 특정 임계값 이상에서는 보너스가 제공됩니다: $50부터 +5%, $100부터 +10%, $200부터 +15%. 예를 들어 $100은 $110의 크레딧이 됩니다. 전체 가격표는 API 가격표 페이지에서 확인하세요.
로컬 비용 계산은 덜 직관적입니다. GPU 가격에서 시작해 사용 예상 개월수로 나누고 전력을 더하세요: kW 전력 × 사용 시간 × 계약 단가. 결과를 실제 생성 토큰으로 나누면 토큰 1M당 비용이 나옵니다. 자신의 숫자로 계산해 출력 토큰 1M당 $0.50과 비교하세요.
보통 잊히는 유지보수
로컬을 선택하면 나머지 모든 것을 직접 관리해야 합니다. 업데이트 후 깨지는 CUDA 드라이버와 라이브러리, 새로운 추론 엔진 버전, 변경되는 양자화 형식, 다시 다운로드해야 하는 모델들. 다른 사람을 위한 서비스라면 모니터링, 자동 재시작, GPU 한도를 초과하는 요청을 위한 큐 관리를 추가해야 합니다.
이 모든 것이 어렵지는 않지만 반복적인 시간이 필요합니다. 당신의 시간이 가치 있다면 그 시간도 비용에 포함하세요: 월 몇 시간의 비용은 앞서 본 평균 시나리오의 $12.50보다 큽니다.
API를 사용하면 유지보수는 API 키, Base URL, 그리고 문서에 설명된 429 오류 처리로 줄어듭니다. 대신 제공업체에 의존하게 됩니다: 제공업체에 문제가 있으면 당신이 개입할 수 없습니다.
로컬과 API 중 언제가 적합한가
로컬을 선택하세요
- 적합한 GPU가 이미 있고 한계 비용이 전기 요금만 남는 경우;
- 하루 종일 몇 시간 동안 지속적으로 텍스트를 생성하는 경우;
- 네트워크 없이 작업하거나 데이터를 머신 외부로 내보낼 수 없는 경우;
- 자주 모델을 변경하거나 파인튜닝하거나 가중치를 실험하려는 경우.
API를 선택하세요
- 아무것도 구매하지 않고 오늘 작동하는 엔드포인트를 원하는 경우;
- 사용량이 급증하는 경우: 봇, 야간 스크립트, 프로토타입;
- 메모리 크기를 조정할 필요 없이 긴 컨텍스트 창(여기서 100,000 토큰)이 필요한 경우;
- 하드웨어에 대해 생각하지 않고 동시 요청 8개로 확장하려는 경우.
많은 팀이 두 가지 경로를 모두 사용합니다: 시작과 급증에는 API를, 안정적인 부하에는 로컬을 사용합니다. 형식이 동일하므로 한쪽에서 다른 쪽으로 전환하려면 애플리케이션을 다시 작성할 필요가 없습니다.
결정하는 간단한 방법
무엇을 구매하기 전에 측정하세요. 일주일 동안 응답의 usage 필드 또는 도구 카운터에서 토큰 소비량을 기록하세요. 그런 다음 세 가지 계산을 해보세요.
- 주간 입력 토큰 수에 4를 곱한 후 100만 분의 $0.15를 곱하세요.
- 출력 토큰과 $0.50에도 동일하게 적용하세요.
- 두 결과를 합산하고 하드웨어 월 비용과 전기 요금과 비교합니다.
API의 합계가 월 몇십 달러 미만이면 이를 위해 GPU를 구매하는 것은 거의 의미가 없습니다. 반면 월 비용보다 훨씬 초과하면 로컬이 점점 더 매력적이 됩니다. 별도의 사례는 지연 시간입니다: 머신에서는 네트워크를 거치지 않지만, 큰 모델이 탑재된 가정용 GPU는 호스팅 서비스보다 느릴 수 있습니다. 모델과 프롬프트 길이에 따라 차이가 다르므로 부하에서 둘 다 테스트하세요.
성장의 측면도 고려하세요. 오늘 적은 토큰을 소비하는 프로토타입도 다른 사람들이 사용할 때 그 사용량이 배가될 수 있습니다. API는 전체 키로 최대 8개의 동시 요청을 처리하지만, 로컬 환경에서는 하드웨어를 추가하기 전까지 다른 사용자가 늘어날수록 모두의 속도가 느려집니다.
5분 만에 API 테스트하기
테스트에는 키가 필요합니다. Google 또는 이메일과 비밀번호로 로그인한 후, 키 페이지에서 클릭 한 번으로 $0.50의 체험 크레딧을 요청할 수 있습니다. 이 크레딧은 7일 동안 유효하며 결제가 필요하지 않습니다. API 키 받기 페이지로 이동하세요. 테스트 키는 동시 요청 2개, 분당 60개의 제한이 있습니다.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
미래에 호환되는 엔드포인트가 있는 로컬 서버로 이동하려면 base_url과 모델 이름만 변경하면 됩니다.
하지 않는 것
이것은 독립적인 제공업체가 관리하는 단일 오픈 웨이트 모델로, 합법적인 성인 콘텐츠에 대한 콘텐츠 거부 없이 응답하도록 학습되었습니다. 주요 연구소의 공식 API가 아니며, 이미지, 오디오, 비디오를 생성하지 않고, 임베딩이나 파인튜닝도 제공하지 않습니다. 절대적인 제한 사항이 하나 있습니다: 미성년자가 포함된 성적 콘텐츠는 금지됩니다. 더 넓은 범위의 개요는 무검열 AI 페이지를 참조하세요. 프롬프트는 학습에 사용되지 않습니다.

