TH ▾

LLM แบบไม่เซ็นเซอร์: ใช้ในเครื่องหรือผ่าน API เลือกอะไรดี

LLM แบบไม่เซ็นเซอร์สามารถรันบนพีซีของคุณหรือเรียกผ่าน API ได้ ที่นี่มีฮาร์ดแวร์ ต้นทุน และการดูแลรักษาของทั้งสองทาง พร้อมตัวเลขที่ตรวจสอบได้

AI แบบไม่เซ็นเซอร์: วิเคราะห์ตัวเลือกที่มีอยู่

อัปเดตล่าสุด:

ภาพเปรียบเทียบ: ด้านหนึ่งคือเวิร์กสเตชันพร้อม GPU ในเครื่อง อีกด้านคือเซิร์ฟเวอร์คลาวด์ที่เชื่อมต่อผ่านสายเคเบิล

จุดสำคัญ

  • แบบในเครื่องคุณจ่ายค่าฮาร์ดแวร์ทันทีและจ่ายค่าบำรุงรักษาเสมอ ส่วนผ่าน API คุณจ่ายเฉพาะโทเคนที่ใช้จริง
  • ด้วยอัตรา $0.15 ต่อ 1M โทเคนขาเข้า และ $0.50 ต่อ 1M โทเคนขาออก เงิน $20 สามารถรองรับโทเคนได้หลายสิบล้านตัว
  • การรันแบบในเครื่องชนะสำหรับงานที่ใช้หนักต่อเนื่อง ทำงานออฟไลน์ และต้องการควบคุมโมเดลอย่างเต็มที่
  • API ชนะสำหรับผู้ที่เริ่มใช้งานวันนี้ มี GPU น้อย หรือต้องการเอนด์พอยต์ที่เข้ากันได้กับ OpenAI

สรุปสั้นๆ

หากคุณกำลังมองหา llm แบบไม่เซ็นเซอร์ และไม่มี GPU ที่มีหน่วยความจำสูง API มักจะเป็นจุดเริ่มต้นที่สมเหตุสมผลที่สุด หากคุณสร้างข้อความตลอดทั้งวัน ทำงานออฟไลน์ หรือต้องการเลือกและปรับแต่งน้ำหนักโมเดลเอง การรันแบบโลคอลจะคุ้มค่ากับการลงทุน นี่คือตารางเปรียบเทียบ

ด้านแบบโลคอลผ่าน API
ต้นทุนเริ่มต้นGPU, แหล่งจ่ายไฟ, ระบบระบายความร้อนไม่มี, เติมเงินตั้งแต่ $20
ต้นทุนที่เกิดขึ้นซ้ำค่าไฟฟ้า, การสึกหรอ, เวลาของคุณเฉพาะโทเคนที่ใช้จริง
เวลาเริ่มต้นใช้งานชั่วโมงหรือวันระหว่างการดาวน์โหลดและการทดสอบเพียงไม่กี่นาที
การเลือกโมเดลอิสระ, สามารถเก็บไว้ได้หลายตัวเพียงตัวเดียว, เลือกโดยผู้ให้บริการ
ความยาวบริบทสูงสุดขึ้นอยู่กับหน่วยความจำที่มี100,000 โทเคน
ทำงานออฟไลน์ได้ใช่ไม่
คำขอพร้อมกันสิ่งที่ GPU ของคุณรองรับได้8 ด้วยคีย์เต็มรูปแบบ

ไม่มีทางเลือกที่ถูกต้องโดยสมบูรณ์ ส่วนด้านล่างช่วยให้คุณเข้าใจว่าคุณอยู่ฝั่งไหน

สิ่งที่จำเป็นจริงๆ ในการรันในเครื่อง

คอขวดคือหน่วยความจำวิดีโอ น้ำหนักของโมเดลต้องอยู่ใน VRAM มิฉะนั้นจะย้ายไป RAM ของระบบและความเร็วจะลดลงอย่างมาก โดยประมาณ โมเดลขนาดเล็กที่ควอนไทซ์แบบ 4 bit มักใช้พื้นที่เพียงไม่กี่กิกะไบต์ ในขณะที่โมเดลขนาดใหญ่อาจต้องใช้หลายสิบกิกะไบต์ ค่าที่แน่นอนขึ้นอยู่กับโมเดลและการควอนไทซ์ ดังนั้นควรตรวจสอบสเปกของโมเดลแต่ละตัวและเอกสารประกอบของเครื่องมือเสมอ

สิ่งนี้บวกกับแคชหน้าต่างบริบท: การสนทนาที่ยาวขึ้นจะใช้หน่วยความจำมากขึ้นนอกเหนือจากน้ำหนัก โมเดลขนาดใหญ่ที่มีบริบทหลายหมื่นโทเคนอาจต้องการหน่วยความจำเพิ่มอีกหลายกิกะไบต์

ซอฟต์แวร์

สำหรับการอนุมานในเครื่องมีเครื่องมือที่รู้จักกันดีเช่น llama.cpp, Ollama และ vLLM Ollama และ vLLM ยังเปิดเผยเอนด์พอยต์ที่เข้ากันได้กับรูปแบบ OpenAI ดังนั้นโค้ดที่คุณเขียนสำหรับเซิร์ฟเวอร์ในเครื่องจึงย้ายไปยัง API ระยะไกลได้โดยเปลี่ยนเพียงสองบรรทัด สำหรับรายละเอียดการติดตั้ง โปรดดูเอกสารประกอบของแต่ละโครงการ

การหาโมเดล

โมเดลแบบเปิดน้ำหนักที่ปฏิเสธน้อยลงถูกเผยแพร่โดยชุมชนต่างๆ แต่คุณภาพมีความไม่สม่ำเสมอมาก โมเดลบางตัวเสียความสอดคล้องหลังจากการปรับแต่ง บางตัวตอบสนองได้ดีเฉพาะเมื่อใช้รูปแบบพรอมต์ที่เฉพาะเจาะจง ควรลองใช้งานหลายตัวก่อนจะพบตัวที่เหมาะสม

ต้นทุน API เมื่อคิดค่าใช้จ่ายแล้ว

อัตราค่าใช้บริการคือ $0.15 ต่อ 1M โทเคนขาเข้า และ $0.50 ต่อ 1M โทเคนขาออก แบบเติมเงินล่วงหน้า ไม่มีแพ็กเกจรายเดือน คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตไม่หมดอายุ มาดูสามสถานการณ์

  • การใช้งานเบาๆ 2M โทเคนขาเข้าและ 500,000 โทเคนขาออกต่อเดือน: 2 × $0.15 = $0.30 บวก 0.5 × $0.50 = $0.25 รวม $0.55
  • การใช้งานปานกลาง 50M โทเคนขาเข้าและ 10M โทเคนขาออก: 50 × $0.15 = $7.50 บวก 10 × $0.50 = $5.00 รวมเป็น $12.50
  • การใช้งานหนัก 400M โทเคนขาเข้าและ 80M โทเคนขาออก: 400 × $0.15 = $60 บวก 80 × $0.50 = $40 รวมเป็น $100

การเติมเงินขั้นต่ำคือ $20 ดังนั้นในกรณีปานกลาง การเติมเงินเพียงครั้งเดียวก็ครอบคลุมได้มากกว่าหนึ่งเดือน เมื่อเกินเกณฑ์ บางระดับจะมีโบนัส: +5% เมื่อเติม $50, +10% เมื่อเติม $100, +15% เมื่อเติม $200 ตัวอย่างเช่น $100 จะกลายเป็นเครดิต $110 ตารางราคาเต็มอยู่ในหน้า ราคา API

สำหรับในเครื่อง การคำนวณจะซับซ้อนกว่า เริ่มต้นจากราคา GPU หารด้วยเดือนที่คุณคาดว่าจะใช้งาน แล้วบวกค่าไฟ: กำลังไฟฟ้าเป็น kW คูณชั่วโมงการใช้งาน คูณราคาสัญญาไฟฟ้าของคุณ นำผลลัพธ์หารด้วยโทเคนที่คุณสร้างจริงๆ คือต้นทุนต่อล้านของคุณ คำนวณด้วยตัวเลขของคุณเองแล้วเปรียบเทียบกับ $0.50 ต่อล้านโทเคนขาออก

การบำรุงรักษาที่มักถูกลืม

ผู้เลือกใช้งานในเครื่องต้องดูแลเรื่องอื่นๆ ทั้งหมดด้วยเช่นกัน ไดรเวอร์และไลบรารี CUDA ที่พังหลังการอัปเดต เวอร์ชันใหม่ของอินเฟอเรนซ์เอจิน รูปแบบการควอนไทซ์ที่เปลี่ยนแปลง โมเดลที่ต้องดาวน์โหลดใหม่ หากบริการนี้ใช้โดยผู้อื่น ให้เพิ่มการตรวจสอบ การรีสตาร์ทอัตโนมัติ และการจัดการคิวเมื่อคำขอเข้ามาเกินความสามารถของ GPU

สิ่งเหล่านี้ไม่ได้ยาก แต่ต้องใช้เวลาคงที่ หากเวลาของคุณมีค่า ให้คำนวณรวมไว้: เวลาหลายชั่วโมงต่อเดือนมีนัยสำคัญมากกว่า $12.50 ในสถานการณ์เฉลี่ยที่กล่าวไปข้างต้น

เมื่อใช้ API การดูแลฝั่งของคุณลดลงเหลือคีย์ API URL พื้นฐาน และการจัดการข้อผิดพลาด 429 ซึ่งอธิบายไว้ใน เอกสาร ในทางกลับกันคุณพึ่งพาผู้ให้บริการ หากมีปัญหาคุณไม่สามารถแทรกแซงได้

เมื่อไหร่ควรใช้ในเครื่องและเมื่อไหร่ควรใช้ API

เลือกใช้งานในเครื่องหาก

  • คุณมี GPU ที่เหมาะสมอยู่แล้วและต้นทุนส่วนเพิ่มคือค่าไฟเพียงอย่างเดียว;
  • สร้างข้อความอย่างต่อเนื่อง เป็นเวลาหลายชั่วโมง ทุกวัน;
  • คุณต้องทำงานเมื่อไม่มีเครือข่าย หรือเมื่อข้อมูลไม่สามารถออกจากเครื่องของคุณได้;
  • คุณต้องการเปลี่ยนโมเดลบ่อยๆ ทำ fine-tuning หรือทดลองกับน้ำหนักโมเดล

เลือก API หาก

  • คุณต้องการเอนด์พอยต์ที่ใช้งานได้ทันที โดยไม่ต้องซื้ออะไร;
  • การใช้งานของคุณมีลักษณะเป็นช่วงๆ: บอท สคริปต์ตอนกลางคืน หรือโปรโตไทป์;
  • คุณต้องการบริบทที่ยาว (ที่นี่คือ 100,000 โทเคน) โดยไม่ต้องปรับขนาดหน่วยความจำ;
  • คุณต้องการขยายขนาดเป็น 8 คำขอพร้อมกัน โดยไม่ต้องกังวลเรื่องฮาร์ดแวร์

ทีมจำนวนมากใช้ทั้งสองทาง: API เพื่อเริ่มต้นและเมื่อมีปริมาณสูง และในเครื่องสำหรับโหลดที่เสถียร เนื่องจากรูปแบบเหมือนกัน การเปลี่ยนจากทางหนึ่งไปอีกทางหนึ่งไม่ต้องเขียนแอปพลิเคชันใหม่

วิธีง่ายๆ ในการตัดสินใจ

ก่อนซื้อสิ่งใดให้วัดผล เป็นเวลาหนึ่งสัปดาห์บันทึกจำนวนโทเคนที่คุณใช้ โดยดึงจากฟิลด์ usage ของคำตอบหรือตัวนับการใช้งานของเครื่องมือของคุณ จากนั้นคำนวณสามครั้ง

  1. คูณโทเคนขาเข้ารายสัปดาห์ด้วย 4 และหารด้วยหนึ่งล้านแล้วคูณด้วย $0.15
  2. ทำเช่นเดียวกันกับโทเคนขาออกและ $0.50
  3. นำผลลัพธ์ทั้งสองมารวมกันแล้วเปรียบเทียบกับค่างวดรายเดือนของฮาร์ดแวร์บวกกับค่าไฟฟ้า

หากผลรวมของ API ต่ำกว่าหลายสิบดอลลาร์ต่อเดือน การซื้อ GPU เฉพาะสำหรับงานนี้มักไม่คุ้มค่า แต่ถ้าผลรวมสูงกว่าค่างวดมาก การใช้แบบโลคอลจะเริ่มน่าสนใจ กรณีพิเศษอีกกรณีคือความหน่วง: บนเครื่องของคุณจะไม่มีการเดินทางผ่านเครือข่าย แต่ GPU ในบ้านที่รันโมเดลขนาดใหญ่อาจช้ากว่าบริการที่โฮสต์ไว้ ลองทั้งสองวิธีกับภาระงานของคุณ เพราะความแตกต่างขึ้นอยู่กับโมเดลและความยาวของพรอมต์

โปรดพิจารณาการเติบโตด้วย โปรโตไทป์ที่ใช้ทรัพยากรน้อยในวันนี้อาจเพิ่มขึ้นเมื่อผู้อื่นใช้งาน API จัดการคำขอพร้อมกันสูงสุด 8 คำขอด้วยคีย์เต็มรูปแบบ ในขณะที่ในเครื่องผู้ใช้เพิ่มเติมจะทำให้ทุกคนช้าลงจนกว่าคุณจะเพิ่มฮาร์ดแวร์

ลองใช้ API ในเวลาห้านาที

การทดสอบจำเป็นต้องใช้คีย์ หลังจากลงทะเบียนด้วย Google หรืออีเมลและรหัสผ่าน คุณสามารถขอ เครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียวบนหน้าคีย์ ซึ่งมีอายุ 7 วัน และไม่จำเป็นต้องชำระเงิน ไปที่ รับคีย์ API คีย์ทดลองมีขีดจำกัด 2 คำขอพร้อมกันและ 60 คำขอต่อนาที

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.apiiasenzacensura.com/v1",
    api_key=os.environ["API_KEY"],
)

risposta = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)

หากในอนาคตคุณต้องการย้ายไปใช้เซิร์ฟเวอร์โลคอลที่มีเอนด์พอยต์ที่เข้ากันได้ เพียงแค่เปลี่ยน base_url และชื่อโมเดล

สิ่งที่ API นี้ไม่ทำ

เป็นโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว จัดการโดยผู้ให้บริการอิสระ และได้รับการฝึกฝนให้ตอบสนองโดยไม่ปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของห้องแล็บรายใหญ่ ไม่สร้างภาพ เสียง หรือวิดีโอ และไม่รองรับการสร้าง embedding หรือการปรับแต่งเฉพาะ (fine-tuning) ข้อจำกัดที่เด็ดขาดยังคงมีอยู่: ไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ สำหรับภาพรวมที่กว้างขึ้น ดูที่หน้า AI แบบไม่เซ็นเซอร์ พรอมต์ไม่ถูกนำไปใช้ในการฝึกฝน

คู่มืออื่นๆ

คำถามที่พบบ่อย

LLM แบบโลคอลเป็นส่วนตัวมากกว่าจริงหรือ?

เมื่อใช้แบบโลคอล ข้อมูลจะอยู่บนเครื่องของคุณ ดังนั้นใช่ ตราบใดที่คุณปกป้องเครื่องนั้น เมื่อใช้ API พรอมต์จะถูกส่งไปยังผู้ให้บริการ ซึ่งที่นี่จะไม่ถูกนำไปใช้ในการฝึก

ฉันสามารถใช้โทเคนได้กี่ตัวด้วยเงิน $20?

หากทุกอย่างเป็นขาเข้า 133.3 ล้านโทเคน ($20 หารด้วย $0.15 ต่อล้าน) หากทุกอย่างเป็นขาออก 40 ล้าน ($20 หารด้วย $0.50) ในทางปฏิบัติอยู่ตรงกลาง ขึ้นอยู่กับอัตราส่วนระหว่างทั้งสอง

ฉันสามารถใช้โค้ด OpenAI ที่มีอยู่แล้วได้หรือไม่?

ได้ API เข้ากันได้กับ SDK ของ OpenAI: เพียงเปลี่ยน Base URL และคีย์ แล้วใช้โมเดล uncensored รองรับ chat completions, responses, streaming และ tool calling

บริบทเหมือนกันทั้งแบบ local และผ่าน API หรือไม่?

ไม่ ผ่าน API ขีดจำกัดคือ 100,000 โทเคนระหว่างพรอมต์และคำตอบ ใน local ขึ้นอยู่กับโมเดลและหน่วยความจำ GPU ของคุณ เพราะแคชบริบทเพิ่มขึ้นตามความยาว

คีย์ของคุณอยู่ห่างออกไปเพียงกรอกแบบฟอร์ม

สร้างบัญชี คัดลอกคีย์ แก้ไข Base URL การตั้งค่ามีเพียงเท่านี้