จุดสำคัญ
- แบบในเครื่องคุณจ่ายค่าฮาร์ดแวร์ทันทีและจ่ายค่าบำรุงรักษาเสมอ ส่วนผ่าน API คุณจ่ายเฉพาะโทเคนที่ใช้จริง
- ด้วยอัตรา $0.15 ต่อ 1M โทเคนขาเข้า และ $0.50 ต่อ 1M โทเคนขาออก เงิน $20 สามารถรองรับโทเคนได้หลายสิบล้านตัว
- การรันแบบในเครื่องชนะสำหรับงานที่ใช้หนักต่อเนื่อง ทำงานออฟไลน์ และต้องการควบคุมโมเดลอย่างเต็มที่
- API ชนะสำหรับผู้ที่เริ่มใช้งานวันนี้ มี GPU น้อย หรือต้องการเอนด์พอยต์ที่เข้ากันได้กับ OpenAI
สรุปสั้นๆ
หากคุณกำลังมองหา llm แบบไม่เซ็นเซอร์ และไม่มี GPU ที่มีหน่วยความจำสูง API มักจะเป็นจุดเริ่มต้นที่สมเหตุสมผลที่สุด หากคุณสร้างข้อความตลอดทั้งวัน ทำงานออฟไลน์ หรือต้องการเลือกและปรับแต่งน้ำหนักโมเดลเอง การรันแบบโลคอลจะคุ้มค่ากับการลงทุน นี่คือตารางเปรียบเทียบ
| ด้าน | แบบโลคอล | ผ่าน API |
|---|---|---|
| ต้นทุนเริ่มต้น | GPU, แหล่งจ่ายไฟ, ระบบระบายความร้อน | ไม่มี, เติมเงินตั้งแต่ $20 |
| ต้นทุนที่เกิดขึ้นซ้ำ | ค่าไฟฟ้า, การสึกหรอ, เวลาของคุณ | เฉพาะโทเคนที่ใช้จริง |
| เวลาเริ่มต้นใช้งาน | ชั่วโมงหรือวันระหว่างการดาวน์โหลดและการทดสอบ | เพียงไม่กี่นาที |
| การเลือกโมเดล | อิสระ, สามารถเก็บไว้ได้หลายตัว | เพียงตัวเดียว, เลือกโดยผู้ให้บริการ |
| ความยาวบริบทสูงสุด | ขึ้นอยู่กับหน่วยความจำที่มี | 100,000 โทเคน |
| ทำงานออฟไลน์ได้ | ใช่ | ไม่ |
| คำขอพร้อมกัน | สิ่งที่ GPU ของคุณรองรับได้ | 8 ด้วยคีย์เต็มรูปแบบ |
ไม่มีทางเลือกที่ถูกต้องโดยสมบูรณ์ ส่วนด้านล่างช่วยให้คุณเข้าใจว่าคุณอยู่ฝั่งไหน
สิ่งที่จำเป็นจริงๆ ในการรันในเครื่อง
คอขวดคือหน่วยความจำวิดีโอ น้ำหนักของโมเดลต้องอยู่ใน VRAM มิฉะนั้นจะย้ายไป RAM ของระบบและความเร็วจะลดลงอย่างมาก โดยประมาณ โมเดลขนาดเล็กที่ควอนไทซ์แบบ 4 bit มักใช้พื้นที่เพียงไม่กี่กิกะไบต์ ในขณะที่โมเดลขนาดใหญ่อาจต้องใช้หลายสิบกิกะไบต์ ค่าที่แน่นอนขึ้นอยู่กับโมเดลและการควอนไทซ์ ดังนั้นควรตรวจสอบสเปกของโมเดลแต่ละตัวและเอกสารประกอบของเครื่องมือเสมอ
สิ่งนี้บวกกับแคชหน้าต่างบริบท: การสนทนาที่ยาวขึ้นจะใช้หน่วยความจำมากขึ้นนอกเหนือจากน้ำหนัก โมเดลขนาดใหญ่ที่มีบริบทหลายหมื่นโทเคนอาจต้องการหน่วยความจำเพิ่มอีกหลายกิกะไบต์
ซอฟต์แวร์
สำหรับการอนุมานในเครื่องมีเครื่องมือที่รู้จักกันดีเช่น llama.cpp, Ollama และ vLLM Ollama และ vLLM ยังเปิดเผยเอนด์พอยต์ที่เข้ากันได้กับรูปแบบ OpenAI ดังนั้นโค้ดที่คุณเขียนสำหรับเซิร์ฟเวอร์ในเครื่องจึงย้ายไปยัง API ระยะไกลได้โดยเปลี่ยนเพียงสองบรรทัด สำหรับรายละเอียดการติดตั้ง โปรดดูเอกสารประกอบของแต่ละโครงการ
การหาโมเดล
โมเดลแบบเปิดน้ำหนักที่ปฏิเสธน้อยลงถูกเผยแพร่โดยชุมชนต่างๆ แต่คุณภาพมีความไม่สม่ำเสมอมาก โมเดลบางตัวเสียความสอดคล้องหลังจากการปรับแต่ง บางตัวตอบสนองได้ดีเฉพาะเมื่อใช้รูปแบบพรอมต์ที่เฉพาะเจาะจง ควรลองใช้งานหลายตัวก่อนจะพบตัวที่เหมาะสม
ต้นทุน API เมื่อคิดค่าใช้จ่ายแล้ว
อัตราค่าใช้บริการคือ $0.15 ต่อ 1M โทเคนขาเข้า และ $0.50 ต่อ 1M โทเคนขาออก แบบเติมเงินล่วงหน้า ไม่มีแพ็กเกจรายเดือน คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตไม่หมดอายุ มาดูสามสถานการณ์
- การใช้งานเบาๆ 2M โทเคนขาเข้าและ 500,000 โทเคนขาออกต่อเดือน: 2 × $0.15 = $0.30 บวก 0.5 × $0.50 = $0.25 รวม $0.55
- การใช้งานปานกลาง 50M โทเคนขาเข้าและ 10M โทเคนขาออก: 50 × $0.15 = $7.50 บวก 10 × $0.50 = $5.00 รวมเป็น $12.50
- การใช้งานหนัก 400M โทเคนขาเข้าและ 80M โทเคนขาออก: 400 × $0.15 = $60 บวก 80 × $0.50 = $40 รวมเป็น $100
การเติมเงินขั้นต่ำคือ $20 ดังนั้นในกรณีปานกลาง การเติมเงินเพียงครั้งเดียวก็ครอบคลุมได้มากกว่าหนึ่งเดือน เมื่อเกินเกณฑ์ บางระดับจะมีโบนัส: +5% เมื่อเติม $50, +10% เมื่อเติม $100, +15% เมื่อเติม $200 ตัวอย่างเช่น $100 จะกลายเป็นเครดิต $110 ตารางราคาเต็มอยู่ในหน้า ราคา API
สำหรับในเครื่อง การคำนวณจะซับซ้อนกว่า เริ่มต้นจากราคา GPU หารด้วยเดือนที่คุณคาดว่าจะใช้งาน แล้วบวกค่าไฟ: กำลังไฟฟ้าเป็น kW คูณชั่วโมงการใช้งาน คูณราคาสัญญาไฟฟ้าของคุณ นำผลลัพธ์หารด้วยโทเคนที่คุณสร้างจริงๆ คือต้นทุนต่อล้านของคุณ คำนวณด้วยตัวเลขของคุณเองแล้วเปรียบเทียบกับ $0.50 ต่อล้านโทเคนขาออก
การบำรุงรักษาที่มักถูกลืม
ผู้เลือกใช้งานในเครื่องต้องดูแลเรื่องอื่นๆ ทั้งหมดด้วยเช่นกัน ไดรเวอร์และไลบรารี CUDA ที่พังหลังการอัปเดต เวอร์ชันใหม่ของอินเฟอเรนซ์เอจิน รูปแบบการควอนไทซ์ที่เปลี่ยนแปลง โมเดลที่ต้องดาวน์โหลดใหม่ หากบริการนี้ใช้โดยผู้อื่น ให้เพิ่มการตรวจสอบ การรีสตาร์ทอัตโนมัติ และการจัดการคิวเมื่อคำขอเข้ามาเกินความสามารถของ GPU
สิ่งเหล่านี้ไม่ได้ยาก แต่ต้องใช้เวลาคงที่ หากเวลาของคุณมีค่า ให้คำนวณรวมไว้: เวลาหลายชั่วโมงต่อเดือนมีนัยสำคัญมากกว่า $12.50 ในสถานการณ์เฉลี่ยที่กล่าวไปข้างต้น
เมื่อใช้ API การดูแลฝั่งของคุณลดลงเหลือคีย์ API URL พื้นฐาน และการจัดการข้อผิดพลาด 429 ซึ่งอธิบายไว้ใน เอกสาร ในทางกลับกันคุณพึ่งพาผู้ให้บริการ หากมีปัญหาคุณไม่สามารถแทรกแซงได้
เมื่อไหร่ควรใช้ในเครื่องและเมื่อไหร่ควรใช้ API
เลือกใช้งานในเครื่องหาก
- คุณมี GPU ที่เหมาะสมอยู่แล้วและต้นทุนส่วนเพิ่มคือค่าไฟเพียงอย่างเดียว;
- สร้างข้อความอย่างต่อเนื่อง เป็นเวลาหลายชั่วโมง ทุกวัน;
- คุณต้องทำงานเมื่อไม่มีเครือข่าย หรือเมื่อข้อมูลไม่สามารถออกจากเครื่องของคุณได้;
- คุณต้องการเปลี่ยนโมเดลบ่อยๆ ทำ fine-tuning หรือทดลองกับน้ำหนักโมเดล
เลือก API หาก
- คุณต้องการเอนด์พอยต์ที่ใช้งานได้ทันที โดยไม่ต้องซื้ออะไร;
- การใช้งานของคุณมีลักษณะเป็นช่วงๆ: บอท สคริปต์ตอนกลางคืน หรือโปรโตไทป์;
- คุณต้องการบริบทที่ยาว (ที่นี่คือ 100,000 โทเคน) โดยไม่ต้องปรับขนาดหน่วยความจำ;
- คุณต้องการขยายขนาดเป็น 8 คำขอพร้อมกัน โดยไม่ต้องกังวลเรื่องฮาร์ดแวร์
ทีมจำนวนมากใช้ทั้งสองทาง: API เพื่อเริ่มต้นและเมื่อมีปริมาณสูง และในเครื่องสำหรับโหลดที่เสถียร เนื่องจากรูปแบบเหมือนกัน การเปลี่ยนจากทางหนึ่งไปอีกทางหนึ่งไม่ต้องเขียนแอปพลิเคชันใหม่
วิธีง่ายๆ ในการตัดสินใจ
ก่อนซื้อสิ่งใดให้วัดผล เป็นเวลาหนึ่งสัปดาห์บันทึกจำนวนโทเคนที่คุณใช้ โดยดึงจากฟิลด์ usage ของคำตอบหรือตัวนับการใช้งานของเครื่องมือของคุณ จากนั้นคำนวณสามครั้ง
- คูณโทเคนขาเข้ารายสัปดาห์ด้วย 4 และหารด้วยหนึ่งล้านแล้วคูณด้วย $0.15
- ทำเช่นเดียวกันกับโทเคนขาออกและ $0.50
- นำผลลัพธ์ทั้งสองมารวมกันแล้วเปรียบเทียบกับค่างวดรายเดือนของฮาร์ดแวร์บวกกับค่าไฟฟ้า
หากผลรวมของ API ต่ำกว่าหลายสิบดอลลาร์ต่อเดือน การซื้อ GPU เฉพาะสำหรับงานนี้มักไม่คุ้มค่า แต่ถ้าผลรวมสูงกว่าค่างวดมาก การใช้แบบโลคอลจะเริ่มน่าสนใจ กรณีพิเศษอีกกรณีคือความหน่วง: บนเครื่องของคุณจะไม่มีการเดินทางผ่านเครือข่าย แต่ GPU ในบ้านที่รันโมเดลขนาดใหญ่อาจช้ากว่าบริการที่โฮสต์ไว้ ลองทั้งสองวิธีกับภาระงานของคุณ เพราะความแตกต่างขึ้นอยู่กับโมเดลและความยาวของพรอมต์
โปรดพิจารณาการเติบโตด้วย โปรโตไทป์ที่ใช้ทรัพยากรน้อยในวันนี้อาจเพิ่มขึ้นเมื่อผู้อื่นใช้งาน API จัดการคำขอพร้อมกันสูงสุด 8 คำขอด้วยคีย์เต็มรูปแบบ ในขณะที่ในเครื่องผู้ใช้เพิ่มเติมจะทำให้ทุกคนช้าลงจนกว่าคุณจะเพิ่มฮาร์ดแวร์
ลองใช้ API ในเวลาห้านาที
การทดสอบจำเป็นต้องใช้คีย์ หลังจากลงทะเบียนด้วย Google หรืออีเมลและรหัสผ่าน คุณสามารถขอ เครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียวบนหน้าคีย์ ซึ่งมีอายุ 7 วัน และไม่จำเป็นต้องชำระเงิน ไปที่ รับคีย์ API คีย์ทดลองมีขีดจำกัด 2 คำขอพร้อมกันและ 60 คำขอต่อนาที
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.apiiasenzacensura.com/v1",
api_key=os.environ["API_KEY"],
)
risposta = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Spiega in tre frasi cos'è la quantizzazione di un modello."}],
)
print(risposta.choices[0].message.content)
หากในอนาคตคุณต้องการย้ายไปใช้เซิร์ฟเวอร์โลคอลที่มีเอนด์พอยต์ที่เข้ากันได้ เพียงแค่เปลี่ยน base_url และชื่อโมเดล
สิ่งที่ API นี้ไม่ทำ
เป็นโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว จัดการโดยผู้ให้บริการอิสระ และได้รับการฝึกฝนให้ตอบสนองโดยไม่ปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของห้องแล็บรายใหญ่ ไม่สร้างภาพ เสียง หรือวิดีโอ และไม่รองรับการสร้าง embedding หรือการปรับแต่งเฉพาะ (fine-tuning) ข้อจำกัดที่เด็ดขาดยังคงมีอยู่: ไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ สำหรับภาพรวมที่กว้างขึ้น ดูที่หน้า AI แบบไม่เซ็นเซอร์ พรอมต์ไม่ถูกนำไปใช้ในการฝึกฝน

