โมเดล LLM ไม่เซ็นเซอร์ที่ดีที่สุดสำหรับรันในเครื่อง: Reddit vs API

การพิมพ์ "best uncensored llm to run locally reddit" ลงในช่องค้นหาจะได้ชื่อโมเดล แต่การตัดสินใจแรกคือจะรันโมเดลนั้นหรือไม่ หน้าเว็บนี้เปรียบเทียบฮาร์ดแวร์แบบโลคอลกับ API ที่โฮสต์เพื่อให้คุณเลือกก่อนดาวน์โหลดน้ำหนักโมเดลขนาด 40 GB
อัปเดต
ประเด็นสำคัญ
- การรันในเครื่องชนะในด้านความเป็นส่วนตัว การใช้งานแบบออฟไลน์ และการควบคุมแบบเต็มรูปแบบ มีต้นทุนด้านฮาร์ดแวร์ พลังงาน และเวลาในการติดตั้ง
- ความต้องการหน่วยความจำของโมเดลนั้นประมาณเท่ากับจำนวนพารามิเตอร์คูณด้วยไบต์ต่อน้ำหนัก บวกกับพื้นที่สำหรับหน้าต่างบริบท
- API ที่โฮสต์จะชนะเมื่อคุณไม่มี GPU ตัวใหญ่ ต้องการคำขอพร้อมกันจำนวนมาก หรือต้องการบริบทขนาด 100,000 โทเคน
- ที่ราคา $0.15 และ $0.50 ต่อ 1M โทเคน งานประจำวันในระดับปานกลางจะมีค่าใช้จ่ายเพียงไม่กี่ดอลลาร์ต่อเดือน
คำตอบแบบสั้น
รันในเครื่องหากคุณมี GPU ที่มีหน่วยความจำเพียงพอ คุณชอบปรับแต่งโมเดล หรือข้อมูลของคุณต้องไม่ออกจากเครื่องของคุณเลย ใช้ API แบบโฮสต์หากคุณต้องการโมเดลขนาดใหญ่โดยไม่ต้องซื้อฮาร์ดแวร์ ต้องการคำขอหลายรายการที่กำลังดำเนินการพร้อมกัน หรือต้องการใช้เวลาเย็นของคุณไปกับผลิตภัณฑ์มากกว่าการปรับไดรเวอร์และรูปแบบการควอนไทซ์
ผู้คนส่วนใหญ่ที่ถามคำถามนี้ไม่จำเป็นต้องเลือกตลอดไป เส้นทางทั่วไปคือการสร้างต้นแบบกับเอนด์พอยต์แบบโฮสต์ เรียนรู้ว่าพรอมต์ของคุณต้องการอะไร จากนั้นตัดสินใจว่าการตั้งค่าในเครื่องคุ้มค่ากับความพยายามหรือไม่ เนื่องจากทั้งสองฝ่ายใช้รูปแบบการสนทนาของ OpenAI การเปลี่ยนในภายหลังหมายถึงการแก้ไข Base URL ไม่ใช่การเขียนโค้ดใหม่
วิธีที่การสนทนาในหัวข้อนี้มักดำเนินไป
การสนทนาในฟอรัมและ subreddit เกี่ยวกับโมเดลที่ไม่มีการเซ็นเซอร์แบบรันในเครื่องมักมีรูปแบบที่คล้ายกัน มีคนถามหาโมเดลที่ดีที่สุดสำหรับบทบาทสมมติหรือการเขียนนิยาย แล้วมีการแนะนำโมเดลที่ผ่านการปรับแต่งมาหลายตัว จากนั้นการถกเถียงก็เปลี่ยนไปเป็นเรื่องของขนาด การควอนไทซ์ และการตั้งค่าการสุ่มตัวอย่าง ชื่อของโมเดลเหล่านี้เปลี่ยนไปทุกไม่กี่สัปดาห์ ซึ่งทำให้รายการคงที่ในบทความหนึ่งๆ หมดความสดใหม่อย่างรวดเร็ว สิ่งที่ยังคงมีประโยชน์คือวิธีการที่อยู่เบื้องหลังคำแนะนำเหล่านั้น
คำถามสามข้อนี้จะเป็นตัวตัดสินผลลัพธ์ส่วนใหญ่:
- คุณมีหน่วยความจำเท่าไร? สิ่งนี้กำหนดขนาดสูงสุดของโมเดลที่คุณสามารถรันได้ด้วยความเร็วที่ใช้งานได้
- งานคืออะไร การเขียนเชิงสร้างสรรค์ การเป็นเพื่อนคุย การช่วยเขียนโค้ด และการดึงข้อมูลแบบโครงสร้าง จะให้รางวัลกับโมเดลที่แตกต่างกัน
- ข้อกำหนดการปฏิเสธของคุณเข้มงวดเพียงใด? การปรับแต่งบางแบบสามารถลบการปฏิเสธได้สมบูรณ์กว่าแบบอื่น และบางแบบอาจสูญเสียคุณภาพการเขียนไปในกระบวนการนั้น ควรทดสอบด้วยพรอมต์ของคุณเองแทนที่จะไว้วางใจภาพหน้าจอ
ให้คำแนะนำที่คุณอ่านเป็นเพียงจุดเริ่มต้น ผู้เขียนคำแนะนำนั้นอาจมี GPU คนละตัว มีสไตล์การเขียนพรอมต์ต่างกัน และมีระดับความอดทนต่อความเร็วในการสร้างผลลัพธ์ที่แตกต่างกัน
สิ่งที่จำเป็นจริงๆ สำหรับการรันในเครื่อง
กฎโดยประมาณนั้นเรียบง่าย น้ำหนักโมเดลจะกินพื้นที่ประมาณจำนวนพารามิเตอร์คูณด้วยจำนวนไบต์ที่เก็บต่อพารามิเตอร์ ไฟล์ที่ผ่านการควอนไทซ์แบบ 4-bit จะใช้พื้นที่ประมาณครึ่งไบต์ต่อพารามิเตอร์ ดังนั้นโมเดลที่มีพารามิเตอร์ 8 พันล้านตัวต้องการพื้นที่ประมาณ 8 x 0.5 = 4 GB สำหรับน้ำหนักโมเดล และโมเดลที่มีพารามิเตอร์ 70 พันล้านตัวต้องการพื้นที่ประมาณ 70 x 0.5 = 35 GB เพิ่มพื้นที่สำหรับแคชบริบทและส่วนเกินของรันไทม์ ซึ่งจะเพิ่มขึ้นเมื่อพรอมต์ของคุณยาวขึ้น
การคำนวณนี้อธิบายการตั้งค่าในเครื่องส่วนใหญ่ การ์ดจอสำหรับผู้บริโภคหนึ่งตัวสามารถจัดการโมเดลขนาดเล็กและขนาดกลางได้อย่างสบาย โมเดลแบบเปิดขนาดใหญ่ที่สุดต้องการชุดการ์ดจอหลายตัว เครื่องทำงานที่มีหน่วยความจำรวมจำนวนมาก หรือการสลับไปใช้ CPU ที่ช้าซึ่งเหมาะสำหรับการทดสอบแต่เหนื่อยสำหรับการใช้งานประจำวัน เครื่องมือเช่น llama.cpp, Ollama และ LM Studio ทำให้ด้านซอฟต์แวร์ง่ายขึ้น และเครื่องมือหลายตัวเปิดใช้งานเอนด์พอยต์ในเครื่องที่มีรูปแบบคล้าย OpenAI
คุณภาพยังลดลงเมื่อคุณควอนไทซ์มากขึ้น ไฟล์ 4-bit เป็นจุดกึ่งกลางที่สมเหตุสมผลสำหรับหลายคน การลดระดับลงช่วยประหยัดหน่วยความจำและเสียความสอดคล้องกัน โดยความเสียหายจะปรากฏชัดเจนที่สุดในการเขียนเชิงสร้างสรรค์ที่ยาวและละเอียด
ต้นทุนซ่อนเร้นที่ผู้คนมักลืม
- ไฟฟ้าและความร้อนระหว่างการสร้างข้อความเป็นเวลานาน
- เวลาที่ใช้ในการเลือกไฟล์โมเดล เทมเพลตแชท และค่าเริ่มต้นของตัวสุ่มตัวอย่าง
- การอัปเดต: รูปแบบโมเดลใหม่ๆ ปรากฏขึ้น และการตั้งค่าของคุณต้องการการบำรุงรักษา
- ขีดจำกัดบริบท: โมเดลที่พอดีกับหน่วยความจำที่ 8,000 โทเคน อาจไม่พอดีที่ 60,000
การเปรียบเทียบระหว่างรันในเครื่องและแบบโฮสต์
| ปัจจัย | รันในเครื่อง | API uncensored แบบโฮสต์ |
|---|---|---|
| ความเป็นส่วนตัว | ไม่มีอะไรออกจากเครื่องของคุณ | คำขอส่งไปยังผู้ให้บริการ; พรอมต์ไม่ถูกนำไปใช้ในการฝึกที่นี่ |
| การใช้งานแบบออฟไลน์ | ทำงานได้โดยไม่ต้องใช้อินเทอร์เน็ต | ต้องการการเชื่อมต่อ |
| ต้นทุนล่วงหน้า | ฮาร์ดแวร์ที่คุณอาจมีอยู่แล้วหรือต้องซื้อ | ไม่มี; เครดิตแบบเติมเงินล่วงหน้าเริ่มต้นที่ $20 |
| ต้นทุนการรัน | พลังงานและเวลาของคุณ | $0.15 ต่อ 1M โทเคนอินพุต, $0.50 ต่อ 1M โทเคนเอาต์พุต |
| การเลือกโมเดล | น้ำหนักโมเดลใดๆ ที่คุณโหลดได้ | หนึ่งโมเดล, ID uncensored |
| บริบท | จำกัดโดยหน่วยความจำของคุณ | 100,000 โทเคน, พรอมต์รวมกับผลลัพธ์ |
| คำขอพร้อมกัน | จำกัดโดย GPU ของคุณ | 8 คำขอพร้อมกัน, 300 คำขอต่อนาทีต่อคีย์เต็มรูปแบบ |
| เวลาตั้งค่า | ชั่วโมงถึงวัน | นาที |
การอ่านตารางนี้อย่างยุติธรรมคือไม่มีฝ่ายใดเหนือกว่า การใช้งานแบบ Local ให้คุณควบคุมและอิสระ ในขณะที่แบบ Hosted ให้ความสะดวกและความจุ พื้นที่ที่คุณเลือกขึ้นอยู่กับว่าคุณให้ความสำคัญกับข้อใดมากกว่าสำหรับโปรเจกต์ของคุณ
ต้นทุนของ API แบบ Hosted สำหรับงานจริง
ราคาแบบจ่ายตามการใช้งานประมาณการได้ง่าย สมมติว่าคุณใช้ผู้ช่วยเขียนที่ส่ง 1M input token และรับ 0.5M output token ต่อวัน นั่นคือ 1 x $0.15 = $0.15 สำหรับ input และ 0.5 x $0.50 = $0.25 สำหรับ output รวมเป็น $0.40 ต่อวัน ตลอด 30 วันคิดเป็น $12.00
กรณีหนักกว่า: แอปขนาดเล็กที่มี 5M input token และ 2M output token ต่อวัน มีค่าใช้จ่าย 5 x $0.15 = $0.75 บวก 2 x $0.50 = $1.00 ซึ่งรวมเป็น $1.75 ต่อวัน หรือ $52.50 ตลอด 30 วัน เปรียบเทียบยอดรวมเหล่านี้กับสิ่งที่คุณจะจ่ายสำหรับ GPU การใช้พลังงาน และเวลาของคุณเอง ตรวจสอบราคาฮาร์ดแวร์ปัจจุบันด้วยตนเองเนื่องจากราคาเปลี่ยนแปลง
รายละเอียดบางประการช่วยในการวางแผนงบประมาณ เครดิตไม่หมดอายุ ดังนั้นการเติมเงินที่คุณไม่ได้ใช้ในเดือนนี้ยังคงมีอยู่ในเดือนถัดไป การเติมเงินสามารถเป็นจำนวนเต็มใดก็ได้ตั้งแต่ $20 ถึง $500 พร้อมโบนัส 5 เปอร์เซ็นต์จาก $50 โบนัส 10 เปอร์เซ็นต์จาก $100 และโบนัส 15 เปอร์เซ็นต์จาก $200 คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน หน้าราคาและหน้าราคาต่อโทเคนแสดงรายละเอียดการคิดราคาทั้งหมด
เมื่อ API แบบโฮสต์ไม่ใช่ตัวเลือกที่เหมาะสม
มีเหตุผลจริง ๆ ที่ควรใช้งานแบบ Local และการเพิกเฉยต่อเหตุผลเหล่านี้ถือเป็นความไม่ซื่อสัตย์:
- ข้อมูลที่ถูกแยกออกทางอากาศหรือเป็นส่วนตัวอย่างเคร่งครัด หากนโยบายระบุว่าข้อความไม่สามารถออกจากเครือข่ายของคุณได้ บริการแบบ Hosted ก็ไม่สามารถใช้ได้ไม่ว่าข้อกำหนดจะเป็นอย่างไร
- คุณต้องการโมเดลเฉพาะ API นี้ให้บริการโมเดลเดียว หากคุณต้องการการปรับแต่งโมเดลเฉพาะ การรวมที่คุณทำเอง หรือ LoRA แบบกำหนดเอง น้ำหนักแบบโลคอลเท่านั้นที่ทำแบบนั้นได้ นอกจากนี้ API นี้ยังไม่รองรับการปรับแต่งโมเดล
- การทำงานแบบออฟไลน์ เครื่องบิน ไซต์งานห่างไกล และการเชื่อมต่ออินเทอร์เน็ตที่ไม่ดี
- ปริมาณงานสูงและต่อเนื่องมาก หากคุณสร้างโทเคนตลอดเวลา ฮาร์ดแวร์ที่เป็นเจ้าของเองอาจมีต้นทุนต่ำกว่าราคาต่อโทเคนในระยะยาว คำนวณด้วยตัวเลขของคุณเอง
- การเรียนรู้ หากเป้าหมายของคุณคือเข้าใจวิธีการทำงานของ inference การรันโมเดลด้วยตนเองคือครูที่ดีที่สุด
ในทางกลับกัน เส้นทางแบบ Hosted เหมาะสมหากคุณไม่มี GPU ตัวใหญ่ ต้องการแชร์ endpoint เดียวกันทั่วทีม สร้างผลิตภัณฑ์ที่ต้องการอินเทอร์เฟซที่เสถียร หรือต้องการบริบทยาวโดยไม่ต้องซื้อ memory เพิ่ม
ลองเส้นทางแบบ Hosted ในห้านาที
คุณสามารถทดสอบได้ก่อนใช้จ่ายเงินใด ๆ ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกหนึ่งครั้งบนหน้าคีย์ APIหลังจากสมัครด้วย Google หรืออีเมล ไม่ต้องใช้บัตรและใช้งานได้เป็นเวลา 7 วัน คีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอ และ 60 คำขอต่อนาที ซึ่งเพียงพอสำหรับการทดสอบเปรียบเทียบแบบเคียงข้างเทียบกับโมเดลในเครื่องของคุณ
คำขอแรกด้วย curl โดยสตรีมคำตอบ:
curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a blunt co-writer for adult fiction."},
{"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
],
"stream": true
}'และสิ่งเดียวกันด้วย Python OpenAI SDK หากคุณใช้เซิร์ฟเวอร์ Local ผ่าน SDK นี้ คุณจะคุ้นเคยกับทุกบรรทัด:
from openai import OpenAI
# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
base_url="https://api.uncensoredllmleaderboard.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)ส่งพรอมต์เดิมสิบอันเดียวกันไปยังโมเดลในเครื่องของคุณและเอนด์พอยต์นี้ จากนั้นเปรียบเทียบคำตอบด้านคุณภาพ การปฏิเสธ และความเร็วบนฮาร์ดแวร์และการเชื่อมต่อของคุณเอง เอกสารAPIระบุการเรียกใช้เครื่องมือ โหมด JSON และพารามิเตอร์การสุ่มตัวอย่างที่ส่งผ่าน โมเดลเป็นข้อความเท่านั้น ดังนั้นการสร้างภาพ เสียง และวิดีโอจึงไม่มี และเนื้อหาที่เกี่ยวข้องกับผู้เยาว์จะถูกตัดออกทั้งหมด ส่วนที่เหลือทั้งหมดใช้สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย
คู่มือเพิ่มเติม
ถาม-ตอบ
ต้องใช้หน่วยความจำเท่าใดในการรันโมเดลที่ไม่เซ็นเซอร์ในเครื่องเอง
คูณจำนวนพารามิเตอร์เป็นพันล้านด้วยประมาณ 0.5 สำหรับไฟล์ 4-bit เพื่อหาขนาดหน่วยความจำเป็นกิกะไบต์สำหรับน้ำหนักโมเดล แล้วเพิ่มพื้นที่สำหรับบริบท โมเดลขนาด 8B ต้องการพื้นที่ประมาณ 4 GB สำหรับน้ำหนัก และโมเดลขนาด 70B ต้องการประมาณ 35 GB
API ที่โฮสต์โมเดลที่ไม่เซ็นเซอร์มีความเป็นส่วนตัวน้อยกว่าการรันในเครื่องเองหรือไม่
ใช่ ในความหมายพื้นฐานที่ว่าพรอมต์ของคุณเดินทางไปยังเซิร์ฟเวอร์ ที่นี่พรอมต์ไม่ถูกนำไปใช้ในการฝึก แต่หากนโยบายของคุณห้ามส่งข้อความออกนอกเครือข่าย ให้รันในเครื่องเอง
สามารถใช้โค้ดเดียวกันสำหรับโมเดลในเครื่องเองและแบบโฮสต์ได้หรือไม่
โดยปกติได้ ตัวรันโมเดลในเครื่องหลายตัวเปิดเผยเอนด์พอยต์แบบ OpenAI ทำให้คุณสามารถใช้โค้ดไคลเอนต์เดิมและเปลี่ยนเฉพาะ Base URL, คีย์ API และชื่อโมเดลได้
API ที่โฮสต์อนุญาตให้ฉันเลือกโมเดลจากหลายตัวได้หรือไม่
ไม่ API ที่โฮสต์ให้บริการโมเดลแบบเปิดน้ำหนักเพียงตัวเดียวที่มี ID คือ uncensored หากคุณต้องการเลือกโมเดลต่างๆ การตั้งค่าในเครื่องเองจะให้ความยืดหยุ่นดังกล่าว
คีย์ของคุณอยู่ห่างแค่ฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด