TH ▾
รับคีย์ API

โมเดล LLM ไม่เซ็นเซอร์ที่ดีที่สุดสำหรับรันในเครื่อง: Reddit vs API

การ์ดจอในเครื่องและเซิร์ฟเวอร์คลาวด์สมดุลบนมาตราส่วน เปรียบเทียบโมเดล LLM แบบในเครื่องและแบบโฮสต์

การพิมพ์ "best uncensored llm to run locally reddit" ลงในช่องค้นหาจะได้ชื่อโมเดล แต่การตัดสินใจแรกคือจะรันโมเดลนั้นหรือไม่ หน้าเว็บนี้เปรียบเทียบฮาร์ดแวร์แบบโลคอลกับ API ที่โฮสต์เพื่อให้คุณเลือกก่อนดาวน์โหลดน้ำหนักโมเดลขนาด 40 GB

อัปเดต

ประเด็นสำคัญ

  1. การรันในเครื่องชนะในด้านความเป็นส่วนตัว การใช้งานแบบออฟไลน์ และการควบคุมแบบเต็มรูปแบบ มีต้นทุนด้านฮาร์ดแวร์ พลังงาน และเวลาในการติดตั้ง
  2. ความต้องการหน่วยความจำของโมเดลนั้นประมาณเท่ากับจำนวนพารามิเตอร์คูณด้วยไบต์ต่อน้ำหนัก บวกกับพื้นที่สำหรับหน้าต่างบริบท
  3. API ที่โฮสต์จะชนะเมื่อคุณไม่มี GPU ตัวใหญ่ ต้องการคำขอพร้อมกันจำนวนมาก หรือต้องการบริบทขนาด 100,000 โทเคน
  4. ที่ราคา $0.15 และ $0.50 ต่อ 1M โทเคน งานประจำวันในระดับปานกลางจะมีค่าใช้จ่ายเพียงไม่กี่ดอลลาร์ต่อเดือน

คำตอบแบบสั้น

รันในเครื่องหากคุณมี GPU ที่มีหน่วยความจำเพียงพอ คุณชอบปรับแต่งโมเดล หรือข้อมูลของคุณต้องไม่ออกจากเครื่องของคุณเลย ใช้ API แบบโฮสต์หากคุณต้องการโมเดลขนาดใหญ่โดยไม่ต้องซื้อฮาร์ดแวร์ ต้องการคำขอหลายรายการที่กำลังดำเนินการพร้อมกัน หรือต้องการใช้เวลาเย็นของคุณไปกับผลิตภัณฑ์มากกว่าการปรับไดรเวอร์และรูปแบบการควอนไทซ์

ผู้คนส่วนใหญ่ที่ถามคำถามนี้ไม่จำเป็นต้องเลือกตลอดไป เส้นทางทั่วไปคือการสร้างต้นแบบกับเอนด์พอยต์แบบโฮสต์ เรียนรู้ว่าพรอมต์ของคุณต้องการอะไร จากนั้นตัดสินใจว่าการตั้งค่าในเครื่องคุ้มค่ากับความพยายามหรือไม่ เนื่องจากทั้งสองฝ่ายใช้รูปแบบการสนทนาของ OpenAI การเปลี่ยนในภายหลังหมายถึงการแก้ไข Base URL ไม่ใช่การเขียนโค้ดใหม่

วิธีที่การสนทนาในหัวข้อนี้มักดำเนินไป

การสนทนาในฟอรัมและ subreddit เกี่ยวกับโมเดลที่ไม่มีการเซ็นเซอร์แบบรันในเครื่องมักมีรูปแบบที่คล้ายกัน มีคนถามหาโมเดลที่ดีที่สุดสำหรับบทบาทสมมติหรือการเขียนนิยาย แล้วมีการแนะนำโมเดลที่ผ่านการปรับแต่งมาหลายตัว จากนั้นการถกเถียงก็เปลี่ยนไปเป็นเรื่องของขนาด การควอนไทซ์ และการตั้งค่าการสุ่มตัวอย่าง ชื่อของโมเดลเหล่านี้เปลี่ยนไปทุกไม่กี่สัปดาห์ ซึ่งทำให้รายการคงที่ในบทความหนึ่งๆ หมดความสดใหม่อย่างรวดเร็ว สิ่งที่ยังคงมีประโยชน์คือวิธีการที่อยู่เบื้องหลังคำแนะนำเหล่านั้น

คำถามสามข้อนี้จะเป็นตัวตัดสินผลลัพธ์ส่วนใหญ่:

  1. คุณมีหน่วยความจำเท่าไร? สิ่งนี้กำหนดขนาดสูงสุดของโมเดลที่คุณสามารถรันได้ด้วยความเร็วที่ใช้งานได้
  2. งานคืออะไร การเขียนเชิงสร้างสรรค์ การเป็นเพื่อนคุย การช่วยเขียนโค้ด และการดึงข้อมูลแบบโครงสร้าง จะให้รางวัลกับโมเดลที่แตกต่างกัน
  3. ข้อกำหนดการปฏิเสธของคุณเข้มงวดเพียงใด? การปรับแต่งบางแบบสามารถลบการปฏิเสธได้สมบูรณ์กว่าแบบอื่น และบางแบบอาจสูญเสียคุณภาพการเขียนไปในกระบวนการนั้น ควรทดสอบด้วยพรอมต์ของคุณเองแทนที่จะไว้วางใจภาพหน้าจอ

ให้คำแนะนำที่คุณอ่านเป็นเพียงจุดเริ่มต้น ผู้เขียนคำแนะนำนั้นอาจมี GPU คนละตัว มีสไตล์การเขียนพรอมต์ต่างกัน และมีระดับความอดทนต่อความเร็วในการสร้างผลลัพธ์ที่แตกต่างกัน

สิ่งที่จำเป็นจริงๆ สำหรับการรันในเครื่อง

กฎโดยประมาณนั้นเรียบง่าย น้ำหนักโมเดลจะกินพื้นที่ประมาณจำนวนพารามิเตอร์คูณด้วยจำนวนไบต์ที่เก็บต่อพารามิเตอร์ ไฟล์ที่ผ่านการควอนไทซ์แบบ 4-bit จะใช้พื้นที่ประมาณครึ่งไบต์ต่อพารามิเตอร์ ดังนั้นโมเดลที่มีพารามิเตอร์ 8 พันล้านตัวต้องการพื้นที่ประมาณ 8 x 0.5 = 4 GB สำหรับน้ำหนักโมเดล และโมเดลที่มีพารามิเตอร์ 70 พันล้านตัวต้องการพื้นที่ประมาณ 70 x 0.5 = 35 GB เพิ่มพื้นที่สำหรับแคชบริบทและส่วนเกินของรันไทม์ ซึ่งจะเพิ่มขึ้นเมื่อพรอมต์ของคุณยาวขึ้น

การคำนวณนี้อธิบายการตั้งค่าในเครื่องส่วนใหญ่ การ์ดจอสำหรับผู้บริโภคหนึ่งตัวสามารถจัดการโมเดลขนาดเล็กและขนาดกลางได้อย่างสบาย โมเดลแบบเปิดขนาดใหญ่ที่สุดต้องการชุดการ์ดจอหลายตัว เครื่องทำงานที่มีหน่วยความจำรวมจำนวนมาก หรือการสลับไปใช้ CPU ที่ช้าซึ่งเหมาะสำหรับการทดสอบแต่เหนื่อยสำหรับการใช้งานประจำวัน เครื่องมือเช่น llama.cpp, Ollama และ LM Studio ทำให้ด้านซอฟต์แวร์ง่ายขึ้น และเครื่องมือหลายตัวเปิดใช้งานเอนด์พอยต์ในเครื่องที่มีรูปแบบคล้าย OpenAI

คุณภาพยังลดลงเมื่อคุณควอนไทซ์มากขึ้น ไฟล์ 4-bit เป็นจุดกึ่งกลางที่สมเหตุสมผลสำหรับหลายคน การลดระดับลงช่วยประหยัดหน่วยความจำและเสียความสอดคล้องกัน โดยความเสียหายจะปรากฏชัดเจนที่สุดในการเขียนเชิงสร้างสรรค์ที่ยาวและละเอียด

ต้นทุนซ่อนเร้นที่ผู้คนมักลืม

  • ไฟฟ้าและความร้อนระหว่างการสร้างข้อความเป็นเวลานาน
  • เวลาที่ใช้ในการเลือกไฟล์โมเดล เทมเพลตแชท และค่าเริ่มต้นของตัวสุ่มตัวอย่าง
  • การอัปเดต: รูปแบบโมเดลใหม่ๆ ปรากฏขึ้น และการตั้งค่าของคุณต้องการการบำรุงรักษา
  • ขีดจำกัดบริบท: โมเดลที่พอดีกับหน่วยความจำที่ 8,000 โทเคน อาจไม่พอดีที่ 60,000

การเปรียบเทียบระหว่างรันในเครื่องและแบบโฮสต์

ปัจจัยรันในเครื่องAPI uncensored แบบโฮสต์
ความเป็นส่วนตัวไม่มีอะไรออกจากเครื่องของคุณคำขอส่งไปยังผู้ให้บริการ; พรอมต์ไม่ถูกนำไปใช้ในการฝึกที่นี่
การใช้งานแบบออฟไลน์ทำงานได้โดยไม่ต้องใช้อินเทอร์เน็ตต้องการการเชื่อมต่อ
ต้นทุนล่วงหน้าฮาร์ดแวร์ที่คุณอาจมีอยู่แล้วหรือต้องซื้อไม่มี; เครดิตแบบเติมเงินล่วงหน้าเริ่มต้นที่ $20
ต้นทุนการรันพลังงานและเวลาของคุณ$0.15 ต่อ 1M โทเคนอินพุต, $0.50 ต่อ 1M โทเคนเอาต์พุต
การเลือกโมเดลน้ำหนักโมเดลใดๆ ที่คุณโหลดได้หนึ่งโมเดล, ID uncensored
บริบทจำกัดโดยหน่วยความจำของคุณ100,000 โทเคน, พรอมต์รวมกับผลลัพธ์
คำขอพร้อมกันจำกัดโดย GPU ของคุณ8 คำขอพร้อมกัน, 300 คำขอต่อนาทีต่อคีย์เต็มรูปแบบ
เวลาตั้งค่าชั่วโมงถึงวันนาที

การอ่านตารางนี้อย่างยุติธรรมคือไม่มีฝ่ายใดเหนือกว่า การใช้งานแบบ Local ให้คุณควบคุมและอิสระ ในขณะที่แบบ Hosted ให้ความสะดวกและความจุ พื้นที่ที่คุณเลือกขึ้นอยู่กับว่าคุณให้ความสำคัญกับข้อใดมากกว่าสำหรับโปรเจกต์ของคุณ

ต้นทุนของ API แบบ Hosted สำหรับงานจริง

ราคาแบบจ่ายตามการใช้งานประมาณการได้ง่าย สมมติว่าคุณใช้ผู้ช่วยเขียนที่ส่ง 1M input token และรับ 0.5M output token ต่อวัน นั่นคือ 1 x $0.15 = $0.15 สำหรับ input และ 0.5 x $0.50 = $0.25 สำหรับ output รวมเป็น $0.40 ต่อวัน ตลอด 30 วันคิดเป็น $12.00

กรณีหนักกว่า: แอปขนาดเล็กที่มี 5M input token และ 2M output token ต่อวัน มีค่าใช้จ่าย 5 x $0.15 = $0.75 บวก 2 x $0.50 = $1.00 ซึ่งรวมเป็น $1.75 ต่อวัน หรือ $52.50 ตลอด 30 วัน เปรียบเทียบยอดรวมเหล่านี้กับสิ่งที่คุณจะจ่ายสำหรับ GPU การใช้พลังงาน และเวลาของคุณเอง ตรวจสอบราคาฮาร์ดแวร์ปัจจุบันด้วยตนเองเนื่องจากราคาเปลี่ยนแปลง

รายละเอียดบางประการช่วยในการวางแผนงบประมาณ เครดิตไม่หมดอายุ ดังนั้นการเติมเงินที่คุณไม่ได้ใช้ในเดือนนี้ยังคงมีอยู่ในเดือนถัดไป การเติมเงินสามารถเป็นจำนวนเต็มใดก็ได้ตั้งแต่ $20 ถึง $500 พร้อมโบนัส 5 เปอร์เซ็นต์จาก $50 โบนัส 10 เปอร์เซ็นต์จาก $100 และโบนัส 15 เปอร์เซ็นต์จาก $200 คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน หน้าราคาและหน้าราคาต่อโทเคนแสดงรายละเอียดการคิดราคาทั้งหมด

เมื่อ API แบบโฮสต์ไม่ใช่ตัวเลือกที่เหมาะสม

มีเหตุผลจริง ๆ ที่ควรใช้งานแบบ Local และการเพิกเฉยต่อเหตุผลเหล่านี้ถือเป็นความไม่ซื่อสัตย์:

  • ข้อมูลที่ถูกแยกออกทางอากาศหรือเป็นส่วนตัวอย่างเคร่งครัด หากนโยบายระบุว่าข้อความไม่สามารถออกจากเครือข่ายของคุณได้ บริการแบบ Hosted ก็ไม่สามารถใช้ได้ไม่ว่าข้อกำหนดจะเป็นอย่างไร
  • คุณต้องการโมเดลเฉพาะ API นี้ให้บริการโมเดลเดียว หากคุณต้องการการปรับแต่งโมเดลเฉพาะ การรวมที่คุณทำเอง หรือ LoRA แบบกำหนดเอง น้ำหนักแบบโลคอลเท่านั้นที่ทำแบบนั้นได้ นอกจากนี้ API นี้ยังไม่รองรับการปรับแต่งโมเดล
  • การทำงานแบบออฟไลน์ เครื่องบิน ไซต์งานห่างไกล และการเชื่อมต่ออินเทอร์เน็ตที่ไม่ดี
  • ปริมาณงานสูงและต่อเนื่องมาก หากคุณสร้างโทเคนตลอดเวลา ฮาร์ดแวร์ที่เป็นเจ้าของเองอาจมีต้นทุนต่ำกว่าราคาต่อโทเคนในระยะยาว คำนวณด้วยตัวเลขของคุณเอง
  • การเรียนรู้ หากเป้าหมายของคุณคือเข้าใจวิธีการทำงานของ inference การรันโมเดลด้วยตนเองคือครูที่ดีที่สุด

ในทางกลับกัน เส้นทางแบบ Hosted เหมาะสมหากคุณไม่มี GPU ตัวใหญ่ ต้องการแชร์ endpoint เดียวกันทั่วทีม สร้างผลิตภัณฑ์ที่ต้องการอินเทอร์เฟซที่เสถียร หรือต้องการบริบทยาวโดยไม่ต้องซื้อ memory เพิ่ม

ลองเส้นทางแบบ Hosted ในห้านาที

คุณสามารถทดสอบได้ก่อนใช้จ่ายเงินใด ๆ ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกหนึ่งครั้งบนหน้าคีย์ APIหลังจากสมัครด้วย Google หรืออีเมล ไม่ต้องใช้บัตรและใช้งานได้เป็นเวลา 7 วัน คีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอ และ 60 คำขอต่อนาที ซึ่งเพียงพอสำหรับการทดสอบเปรียบเทียบแบบเคียงข้างเทียบกับโมเดลในเครื่องของคุณ

คำขอแรกด้วย curl โดยสตรีมคำตอบ:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

และสิ่งเดียวกันด้วย Python OpenAI SDK หากคุณใช้เซิร์ฟเวอร์ Local ผ่าน SDK นี้ คุณจะคุ้นเคยกับทุกบรรทัด:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

ส่งพรอมต์เดิมสิบอันเดียวกันไปยังโมเดลในเครื่องของคุณและเอนด์พอยต์นี้ จากนั้นเปรียบเทียบคำตอบด้านคุณภาพ การปฏิเสธ และความเร็วบนฮาร์ดแวร์และการเชื่อมต่อของคุณเอง เอกสารAPIระบุการเรียกใช้เครื่องมือ โหมด JSON และพารามิเตอร์การสุ่มตัวอย่างที่ส่งผ่าน โมเดลเป็นข้อความเท่านั้น ดังนั้นการสร้างภาพ เสียง และวิดีโอจึงไม่มี และเนื้อหาที่เกี่ยวข้องกับผู้เยาว์จะถูกตัดออกทั้งหมด ส่วนที่เหลือทั้งหมดใช้สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย

ถาม-ตอบ

ต้องใช้หน่วยความจำเท่าใดในการรันโมเดลที่ไม่เซ็นเซอร์ในเครื่องเอง

คูณจำนวนพารามิเตอร์เป็นพันล้านด้วยประมาณ 0.5 สำหรับไฟล์ 4-bit เพื่อหาขนาดหน่วยความจำเป็นกิกะไบต์สำหรับน้ำหนักโมเดล แล้วเพิ่มพื้นที่สำหรับบริบท โมเดลขนาด 8B ต้องการพื้นที่ประมาณ 4 GB สำหรับน้ำหนัก และโมเดลขนาด 70B ต้องการประมาณ 35 GB

API ที่โฮสต์โมเดลที่ไม่เซ็นเซอร์มีความเป็นส่วนตัวน้อยกว่าการรันในเครื่องเองหรือไม่

ใช่ ในความหมายพื้นฐานที่ว่าพรอมต์ของคุณเดินทางไปยังเซิร์ฟเวอร์ ที่นี่พรอมต์ไม่ถูกนำไปใช้ในการฝึก แต่หากนโยบายของคุณห้ามส่งข้อความออกนอกเครือข่าย ให้รันในเครื่องเอง

สามารถใช้โค้ดเดียวกันสำหรับโมเดลในเครื่องเองและแบบโฮสต์ได้หรือไม่

โดยปกติได้ ตัวรันโมเดลในเครื่องหลายตัวเปิดเผยเอนด์พอยต์แบบ OpenAI ทำให้คุณสามารถใช้โค้ดไคลเอนต์เดิมและเปลี่ยนเฉพาะ Base URL, คีย์ API และชื่อโมเดลได้

API ที่โฮสต์อนุญาตให้ฉันเลือกโมเดลจากหลายตัวได้หรือไม่

ไม่ API ที่โฮสต์ให้บริการโมเดลแบบเปิดน้ำหนักเพียงตัวเดียวที่มี ID คือ uncensored หากคุณต้องการเลือกโมเดลต่างๆ การตั้งค่าในเครื่องเองจะให้ความยืดหยุ่นดังกล่าว

คีย์ของคุณอยู่ห่างแค่ฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API