KO ▾
API 키 받기

로컬 실행용 최고의 무검열 LLM: 레딧 vs API

로컬과 호스팅 LLM을 비교하는 척도 위에 균형 잡힌 로컬 그래픽 카드와 클라우드 서버

"로컬에서 실행할 최고의 무검열 LLM"을 검색창에 입력하면 모델 이름이 나오지만, 첫 번째 결정은 실제로 모델을 실행할지 여부입니다. 이 페이지는 로컬 하드웨어와 호스팅 API를 비교하여 40GB의 가중치를 다운로드하기 전에 선택할 수 있도록 합니다.

업데이트됨

주요 포인트

  1. 로컬은 프라이버시, 오프라인 사용 및 완전한 제어 측면에서 우위를 점합니다. 하드웨어, 전력 및 설정 시간이 비용으로 들어갑니다.
  2. 모델의 메모리 필요량은 대략 파라미터 수에 가중치당 바이트 수를 곱한 값에 컨텍스트를 위한 여유 공간을 더한 것과 같습니다.
  3. 큰 GPU가 없거나 많은 동시 요청이 필요하거나 100,000-토큰 컨텍스트 창을 원할 때 호스팅된 API가 우위를 점합니다.
  4. 1M 토큰당 $0.15과 $0.50의 가격으로, 일일 작업량이 많지 않다면 월 몇 달러면 충분합니다.

짧은 답변

메모리가 풍부한 GPU를 소유하고 있고 모델 튜닝을 좋아하거나 데이터가 기기에서 절대 벗어나지 말아야 할 경우 로컬에서 실행하세요. 하드웨어 구매 없이 큰 모델을 원하거나 여러 요청을 동시에 처리해야 하거나 드라이버와 양자화 형식보다 제품 개발에 시간을 쓰고 싶다면 호스팅된 API를 사용하세요.

이 질문을 하는 대부분의 사람들은 영원히 선택해야 할 필요가 없습니다. 일반적인 경로는 호스팅된 엔드포인트에서 프로토타이핑을 수행하고 프롬프트가 무엇을 필요로 하는지 파악한 후 로컬 설정이 그 노력을 가치 있게 만드는지 결정하는 것입니다. 양쪽 모두 OpenAI 채팅 형식을 지원하므로 나중에 전환하려면 코드를 다시 작성하는 대신 Base URL만 수정하면 됩니다.

이 주제에 대한 스레드가 일반적으로 어떻게 진행되는지

로컬 무검열 모델에 대한 포럼 및 서브레딧 토론은 종종 일정한 패턴을 따릅니다. 누군가가 역할극이나 소설을 위한 최고의 모델을 요청하면, 답변자는 몇 가지 파인튜닝 모델을 제시하고 논쟁은 모델 크기, 양자화 및 샘플링 설정으로 이어집니다. 이름은 몇 주마다 바뀌므로 기사의 고정 목록은 금방 낡습니다. 유용하게 남는 것은 조언 뒤의 방법론입니다.

세 가지 질문이 대부분의 결과를 결정합니다:

  1. 메모리가 얼마나 있나요? 이 수치가 실행 가능한 최대 모델 크기를 결정합니다.
  2. 어떤 작업을 수행하나요? 창의적 글쓰기, 채팅 상대, 코딩 보조, 구조화된 추출은 서로 다른 모델에 유리하게 작용합니다.
  3. 거부 요구 사항이 얼마나 엄격합니까? 일부 파인튜인은 다른 것보다 거부를 더 완전히 제거하며, 그 과정에서 일부는 글쓰기 품질을 잃습니다. 스크린샷을 신뢰하기보다 자신의 프롬프트로 테스트하세요.

읽은 모든 추천을 시작점으로 취급하세요. 작성자는 다른 GPU, 다른 프롬프트 스타일 및 느린 출력에 대한 다른 내성을 가질 수 있습니다.

로컬 실행이 실제로 필요한 것

경험칙은 간단합니다. 가중치는 약 파라미터 수에 파라미터당 저장된 바이트 수를 곱한 만큼을 차지합니다. 4비트 양자화된 파일은 파라미터당 약 0.5바이트를 사용하므로 80억 파라미터 모델에는 가중치에 약 8 x 0.5 = 4GB가 필요하고, 700억 파라미터 모델에는 약 70 x 0.5 = 35GB가 필요합니다. 프롬프트가 길어짐에 따라 증가하는 컨텍스트 캐시 및 런타임 오버헤드를 위한 여유 공간을 더하세요.

이 계산은 대부분의 로컬 설정을 설명합니다. 단일 소비자용 GPU는 소형 및 중형 모델을 편안하게 처리합니다. 가장 큰 오픈 모델은 여러 GPU를 갖춘 장비, 많은 통합 메모리가 있는 워크스테이션 또는 테스트에는 적합하지만 일상적인 사용에는 지치는 CPU 대체 수단이 필요합니다. llama.cpp, Ollama, LM Studio와 같은 도구는 소프트웨어 측면을 더 쉽게 만들어주며, 그중 몇 개는 OpenAI 스타일의 로컬 엔드포인트를 제공합니다.

양자화 수준이 높아질수록 품질도 떨어집니다. 4비트 파일은 많은 사람에게 적절한 균형점입니다. 더 낮게 하면 메모리는 절약하지만 일관성이 떨어지며, 이는 길고 상세한 창작 글에서 먼저 나타납니다.

사람들이 잊어버리는 숨겨진 비용

  • 긴 생성 세션 중의 전기 및 열.
  • 모델 파일, 채팅 템플릿 및 샘플러 프리셋 간에 선택하는 데 걸리는 시간.
  • 업데이트: 새로운 모델 형식이 나타나며 설정에 유지보수가 필요합니다.
  • 컨텍스트 제한: 8,000 토큰에서 메모리에 맞는 모델이 60,000 토큰에서는 맞지 않을 수 있습니다.

로컬과 호스팅 나란히

요인로컬에서 실행호스팅 무검열 API
개인정보아무것도 기계를 벗어나지 않습니다요청이 제공업체로 전송됩니다. 여기서는 프롬프트가 학습에 사용되지 않습니다.
오프라인 사용인터넷 없이 작동연결 필요
선불 비용이미 소유하고 있거나 구매해야 하는 하드웨어없음; $20부터 시작하는 선불 크레딧
실행 비용전력 및 귀하의 시간입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50
모델 선택로드할 수 있는 모든 가중치모델 1개, ID uncensored
컨텍스트메모리에 의해 제한됨100,000 토큰, 프롬프트 및 완성 포함
동시 요청GPU에 의해 제한됨8개 동시, 전체 키당 분당 300 요청
설정 시간시간에서 일분

이 표의 공정한 해석은 어느 쪽도 우위를 점하지 않는다는 것입니다. 로컬은 제어와 독립성을 제공합니다. 호스팅된 서비스는 편의성과 용량을 제공합니다. 프로젝트에 대해 그 두 가지 중 무엇을 더 가치 있게 여기는지에 따라 선택이 달라집니다.

실제 작업량에 대한 호스팅 API 비용

사용량 기반 가격 책정은 추산하기 쉽습니다. 예를 들어 하루에 1M 입력 토큰을 보내고 0.5M 출력 토큰을 받는 글쓰기 어시스턴트를 사용한다고 가정해 봅시다. 입력의 경우 1 x $0.15 = $0.15, 출력의 경우 0.5 x $0.50 = $0.25이므로 하루 $0.40입니다. 30일 동안은 $12.00입니다.

더 무거운 경우: 하루에 5M 입력 토큰과 2M 출력 토큰을 사용하는 작은 앱의 비용은 5 x $0.15 = $0.75에 2 x $0.50 = $1.00을 더한 $1.75이며, 30일 기준 $52.50입니다. GPU 구매 비용, 전력 소비량, 그리고 자신의 시간을 고려해 보세요. 현재 하드웨어 가격은 변동하므로 직접 확인하십시오.

예산 계획에 도움이 되는 세부 정보입니다. 크레딧은 만료되지 않아 이번 달에 사용하지 않은 충전액은 다음 달에도 그대로 유지됩니다. 충전 금액은 $20부터 $500까지의 정수이며, $50부터 5%, $100부터 10%, $200부터 15% 보너스가 제공됩니다. 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 가격 책정 페이지와 토큰별 가격 페이지에서 전체 내역을 확인하세요.

호스팅된 API가 적합하지 않은 경우

로컬에 머무르는 데에는 실제적인 이유가 있으며, 이를 무시하는 것은 불성실할 것입니다:

  • 에어 갭 또는 엄격하게 비공개 데이터. 정책상 텍스트가 네트워크를 벗어나지 말아야 한다면, 약관과 무관하게 호스팅 서비스는 제외됩니다.
  • 특정 모델을 원합니다. 이 API는 하나의 모델만 제공합니다. 특정 파인튜인, 직접 만든 병합 또는 사용자 정의 LoRA가 필요한 경우 로컬 가중치만이 이를 수행할 수 있습니다. 또한 파인튜닝을 제공하지 않습니다.
  • 오프라인 작업. 비행기, 원격 사이트 및 나쁜 연결.
  • 매우 높고 안정적인 양. 토큰을 하루 종일 생성한다면, 자체 하드웨어가 토큰 기반 가격보다 eventually 더 나을 수 있습니다. 자신의 숫자로 계산해 보십시오.
  • 학습. 추론이 어떻게 작동하는지 이해하는 것이 목표라면 모델을 직접 실행하는 것이 최고의 학습 도구입니다.

반면에 큰 GPU가 없거나 팀 전체에 하나의 엔드포인트를 공유하고 싶거나 안정적인 인터페이스가 필요한 제품을 빌드하거나 메모리를 구매하지 않고 긴 컨텍스트가 필요한 경우 호스팅된 경로가 적합합니다.

5분 만에 호스팅된 경로 시도

아무것도 쓰기 전에 테스트할 수 있습니다. 새 사용자는 Google 또는 이메일로 가입한 후 API 키 페이지에서 한 번의 클릭으로 $0.50의 체험 크레딧을 청구합니다. 카드가 필요 없으며 7일 동안 유효합니다. 체험 키는 로컬 모델과 병렬 테스트에 충분한 최대 2개의 동시 요청 및 분당 60개의 요청을 허용합니다.

curl을 사용한 첫 번째 요청, 답변 스트리밍:

curl https://api.uncensoredllmleaderboard.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a blunt co-writer for adult fiction."},
      {"role": "user", "content": "Draft a morally grey antagonist for a heist story."}
    ],
    "stream": true
  }'

Python OpenAI SDK에서도 동일합니다. 이미 이 SDK를 통해 로컬 서버를 사용하고 있다면 모든 줄을 익숙하게 느낄 것입니다:

from openai import OpenAI

# Same client code you would use against a local server.
# Only base_url, api_key and the model name change.
client = OpenAI(
    base_url="https://api.uncensoredllmleaderboard.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three twists for a heist story."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

로컬 모델과 이 엔드포인트에 동일한 10개의 프롬프트를 보내고, 자신의 하드웨어 및 연결에서 품질, 거부 및 속도에 대한 응답을 비교하세요. API 문서에는 함수 호출, JSON 모드 및 전달되는 샘플링 매개변수가 나열되어 있습니다. 모델은 텍스트 전용이므로 이미지, 오디오 및 비디오 생성은 사용할 수 없으며 미성년자와 관련된 콘텐츠는 완전히 제외됩니다. 나머지 모든 기능은 합법적인 성인 사용을 위한 것입니다.

질문과 답변

무검열 모델을 로컬에서 실행하려면 얼마나 많은 메모리가 필요합니까?

4-bit 파일의 가중치를 위한 기가바이트 용량을 확보하려면 파라미터 수(10억 단위)에 약 0.5를 곱한 후 컨텍스트를 위한 공간을 더하세요. 8B 모델은 가중치에 약 4GB가 필요하고, 70B 모델은 약 35GB가 필요합니다.

호스팅 무검열 API는 로컬에서 실행하는 것보다 프라이버시가 덜한가요?

네, 프롬프트가 서버로 전송된다는 단순한 의미에서 그렇습니다. 여기서는 프롬프트가 학습에 사용되지 않지만, 네트워크 외부로 텍스트를 전송하는 것이 정책상 금지된 경우 로컬에서 실행하세요.

로컬 모델과 호스팅 모델에 동일한 코드를 사용할 수 있나요?

대부분의 경우 가능합니다. 많은 로컬 러너가 OpenAI 스타일의 엔드포인트를 제공하므로 클라이언트 코드를 그대로 유지하고 Base URL, API 키 및 모델 이름만 변경하면 됩니다.

호스팅 API를 통해 여러 모델 중 선택할 수 있나요?

아니요. ID가 uncensored인 하나의 오픈 웨이트 모델만 제공합니다. 파인튜닝 간 선택이 필요한 경우 로컬 설정이 그러한 자유도를 제공합니다.

키를 받으려면 한 단계만 더 진행하면 됩니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기