원문: Hugging Face 모델 카드 · 공개: 2026-10-01 · 수집일: 2026-10-02

핵심 요지

Perplexity가 Qwen/Qwen3.8-27B를 파인튜닝한 결정 모델(decision model) pplx-decider-v1-27b를 Apache 2.0으로 공개했다. TypeSafe Jev와 같은 방식으로 choice(선택지 확률)와 noul(예/아니오 확률) 질문에 보정된 확률로 답한다. 모델 카드가 Jev와의 비교표를 직접 싣고 있고, Jev와 맞먹는 수준의 결정 모델이 오픈 가중치로 풀렸다는 점에 의미가 있다. 가중치뿐 아니라 학습·서빙 코드(source/, 패키지명 autojev)와 학습 레시피까지 같은 저장소에 포함된다.

벤치마크 (정확도, 11개)

pplx-decider 열은 Perplexity API로 측정한 값이다. 굵은 글씨는 행별 최고점이다(원문 표기).

벤치마크JevQwen3.8-27Bpplx-decider
WinoGrande90.7073.1083.30
FinancialPhraseBank76.9875.6884.18
RAGTruth77.2761.5388.80
JudgeBench78.5768.8678.29
BBH94.2772.8082.80
JevBench public hard73.2772.2870.30
TabFact89.8078.6090.60
ContractNLI77.4580.7880.78
Circa84.6087.0089.20
Belebele95.0093.2094.00
TruthfulQA binary92.0082.8085.40
전체84.5174.7685.71
  • 전체 평균은 pplx-decider가 Jev를 1.2%p 앞서지만, 11개 중 Jev가 최고인 행이 6개(WinoGrande·JudgeBench·BBH·JevBench·Belebele·TruthfulQA)로 더 많다. 평균 우위는 RAGTruth(+11.5%p)·FinancialPhraseBank(+7.2%p) 같은 일부 행의 큰 격차에서 나온다.
  • 같은 기반 모델의 프롬프트 방식(Qwen3.8-27B 열) 대비 평균 +10.95%p로, 결정 전용 파인튜닝의 효과를 보여 준다.
  • JevBench public hard는 pplx-decider(70.30)가 기반 모델 Qwen3.8-27B(72.28)보다도 낮은 유일한 행이다.
  • 비교는 Perplexity가 직접 만든 표다. 독립 검증 수치는 아니다.

모델·학습 정보

  • 파라미터 약 26.1B(BF16), safetensors 11샤드, 추론에 약 49GiB 가중치 + 작업 메모리의 CUDA GPU와 Python 3.12+ 필요.
  • 이미지 입력을 지원한다(images=["screenshot.png"]).
  • 학습 레시피(source/configs/training.json): cross-entropy, 1 epoch, lr 2e-6, 유효 배치 256. 공개된 체크포인트는 1 epoch을 다 돌기 전인 step 200(학습 행 7.3만 개 중 5.12만 개 소비)이며, temperature 보정값(약 2.21)으로 확률을 보정했다.

사용 예

from inference import Decider
 
model = Decider.from_pretrained("perplexity-ai/pplx-decider-v1-27b")
result = model.predict(
    "My Stripe integration keeps failing. Please help ASAP.",
    {"type": "choice",
     "instructions": "Which team should handle this request?",
     "criteria": {"billing": "Charges and refunds",
                  "technical_support": "Integration errors",
                  "sales": "Questions about buying a product"}},
)

예/아니오 확률은 {"type": "noul", "instructions": "..."}로 묻는다. 질문 유형 용어(choice·noul)와 criteria 구조가 Jev API와 같다. 모델 카드에는 score 유형이 없지만, 같은 모델을 서빙하는 Perplexity Decisions API는 score까지 지원한다.

한계·주의

  • 27B 규모라 단일 GPU 49GiB급이 필요하다. 9B·4B 규모의 로컬 모델(Ollama의 nimble·tev1)보다 무겁다.
  • 모델 카드에 학습 데이터 구성, 라이선스 외 사용 제한, 지연 시간 수치가 없다.

연결