원문: Hugging Face 모델 카드 · 공개: 2026-10-01 · 수집일: 2026-10-02
핵심 요지
Perplexity가 Qwen/Qwen3.8-27B를 파인튜닝한 결정 모델(decision model) pplx-decider-v1-27b를 Apache 2.0으로 공개했다. TypeSafe Jev와 같은 방식으로 choice(선택지 확률)와 noul(예/아니오 확률) 질문에 보정된 확률로 답한다. 모델 카드가 Jev와의 비교표를 직접 싣고 있고, Jev와 맞먹는 수준의 결정 모델이 오픈 가중치로 풀렸다는 점에 의미가 있다. 가중치뿐 아니라 학습·서빙 코드(source/, 패키지명 autojev)와 학습 레시피까지 같은 저장소에 포함된다.
벤치마크 (정확도, 11개)
pplx-decider 열은 Perplexity API로 측정한 값이다. 굵은 글씨는 행별 최고점이다(원문 표기).
| 벤치마크 | Jev | Qwen3.8-27B | pplx-decider |
|---|---|---|---|
| WinoGrande | 90.70 | 73.10 | 83.30 |
| FinancialPhraseBank | 76.98 | 75.68 | 84.18 |
| RAGTruth | 77.27 | 61.53 | 88.80 |
| JudgeBench | 78.57 | 68.86 | 78.29 |
| BBH | 94.27 | 72.80 | 82.80 |
| JevBench public hard | 73.27 | 72.28 | 70.30 |
| TabFact | 89.80 | 78.60 | 90.60 |
| ContractNLI | 77.45 | 80.78 | 80.78 |
| Circa | 84.60 | 87.00 | 89.20 |
| Belebele | 95.00 | 93.20 | 94.00 |
| TruthfulQA binary | 92.00 | 82.80 | 85.40 |
| 전체 | 84.51 | 74.76 | 85.71 |
- 전체 평균은 pplx-decider가 Jev를 1.2%p 앞서지만, 11개 중 Jev가 최고인 행이 6개(WinoGrande·JudgeBench·BBH·JevBench·Belebele·TruthfulQA)로 더 많다. 평균 우위는 RAGTruth(+11.5%p)·FinancialPhraseBank(+7.2%p) 같은 일부 행의 큰 격차에서 나온다.
- 같은 기반 모델의 프롬프트 방식(Qwen3.8-27B 열) 대비 평균 +10.95%p로, 결정 전용 파인튜닝의 효과를 보여 준다.
JevBench public hard는 pplx-decider(70.30)가 기반 모델 Qwen3.8-27B(72.28)보다도 낮은 유일한 행이다.- 비교는 Perplexity가 직접 만든 표다. 독립 검증 수치는 아니다.
모델·학습 정보
- 파라미터 약 26.1B(BF16), safetensors 11샤드, 추론에 약 49GiB 가중치 + 작업 메모리의 CUDA GPU와 Python 3.12+ 필요.
- 이미지 입력을 지원한다(
images=["screenshot.png"]). - 학습 레시피(
source/configs/training.json): cross-entropy, 1 epoch, lr 2e-6, 유효 배치 256. 공개된 체크포인트는 1 epoch을 다 돌기 전인 step 200(학습 행 7.3만 개 중 5.12만 개 소비)이며, temperature 보정값(약 2.21)으로 확률을 보정했다.
사용 예
from inference import Decider
model = Decider.from_pretrained("perplexity-ai/pplx-decider-v1-27b")
result = model.predict(
"My Stripe integration keeps failing. Please help ASAP.",
{"type": "choice",
"instructions": "Which team should handle this request?",
"criteria": {"billing": "Charges and refunds",
"technical_support": "Integration errors",
"sales": "Questions about buying a product"}},
)예/아니오 확률은 {"type": "noul", "instructions": "..."}로 묻는다. 질문 유형 용어(choice·noul)와 criteria 구조가 Jev API와 같다. 모델 카드에는 score 유형이 없지만, 같은 모델을 서빙하는 Perplexity Decisions API는 score까지 지원한다.
한계·주의
- 27B 규모라 단일 GPU 49GiB급이 필요하다. 9B·4B 규모의 로컬 모델(Ollama의 nimble·tev1)보다 무겁다.
- 모델 카드에 학습 데이터 구성, 라이선스 외 사용 제한, 지연 시간 수치가 없다.
연결
- 2026-10-02-perplexity-decisions-api-quickstart: 이 모델을 호스팅으로 쓰는 Decisions API(입력 $0.04/백만 토큰)
- 2026-09-30-ollama-jev-style-decision-models: 9B·4B·0.8B 결정 모델을 로컬에서 돌리는 Ollama 0.35
- jev · moc-jev: 비교 대상인 Jev와 결정 모델 생태계 지도
- qwen: 기반 모델 계열 · moc-ai-models: 모델 릴리스 흐름