원문: Perplexity Research 블로그 · 모델 카드 0.6B / 9B · 공개: 2026-10-07 · 수집일: 2026-10-09
핵심 요지
Perplexity가 2026-10-07에 late-interaction 임베딩 모델 pplx-embed-v2-late를 0.6B와 9B 두 크기로 공개했다. 라이선스는 MIT다. 블로그는 이 모델이 세 가지를 처음으로 한데 묶었다고 설명한다.
- 멀티벡터 — 입력을 벡터 하나로 압축하지 않고 토큰마다 128차원 벡터를 남긴다(ColBERT 방식). 점수는 MaxSim으로 매긴다.
- 텍스트+이미지 — 렌더링된 PDF 페이지·슬라이드·스크린샷을 OCR이나 파싱 없이 바로 색인하고, 텍스트 쿼리로 검색한다. 일반 사진 검색도 된다.
- 공유 임베딩 공간 — 9B로 만든 색인을 0.6B 쿼리 인코더로 검색할 수 있다. 색인 품질은 9B로 높이고, 쿼리 비용은 0.6B 수준으로 둔다.
임베딩 계열에서의 위치: pplx-embed-v1(2026-02, dense) → pplx-embed-v2-context(2026-09 말, contextual) → pplx-embed-v2-late(이번, late-interaction).
왜 late interaction인가
- Dense 임베딩은 문서 전체를 고정 크기 벡터 하나로 줄인다. 문서가 길어지고 주제가 많아질수록 정보가 빠진다. 이미지는 정보 밀도가 높아서 이 병목이 더 심하다. 내적 하나로는 표현할 수 없는 점수 패턴이 있다는 점도 지적한다(LIMIT 벤치마크).
- Cross-encoder는 쿼리와 문서를 함께 처리해 표현력이 가장 높다. 대신 후보마다 forward pass를 따로 돌려야 해서 재순위(reranking)에만 쓴다.
- Late interaction은 두 방식의 중간이다. 문서는 쿼리와 상관없이 미리 인코딩해 두고, 비교할 때만 토큰 단위로 맞춘다. MaxSim은 쿼리 토큰마다 가장 비슷한 문서 토큰 하나를 골라 그 유사도를 모두 더한다.
- 비용: 문서 토큰마다 벡터를 저장하므로 저장 공간과 후보 채점 비용이 문서 길이에 비례해 늘어난다. 단일 벡터 ANN과는 색인·서빙 설계가 달라진다. 블로그는 품질이 중요한 코퍼스의 1단계 검색이나, 웹 규모 파이프라인의 후속 단계에 쓰라고 권한다.
모델 구성과 학습
| 항목 | 0.6B | 9B |
|---|---|---|
| 활성 파라미터 | 텍스트 약 240M / 이미지 340M | 7.4B |
| 총 파라미터 | 594M (이미지 인코더 100M, 토큰 임베딩 테이블 254M 포함) | 약 8B (safetensors 기준) |
| 기반 | Qwen3.5-0.8B의 텍스트 타워를 24층에서 12층으로 가지치기 | Qwen3.5 계열 |
| 파인튜닝 | 전체 파인튜닝 | 마지막 8개 층만 전체 학습, 나머지 층과 비전 인코더는 LoRA |
| 토큰당 차원 | 128 | 128 |
- 두 모델 모두 Qwen3.5에 양방향 어텐션을 적용한 구조다.
- 교사 모델: 27B 백본을 같은 방법으로 가지치기해 18B 교사를 만들고 contrastive 학습했다. 이를 0.6B와 9B 학생 모델로 각각 증류했다.
- LEAF식 표현 증류: 교사의 순위 분포를 흉내 내는 대신, 입력 토큰마다 학생 임베딩을 교사 임베딩에 맞춘다. dense 모델에서 쓰던 방법을 토큰 단위 멀티벡터로 넓힌 것이다. 두 크기가 같은 공간을 공유하는 것도 이 증류 방식 덕분이다.
- 데이터: 46개 언어, 594개 데이터셋에서 모은 쿼리-문서 쌍 1억 8,600만 개. 원본 비율은 텍스트→텍스트 88.3%, 텍스트→이미지 8.3%, 텍스트→시각 문서 3.4%다. 데이터셋별 가중치를 줘서 실제 학습 비율은 56.5% / 30.9% / 12.6%로 맞췄다. 평가에 쓰는 벤치마크의 데이터셋은 학습에서 모두 뺐다고 밝힌다.
배포 구성 4가지
| 구성 | 색인 | 쿼리 | 용도 |
|---|---|---|---|
| 최고 품질 | 9B | 9B | 품질 우선 |
| 최고 효율 | 0.6B | 0.6B | 완전 로컬 추론 |
| 저지연 | 9B | 0.6B | 블로그가 예상하는 주력 프로덕션 구성 |
| 로컬–클라우드 | 9B(클라우드) | 0.6B(온디바이스) | 로컬의 비공개 문서와 클라우드 색인 결과를 합침 |
비대칭 구성의 효과: 쿼리는 0.6B로 고정하고 색인만 9B로 바꾸면, 도메인 특화 72개 과제 평균이 +1.6%p 오르고 ViDoRe v3 이미지 점수는 62.3%에서 63.5%가 된다. 텍스트에서는 두 모델 사이 품질 차이의 약 절반을 쿼리 비용 증가 없이 되찾는 셈이다.
벤치마크 (Perplexity 자체 발표)
| 벤치마크 (지표) | 0.6B | 9B | 비교 |
|---|---|---|---|
| 도메인 특화 72과제 (nDCG@10) | 78.0 | 81.3 | 9B가 평가 모델 중 1위(+1.6%p). 0.6B는 gemini-embedding-2보다 0.3%p 낮음 |
| ViDoRe v3 Markdown (nDCG@10) | 61.2 | 64.7 | 외부 최고 60.6. topk-embed-v1-0.8b는 0.6B보다 4.3%p 낮음 |
| ViDoRe v3 이미지 (nDCG@10) | 62.3 | 65.2 | 9B보다 높은 건 vision 전용 EVIE뿐. 0.6B는 nemotron-colembed-v2-8b와 1.2%p 차이 |
| Q2D-Web Combined (Recall@1000) | 73.6 | 74.8 | 기존 최고 69.3 |
| BrowseComp+ (정확도, GPT-OSS-120B 에이전트) | 외부 모델 전부 상회 | 64.0 | 다음 ColBERT 모델보다 +4.9%p, 다음 dense 모델보다 +8.7%p. 검색 횟수도 더 적음 |
| MADQA (정확도, Gemini 3.5 Flash 에이전트) | 90.1 | 92.4 | Mixedbread 리트리버 88.9. 검색 서브에이전트를 쓰는 Mixedbread Agentic Search는 93.4(신뢰구간 안) |
- Q2D-Web은 Perplexity가 만든 벤치마크다. 실제 검색 트래픽에서 에이전트가 고쳐 쓴 쿼리 약 7만 개로, 웹 문서 1억 9천만 개를 검색한다. 자체 시스템이 찾은 문서로 만든 판정(Citation·Web)은 자기 모델에 유리할 수 있다. 그래서 LLM 판정을 더한 Combined 기준을 중심으로 보고한다.
- PPLX-Q2I(내부 이미지 검색, 쿼리 1만 개 / 이미지 10만 장): 두 모델 모두 qwen3-vl-embedding-8b보다 9%p 넘게 높다. 9B는 gemini-embedding-2보다 2%p 낮다.
- MIRACL-Vision: 0.6B는 qwen3-vl-embed-8b보다 1%p 낮다. 9B보다 높은 모델은 gemini-embedding-2뿐이다.
- 저장 비용: 토큰당 차원이 128이다. EVIE-4.5B는 2,048, EVIE-8B와 nemotron-colembed-v2-8b는 4,096이다. 차원이 크면 대형 코퍼스 색인이 사실상 어렵다. 실제로 PPLX-Q2I에서는 이 모델들을 평가하지 못했다.
사용법
from sentence_transformers import MultiVectorEncoder # sentence-transformers>=6.0.0, transformers>=5.4.0
model = MultiVectorEncoder("perplexity-ai/pplx-embed-v2-late-0.6b", device="cuda")
q = model.encode_query(["..."])
d = model.encode_document(["..."]) # 이미지는 PIL RGB로 열어 encode_document에 전달
scores = model.similarity(q, d) # MaxSim- Sentence Transformers 기본 모듈만으로 동작한다. 별도 커스텀 코드는 필요 없다.
- 텍스트만 든 배치와 이미지만 든 배치는 따로 인코딩해야 한다. 한 배치에 섞을 수 없다.
- PyLate는 Q/D 마커를 두 번째 위치에 넣지만, 이 모델은 첫 위치에 있어야 한다. PyLate로 쓸 때 주의한다.
- Hugging Face에는 Inference Provider 배포가 아직 없다. Perplexity API Platform에서 late-interaction·dense·contextual 임베딩을 순차 지원할 예정이다.
평가와 한계
- 모든 수치는 Perplexity 자체 발표다. 기술 보고서는 “올해 안”에 나올 예정이다. Q2D-Web·PPLX-Q2I는 내부 벤치마크라 외부에서 재현할 수 없다.
- 컨텍스트 길이는 모델 카드에 나오지 않는다. 일부 2차 자료(BenchLM)는 4096 토큰으로 적고 있다. 원문으로 확인한 값은 아니다.
- 멀티벡터는 dense보다 저장·채점 비용이 훨씬 크다. 블로그가 웹 규모에서 “후속 단계로도 쓸 수 있다”고 따로 언급하는 것도 이 비용 때문으로 보인다.
- 한국어 성능은 따로 보고되지 않았다. 46개 언어 학습 데이터와 다국어 과제 17개가 근거의 전부다. 한국어 임베딩 리더보드에서 dense 1위였던
pplx-embed-v1-4b(2026-07-26-pytorchkr-topic-11416-ko-embedding-leaderboard)와 비교한 수치는 없다.
관련
- 2026-10-02-huggingface-perplexity-ai-pplx-decider-v1-27b — 같은 주에 Perplexity가 공개한 또 다른 오픈 모델(결정 모델)
- 2026-07-26-pytorchkr-topic-11416-ko-embedding-leaderboard — 한국어 임베딩 리더보드의 pplx-embed-v1
- qwen — 기반 모델 계열
- moc-ai-models