원문: Perplexity Research 블로그 · 모델 카드 0.6B / 9B · 공개: 2026-10-07 · 수집일: 2026-10-09

핵심 요지

Perplexity가 2026-10-07에 late-interaction 임베딩 모델 pplx-embed-v2-late를 0.6B와 9B 두 크기로 공개했다. 라이선스는 MIT다. 블로그는 이 모델이 세 가지를 처음으로 한데 묶었다고 설명한다.

  1. 멀티벡터 — 입력을 벡터 하나로 압축하지 않고 토큰마다 128차원 벡터를 남긴다(ColBERT 방식). 점수는 MaxSim으로 매긴다.
  2. 텍스트+이미지 — 렌더링된 PDF 페이지·슬라이드·스크린샷을 OCR이나 파싱 없이 바로 색인하고, 텍스트 쿼리로 검색한다. 일반 사진 검색도 된다.
  3. 공유 임베딩 공간 — 9B로 만든 색인을 0.6B 쿼리 인코더로 검색할 수 있다. 색인 품질은 9B로 높이고, 쿼리 비용은 0.6B 수준으로 둔다.

임베딩 계열에서의 위치: pplx-embed-v1(2026-02, dense) → pplx-embed-v2-context(2026-09 말, contextual) → pplx-embed-v2-late(이번, late-interaction).

왜 late interaction인가

  • Dense 임베딩은 문서 전체를 고정 크기 벡터 하나로 줄인다. 문서가 길어지고 주제가 많아질수록 정보가 빠진다. 이미지는 정보 밀도가 높아서 이 병목이 더 심하다. 내적 하나로는 표현할 수 없는 점수 패턴이 있다는 점도 지적한다(LIMIT 벤치마크).
  • Cross-encoder는 쿼리와 문서를 함께 처리해 표현력이 가장 높다. 대신 후보마다 forward pass를 따로 돌려야 해서 재순위(reranking)에만 쓴다.
  • Late interaction은 두 방식의 중간이다. 문서는 쿼리와 상관없이 미리 인코딩해 두고, 비교할 때만 토큰 단위로 맞춘다. MaxSim은 쿼리 토큰마다 가장 비슷한 문서 토큰 하나를 골라 그 유사도를 모두 더한다.
  • 비용: 문서 토큰마다 벡터를 저장하므로 저장 공간과 후보 채점 비용이 문서 길이에 비례해 늘어난다. 단일 벡터 ANN과는 색인·서빙 설계가 달라진다. 블로그는 품질이 중요한 코퍼스의 1단계 검색이나, 웹 규모 파이프라인의 후속 단계에 쓰라고 권한다.

모델 구성과 학습

항목0.6B9B
활성 파라미터텍스트 약 240M / 이미지 340M7.4B
총 파라미터594M (이미지 인코더 100M, 토큰 임베딩 테이블 254M 포함)약 8B (safetensors 기준)
기반Qwen3.5-0.8B의 텍스트 타워를 24층에서 12층으로 가지치기Qwen3.5 계열
파인튜닝전체 파인튜닝마지막 8개 층만 전체 학습, 나머지 층과 비전 인코더는 LoRA
토큰당 차원128128
  • 두 모델 모두 Qwen3.5에 양방향 어텐션을 적용한 구조다.
  • 교사 모델: 27B 백본을 같은 방법으로 가지치기해 18B 교사를 만들고 contrastive 학습했다. 이를 0.6B와 9B 학생 모델로 각각 증류했다.
  • LEAF식 표현 증류: 교사의 순위 분포를 흉내 내는 대신, 입력 토큰마다 학생 임베딩을 교사 임베딩에 맞춘다. dense 모델에서 쓰던 방법을 토큰 단위 멀티벡터로 넓힌 것이다. 두 크기가 같은 공간을 공유하는 것도 이 증류 방식 덕분이다.
  • 데이터: 46개 언어, 594개 데이터셋에서 모은 쿼리-문서 쌍 1억 8,600만 개. 원본 비율은 텍스트→텍스트 88.3%, 텍스트→이미지 8.3%, 텍스트→시각 문서 3.4%다. 데이터셋별 가중치를 줘서 실제 학습 비율은 56.5% / 30.9% / 12.6%로 맞췄다. 평가에 쓰는 벤치마크의 데이터셋은 학습에서 모두 뺐다고 밝힌다.

배포 구성 4가지

구성색인쿼리용도
최고 품질9B9B품질 우선
최고 효율0.6B0.6B완전 로컬 추론
저지연9B0.6B블로그가 예상하는 주력 프로덕션 구성
로컬–클라우드9B(클라우드)0.6B(온디바이스)로컬의 비공개 문서와 클라우드 색인 결과를 합침

비대칭 구성의 효과: 쿼리는 0.6B로 고정하고 색인만 9B로 바꾸면, 도메인 특화 72개 과제 평균이 +1.6%p 오르고 ViDoRe v3 이미지 점수는 62.3%에서 63.5%가 된다. 텍스트에서는 두 모델 사이 품질 차이의 약 절반을 쿼리 비용 증가 없이 되찾는 셈이다.

벤치마크 (Perplexity 자체 발표)

벤치마크 (지표)0.6B9B비교
도메인 특화 72과제 (nDCG@10)78.081.39B가 평가 모델 중 1위(+1.6%p). 0.6B는 gemini-embedding-2보다 0.3%p 낮음
ViDoRe v3 Markdown (nDCG@10)61.264.7외부 최고 60.6. topk-embed-v1-0.8b는 0.6B보다 4.3%p 낮음
ViDoRe v3 이미지 (nDCG@10)62.365.29B보다 높은 건 vision 전용 EVIE뿐. 0.6B는 nemotron-colembed-v2-8b와 1.2%p 차이
Q2D-Web Combined (Recall@1000)73.674.8기존 최고 69.3
BrowseComp+ (정확도, GPT-OSS-120B 에이전트)외부 모델 전부 상회64.0다음 ColBERT 모델보다 +4.9%p, 다음 dense 모델보다 +8.7%p. 검색 횟수도 더 적음
MADQA (정확도, Gemini 3.5 Flash 에이전트)90.192.4Mixedbread 리트리버 88.9. 검색 서브에이전트를 쓰는 Mixedbread Agentic Search는 93.4(신뢰구간 안)
  • Q2D-Web은 Perplexity가 만든 벤치마크다. 실제 검색 트래픽에서 에이전트가 고쳐 쓴 쿼리 약 7만 개로, 웹 문서 1억 9천만 개를 검색한다. 자체 시스템이 찾은 문서로 만든 판정(Citation·Web)은 자기 모델에 유리할 수 있다. 그래서 LLM 판정을 더한 Combined 기준을 중심으로 보고한다.
  • PPLX-Q2I(내부 이미지 검색, 쿼리 1만 개 / 이미지 10만 장): 두 모델 모두 qwen3-vl-embedding-8b보다 9%p 넘게 높다. 9B는 gemini-embedding-2보다 2%p 낮다.
  • MIRACL-Vision: 0.6B는 qwen3-vl-embed-8b보다 1%p 낮다. 9B보다 높은 모델은 gemini-embedding-2뿐이다.
  • 저장 비용: 토큰당 차원이 128이다. EVIE-4.5B는 2,048, EVIE-8B와 nemotron-colembed-v2-8b는 4,096이다. 차원이 크면 대형 코퍼스 색인이 사실상 어렵다. 실제로 PPLX-Q2I에서는 이 모델들을 평가하지 못했다.

사용법

from sentence_transformers import MultiVectorEncoder  # sentence-transformers>=6.0.0, transformers>=5.4.0
 
model = MultiVectorEncoder("perplexity-ai/pplx-embed-v2-late-0.6b", device="cuda")
q = model.encode_query(["..."])
d = model.encode_document(["..."])     # 이미지는 PIL RGB로 열어 encode_document에 전달
scores = model.similarity(q, d)          # MaxSim
  • Sentence Transformers 기본 모듈만으로 동작한다. 별도 커스텀 코드는 필요 없다.
  • 텍스트만 든 배치와 이미지만 든 배치는 따로 인코딩해야 한다. 한 배치에 섞을 수 없다.
  • PyLate는 Q/D 마커를 두 번째 위치에 넣지만, 이 모델은 첫 위치에 있어야 한다. PyLate로 쓸 때 주의한다.
  • Hugging Face에는 Inference Provider 배포가 아직 없다. Perplexity API Platform에서 late-interaction·dense·contextual 임베딩을 순차 지원할 예정이다.

평가와 한계

  • 모든 수치는 Perplexity 자체 발표다. 기술 보고서는 “올해 안”에 나올 예정이다. Q2D-Web·PPLX-Q2I는 내부 벤치마크라 외부에서 재현할 수 없다.
  • 컨텍스트 길이는 모델 카드에 나오지 않는다. 일부 2차 자료(BenchLM)는 4096 토큰으로 적고 있다. 원문으로 확인한 값은 아니다.
  • 멀티벡터는 dense보다 저장·채점 비용이 훨씬 크다. 블로그가 웹 규모에서 “후속 단계로도 쓸 수 있다”고 따로 언급하는 것도 이 비용 때문으로 보인다.
  • 한국어 성능은 따로 보고되지 않았다. 46개 언어 학습 데이터와 다국어 과제 17개가 근거의 전부다. 한국어 임베딩 리더보드에서 dense 1위였던 pplx-embed-v1-4b(2026-07-26-pytorchkr-topic-11416-ko-embedding-leaderboard)와 비교한 수치는 없다.

관련