LLM Wiki

NVIDIA, RTEB 1위 오픈 임베딩 모델 Nemotron 3 Embed 공개 (feat. RAG, 에이전트 검색)

Properties2
descriptionNVIDIA의 완전 공개 임베딩 모델 컬렉션 Nemotron 3 Embed(8B/1B/NVFP4)가 RTEB 다국어 리더보드 1위를 기록, 검색 정확도가 에이전트 토큰 비용까지 낮춘다는 근거를 제시.
tagsai-models, open-source, research

6 min read

출처

개요

RAG나 다단계 에이전트 워크플로에서 답변 품질을 실제로 좌우하는 건 LLM 자체보다 “관련 문서를 얼마나 정확히 찾아오는가”다. NVIDIA가 공개한 Nemotron 3 Embed는 이 검색 품질을 끌어올리면서 지연시간·비용·처리량 같은 배포 현실까지 고려한 오픈 임베딩 모델 컬렉션이다. 플래그십 8B 모델이 RTEB(Retrieval Embedding Benchmark) 다국어 리더보드 1위를 기록했고, 가중치·학습 데이터·학습 레시피가 모두 공개되어 자체 인프라에서 검사·미세조정할 수 있다. 한국어 포함 34개 언어와 코드 검색을 지원.

핵심 포인트

  • 세 모델, 하나의 스펙트럼: 8B(4096차원, 고신뢰 엔터프라이즈 RAG용 플래그십) · 1B-BF16(2048차원, 지연시간·비용에 민감한 프로덕션 서빙용) · 1B-NVFP4(Blackwell 최적화 하드웨어 가속 변형). 모두 32k 토큰 컨텍스트, 평균 풀링, query:/passage: 프리픽스를 공유하며 동적 임베딩 크기(차원을 잘라 쓰고 L2 정규화)를 지원해 저장 비용을 조절할 수 있음.
  • RTEB 1위 + 세대 간 오류율 27~28% 감소: 8B는 RTEB 78.46%, MMTEB 검색 75.45%. 1B는 RTEB 72.38%, MMTEB 검색 71.04%로 직전 세대 1B(llama-nemotron-embed-vl-1b-v2) 대비 오류율을 27~28% 줄임 — 같은 크기에서 세대만 바뀌어도 품질 손실을 최소화.
  • 검색 정확도가 에이전트 토큰 비용을 낮춘다: Nemotron 3 Ultra 기반 검색 에이전트에서 임베딩 모델만 바꿔 평가한 결과, ViDoRe V3·BRIGHT·BrowseComp-Plus 전반에서 8B 모델이 가장 높은 검색 정확도와 가장 낮은 다운스트림 토큰 비용을 동시에 달성. “정확도를 높이면 비용이 오른다”는 통상 트레이드오프가 아니라, 정확한 검색이 반복 검색·불필요한 추론 턴을 줄여 전체 실행 비용을 낮추는 방향으로 작동.
  • NVFP4로 Blackwell 처리량 2배: 선형 계층을 4비트 NVFP4로 양자화하고 양자화 인식 증류(QAD)로 긴 시퀀스 정확도를 복원 — Blackwell에서 BF16 대비 최대 2배 처리량, BF16 검색 정확도의 99% 이상 유지. Rust 기반 NVIDIA NIM 마이크로서비스가 GB200·RTX PRO 6000에서 vLLM 체크포인트와 동등 이상의 서빙 성능.
  • 가지치기·증류로 만든 효율: 8B는 Ministral-3-8B 백본의 인과적 디코더를 양방향 인코더로 변환 후 대조학습·다국어 미세조정. 1B는 Ministral-3-3B → 3B 검색기 베이스 → NVIDIA ModelOpt(mcore_minitron NAS)로 3B→2B 가지치기+8B 교사 증류 → 같은 절차 반복해 2B→1.14B로 압축. 마지막은 1024토큰 정렬 후 4096토큰으로 확장하는 2단계 학습.
  • 도메인 미세조정 효과 실증: 공개 합성 데이터셋 Retrieval-Synthetic-NVDocs-v1으로 1B를 미세조정하자 NV Docs 평가에서 NDCG@10 56.7%→63.3%(+11.6%), Recall@5 56.1%→62.8%(+11.9%) 향상.
  • 라이선스: OpenMDW License 1.1 — 가중치·소프트웨어·문서·학습 데이터 전체를 하나의 단위로 다루는 허용적 라이선스로 로열티 없는 상업적 이용 가능.
  • 업계 초기 검증: Mem0는 LongMemEval Retrieval@10에서 Qwen-3-0.6B(78.71%) 대비 1B 모델이 80.38%로 앞섰다고 보고. Zep은 내부 벤치마크에서 훨씬 큰 모델을 포함한 후보군 중 1B가 모든 메모리 검색 태스크 1위를 차지했다고 평가. turbopuffer·You.com도 통합, Automation Anywhere·Boomi·IBM·Palantir·ServiceNow·Zoom 등이 평가 중.
  • 무료 체험 경로 2곳: NVIDIA build.nvidia.com 호스팅 NIM 프리뷰, OpenRouter nvidia/nemotron-3-embed-1b:free. 단 OpenRouter 무료 엔드포인트는 “프롬프트를 학습에 사용·보관할 수 있다”는 경고가 붙어 있어 민감 데이터는 자체 호스팅 권장.

왜 중요한가

“검색 정확도 개선이 에이전트 전체 실행 비용을 낮춘다”는 실측 데이터는 RAG/에이전트 스택을 설계할 때 임베딩 모델 선택이 LLM 선택 못지않게 비용에 직결된다는 근거가 된다. 완전 공개(가중치+데이터+레시피)와 벤치마크 1위, 배포 유연성(8B/1B/NVFP4)을 동시에 갖춘 점도 Qwen3-Embedding·EmbeddingGemma 등과의 경쟁에서 눈여겨볼 지점.

참고 링크

관련 위키

백링크