LLM Wiki

TorchSpec: 추측 디코딩 초안 모델을 대규모로 학습하는 파이토치 네이티브 프레임워크

Properties2
descriptionTorchSpec은 추측 디코딩(speculative decoding)에 쓰이는 초안 모델(draft model)을 대규모로 학습하기 위한 PyTorch 네이티브 프레임워크다.
tagsai-models, research

5 min read

출처

개요

TorchSpec은 추측 디코딩(speculative decoding)에 쓰이는 초안 모델(draft model)을 대규모로 학습하기 위한 PyTorch 네이티브 프레임워크다. 추측 디코딩은 작은 초안 모델이 여러 토큰을 먼저 제안하고, 큰 대상 모델이 이를 한 번의 순전파로 검증해 LLM 생성 속도를 높이는 방식이다. TorchSpec은 초안 모델 학습에서 병목이 되는 대상 모델의 은닉 상태(hidden states) 전송 문제를 해결하기 위해 추론 시스템과 학습 시스템을 분리한다. 은닉 상태를 디스크에 저장하지 않고 Mooncake 스토어를 통해 RDMA 또는 TCP로 학습 워커에 스트리밍하는 구조를 사용한다. 이를 통해 긴 컨텍스트와 대형 모델 환경에서도 초안 모델 학습을 확장 가능하게 만드는 것이 목표다.

핵심 포인트

  • TorchSpec은 추측 디코딩용 초안 모델을 학습하는 PyTorch 네이티브 프레임워크다.
  • 기존 방식은 추론과 학습을 같은 GPU에 올리는 코로케이션 방식, 또는 은닉 상태를 미리 계산해 디스크에 저장하는 오프라인 방식이었는데, 각각 GPU 메모리·확장성 문제와 저장·I/O 병목이 있었다.
  • TorchSpec은 추론 엔진 그룹과 학습 그룹을 분리하고, 두 그룹 사이에서 은닉 상태를 Mooncake 기반 스토어로 직접 스트리밍한다.
  • Mooncake는 RDMA/TCP, GPU Direct RDMA, pinned memory, zero-copy 전송을 활용해 대용량 은닉 상태 이동에 적합한 전송 계층으로 사용된다.
  • TorchSpec 팀은 Kimi K2.5용 EAGLE-3 초안 모델을 60만 개 학습 샘플, 60억 토큰 규모로 학습했으며, lookahead 3 조건에서 배치 크기 1 기준 출력 처리량이 60% 이상 향상됐다고 소개했다.
  • 긴 컨텍스트 학습에서도 분리형 구조의 이점이 나타나며, lookahead 4 조건에서 H100 한 장은 최대 44K 토큰, B200 한 장은 최대 200K 토큰 길이의 입력 시퀀스를 학습할 수 있다고 설명한다.
  • 지원 백엔드는 vLLM, TensorRT-LLM, SGLang, HuggingFace Transformers 등이 있으며, TokenSpeed 지원도 진행 중이다.

왜 중요한지

TorchSpec이 다루는 문제는 추측 디코딩 자체보다 “초안 모델을 실제 대규모 모델과 긴 컨텍스트 환경에서 어떻게 학습할 것인가”에 가깝다. 초안 모델 학습에는 대상 모델의 은닉 상태가 필요하지만, 대형 모델과 긴 컨텍스트에서는 은닉 상태의 크기가 매우 커져 GPU 메모리, 스토리지, 분산 파일 시스템 I/O가 병목이 된다. TorchSpec은 은닉 상태를 디스크에 내리지 않고 추론 리소스에서 학습 리소스로 직접 흘려보내는 방식으로 이 병목을 줄이려 한다. 이 접근은 초안 모델 학습을 대상 모델 서빙 환경과 더 가깝게 맞추면서도, 추론 자원과 학습 자원을 독립적으로 확장할 수 있게 한다는 점에서 대규모 LLM 추론 최적화 연구와 운영에 의미가 있다.

후속으로 볼 링크 / 키워드

링크

키워드

  • TorchSpec
  • speculative decoding
  • draft model
  • EAGLE-3
  • hidden states streaming
  • disaggregated training architecture
  • Mooncake
  • RDMA
  • GPU Direct RDMA
  • vLLM
  • TensorRT-LLM
  • SGLang
  • Kimi K2.5
  • long-context training

원문 보존 위치

원문 전체는 raw source: web-2026-07-08-pytorchkr-topic-11124-torchspec-speculative-decoding-draft-training에 source_url 및 HTML 원문과 함께 저장되어 있습니다.

백링크