객체 스토리지 기반 검색 엔진 turbopuffer는 지금까지 모든 문서·인덱스를 ANN 벡터 주소 아래 두었다. v3는 이 “벡터가 primary” 구조를 폐기하고 ANN을 여러 보조 인덱스 중 하나로 격하해, 전문 검색·정규식·집계 같은 비벡터 쿼리를 최신 쿼리 엔진 수준으로 끌어올린다. 게시일은 2026-09-30, 저자는 Dan Harrison이다.
왜 바꾸나
v1(벡터 + ID만 저장)부터 v2(속성 필터·BM25 전문 검색)까지 모든 기능이 같은 레이아웃 위에 쌓였다. 핵심 키가 ANN address(ClusterId + 클러스터 내 LocalId)라서 문서 본문, 속성 역색인, FTS posting이 전부 벡터 클러스터에 묶여 있다. ANN 검색에는 이 구조가 매우 잘 맞아 단일 인덱스 100B+ 벡터를 1k+ QPS, p99 200ms로 서빙한다고 하지만(자체 주장), 비벡터 쿼리에는 세 가지 비용이 생긴다.
| 문제 | 원인 | 결과 |
|---|---|---|
| 저장 증폭 | 문서 전체를 벡터의 ANN address 아래 저장 | 멀티 벡터(late interaction 등)에서 벡터마다 내용 중복, 벡터 컬럼 수 제한의 원인 |
| 쓰기 증폭 | SPFresh 리밸런싱이 문서 본문과 참조 역색인까지 함께 이동 | 벡터 하나 갱신이 수백 속성·인덱스를 이동, 인덱싱 처리량 튜닝이 한계 |
| 제한된 벡터화 | ANN 클러스터 크기(약 100~200문서)가 모든 쿼리 플랜의 블록 크기를 결정 | SIMD에 유리한 수천 문서 블록을 못 씀 |
벡터화 한계의 증거로 FTS를 든다. 초기 FTS는 posting을 ANN 클러스터 경계로 나눠 중앙값 블록이 약 1.5 posting에 불과했다. FTS v2가 posting을 약 256개 고정 블록으로 재구성하자 인덱스가 10배 작아지고 쿼리가 최대 20배 빨라졌다. 반면 집계·스캔은 문서를 클러스터당 한 블록으로 읽어서 여전히 클러스터 크기에 묶여 있다.
v3의 방향
- “ANN address를 키로 쓰지 않는다”가 변경의 전부이며, 새 primary index를 두고 ANN을 보조 인덱스로 만든다.
- 목표는 텍스트·정규식·벡터 검색 전반의 속도 향상과 더 많은 SQL 쿼리(
GROUP BY등)를 turbopuffer에서 빠르게 처리하는 것이다. - 현재 상태: 2026-09 초 v3가 CI 100% 통과(정확성 기준). 성능 동등 이상 확인 전에는 프로덕션에 내보내지 않으며, 벤치마크는 앞으로 몇 주에 걸쳐 공개한다고 한다.
배경 지식
- v1 인덱스는 그래프 기반(HNSW류) 대신 객체 스토리지에 유리한 계층적 클러스터링을 택해 SPANN으로 시작하고, 증분 인덱싱을 위해 SPFresh로 옮겼다.
- 초기 고객으로 cursor와 Notion, 비검색 용도 사례로 Linear 동기화 엔진을 든다.
- 회사 소개의 1T+ 문서, 10M+ writes/s, 25k+ queries/s는 자체 수치다.
추가 언급 (Threads)
@effidev.dev가 2026-10-02 Threads에서 “벡터 DB는 죽었다는 글이 벡터 DB 회사 블로그에 올라왔다”며 소개했다(네 글 중 첫 글만 수집). 죽은 것은 DB가 아니라 “벡터 인덱스 하나가 모든 걸 쥐고 있던 구조”라는 요약은 본문 해석과 같다.
읽을 때 주의
- 아직 성능 수치가 없는 로드맵 글이다. v3가 현 구조보다 빠르다는 근거는 FTS v2 사례(구조 변경이 효과적이었다는 간접 증거)뿐이고, ANN 성능 회귀 여부는 앞으로 공개될 벤치마크에서 확인해야 한다.
- 제목의 “RIP, vector database”는 벡터 검색을 버린다는 뜻이 아니라 벡터 인덱스가 저장 구조의 중심에서 내려온다는 의미다. 벡터 DB가 범용 검색 엔진으로 흡수되는 흐름의 한 사례다.
- GeekNews 데일리 다이제스트에도 같은 글이 요약돼 있다: 2026-10-03-geeknews-digest.
- 객체 스토리지 위 불변 파일로 검색을 서빙하는 비슷한 계열로 LambdaDB가 있다.
- GeekNews 단독 토픽: 벡터 데이터베이스여, 안녕 (2026-10-02 03:52 게시). 요약은 본문과 같고, FTS v2 개편 효과를 “인덱스 1/10, 쿼리 최대 20배”로 정리한다.