출처

개요

Cerebras 직원들은 사내 지식 베이스 Cerebras Knowledge에 하루 15,000개 이상의 질문을 던진다. 공개 3개월 만에 가장 널리 쓰이는 내부 도구가 됐고, 사람뿐 아니라 스크립트와 에이전트도 질문을 보낸다. 이 글은 흩어진 사내 데이터를 모아 자연어로 답하는 RAG 시스템의 설계 결정을 구체적 수치와 함께 정리한 기술 해설이다.

핵심 포인트

  • 단일 진실 공급원을 포기: 정보는 만들기 가장 편한 곳(Docs·Slack·GitHub·Jira)에서 생긴다. 사람에게 기록 위치를 바꾸라고 하는 대신 시스템이 각 플랫폼에서 직접 데이터를 가져온다.
  • 하나의 임베딩 테이블: 모든 소스(Slack 스레드부터 넷리스트까지)가 같은 스키마로 단일 PostgreSQL 테이블에 들어간다. pgvector 3,072차원 + HNSW 인덱스. 검색 상태와 임베딩 저장소가 같은 DB라 증분 동기화 같은 운영이 단순해진다.
  • Slack 하이브리드 검색: 정보 밀도·길이가 제각각이라 벡터 검색만으로는 부족했다. 전문 검색(에러 문자열·플래그 이름), 임베딩(다른 표현), IDF(“좋아요 감사합니다” 같은 잡음 억제), 시간 감쇠(낡은 인프라 설명 하향)를 각자 순위로 만든 뒤 융합한다.
  • 수집과 증류: Socket Mode로 실시간 이벤트를 받고, 답글 하나가 와도 스레드 전체를 다시 가져와 한 행으로 쓴다. 원본 대화록 대신 LLM이 뽑은 “검색될 법한 한 줄 질문·요약·해결책·언급 시스템”을 임베딩했을 때 정확도가 크게 올랐다.
  • 버스팅: 스레드 요약에 묻힌 곁가지 답을 살리려고, 같은 작성자의 연속 메시지 묶음을 스레드 주제와 함께 따로 임베딩한다. 조건은 IDF 4.0 이상 희귀 토큰, 200자 이상, 리액션 1개 이상.
  • 코드: “grep이면 충분하다”는 통념에도 Cursor의 실험을 보고 임베딩을 시도했다. CocoIndex로 클래스→메서드→블록 순서의 정규식 경계로 분할하고, 변경된 청크만 다시 임베딩한다(40GB 넘는 저장소 포함).
  • 질의 처리: LLM 플래너가 도구(search, search_slack, search_code(ripgrep), subsystem_index, recent_prs, who_knows)를 고르고, 실행기가 병렬 팬아웃한 뒤 종합 LLM이 인용과 주의사항을 붙여 답한다. who_knows는 문서가 아니라 전문가를 찾아준다.
  • 재순위: RRF(w/(60+rank))로 여러 검색기 결과를 합쳐 합의를 우대하고, 파일당 결과 수를 제한해 상위 20개 → 소형 리랭커로 상위 10개 → 인접 위키 섹션을 붙여 맥락 복원.
  • MCP와 웹 UI: MCP에는 LLM에 의존하지 않는 얇은 검색 기본기를 노출해 Claude Code 같은 클라이언트가 오케스트레이션을 맡는다. 웹 UI는 플래너→실행기→종합 파이프라인을 내장한다. 프로젝트(데이터 소스 묶음)로 검색 범위를 기본 지정한다.

왜 중요한가

벡터 검색은 만능이 아니며 전문 검색·IDF·시간 감쇠 같은 고전 기법과 융합해야 실용 정확도가 나온다. 원문 대신 구조화된 증류본을 임베딩하고, 저장소와 검색 상태를 한 DB에 두고, 검색 기본기를 MCP로 얇게 노출하는 설계는 사내 검색이나 에이전트용 지식 저장소를 만들 때 그대로 가져다 쓸 만하다.

참고 링크

관련 위키

원문 보존 위치

원문 전체는 raw source: 2026-07-21-pytorchkr-topic-11329-15-000-cerebras-feat-pgvector-rrf-mcp에 source_url 및 HTML 원문과 함께 저장되어 있습니다.