개요

Langfuse는 LLM 애플리케이션 개발·운영을 위한 오픈소스 관측성 플랫폼이다. 트레이싱, 평가, 프롬프트 관리, 비용/지연시간 추적을 통합 UI로 제공한다. PentAGI 등에서 LLM 호출 분석과 디버깅용으로 통합된다.

핵심 특징

  • 트레이싱: LLM 호출·체인·에이전트 실행 전체를 분산 트레이스로 기록 (OpenTelemetry 호환)
  • 평가(Evals): 자동/인간 평가를 위한 데이터셋 관리, 프롬프트 A/B 테스트 지원
  • 프롬프트 관리: 버전 관리, 변수 치환, 플레이그라운드 내장
  • 비용·지연시간 대시보드: 모델별·프로젝트별 실시간 비용 추적, 토큰 사용량 분석
  • 세션/사용자 추적: 멀티턴 대화 플로우 시각화, 사용자 여정 분석
  • 셀프호스팅: Docker Compose로 배포, PostgreSQL + ClickHouse 백엔드
  • 통합 SDK: Python, TypeScript/JavaScript, OpenAI/Anthropic/LangChain/LlamaIndex 래퍼 제공

아키텍처

  • API/Worker: FastAPI 기반 REST API, 비동기 워커로 이벤트 처리
  • ClickHouse: 시계열 분석·대용량 로그 저장 (트레이스, 스팬, 메트릭)
  • PostgreSQL: 메타데이터·프롬프트·데이터셋·사용자 관리
  • Redis: 캐시·레이트 리밋·세션 저장
  • MinIO/S3: 아티팩트(이미지, 파일) 저장

PentAGI에서의 활용

PentAGI는 LANGFUSE_* 환경 변수 설정 시 자동 연동된다. 모든 LLM 호출(프로바이더 불문), 에이전트 단계, 툴 실행이 Langfuse로 전송되어 트레이스된다. langfuse-network Docker 네트워크로 격리 배포.

주요 메트릭

  • Trace: 전체 실행 단위 (플로우, 대화 세션)
  • Span: 개별 LLM 호출, 툴 실행, 체인 스텝
  • Generation: 모델 호출 세부 정보 (입력/출력, 토큰, 비용, 지연시간)
  • Score: 자동/수동 평가 점수 (정확도, 관련성, 안전성 등)

관련 페이지

  • pentagi — PentAGI에서 LLM 관측성 스택으로 사용
  • OpenTelemetry — 트레이싱 표준
  • ClickHouse — 분석 DB 백엔드
  • PostgreSQL — 메타데이터 저장소
  • Redis — 캐시·레이트 리밋

출처