개요
Langfuse는 LLM 애플리케이션 개발·운영을 위한 오픈소스 관측성 플랫폼이다. 트레이싱, 평가, 프롬프트 관리, 비용/지연시간 추적을 통합 UI로 제공한다. PentAGI 등에서 LLM 호출 분석과 디버깅용으로 통합된다.
핵심 특징
- 트레이싱: LLM 호출·체인·에이전트 실행 전체를 분산 트레이스로 기록 (OpenTelemetry 호환)
- 평가(Evals): 자동/인간 평가를 위한 데이터셋 관리, 프롬프트 A/B 테스트 지원
- 프롬프트 관리: 버전 관리, 변수 치환, 플레이그라운드 내장
- 비용·지연시간 대시보드: 모델별·프로젝트별 실시간 비용 추적, 토큰 사용량 분석
- 세션/사용자 추적: 멀티턴 대화 플로우 시각화, 사용자 여정 분석
- 셀프호스팅: Docker Compose로 배포, PostgreSQL + ClickHouse 백엔드
- 통합 SDK: Python, TypeScript/JavaScript, OpenAI/Anthropic/LangChain/LlamaIndex 래퍼 제공
아키텍처
- API/Worker: FastAPI 기반 REST API, 비동기 워커로 이벤트 처리
- ClickHouse: 시계열 분석·대용량 로그 저장 (트레이스, 스팬, 메트릭)
- PostgreSQL: 메타데이터·프롬프트·데이터셋·사용자 관리
- Redis: 캐시·레이트 리밋·세션 저장
- MinIO/S3: 아티팩트(이미지, 파일) 저장
PentAGI에서의 활용
PentAGI는 LANGFUSE_* 환경 변수 설정 시 자동 연동된다. 모든 LLM 호출(프로바이더 불문), 에이전트 단계, 툴 실행이 Langfuse로 전송되어 트레이스된다. langfuse-network Docker 네트워크로 격리 배포.
주요 메트릭
- Trace: 전체 실행 단위 (플로우, 대화 세션)
- Span: 개별 LLM 호출, 툴 실행, 체인 스텝
- Generation: 모델 호출 세부 정보 (입력/출력, 토큰, 비용, 지연시간)
- Score: 자동/수동 평가 점수 (정확도, 관련성, 안전성 등)
관련 페이지
- pentagi — PentAGI에서 LLM 관측성 스택으로 사용
- OpenTelemetry — 트레이싱 표준
- ClickHouse — 분석 DB 백엔드
- PostgreSQL — 메타데이터 저장소
- Redis — 캐시·레이트 리밋
출처
- GitHub: langfuse/langfuse
- 문서: langfuse.com/docs
- 클라우드: cloud.langfuse.com