LiteLLM과 유사한 경량 AI 게이트웨이. Go 단일 바이너리로 가볍고 빠른 콜드스타트.
핵심 개요
| 항목 | 값 |
|---|---|
| 언어 | Go |
| 라이선스 | MIT |
| 프로바이더 수 | 11개 |
| 스토리지 | SQLite, PostgreSQL, MongoDB |
| Points | 5 |
지원 프로바이더
OpenAI, Anthropic, Gemini, Groq, xAI 등 11개 프로바이더를 단일 OpenAI 호환 API로 통합.
주요 기능
API 지원
/v1/chat/completions(스트리밍)/v1/responses/v1/embeddings/v1/models/v1/files/v1/batches- 네이티브 API 패스스루:
/p/{provider}/...
2계층 응답 캐시
- Layer 1: 요청 본문 해시 기반 정확 매칭 캐시 (서브밀리초 조회)
- Layer 2: 임베딩 벡터 KNN 검색 기반 시맨틱 캐시 (60~70% 적중률)
벡터 백엔드
Qdrant, pgvector, Pinecone, Weaviate 지원
운영 기능
- 관리 대시보드 UI (토큰 사용량, 비용 추적, 감사 로그)
- Prometheus 메트릭
- 감사 로깅
- 가드레일 파이프라인
GOMODEL_MASTER_KEYAPI 인증- 동일 프로바이더 복수 인스턴스 지원
설치
docker run -e OPENAI_API_KEY=sk-... ghcr.io/enterpilot/gomodel로드맵 (0.2.0)
- 인텔리전트 라우팅
- DeepSeek V3, Cohere 추가
- user_path별 예산 관리
- 클러스터 모드
관련 도구
- ollama - 로컬 LLM 추론 엔진
- 2026-03-22-github-trending-vllm-project-vllm-omni - vLLM Omni 프로젝트
- moc-ai-models — AI Models MOC
- moc-dev-tools — Dev Tools MOC
출처
- 원본: github.com/ENTERPILOT/GoModel
- GeekNews: https://news.hada.io/topic?id=29021