원문: interfaze-ai/lev (Hugging Face) · 수집일: 2026-09-27 · 공개일 2026-09-24 · Apache-2.0 · Downloads 197→612(월간, 10-02 재확인) · Likes 78→105 · 최종 수정 2026-10-02 · GitHub · 블로그

개요

lev는 Interfaze가 공개한 Qwen3.5-4B 기반 LoRA 어댑터로, 텍스트·티켓·이메일·JSON 같은 “state”와 yes/no·선택·점수 형태의 “질문”을 함께 주면, 이미 계산된 로짓에서 답을 읽어 보정된(calibrated) 확률을 한 번의 forward pass로 반환한다. 생성 토큰이 0개이므로 JSON 파싱이나 재시도가 필요 없고, 답이 항상 미리 지정한 옵션 집합 안에서만 나온다(정답을 보장하지는 않지만 형식은 구조적으로 보장). TypeSafe의 /v1/systemone 프로토콜을 그대로 구사해, TypeSafe SDK로 작성된 코드가 base URL만 바꾸면 lev 서버에서도 동작한다 — jev-ultrafast 등 기존 위키의 TypeSafe/Jev 생태계와 같은 계열의 오픈소스 대안이다.

용도: 라우팅, 콘텐츠 모더레이션, 의도 분류, 트리아지, 채점, LLM 출력 검증 등 제품 내부의 고빈도 판단 작업.

세 가지 질문 타입

타입입력출력
noulyes/no 질문p(yes)
choice지시문 + 옵션(이름→설명 또는 null)choice, probabilities, confidence
score지시문 + 2~10단계 순서형 레벨score(기대값), probabilities, confidence

설치는 pip install "lev[serve] @ git+https://github.com/Abhinavexists/lev#subdirectory=packages/lev"(Python 3.12+, 첫 로드 때 베이스 약 8GB + 어댑터 약 200MB 다운로드). lev.load("interfaze-ai/lev").system_one(state, questions)로 호출하고, lev serve로 /v1/systemone 서버를 띄우면 typesafe_sdk의 TypeSafeClient를 base URL만 바꿔 그대로 쓸 수 있다(첫 요청은 커널 컴파일 때문에 타임아웃을 10초보다 길게 잡아야 한다). 보정된 확률이므로 0.9 이상은 자동 처리, 미만은 사람에게 넘기는 식의 게이팅이 가능하다.

한 요청 안의 여러 질문은 하나의 배치 forward pass를 공유하므로, 질문 3개를 물어도 1개를 묻는 것과 비용이 거의 같다.

벤치마크 — S1Bench (13개 subset macro accuracy)

비교 대상macro accuracy
lev (4B, LoRA)0.689
TypeSafe Jev (자체 비교 대상)0.761

헤드라인 주장은 “13개 subset 전부에서 68.9%“이며, 공개 S1Bench 보드가 완료한 6개 subset 기준으로는 reflex-4b와 대등하고 Jev 및 26B~35B 오픈 모델 3종에만 뒤진다고 한다(자체 주장). 같은 하네스로 S1Bench 3,880개 항목 전체를 측정(Nimble 매니페스트 고정). subset별로는 multinli·helpsteer2에서 lev가 근소 우위(노이즈 범위 내), summeval-consistency(−54.1p; lev가 완전히 충실한 요약도 한 단계 낮게 채점하며, 이는 파인튜닝이 만든 문제로 튜닝 전 백본은 0.826)·paws(−12.4p)·vitaminc(−13.3p)에서 Jev가 크게 앞선다. civil_comments(89%가 비독성)와 5단계 채점 3개 subset(helpsteer2·summeval 2종)에서는 최빈 라벨 상수 예측이 두 모델을 모두 이긴다. 보정 오차(mean ECE)는 lev 0.115, Jev 0.091로 Jev가 약간 더 우수하나 13개 중 5개 subset에서는 lev가 더 잘 보정되어 있다.

Held-out split(학습 소스 29개, 행 중복 없음)에서는 banking77 0.980, clinc_oos 0.968, FEVER 0.872, 가중 정확도 0.807(ECE 0.061, 보정 전 0.180)을 기록. 다만 FEVER 등 별표 항목은 마지막 서빙 업데이트 이전 체크포인트 기준이고, banking77·clinc_oos만 업데이트 후 수치다(옵션 68개 초과 choice를 label-token readout으로 라우팅해 banking77 0.818→0.980).

속도

질문 개수와 무관하게 배치 1회 forward pass로 처리되어 8개 질문도 1개와 컴퓨트가 거의 동일. 3문장 state 기준 H100 엔진 컴퓨트 69ms. 다만 종단(end-to-end) 지연은 lev가 Modal H100에서 414654ms로, Jev 호스티드 API의 335346ms(median)보다 느리다 — 엔진 자체는 빠르지만 서빙 인프라 차이가 체감 지연을 좌우한다.

동작 원리

  • Label-token readout: 각 옵션에 1토큰짜리 코드를 부여하고 다음-토큰 로짓에서 답을 읽는다. 2토큰으로 쪼개지는 코드는 건너뛰어 수백 개 옵션까지 대응하고, 두 가지 옵션 순서로 읽어 평균 내 위치 편향을 상쇄한다.
  • Candidate-path head: 토큰 코드 한계를 넘는 옵션 수에 대해서는 별도 학습된 head가 state와 각 옵션 텍스트를 매칭한다.
  • Calibration: 학습 후 질문 타입·readout 모드·옵션 수 구간별로 온도를 적합시켜, held-out 태스크 패밀리로의 전이 성능 기준으로 선택했다.

성능 최적화 (저장소 ADR)

  • 배치 forward 1회로 prefill-and-fork를 대체: 169→69ms(커널 런치 병목이라 캐시 포크가 오히려 느렸다).
  • 60개 옵션도 learned head 대신 label code로 서빙: MASSIVE 60 intent 0.231→0.746.
  • 백본 자체 chat template 형식으로 학습: 동결 상태 기준 0.653→0.710.

호스티드 대안 — Interfaze

같은 회사의 Interfaze API도 라벨 집합에서 답을 읽는 유사 방식이지만 토큰 기반 하이브리드다. lev는 확률만 반환(출력 토큰 0, yes/no·choice·score만, 내 GPU)하고, Interfaze는 임의 JSON 스키마(enum 라벨 포함)를 구조화 출력으로 돌려주며 같은 요청에서 OCR·웹 검색·전사·추출도 처리한다(Interfaze API). 분류만 필요하면 lev, 분류와 읽기·검색을 한 번에 하려면 Interfaze라는 구분이다.

학습

29개 소스·26개 공개 HF 데이터셋에서 뽑은 20만 개 예제로 학습(의도 분류, NLI, 패러프레이즈, 객관식 QA, 독성/안전, 유용성 등). S1Bench의 13개 subset과 겹치는 소스는 데이터 빌드 단계에서 자동 거부. LoRA r=32, α=64(attention q/k/v/o + MLP), 3 epoch·18,750 step·batch 32·lr 5e-5, H100 1장에서 7.8시간 학습.

한계

  • 한 단어/숫자만 바뀌는 미세 편집 구분과 5단계 세분화 채점에 가장 약하고, 이 지점에서 확신에 찬 오답을 낼 수 있다.
  • 보정은 학습 분포 기준으로 적합되어 있어, 크게 다른 태스크에 확률을 그대로 게이팅하기 전에 자체 데이터로 검증이 필요하다.
  • 한 요청 내 질문들은 서로 독립적으로 답해지며(조건부 아님), 영어 전용, 실시간 사용에는 GPU가 필요하다(CPU는 호출당 수 초).

라이선스·주의

어댑터 자체는 Apache-2.0(베이스 모델과 동일)이지만, 학습에 쓰인 일부 데이터셋은 비상업적 라이선스를 포함한 자체 조건을 가지므로 상업적 사용 전 검토가 필요하다. TypeSafe AI와 제휴·보증 관계 없음을 명시.

관련 노트

  • jev-ultrafast — TypeSafe Jev 기반 브라우저 에이전트 (같은 프로토콜 생태계)
  • qwen — 베이스 모델 Qwen3.5-4B의 상위 엔티티
  • laya-mlx — 같은 Jev 대체 축의 온디바이스 대안: GPU 서버형 4B LoRA(lev) vs Apple Silicon 온디바이스 322~421M 포트(laya-mlx)
  • Ollaya — winnow·laya·kev·decider 등 8개 결정 모델을 TypeSafe 호환 API로 묶어 로컬 배포하는 Ollama 격 런타임 (lev는 여기 포함되지 않은 별도 4B LoRA 구현)
  • pplx-decider-v1-27b — 같은 Jev 스타일 결정 모델의 대형(27B 전체 파인튜닝) 오픈 가중치 대안: 4B LoRA(lev)와 규모·자체 벤치마크 대비
  • moc-ai-models — AI 모델 MOC
  • 공개 발표: @interfaze_ai X 게시물 (2026-09-26 01:32) — “Jev, now open source: Lev. Qwen 백본 기반 4B 오픈소스 System One 모델”