원문: StayLameBro/backburner (MIT) · 계기는 @mylifcc의 X 게시물, 2026-10-25 @nangman_muk의 Threads 재소개 · 수집일: 2026-10-13

핵심 요지

10 Gb/s USB-C 케이블로 iPhone을 MacBook에 연결하면, iPhone이 Mac 로컬 LLM 추론의 “보조 가속기” 역할을 한다는 프로젝트다. 작동 방식은 두 가지다.

  • prefill 분담: 모델 64개 레이어 중 1–40은 Mac, 41–64는 iPhone GPU가 파이프라인으로 처리한다. 512토큰 넘는 파일·툴 결과를 읽을 때 16k–48k 컨텍스트에서 prefill이 29–44% 빨라진다.
  • 컨텍스트 확장: 24GB Mac이 8비트 KV로 64k 토큰까지 담고, 그보다 오래된 부분은 iPhone이 들고 어텐션을 계산한다. iPhone 17 Pro Max에서 8비트 기준 약 196k–229k 토큰까지 잡히고 128k(8비트)·140k(4비트)까지 끝까지 검증했다고 한다.

그리고 폰을 붙여도 greedy 출력은 토큰 단위로 동일하다고 주장한다(8k·32k에서 256/256, 140k에서 32/32).

수집 범위

  • 저장한 X 게시물 2건(@mylifcc, 2026-10-04)과 저장소 README, GitHub 메타데이터(별 991, 2026-10-01 생성).
  • 성능 수치는 README 자체 측정(M4 Pro 24GB + iPhone 17 Pro Max, Qwen3.8-27B IQ4_XS)이며 독립 검증은 확인하지 못했다. 그래서 confidence: medium이다.

해석과 적용 메모

  • 엔진은 llama.cpp 포크이고 SME2·Metal 융합·DFlash2 speculative decoding 커널을 직접 넣었다. 이 커널은 Mac 단독에서도 속도가 오른다고 하니, 폰 없이도 얻는 이득과 폰 덕분에 얻는 이득을 분리해서 읽어야 한다.
  • 이득은 “읽는” 구간(prefill)과 긴 컨텍스트에 집중된다. 코딩 에이전트처럼 큰 파일·툴 결과를 계속 읽는 워크로드에 맞는 설계다.
  • 트윗 댓글에서는 놀고 있는 M4 iPad Pro도 쓸 수 있느냐는 반응이 나왔고, README 로드맵도 모든 기기를 묶는 쪽을 가리킨다.
  • 다른 기기를 연결해 로컬 추론을 넓히는 시도로는 2026-03-24-iphone-400b-llm(iPhone 단독 대형 모델)과 Apple Silicon 로컬 엔진 2026-05-12-rapid-mlx-apple-silicon-local-ai-engine이 있다. iPhone을 도구로 쓰는 반대 방향은 2026-10-10-github-zhongerxin-iphone-use에 있다.

누락·접근 제한

  • 첫 번째 트윗(103 답글)의 영상 첨부와 원 Reddit 게시글은 확인하지 못했다.
  • 위 수치 재현 테스트는 하지 않았다.

2026-10-25 Threads 재소개

@nangman_muk이 한국어로 다시 소개했다. 수치는 README와 같고(레이어 140 Mac·4164 iPhone, 16k48k prefill 2944% 향상, 컨텍스트 약 19.6만~22.9만 토큰), 새로 더한 사실은 없다. 작성자도 직접 돌려 보지 않았다고 밝혔다. 덧붙인 건 실용 정보다. 설치는 Mac 터미널 한 줄 스크립트이고, 10Gb/s USB-C 케이블이 필요하며, 이득은 주로 약 512토큰보다 긴 입력을 읽는 단계에 있다.

gh api로 다시 보니(2026-10-25) 별 1,109개로 10-13의 991개에서 늘었고, 마지막 push는 2026-10-13이라 이 노트가 정리한 README 이후 바뀐 내용은 없다.

관련 노트