LLM Wiki

M4 Pro Mac mini로 구축한 로컬 LLM 환경

Properties2
description48GB M4 Pro Mac mini를 로컬 LLM 서버로 삼아 모델·클라이언트·사설망을 구성한 Hada 사례 요약.
tagsai-models, ai-agents, macos, apple-silicon, privacy

8 min read

개요

GeekNews(Hada) topic 33182는 lws.io의 “M4 Pro Mac mini로 구축한 로컬 LLM 환경” 글을 GN+ 형식으로 소개한다. 페이지 metadata와 first-party Atom entry는 제목·작성자 neo·게시 시각 2026-09-03T13:33:02+09:00을 동일하게 보고한다.[1][2]

이 노트는 Hada topic의 본문과 metadata만 보존·요약한다. 페이지가 연결한 lws.io 원문은 별도 fetch하지 않았으므로, 아래 수치와 운영 결과는 Hada가 전달한 source-reported 주장으로 읽어야 한다.[1]

서버·모델·클라이언트 구성

  • 사례의 중심 장비는 48GB 통합 메모리를 가진 M4 Pro Mac mini이며, 로컬 LLM 서버와 Hermes 에이전트 백엔드를 함께 실행한다.[1]
  • 추론과 깊은 작업에는 Qwen3.6-35B-A3B-OptiQ-4bit, 간단한 대화·서식·반복 작업에는 Gemma-4-E4B-it-OptiQ-4bit를 사용한다.[1]
  • oMLX가 추론 서버를 맡고, Tailscale이 Mac mini·MacBook·iPhone을 하나의 tailnet으로 연결한다.[1]
  • MacBook의 Hermes 데스크톱 앱과 iPhone의 Telegram이 같은 백엔드·대화 기록·기술 집합에 접근하며, iOS의 Apollo·macOS의 Raycast·코딩용 Pi를 작업별 클라이언트로 나눈다.[1]

로컬 실행을 선택한 이유

  • 글은 클라우드 API를 가격·사용량 제한·제공 모델이 바뀔 수 있는 임대 환경으로 묘사하고, 두 개의 월 200달러 구독 한도를 정기적으로 소진한 경험을 선택 배경으로 든다.[1]
  • 민감한 코드·고객 데이터·독점 workflow를 제3자 API로 보낼 때의 운영 보안 위험을 지적한다.[1]
  • 글이 제시하는 로컬 실행의 이점은 하드웨어·전기료 중심의 비용 예측, 네트워크 왕복 감소, 오프라인 실행, API 사용량 제한의 부재다.[1]
  • 이 사례의 “민감한 데이터가 외부 endpoint로 나가지 않는다”는 설명은 특정 배포 구성에 대한 주장이지, 로컬 모델·Tailscale만으로 보장되는 보안 감사 결과는 아니다.[1]

메모리 적합성과 모델 구조

  • Hada 본문은 Qwen 모델을 35B 전체 parameter와 token당 약 3B 활성 parameter를 갖는 MoE로 설명하며, 4비트 모델이 48GB Mac mini에서 약 20GB RAM을 차지한다고 보고한다.[1]
  • Gemma-4-E4B는 약 2.4GB, 16GB MacBook에서 4비트 27B dense 모델은 약 14GB를 요구해 macOS와 context/KV cache 여유가 부족할 수 있다고 설명한다.[1]
  • 글의 하드웨어 판단 절차는 양자화 파일 크기, macOS 사용량 68GB, context/KV cache, MoE의 전체·활성 parameter를 함께 확인하고, 총 사용량에 1015% 여유를 두라는 것이다.[1]
  • 이 수치들은 모델 파일·context 길이·동시성·측정 환경이 고정된 재현 benchmark가 아니라, 해당 사례가 제시한 대략값이다.[1]

성능과 운영 결과

  • 글은 Qwen의 평균 prompt 처리량을 325 tok/s, token 생성 속도를 34 tok/s로 보고하며, M4 Pro 메모리 대역폭을 273GB/s로 제시한다.[1]
  • OptiQ 4비트 35B-A3B가 BF16 대비 대부분의 benchmark에서 약 1~2점 낮고, 메모리 사용량을 약 70GB에서 48GB 이내로 줄였다는 주장도 포함한다.[1]
  • 저자는 GPT-5나 Claude Opus가 필요하지 않은 요청의 약 80%를 로컬 모델로 처리하고, 고성능 API 모델은 필요한 경우에만 병행한다고 설명한다.[1]
  • 이 노트에서는 325 tok/s·34 tok/s·80% 비율·“안정적 실행”을 독립 재현하지 않았다. Hada 페이지에는 해당 benchmark의 prompt, context 길이, workload, 측정 harness가 제시되어 있지 않다.[1]

교체·네트워크·KV cache

  • 모델 교체 절차는 ~/models/에 새 모델을 내려받고, oMLX가 발견하도록 한 뒤 앱 또는 서버를 재시작하고 각 클라이언트의 모델을 바꾸는 방식이다.[1]
  • oMLX의 관리 dashboard와 CLI, SSH를 통한 원격 관리가 언급되며, KV cache를 SSD에 유지해 반복되는 context prefix의 재계산을 줄인다고 설명한다.[1]
  • Apollo endpoint로 제시된 http://[mac-mini-tailnet-url]/v1은 실제 호스트명이 아닌 글 안의 placeholder다. 이 노트는 이를 공개 서비스 주소나 접근 가능한 endpoint로 해석하지 않는다.[1]

한계와 검증 경계

  • Hada topic 본문을 cleaned Markdown으로 저장했으며, 사이트 chrome과 댓글은 raw capture에서 제외했다. 원문 HTML 56,561 bytes와 first-party Atom feed 44,698 bytes의 hash 및 exact entry match 1건은 raw provenance에 기록했다.
  • 이 작업에서 실제 M4 Pro·oMLX·Tailscale·Hermes·Apollo 환경을 실행하지 않았고, 모델 다운로드·네트워크 노출·KV cache 동작·성능 수치를 검증하지 않았다.
  • 따라서 이 페이지의 핵심 가치는 특정 하드웨어에서의 로컬 LLM 운영 패턴과 선택 기준을 보존하는 데 있으며, 성능·비용·보안 효과를 일반적인 보장으로 확대하면 안 된다.

관련 노트

Sources

[1] https://news.hada.io/topic?id=33182 — GeekNews topic 33182 — M4 Pro Mac mini로 구축한 로컬 LLM 환경 > “48GB RAM의 M4 Pro Mac mini를 상시 LLM 서버로 운영하며, 추론·에이전트 작업에는 Qwen3.6-35B-A3B, 간단한 대화에는 Gemma-4-E4B를 사용해 약 30분 만에 전체 환경을 구성함” > “Qwen은 평균적으로 프롬프트 처리 325 tok/s, 토큰 생성 34 tok/s를 기록함” > “Tailscale은 Mac mini, iPhone, MacBook을 하나의 사설 메시 네트워크로 연결하고 서비스를 공용 인터넷에 노출하지 않음” [2] https://news.hada.io/rss/news — GeekNews Atom feed — topic 33182 > “M4 Pro Mac mini로 구축한 로컬 LLM 환경”

백링크