출처: https://x.com/Ryrenz/status/2102232670453305537 (Ren, 중국어). GitHub 링크는 원문에 단축 URL로만 있다.

개요

mini-AGI는 Alexey Borsky가 2026-09-19에 저장소를 연 실험 모델이다. 8GB VRAM 노트북 GPU(RTX 3070 Laptop) 한 장으로 처음부터 학습했다. 코드 작성·디버깅·검증은 주로 Claude Opus 5가 맡았다고 한다.

보통의 LLM은 사전학습이 끝나면 가중치가 고정되고, 이후 기억은 컨텍스트를 다시 넣는 방식에 기댄다. mini-AGI는 반대로 계속 읽으면서 읽은 내용을 곧바로 파라미터에 반영한다. 3.18억 자를 읽은 시점에 내부 전문가(expert) 풀이 스스로 169개까지 늘었다.

핵심 기법

  • 디스크 페이징으로 VRAM 우회: 가중치를 디스크의 일반 파일로 두고 필요한 블록만 GPU로 불러온다. 모델 크기의 상한이 GPU 메모리가 아니라 남은 디스크 용량이 된다.
  • 망각 억제: 연속학습의 고질병인 파괴적 망각을, 백본 학습률을 전문가 학습률의 1/10로 낮추는 단순한 방법으로 줄였다. 망각 폭이 2.23 nats에서 0.0067 nats로 떨어졌다고 한다.

읽는 법

가중치는 아직 공개되지 않았고 첫 번째 말뭉치 읽기도 끝나지 않았다. 성능 지표는 망각 수치뿐이라 실제 능력은 알 수 없다(confidence: low). 의미 있는 점은 “게이밍 노트북 GPU 한 장과 개인 한 명”이라는 구성으로, 에이전트가 코드를 쓴 개인 연구가 어디까지 왔는지 보여 준다는 것이다. 모델을 스스로 개선하는 흐름은 recursive-self-improvement, 로컬 모델 전반은 local-llm을 참고한다.