정의

**Continual learning(지속 학습)**은 학습이 끝난 뒤에도 AI 시스템이 새 경험에서 계속 배우는 능력이다. 지금의 LLM은 pre-training과 post-training을 마치면 weights가 고정된다. 배포 후 대화에서 알게 된 사실은 그 세션 컨텍스트에만 남고, 다음 세션의 모델은 똑같다. 사람은 대화하며 알게 된 사실로 뇌가 업데이트되지만 모델은 그러지 못한다는 것이 이 문제의 출발점이다(2026-11-16-ai-frontier-ep123-unknown-future).

고전적인 머신러닝에서 이 말은 새 데이터로 weights를 계속 갱신하되 예전에 배운 것을 잊지 않게 하는 문제를 뜻했다. 새 과제를 배우면 이전 과제 성능이 무너지는 **catastrophic forgetting(파국적 망각)**이 그 핵심 장애물이다. 에이전트 시대에 들어서며 범위가 넓어졌다. weights를 건드리지 않고 하네스나 메모리를 고쳐 “다음 실행이 더 나아지게” 하는 것도 continual learning이라고 부른다.

왜 중요한가

continual learning은 AGI·초지능 논쟁에서 대표적인 남은 한계로 꼽힌다.

  • Dwarkesh Patel은 Richard Sutton 같은 게스트를 불러 continual learning이 풀리지 않으면 초지능은 안 된다고 거듭 말해 왔다. pretraining의 한계와 함께 다룬 시리즈의 중심 주제다(2026-07-26-ai-frontier-ep105-can-ai-do-research). 2026년 가을에는 수학에서 일어난 일을 보고 초지능 회의론을 거둬들이며 생각을 바꿨다(2026-11-16-ai-frontier-ep123-unknown-future).
  • Sam Altman은 AGI까지 남은 것 셋 중 하나로 “모델이 훌륭함에도 계속 학습하지 않는다”를 꼽았다. 다만 “AGI의 필수 요건까지는 아닐지 몰라도 분명 있었으면 하는 것”이라고 수위를 조절했다(2026-07-28-sam-altman-agi-compute-human-agency).
  • Richard Sutton의 Alberta Plan은 학습이 끝난 모델을 고정해 두는 대신, 환경과 상호작용하는 동안 각 파라미터가 작은 학습자처럼 계속 업데이트되고 상위 메타 학습이 방향을 조정하는 그림을 그린다(2026-08-25-ai-frontier-ep111-dokpamo-race).

세 계층 — 무엇을 업데이트하나

Replit AI팀은 에이전트 시스템이 모델·하네스·컨텍스트 세 계층에서 개선될 수 있다고 정리했다(2026-07-08-continual-learning-for-agents-replit). 대부분의 프로덕션 에이전트는 weights를 소유하지 않은 폐쇄형 frontier 모델을 쓰므로, 개발자가 실제로 통제하는 것은 뒤의 두 계층이다.

계층무엇이 바뀌나대표 접근누가 할 수 있나
모델(weights)파라미터 자체fine-tuning, RL, weight-space-programming, Sutton식 온라인 학습weights를 가진 쪽(lab, open-weight 사용자)
하네스코드·도구·지시문·평가트레이스를 마이닝해 하네스를 고치는 자기개선 루프에이전트 개발자
컨텍스트(메모리)에이전트가 다음 실행에 불러오는 기억·스킬장기 메모리 스토어, 스킬 라이브러리, 개인화에이전트 개발자, 사용자

모델 계층 — weights를 계속 바꾸기

가장 본래적인 의미의 continual learning이지만 가장 어렵다. 상호작용하며 weights를 업데이트하는 일이 아직 너무 비싸고 불안정하다. 실제 시스템에 적용하려면 업데이트 안정성, 망각, 평가 데이터 오염, 권한 상승, 비용 통제를 함께 풀어야 한다(2026-08-25-ai-frontier-ep111-dokpamo-race).

개인 규모의 시도도 있다. mini-AGI는 8GB 노트북 GPU로 학습한 연속학습 모델로, 디스크에 페이징하는 가중치와 백본 학습률을 1/10로 낮추는 방식으로 망각을 억제했다고 주장한다. 다만 가중치는 공개되지 않았다(2026-09-22-x-ryrenz-mini-agi-continual-learning).

최근 후보로 떠오른 것이 weight-space-programming이다. LLM 편집자가 optimizer 없이 weights를 직접 고치는 방식인데, 박종현은 이것이 효율적으로 된다면 continual learning의 돌파구가 될 수 있는 “지켜볼 만한 후보”라고 본다. 다만 그의 실험에서도 망각 문제는 그대로였다. 삼국지 문답 200개를 주입하자 일반 질문의 답 유지율이 66.7~82%로 떨어졌고, 넣은 것은 일반화되는 지식이 아니라 문답 쌍이었다(2026-11-16-ai-frontier-ep123-unknown-future).

하네스 계층 — 시스템을 고치기

weights가 고정돼 있어도 에이전트를 둘러싼 코드·도구·지시문은 고칠 수 있다. Replit은 “에이전트가 소프트웨어를 잘 만든다면 에이전트 자신을 개선하는 데도 쓸 수 있다”는 원칙으로 다음 루프를 돌린다(2026-07-08-continual-learning-for-agents-replit).

  1. 프로덕션 로그와 트레이스 클러스터(Telescope)를 읽는다.
  2. 후보 변경을 만들고 초안 PR을 연다.
  3. 자체 벤치마크 ViBench, 온라인 A/B, 궤적 데이터로 측정한다.
  4. 출시·반복·폐기를 추천하고, 엔지니어가 최종 승인한다.

이 계층은 recursive-self-improvement가 말하는 “하네스부터 고치는” 경로와 같은 흐름이다.

컨텍스트 계층 — 기억과 스킬을 쌓기

가장 널리 쓰이는 형태다. LangSmith 발표는 출발점을 이렇게 잡는다. “대부분의 에이전트는 학습하지 않는다, 그저 흔적(trace)만 남긴다.” 목표는 트레이스 → 신호 → 메모리 → 다음 실행으로 이어지는 루프다(2026-06-25-langsmith-engine-agent-traces-durable-memory).

  • 메모리의 세 갈래: Semantic(아는 것), Episodic(겪은 것), Procedural(행동 방식). 실행 중에는 장기 메모리를 작업 메모리로 불러오고, 실행 뒤 배운 것이 있으면 장기 메모리에 쓴다. “단기는 행동하고, 장기는 학습한다.”
  • 루프를 닫는 프로세스: 패턴 발견 → 근본 원인 → 업데이트 제안 → 검증. 트레이스만 쌓아서는 에이전트가 나아지지 않는다. 트레이스를 메모리 업데이트로 바꾸는 과정이 따로 있어야 한다.
  • 스킬 라이브러리: Memento-Skills는 동결된 LLM의 파라미터를 고치지 않고, 실행하면 성공하는 스킬을 외부 라이브러리로 진화시켜 배포 후에도 학습하게 했다(2026-03-29-memento-skills). 로봇 쪽에서는 ASPIRE가 검증된 코드 수정을 스킬로 쌓아 다음 과제에 재사용한다(2026-07-15-aspire-self-improving-robot-learning).
  • 메모리 레이어 제품: Honcho는 3.0.0을 continual learning으로 내세웠고, Anthropic은 Memory Store와 Dreaming으로 플랫폼 내장 메모리를 내놨다(2026-04-07-memory-layer-comparison-honcho-mem0-supermemory, 2026-07-10-agents-that-remember).

병목

  • 망각과 보존의 줄다리기. 새로 넣은 것이 기존 능력을 해친다. weights 계층에서 가장 두드러지지만, 메모리 계층에서도 잘못된 기억이 쌓이면 행동이 나빠진다.
  • 평가가 방향을 정한다. 잘못된 평가 기준은 잘못된 방향으로 최적화를 이끈다. Replit도 평가 기준 큐레이션을 사람이 맡아야 할 지점으로 남겼다.
  • 무엇을 배울지 고르기. 트레이스에는 실패한 도구 호출, 교정, 나쁜 출력이 섞여 있다. 그중 무엇을 신호로 볼지, 언제 써 넣을지가 어렵다.
  • 안전과 권한. 스스로 바뀌는 시스템은 감사하기 어렵다. 그래서 현재 사례들은 배포를 자동화하지 않고 사람이 승인한다.
  • 비용. 상호작용마다 weights를 업데이트하는 일은 아직 경제적이지 않다. 그래서 실무는 하네스·컨텍스트 계층에 몰려 있다.

결과를 읽는 법

  • “continual learning”이 어느 계층 이야기인지 먼저 본다. 메모리 제품의 “지속 학습”과 Sutton의 온라인 파라미터 학습은 같은 말이지만 전혀 다른 일이다.
  • 무엇을 잊었는지도 본다. 새로 배운 것의 성능만이 아니라 기존 과제의 유지율을 함께 확인한다.
  • 배운 것이 일반화되는지 본다. 주입한 사례만 맞히는지, 안 본 변형에도 통하는지 구분한다.
  • 사람이 루프 어디에 있는지 본다. 대부분의 사례는 자동 제안과 사람 승인을 섞은 반자동 루프다.

관련 노트