출처
- source_url: https://x.com/pirroh/status/2074118901143679414
- author: pirroh / Michele Catasta 외 (Replit AI팀, X)
- published: 2026-07-06
- raw: raw source:
web-2026-07-08-continual-learning-for-agents
요약
“Continual Learning”이 보통 모델 가중치 업데이트만을 뜻한다고 여겨지지만, 프로덕션 에이전트 대다수는 폐쇄형 프런티어 모델을 쓰기 때문에 가중치 파인튜닝은 애초에 선택지가 아니다. 에이전트 시스템은 모델·하네스·컨텍스트 세 계층에서 개선될 수 있고, 뒤의 두 계층은 온전히 개발자 통제 아래 있다 — 하네스 계층 학습은 프로덕션 트레이스를 마이닝해 코드·도구·지시문을 체계적으로 개선하고, 컨텍스트 계층 학습은 에이전트·사용자·조직 단위로 개인화해 매 상호작용마다 제품이 나아지게 한다.
평가의 재정의: Replit Agent 사용자는 저장소나 테스트 스위트 없이 자연어로 목표만 던지고 “클릭했을 때 작동하는 앱”을 기대한다. 기존 SWE-bench·Terminal-Bench 같은 벤치마크는 고정된 프로젝트에서 코드를 채점하지만, Replit Agent는 스택·스키마·라우트·컴포넌트를 전부 스스로 고른다 — 그래서 자체 벤치마크 **ViBench**를 만들었다. PRD(제품 요구사항 문서)를 던지고 자연어 테스트 플랜으로 채점하며, 평가 에이전트가 Playwright를 백본 삼아 앱 구조를 사전 지식 없이 점진적으로 탐색하며 상호작용한다. 초기 결과: 프런티어 코딩 벤치마크 점수가 풀스택 앱 빌딩으로 항상 이전되지는 않으며(특히 오픈웨이트 모델), 대부분의 모델은 자기 코드를 확장할수록 오류가 누적돼 성능이 떨어진다.
세 겹 측정 체계: 오프라인 벤치마크(출시 전 회귀 포착) + 온라인 A/B 테스트(실제 사용자 행동 변화 확인) + Telescope(트레이스 클러스터링으로 “왜” 실패했는지 설명) — 안전공학의 스위스 치즈 모델처럼 각 층의 구멍을 서로 메운다. Telescope는 Clio와 유사한 상향식 방식으로 실패 궤적을 요약·임베딩·밀도 기반 클러스터링해, 사람이 모든 트레이스를 읽지 않고도 반복되는 실패 패턴을 찾게 한다.
자기개선 루프: “에이전트가 소프트웨어를 잘 만든다면 에이전트 자신을 개선하는 데도 쓸 수 있다”는 원칙 아래, 프로덕션 로그·트레이스 클러스터를 읽고 → 후보 변경을 만들고 → 초안 PR을 열고 → ViBench/A/B/궤적 데이터로 측정하고 → 출시·반복·폐기를 추천하는 루프를 돌린다. 배포는 자동화되지 않고 엔지니어가 최종 검토·승인한다. 실제 사례로, 콜드스타트 환경 설정이 조용히 저하되던 작은 Telescope 클러스터를 루프가 발견해 패치·회귀 테스트를 만들고 ViBench로 확인한 뒤 당일 배포한 예시가 소개된다.
사람의 판단이 여전히 필요한 지점: 어떤 실패 가설을 우선할지 선택, 구현 아키텍처 결정, 평가 기준 큐레이션(잘못된 평가는 잘못된 방향으로 최적화를 이끈다), 그리고 최종 출시 승인은 자동화되지 않는다.
관련 위키
원문 보존 위치
원문 전체는 raw source: web-2026-07-08-continual-learning-for-agents에 source_url과 함께 저장되어 있다.