출처
- source_url: https://news.hada.io/topic?id=31112
- 원문: 12gramsofcarbon.com
- raw: 2026-07-05-agentics-memorizing-session-transcripts
요약
SWE 작업에서 에이전트가 문서·PR·커밋 같은 컨텍스트를 이미 볼 수 있는 환경이라면, 과거 세션 기록(session transcript) 검색은 몇 달간의 비교 테스트에서 성능 이점을 만들지 못했고 때로는 모델 품질을 떨어뜨릴 수 있었다는 실증 관찰이다. 흔한 구현은 모든 transcript를 DB에 저장하고 벡터 검색·Elasticsearch·SQL 검색·그래프를 얹어 MCP나 CLI skill로 노출하는 방식이지만, 이 추가 작업은 차이를 만들지 못했다.
왜 이점이 없었나: 좋은 커밋 메시지·PR 메시지·문서·메타데이터가 남는 환경에서는 중요한 정보가 이미 코딩 산출물에 정리돼 있다. 세션 기록 검색은 이미 아는 내용을 다시 읽게 하고, 처음부터 기록하지 않기로 한 임시 판단·스크래치패드까지 토큰으로 소비하게 만든다.
자동 메모리가 흔들리는 지점: 에이전트는 장기 기억에 필수적인 **컨텍스트 제거(정리)**를 잘하지 못한다. 상태가 없기 때문에 입력 컨텍스트 창의 모든 것 — 코드, 기존 메모리, 이전 세션의 임의 결정, 사람이 검토하지 않은 내용까지 — 을 의도의 표현(ground truth)으로 취급한다. 그 결과 intent drift가 누적된다: 에이전트가 자율적으로 메모리 기반을 쌓을수록 잘못된 의도 해석이 계속 쌓이고, “코드베이스는 삭제하지 말되 일부 입력 컨텍스트는 삭제하라”를 동시에 만족시키는 쉬운 방법이 없다. 자동 암기는 결국 토큰·비용을 늘리고 모델 품질을 떨어뜨리는 불필요한 쓰레기 컨텍스트로 귀결된다. 세션 기록은 팀 관측성에는 쓸모가 있지만 에이전트 성능 개선 수단으로는 부정적이라는 결론이다.
nori bots의 대안 — 사람 검토 게이트: 시간에 따라 컨텍스트를 배우는 것 자체가 불가능한 건 아니다. nori bots는 매주 PR·Slack·Drive를 검토해 내장 skillset 변경안을 제안하지만, 기본값은 모두 거부이며 사람이 diff를 직접 보고 의도에 맞는지 확인해야 반영된다. 실제 수락률은 20% 미만으로, 나머지 80%의 “자동” 업데이트는 모델을 더 나쁘게 만들었을 것으로 추정된다.
Hacker News 댓글 요지: ChatGPT의 세션 간 기억이 관련 없는 프로젝트로 새어 들어와 이상한 출력을 낸다는 불만이 다수. Claude Code의 기억 시스템도 가끔 유용하지만 오래된 정보가 현재 작업을 흐리는 경우가 더 많다는 지적. 세션 로그는 성능 개선보다 검증 단계(에이전트가 실제로 Playwright로 앱을 조작했는지 등)에서 더 유용하다는 의견. 기억할 가치가 있는 건 “무엇을 하려 했는지”가 아니라 “실제로 무엇을 했는지”이며, 이는 문서·주석·커밋 메시지·티켓에 있어야 한다는 원칙도 제시된다.
관련 위키
원문 보존 위치
원문 전체는 2026-07-05-agentics-memorizing-session-transcripts에 source_url과 함께 저장되어 있다.