핵심 주장
SWE 작업에서 에이전트에 **세션 기록 검색(memory retrieval)**을 붙여도 성능 이점이 없었고, 경우에 따라 모델 품질을 떨어뜨렸다. 수개월간 세션 검색 유무 비교 결과, 차이를 만들지 못했으며 사람 검토 없이는 자동 메모리 개선 시도가 이점을 제공하지 못했다.
왜 세션 기록이 해로운가
1. 컨텍스트 중복
- 좋은 커밋 메시지, PR 메시지, 문서, 메타데이터가 이미 코딩 산출물에 정리됨
- 세션 기록은 이미 아는 내용을 다시 읽게 하고, 임시 판단·스크래치패드까지 토큰으로 소비
2. 메모리 정리 실패
- 에이전트는 장기 기억에서 불필요한 컨텍스트를 제거하지 못함
- 입력 컨텍스트 창의 모든 것을 ground truth로 취급 (상태 없음)
- 이전 세션의 임의 결정·미검토 내용이 계속累积 → intent drift
3. 자동 암기의 악순환
- 입력 데이터가 오염되어 있어도 코딩 벤치마크가 이를 감지하지 못함
- 모델은 “일부 입력 컨텍스트는 삭제하라”는 지시를 실행할 수 없음
- 결국 불필요한 쓰레기 컨텍스트로 토큰·비용만 증가
흔한 세션 메모리 아키텍처 (해법이 아님)
모든 transcript → DB 저장 → 벡터 검색 + Elasticsearch + SQL + 그래프
→ MCP / CLI skill로 에이전트 노출
이 전체 계층이 추가 작업일 뿐, 차이를 만들지 못했다.
대안: nori bots 방식 (사람 검증을 통한 학습)
완전 자동화가 아닌, 사람이 직접 diff를 검토하는 방식:
- 매주 PR, Slack, Drive를 검토 → nori skillsets 변경안 제안
- 기본값은 모두 거부 (수락 전 반드시 의도 확인)
- 실제 수락률 20% 미만 — 나머지 80%의 자동 업데이트는 오히려 해로웠을 가능성
관련 있는 Hacker News 의견
- 기억의 부작용: 세션 간 기억이 관련 없는 프로젝트에서 새어 들어와 출력 오류 발생 → ChatGPT에서 가장 먼저 끄는 기능
- 세션 로그의 유효 용도: 검증 단계에서 에이전트가 수동 검증한 이력 추적 (Playwright 조작 여부, prod 설정 확인 여부 등)
- 올바른 기억 대상: 문서·가이드·소스 주석·커밋 메시지·티켓. 세션별 요약 생성도 유효하나 자동 암기는 불필요
- 하드웨어 관점: 100만 토큰도 인간처럼 코드베이스를 이해하기에 충분하지 않음
관련 개념
- moc-ai-agents-memory — 에이전트 메모리 아키텍처와 구현 사례
- moc-ai-agents-context-stack — 컨텍스트 관리 전략과 계층
- moc-ai-agents — AI 에이전트 관련 MOC