출처
- source_url: https://x.com/DhravyaShah/status/2035517012647272689
- author: @DhravyaShah (Supermemory)
- published: 2026-03-24
- raw: raw source:
web-2026-04-26-agent-memory-99-percent-sota-system
요약
Supermemory 팀이 장기 메모리 벤치마크 LongMemEval_s에서 기존 발표치 ~85%를 넘어 ~99% 정확도를 달성했다고 발표했다. 저자는 이것이 프로덕션 Supermemory 엔진이 아니라, 핵심 제약과 독립적으로 메모리 검색·추론의 한계를 실험한 고도로 실험적인 에이전트 흐름이라는 점을 명확히 한다. LongMemEval은 115k+ 토큰 대화 기록, 모순된 정보, 여러 세션에 분산된 이벤트, 시간 추론이 필요한 질문 등 실제 프로덕션 환경의 혼란을 시뮬레이션하도록 설계된 엄격한 벤치마크다. 저자는 대부분의 메모리 시스템이 낮은 점수를 받는 원인이 추론이 아니라 검색에 있으며, 특히 오래된 사실과 최신 수정 사항을 구별하지 못하는 데 있다고 진단한다.
이를 해결하기 위해 제시한 기법이 ASMR(Agentic Search and Memory Retrieval)이다. 벡터 데이터베이스나 임베딩 없이 완전히 인메모리로 동작하며 구현이 간단해 로봇 등 다른 시스템에도 내장 가능하다는 점을 특징으로 내세운다. 아키텍처는 3단계로 구성된다. ① 수집 단계: 세션을 청킹·임베딩하는 대신 Gemini 2.0 Flash 기반 3개의 병렬 리더(observer) 에이전트가 원시 세션을 동시에 읽고, 개인 정보·선호도·이벤트·시간 데이터·업데이트·어시스턴트 정보 등 6가지 벡터에 걸쳐 지식을 추출해 소스 세션에 매핑한다. ② 검색 단계: 질문이 들어오면 벡터 DB를 쿼리하지 않고 3개의 병렬 검색 에이전트(직접 사실 검색, 관련 컨텍스트/함의 탐색, 시간적 타임라인 재구성)를 배포해 저장된 발견 사항을 능동적으로 읽고 추론한 뒤, 오케스트레이터가 세부 검증을 위해 원문 발췌를 가져온다. ③ 답변 단계: 두 가지 앙상블 방식을 실험했다. 8개의 특화 프롬프트 변형(정밀 카운터, 시간 전문가 등)을 병렬 실행해 하나라도 정답에 도달하면 정답으로 표시하는 방식은 98.60% 정확도를, GPT-4o-mini 기반 12개 특화 에이전트의 답변을 Aggregator LLM이 다수결·신뢰도·충돌 해결로 합성하는 12-변형 결정 포레스트 방식은 단일 합의 답변으로 97.20% 정확도를 기록했다.
저자가 꼽은 핵심 인사이트는 세 가지다. 첫째, 벡터 임베딩을 버리고 능동적 검색 에이전트로 전환한 것이 가장 큰 돌파구였으며, 이를 통해 전통적 RAG가 시간적 변경사항에서 실패하게 만드는 의미론적 유사성 함정을 제거했다. 둘째, 수집·검색 작업을 여러 전용 에이전트에 분산하는 병렬 처리가 추출 속도와 세밀도를 크게 높였다. 셋째, 컨텍스트를 전용 전문가 에이전트로 라우팅하는 특화가 단일 마스터 프롬프트보다 훨씬 우수했다. 이 실험 아키텍처는 에이전트의 지연 시간에도 예상보다 큰 영향을 주지 않았다고 밝혔다. 팀은 이 실험적 흐름의 전체 코드를 곧 오픈소스로 공개하고, 발표 시점 기준 11일 후(4월 초)에 새로운 에이전트 메모리 시스템 전체를 공개할 예정이라고 밝혔다.
관련 위키
원문 보존 위치
원문 전체는 raw source: web-2026-04-26-agent-memory-99-percent-sota-system에 source_url과 함께 저장되어 있다.