Mnemo, 로컬 우선 AI 메모리의 실험

LLM 기억을 별도 계층으로 빼내는 접근

Show HN에 올라온 Mnemo는 "local-first AI memory layer for any LLM"을 표방하는 오픈소스 프로젝트다. README 기준으로 Rust, SQLite, petgraph를 사용해 대화와 문서에서 엔티티와 관계를 추출하고, 이후 질의 시 관련 문맥을 다시 프롬프트에 주입한다. Ollama, OpenAI, Anthropic, OpenAI-compatible API를 지원하며 클라우드 의존 없이 단일 바이너리로 운영할 수 있다고 설명한다.

흥미로운 점은 Mnemo가 "더 긴 컨텍스트"가 아니라 "별도 메모리 계층"을 선택했다는 것이다. 긴 컨텍스트는 대화를 많이 넣을 수 있게 하지만, 무엇을 보존하고 무엇을 잊을지의 문제는 남는다. 반면 로컬 메모리 계층은 기억을 데이터베이스, 검색 파이프라인, 지식 그래프, 삭제 가능한 레코드로 다룬다. 이는 에이전트 제품이 장기적으로 가야 할 방향에 가깝다.

프로젝트 설명에 따르면 Mnemo는 텍스트를 ingest하면 LLM으로 엔티티와 관계를 추출하고 SQLite에 저장한다. retrieve 단계에서는 full-text chunk search, entity name search, graph expansion, relation filter, score and rank, context_prompt assembly의 6단계를 거친다. README에는 전체 retrieval pipeline이 디버그 빌드 기준 약 4.2ms라고 적혀 있다. 이 숫자는 독립 검증이 필요하지만, 방향은 명확하다. 기억은 모델 내부가 아니라 애플리케이션 데이터 계층으로 이동하고 있다.

왜 로컬 우선인가

AI 메모리는 개인정보와 바로 맞닿는다. 사용자의 이름, 취향, 프로젝트, 동료, 회사 문서, 실수, 건강 정보가 장기 기억에 들어갈 수 있다. 이 데이터를 공급사 클라우드에만 맡기면 이식성과 삭제권, 감사 가능성이 약해진다. 로컬 우선 구조는 사용자가 데이터를 소유하고, 필요할 때 특정 모델에만 문맥을 주입할 수 있게 한다.

Ollama 같은 로컬 모델 실행 도구와 결합하면 개인 개발자나 소규모 팀은 외부 API 없이 메모리 실험을 할 수 있다. SQLite는 배포와 백업이 단순하고, petgraph는 Rust에서 그래프 탐색을 구현하는 데 널리 쓰인다. Mnemo는 이 조합을 통해 거대한 벡터DB 스택 없이도 에이전트 기억의 기본형을 만들 수 있음을 보여준다.

Delta-Mem의 온라인 메모리 논의와 비교하면 Mnemo의 의미가 더 선명하다. 연구 쪽은 모델의 기억 구조를 개선하려 하고, 제품 쪽은 모델 밖에 기억 계층을 둔다. 기업이 지금 당장 쓸 수 있는 것은 후자다. 기억을 모델에 맡기지 않고, 애플리케이션이 통제하는 데이터베이스로 두는 편이 감사와 삭제가 쉽다.

메모리는 기능이 아니라 정책이다

AI 메모리 계층을 붙이면 제품은 즉시 정책 문제를 만난다. 무엇을 저장할 것인가, 누가 볼 수 있는가, 언제 삭제할 것인가, 사용자가 수정할 수 있는가, 다른 모델로 옮길 수 있는가. 개인 비서라면 사용자가 직접 기억을 편집해야 하고, 업무용 에이전트라면 조직의 데이터 보존 정책을 따라야 한다.

README에 따르면 Mnemo는 entities, chunks, search, wipe 같은 API를 제공한다. wipe가 있다는 것은 좋은 신호지만 충분하지는 않다. 엔터프라이즈 환경에서는 특정 프로젝트, 특정 사용자, 특정 기간, 특정 데이터 등급별 삭제가 필요하다. 또한 LLM이 추출한 관계는 틀릴 수 있으므로 출처와 신뢰도도 함께 저장해야 한다.

한국 개발자에게 주는 시사점

한국 개발팀이 AI 비서나 사내 에이전트를 만들 때 가장 빨리 부딪히는 문제가 "매번 같은 설명을 해야 한다"는 것이다. 이 문제를 해결하려고 전체 문서를 매번 프롬프트에 넣으면 비용과 보안 문제가 커진다. Mnemo식 접근은 기억을 사내 데이터 계층으로 분리해 필요한 조각만 주입하는 방식이다.

다만 바로 운영에 넣기에는 주의할 점이 있다. 첫째, LLM 기반 엔티티 추출은 오류를 낼 수 있다. 둘째, 그래프 확장은 관련 없는 문맥을 끌어올 수 있다. 셋째, 로컬 저장은 백업과 암호화 책임을 사용자나 조직으로 옮긴다. Kagi 저시력 사용기에서 본 접근성 비용처럼 개인화 기능은 사용자에게 도움이 되지만, 잘못 설계하면 특정 사용자를 더 취약하게 만들 수 있다.

그래도 방향은 중요하다. 에이전트 시장이 성숙할수록 "모델이 기억한다"는 표현보다 "사용자가 관리 가능한 메모리 저장소를 갖는다"는 표현이 더 신뢰를 얻을 가능성이 높다. Runtime의 팀 단위 코딩 에이전트 운영체제처럼 에이전트가 팀 워크플로로 들어갈수록 메모리도 개인 로그가 아니라 운영 자산이 된다.

자주 묻는 질문

Q1: Mnemo는 벡터 데이터베이스인가요?

A: README 기준으로 SQLite full-text search와 지식 그래프를 결합한 메모리 계층에 가깝다. 전통적인 벡터DB만을 앞세우는 접근과는 다르다.

Q2: 로컬 우선이면 항상 안전한가요?

A: 아니다. 로컬 저장은 클라우드 노출을 줄일 수 있지만 장치 분실, 백업, 암호화, 권한 관리 책임이 생긴다.

Q3: 기업 에이전트에 바로 쓸 수 있나요?

A: 실험과 프로토타입에는 유용해 보인다. 운영 환경에서는 감사 로그, 세분화된 삭제, 권한 분리, 데이터 등급 정책이 추가로 필요하다.

Q4: 긴 컨텍스트 모델이 나오면 이런 도구가 필요 없나요?

A: 긴 컨텍스트는 저장 공간이 아니라 입력 창이다. 기억의 출처, 삭제, 검색, 권한 문제는 별도 메모리 계층이 더 잘 다룬다.

Q5: 한국 스타트업은 어디에 응용할 수 있나요?

A: 개발자 도구, 지식관리, 고객지원, 개인 비서, 사내 문서 에이전트에서 사용자가 통제 가능한 장기 기억 기능으로 응용할 수 있다.