중국 AI 기업 MemTensor가 메모리 내장형(memory-native) 파운데이션 모델 MemT 1.0을 공개하고 오픈소스로 풀었다. 가중치는 Hugging Face, 코드는 GitHub에 올라왔고 기술 보고서도 함께 나왔다.
모델 구성
라인업은 두 종이다.
▼ MemT 1.0 모델 구성 (출처: MemTensor)
| 모델 | 전체 파라미터 (십억) | 활성 파라미터 (십억) |
|---|---|---|
| MemT-1.0-Flash | 288 | 17 |
| MemT-1.0-Nano | 36 | 3 |
설계: 매번 다시 읽지 않는다
기존 시스템 대부분은 대화 전체를 컨텍스트 창에 싣는다. 턴이 늘수록 추론은 느려지고 비용은 커진다. MemT는 모델 안에 학습 가능한 메모리 모듈을 넣었다. 상호작용이 끝날 때마다 새 정보를 고정 크기의 메모리 상태에 기록하고, 필요할 때 꺼내 쓴다. 전체 기록을 매번 다시 읽지 않는 구조다.
학습은 두 단계, 34억 토큰으로 진행했다. 먼저 정보를 메모리에 쓰는 법을, 이어서 메모리를 바탕으로 질문에 답하는 법을 익혔다.
회사 측 성능 수치
아래 수치는 모두 MemTensor 자체 평가 결과다.
- 종단간 추론 속도: 이력 128K 토큰에서 전체 컨텍스트 방식 대비 약 1.86배, 256K 토큰에서 약 3.99배 빠르다.
- 쿼리 첫 토큰 시간: 약 104~112밀리초를 유지한다. 256K 전체 컨텍스트 방식은 약 445밀리초다.
- 세션당 메모리 상태: 256K 이력 기준 약 40MiB. 전체 컨텍스트 캐시는 약 5.06GiB로, 약 130배 차이가 난다.
- 메모리 벤치마크 11종 평균: Flash 50.6, Nano 47.0. 비교한 파라메트릭 메모리 방식 중 각각 1위와 2위다. 질의 시점에 이력을 검색하지 않고도 검색증강 방식과 평균적으로 비슷한 수준이라고 밝혔다.
- 일반 성능: 방해 요소가 많은 조건에서 메모리를 추가해도 Flash의 일반 능력은 떨어지지 않았다고 설명했다.
라이선스 확인 필요
저장소 코드는 PolyForm 비상업 라이선스로 공개됐다. 모델 가중치는 각각 Apache와 MIT 라이선스다. 코드와 가중치의 조건이 달라 상업 활용을 검토하는 개발자는 두 쪽을 따로 확인해야 한다.
국내에서 긴 이력을 다루는 모델 구조를 비교하는 개발자라면 고정 크기 메모리 상태 방식의 속도·메모리 수치를 독립적으로 재현할 수 있는지 살펴볼 만하다. 현재 수치는 회사 발표뿐이다.
MemTensor는 다음 과제로 장기 기억 개선, 메모리 용량 확대, 메모리 갱신 비용 절감을 꼽았다. 장기 목표는 상호작용에서 계속 배우는 에이전트다.
