MemT-1.0 记忆原生大模型开源、长历史提速近 4 倍、存储缩减 130 倍

大模型开始长记性了

你有没有过这种挫败感。

你跟 AI 聊了一个小时，交代了背景、纠正了三次、确认了偏好，最后它转头问你："请问您的需求是？"

那一刻你会怀疑：它到底听没听我说话？

10 月 20 日，上海一家叫记忆张量的团队发布并开源了 MemT-1.0，业内第一个号称"记忆原生"的基座大模型。它要解决的，正是这件事——让模型不是"每次重新读一遍"，而是真的会记住。

用人话说：现在的 AI 像一个每天早上失忆、但智商极高的实习生；MemT 想造一个记得住你昨天说过什么的那种。

一句话总结

大模型最大的短板从来不是"不聪明"，而是"不记事"——而这次开源的方案，让它边干活边记忆的成本降到了原来的百分之一。

一、AI 为什么会"读到后面忘了前面"

要理解这次突破，得先搞懂老问题出在哪。

大模型处理长对话的方式，像极了一个只能靠翻笔记工作的学生。你跟它聊 100 轮，它得把前面 99 轮的对话全部重新读一遍，才能回答第 100 轮——这个"笔记"，业内叫 KV Cache。

问题出在第三轮：

你翻的笔记页数，跟对话时长成正比。 聊得越久，翻得越慢、越贵。到 256K Token 那么长的历史时，传统方案要为一个会话占用约 5.06 GB 的内存。

而更致命的是：这个过程是纯机械的重复劳动。 第 100 轮对话里，第 3 轮那句早就无关紧要的话，仍然要被忠实地重读一遍。模型不会判断"这句可以忘了"——它没有被赋予遗忘的能力。

这就是为什么 AI 记不住你，以及为什么 AI 越用越贵。

二、MemT 改了什么：三件事

MemT-1.0 的思路，可以用一句大白话概括：把"记忆"从模型外面的一项服务，变成模型身体里的一个器官。

第一件事：让记忆和思考同时进行

传统架构里，模型是"先想，再查记忆"。MemT 引入了一个叫 Native Memory Block（原生记忆块） 的结构，它跟主干注意力并行运行——不是先想完再去翻本子，而是一边想一边记。

里面还分了两层：

Local Memory Block（局部记忆块）：一个动态的多通道记忆矩阵，会跨对话轮次持续演进

Hyper Memory Block（超参记忆块）：可训练的 Q/K/V 投影，配上擦除、写入、遗忘三个门控开关

第二件事：明确给模型装上"遗忘"开关

这是最关键的一步。

模型内部跑着一个叫 Gated DeltaNet-2 的机制，每处理一个 token 就稳定更新一次记忆，每轮对话结束后执行"擦除 / 写入 / 遗忘"。翻译过来就是：它终于学会了判断哪些信息该留、哪些该扔。

配套还有一个 Mixture-of-Storage（存储混合） 结构，好比给记忆配了多个专科医生——容量不够了就叫另一个来接着存，而不是全都塞进同一个抽屉。

第三件事：给它真的去"练"

训练分两段：先继续预训练 200 亿 Token，再后训练 140 亿 Token，合计 340 亿 Token。梯度会沿着"读取记忆"这条链路回传去更新记忆本身。

用人话说：以前的做法是"把要记的东西塞给它"，现在是"让它自己总结出该记什么"，而且还额外上了 140 亿 Token 的专门训练。

三、数字：130 倍这个数字值得停下来看

发布方公布的成绩里，有一个数字非常值得单独拎出来。

指标 · 传统方案 · MemT-1.0 · 变化

256K 历史存储占用 · 5.06 GB · 约 40 MB · 缩减约 130 倍

256K 长历史端到端提速 · 基准 · — · 约 3.99 倍

128K 长历史提速 · 基准 · — · 约 1.86 倍

256K 首字延迟 · 约 445 ms · 104–112 ms · 快 4 倍以上

人话：同样聊这么多，现在占用内存只有原来的 0.77%，速度快了约 4 倍。

而在能力上，官方公布的数据是：11 项记忆基准（全程闭卷，历史跨度 16K 到百万 Token）上，Flash 版得 50.6 分、Nano 版 47.0 分，在参数化记忆方法这个范围内排第一、第二，领先同组最强基线 12.5 分和 8.9 分。编程能力上，SWE-bench Verified 上 Nano 版从 66.07% 提到 69.73%。

两个尺寸也都开源了：MemT-1.0-Flash（288B 总参数，激活 17B，基座是 DeepSeek-V4-Flash）和 MemT-1.0-Nano（36B 总参数，激活 3B，基座是 Qwen3.6-35B-A3B）。GitHub、Hugging Face、魔搭社区都能拿到。

但有句话必须说清楚

据多家媒体报道，官方在技术报告里主动坦承了边界：MemT-1.0 排第一，限定在"参数化记忆方法"这个范围内；在超长历史里的细节检索上，传统的强文本记忆方案和 RAG 仍然领先。

翻译成人话就是：它赢在"省内存、快、边干边记"，不等于在"记得最准"上全面碾压。

这个自我限定反而值得尊敬——在 AI 圈里，敢在发布当天就写清楚自己打不过谁的项目，不多。

另外还有一个消融实验的细节很有意思：把后训练这一环去掉，Nano 版的记忆基准均分从 47.0 直接掉到 36.3。这说明真正让模型"长记性"的，不是那个新架构，而是那 140 亿 Token 的专门训练。架构是骨架，训练才是肌肉。

对普通人意味着什么

如果你只是聊天写东西：短期内你不会有任何感知。ChatGPT、豆包、Kimi 这些产品什么时候把"记忆原生"架构接进去，还得看厂商的节奏。但可以确定的是——接进去之后，"AI 每次都忘事"这个最大的槽点，大概率会消失。

如果你在用 AI 办公：这项技术对"长文档处理"和"长期项目跟进"这两类场景的改善最直接。以前你得反复把资料贴给 AI，以后可能是告诉它一次，它自己带着记性往下做。

如果你是开发者：这是一个相当扎实的技术报告——有架构说明、有消融实验、有开源权重、有部署脚本（Nano 支持 SGLang，官方给了 2 卡示例），而且它基于 DeepSeek 和 Qwen 的开源底座做的，这意味着你可以在自己熟悉的模型上改造它。

写在最后

1 这是一次"补短板"，不是"秀肌肉"

MemT-1.0 的成绩单里没有一项是"更聪明"——它解决的是"记得住、记得省"。这恰恰说明大模型竞争的重点已经从"智商"转向"可靠性"。一个偶尔很聪明但转头就忘的模型，在真实工作里是不合格的。

2 "记忆"是递归自我改进的前提

团队在技术报告里把这套方案定位为递归自我改进（RSI）的地基。用人话说：模型要能自己变强，第一步是得能积累经验——一个记不住事儿的 AI，永远学不会任何东西。这也解释了为什么一家上海团队愿意啃这么硬的一块骨头。

3 130 倍的差距，暴露的是行业长期的粗放

存储成本降 130 倍这件事，放在行业视角里看有点惊人。它意味着未来同样一台服务器，能同时服务的 AI 用户数量可能是今天的几十倍。对普通人最直接的翻译是：AI 服务的免费额度，会越来越多。

未来 1 年看三件事：① "记忆原生"从论文变成各家模型的标配架构 ② AI 客服、AI 助理终于能做到"认识你三个月" ③ 存储成本塌陷后，AI 陪聊和 AI 陪伴产品的商业模式会被彻底改写。

如果觉得这篇拆解对你有帮助，不妨点个关注和在看。

你的 AI 陪跑伙伴 【数字新奇点】 会继续关注大模型底层架构的每一次突破。

咱们下期见！

参考资料

中国团队实现大模型记忆架构创新 让其"会积累、会成长"（科技日报）

MemT 1.0 发布：迈向递归自我改进，让记忆成为模型内生能力（36氪）

大模型学会"长记性" 记忆张量发布并开源 MemT 1.0（极客公园）

MemT-1.0 Turns Memory Into an Intrinsic Model Capability

上海团队发布并开源记忆原生大模型 MemT-1.0，让模型"会记住会成长"