英伟达开源 PixelUMM、扔掉编码器直接看像素、图像视频一个模型

连压缩这一步都省了

做图像生成的老办法，其实有个挺反直觉的毛病。

它要先"压缩"。

模型不能直接在原始像素上干活——一张图几百万个像素，直接算太贵。所以业界的标准流程是：先用一个叫 VAE 的编码器把图片压成一张小得多的"潜变量图"，模型在潜空间里生成，最后再用解码器还原成像素。

这就相当于：你要求一个画家画一幅精确的肖像画，但你只给他看了一张缩到很小、还经过有损压缩的照片，画完再让他照着这层"翻译"反推回真实。

2026 年 11 月初，英伟达开源了一个新模型 PixelUMM，做了一件在这条路上少有人做的事：它把这套"翻译"整个扔掉了。

以前：像素 → 编码器 → 潜空间 → 模型 → 解码器 → 像素

现在：像素 → 模型 → 像素

用人话说：以前模型是在"猜"你压缩后那张图背后是什么；现在模型直接看原图。

一句话总结

PixelUMM 的价值不在于"效果又涨了几个点"，而在于它砍掉了生成模型里最贵、最容易出问题的一层——这件事一旦被证明可行，整个视频生成的训练成本都会被重新定价。

一、它到底改了什么

按英伟达公开的技术资料和多方报道，PixelUMM 的核心是几条：

改动 · 具体做法 · 为什么重要

扔掉 VAE · 不再压缩到潜空间，直接在像素空间生成 · 少一层有损压缩，少一个"解压缩不还原"的误差源

扔掉 ViT 骨干 · 不用传统的 Transformer 图像骨干 · 换掉了整条流水线里最重的一块

直接切补丁 · 把图像切成 16×16 的像素补丁当 token 处理 · 像素本身成为 token，不需要外部编码器

MoT 架构 · 采用 Mixture-of-Transformers，图像与文本分支共享注意力 · 图像和文字在同一个注意力空间里对齐

Qwen3-8B 骨干 · 语言部分用 Qwen3-8B，总参数约 15.2B · 不是从零训，是站在一个成熟基座上改的

MoT 这个设计值得多说一句。

传统做法里，图像的"特征"由一个独立模块提取，文字的"特征"由另一个模块提取，两边各自编码，在生成的时候才对齐。MoT 是让图像分支和文本分支在注意力层直接共享信息——图像的补丁和文字的词元，从一开始就互相看得见。

用人话说：以前是两个人各写各的，最后对一下稿；现在是两个人一起坐在一张桌子边写。

二、真正的卖点不是分数，是"稳"

这是最容易被标题党带偏的地方。PixelUMM 的关键宣传点不是"跑分超过谁"，而是"训练更稳定"。

据多方报道，英伟达强调这套架构在训练过程中更稳定、不容易崩，并且因为省掉了编码器环节，整体流程更简洁、资源占用更低。

为什么"稳定"比"分数"更值钱？看一眼行业现实就明白了：

问题 · 传统潜空间生成 · PixelUMM 这类做法

编码器带来的误差 · 压缩损失、解码不还原 · 这一层直接没了

训练崩掉 · 潜空间分布漂移导致崩溃 · 端到端优化，链路更短

调参 · 编码器、骨干、解码器要协同 · 少一个环节要伺候

视频生成尤其 · 帧间细节容易闪烁、崩帧 · 像素级一致性更容易保住

用人话说：做视频生成最难缠的"帧间闪烁"，本质就是不同帧的编码结果对不上。 既然压缩这一层被取消了，对不齐的机会自然少了一大块。

据报道，PixelUMM 在文本生成视频任务上的规格是 832×464 分辨率、96 帧、24fps。

这个参数组合现在看不算惊艳——但它是一个通用开源基座，不是竞技场冠军。它的意义是"你可以在上面自己训"。

三、开源这件事，有个必须说清楚的限制

先说结论：PixelUMM 采用的是 One-Way Noncommercial License（单向非商用许可）。

这个许可的意思是：

✅ 可以下载、跑、研究、二次开发、用于学术

✅ 可以在自己内部用

❌ 不能直接拿去做收费的商业服务

❓ 商业用途需要单独申请授权

用人话说：它不是"MIT 随便商用"那一类。对研究者是天大的好事，对想拿来直接上线赚钱的公司，是要先谈授权的。

英伟达这次在 Hugging Face 上放出了模型权重（nvidia/PixelUMM），并且把训练报告一并公开。

这里有一个非常有意思的对比，值得单独说：

同一天（11 月 1 日）还有另一条消息——字节 Seed AI for Science 团队出来的 AI 制药模型 Mol-1，把模型、权重、基准、评测脚本全部以宽松协议开源，Apache 2.0，商用也可以（详见 [[2026-11-02 国产 AI 制药模型追平 DeepMind、单张 H20 干过 8 张 B300、权重全开源]]）。

一天之内，一家美国巨头发了带商用限制的开源，一家中国创业公司发了可以随便商用的开源。

这个对照本身就是 2026 年 AI 开源格局的一个切片："开源"这两个字，正在从一种姿态分化成两种完全不同的生意。

四、普通人怎么看这件事

最直接的：视频 AI 的成本会继续降。

像素空间生成如果真的跑得通，训练同一质量视频模型所需的算力和显存都会下降。 而训练成本下降，直接对应着生成视频的单价下降。这对做短视频、做广告、做电商的团队是实打实的好处。

更实际的：对做 AI 视频的开发者，这是条新路。

过去做视频模型，主流开源方案基本都走潜空间。PixelUMM 提供了一条不同路线的可复现基线——你可以在上面试出一些潜空间方案试不到的东西，比如更强的细节一致性、更少的调参痛苦。

值得警惕的：别把"开源"和"能用"划等号。

三个现实要泼冷水：

1. 许可限制——想商用，NVIDIA 点头是必须的。这不是开源精神，是商业策略。

2. 832×464、96 帧——这是研究基座的规格，不是产品级规格。真要做商用视频生成，还得自己再训。

3. 它没有宣称"打赢了所有对手"——它的主语是"这套架构更稳、更简洁"，不是"我的效果最好"。这是两种不同的话，别混。

最该记住的一点：英伟达开源 PixelUMM，不是因为它大方，而是因为它卖的是铲子。 全世界用像素空间方案的人越多，"算力就是一切"这条真理就越成立——而卖算力的人，永远不怕更多人需要算力。

写在最后

1. 为什么"扔掉编码器"这件事本身是个信号

过去的两年，生成模型的架构创新集中在骨干网络、注意力机制、采样器上——这些都是"在已经会说话的基础上，怎么说得更好"。

PixelUMM 动的是更上游的东西：整个数据表示的起点。

这不是调参，是换地基。

任何一条技术路线连续几年都在同一个层级优化时，就说明那个层级接近榨干了。换地基的机会，通常来自"当年为了省算力做的妥协，现在算力够了可以撤销"。 当年用 VAE 是因为像素太贵，现在英伟达有能力重新问一遍：真的需要这一步吗？

2. 对普通人意味着什么

最直接的：AI 视频工具的报价会继续往下走，而且降得更均匀——因为开源基座多了，做产品的公司有更多便宜零件可用。

更实际的：如果你在关注"AI 会不会取代视频行业"，答案是它会先取代"视频生产流水线里的重复劳动"——批量商品图、模板化广告片、多规格版本适配。这些活儿的特点是：量大、规格统一、容错高，正好是 AI 现在能吃下的。

值得警惕的：开源模型 ≠ 免费午餐。商用许可要谈，算力要自己出，训练要自己扛，"下载就能赚钱"的日子还没到。

3. 未来 12 个月，看 3 件事

看有没有第三方把 PixelUMM 训出更大的分辨率和更长的时长。 官方给的是研究基线规格，社区能推到哪一步，才说明这条路真的通。

看 NVIDIA 敢不敢开商业授权、以及开什么价。 授权价格本身是 NVIDIA 对这条路线价值的定价——开得越随意，说明它认为这条路会火；开得越贵，说明它想把这条路线留在自己手里。

看字节这类中国团队会不会跟进。 今天 Mol-1 用 Apache 2.0 打擂台，如果明天有中国团队用宽松协议跟进一套像素空间方案，开源协议的竞争也会变成竞争的一部分。

把压缩去掉，看起来是个技术细节，其实是行业格局的晴雨表——谁敢在"地基"上动刀，谁就更可能定义下一个五年的标准。

如果觉得这篇拆解对你有帮助，不妨点个关注和在看。

你的 AI 陪跑伙伴 【数字新奇点】 会继续关注"开源协议之争"和"生成模型架构换代"这两条真正决定长期成本的主线。

咱们下期见！

参考资料

腾讯新闻：英伟达开源 PixelUMM、像素空间统一图像与视频生成

Hugging Face：nvidia/PixelUMM 模型权重与技术报告

网易科技：PixelUMM 扔掉 VAE 与 ViT、MoT 架构解析