连续隐变量扩散语言模型 Cola DLM

一句话定位

提出一种分层隐变量扩散语言模型 Cola DLM，通过在连续隐空间中建模全局语义先验，实现高效、非自回归的高质量文本生成。

小学生也能听懂

这个模型先把文字压缩成一个连续的‘想法向量’，然后用扩散模型学习这些想法的分布规律，最后根据这个想法生成文字。就像先想清楚要说什么，再组织语言表达出来，而不是一个字一个字地猜。

为什么值得记录

突破了传统自回归模型必须从左到右生成的限制，支持更灵活的非自回归生成
在连续隐空间中建模语义先验，有利于语义压缩和跨模态统一建模
通过分层信息分解，将全局语义组织与局部文本实现解耦，提升生成效率
实验验证了在 ~2B 参数规模下与自回归和 LLaDA 基线相当的性能，并展现出良好的扩展性

核心方法

使用 Text VAE 学习文本与连续隐变量之间的稳定映射关系
采用 block-causal DiT（Diffusion Transformer）在隐空间中建模分块因果先验分布
通过 Flow Matching 方法学习从标准正态分布到真实隐变量分布的向量场
训练分为两个阶段：先独立预训练 VAE，再联合优化 VAE 和 DiT 以保持表示稳定性
推理时先编码前缀得到条件隐变量，再逐块生成响应隐变量，最后通过条件解码器输出文本

关键结果

在 8 个基准测试中，Cola DLM 在严格匹配的 ~2B 参数下达到与自回归模型和 LLaDA 相当或更优的生成质量
展现出良好的扩展行为，在高达约 2000 EFLOPs 的计算预算下仍保持性能增长趋势
隐变量压缩有效降低了信息冗余，同时保持了语义完整性
块因果结构在保持跨块依赖的同时提升了并行计算效率

局限与风险

依赖高质量的 Text VAE 来建立稳定的文本-隐变量映射，VAE 的训练稳定性直接影响整体性能
当前实现未压缩序列长度，隐变量维度仍与输入长度相关，可能限制长文本建模效率
Flow Matching 中的散度估计使用 Hutchinson 迹估计器，在高维情况下可能存在数值不稳定性
条件概率估计采用 plug-in 方法，可能引入偏差，尤其在低资源场景下

适合沉淀的概念

hierarchical-latent-variable-modeling, continuous-latent-diffusion, block-causal-transformer, flow-matching, text-vae, non-autoregressive-generation, semantic-compression, unified-generative-modeling

阅读注意

关注第 3.1 节对 Cola DLM 的概率形式化定义，特别是式 (3.1) 和 (3.5) 的信息分解
注意图 1 展示的两阶段训练流程：VAE 预训练 + 联合 DiT 训练，以及梯度控制机制
理解表 1 中从统一马尔可夫路径视角对比不同生成范式的关键差异
留意第 3.3.2 节提出的三个决定 Cola DLM 适用性的理论曲线：率失真曲线、先验逼近曲线和推断间隙曲线
查看附录中的 ELBO 分解证明和 Flow Matching 实现细节

质量说明

采用来源：raw，raw/papers/2026/05/2605.06548.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的理论框架、算法描述和实验验证，包含数学推导、训练流程和定量结果。虽然部分实验细节（如具体超参数）未完全展开，但核心方法、创新点和主要结论均有充分支撑。