概念

concept full-duplex speech-model reasoning end-to-end streaming training

创建2026-04-10

更新2026-04-10

阅读量级4 分钟

概念导读

FLAIR（Full-duplex LAtent and Internal Reasoning）是一种面向全双工口语对话语言模型（SDLM）的潜在推理方法。其核心思想是：在用户说话阶段（listening phase），模型不再预测无意义的静音 token，而是通过递归地将上一步的潜在嵌入作为下一步输入，实现连续的隐式推理（"边听边想"），且不引入额外推理延迟。

定义
背景与动机
核心方法
潜在推理机制
ELBO 训练框架
三阶段训练流水线
数据
关键结果

Silent Thought / FLAIR — 全双工对话中的潜在推理

定义

FLAIR（Full-duplex LAtent and Internal Reasoning）是一种面向全双工口语对话语言模型（SDLM）的潜在推理方法。其核心思想是：在用户说话阶段（listening phase），模型不再预测无意义的静音 token，而是通过递归地将上一步的潜在嵌入作为下一步输入，实现连续的隐式推理（"边听边想"），且不引入额外推理延迟。

论文: "The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning" (arXiv: 2603.17837, 2026)
作者: Donghang Wu, Tianyu Zhang, Yuxin Li, Hexin Liu, Chen Chen, Eng Siong Chng, Yoshua Bengio

背景与动机

传统全双工 SDLM 在用户说话时持续输出 <SIL> 静音 token，浪费了计算资源。虽然可以将 NLP 中的 Chain-of-Thought（CoT）机制迁移过来（显式生成文本推理链），但存在两个根本问题：

因果性冲突：推理不能在用户语音之前开始，生成离散文本 token 会造成同步失配
打断处理复杂：用户随时可能说完，若模型锁定在文本推理链中，切换到响应模式会引入延迟和状态管理复杂性

FLAIR 的解决方案：放弃显式 token 级思考，转向隐式连续潜在空间推理。

核心方法

潜在推理机制

在用户说话阶段，LLM 的输入不再是上一步的 token 输出，而是连续嵌入：

将上一步隐藏状态 h^l_{t-1} 通过 LLM head 得到文本 logits y^txt_{t-1}
对 logits 做 Softmax 得到词汇表权重分布
用该分布对词汇表嵌入矩阵做加权平均，得到下一步输入嵌入 Z_{t-1}

ELBO 训练框架

由于潜在表示无法直接监督，FLAIR 采用变分推断方法：

Global-aware Expert（Q_φ）：非因果编码器，利用完整对话上下文推导近似后验分布
条件重建损失（L_reco）：优化响应段的 next-token prediction
变分正则化损失（L_regu）：KL 散度约束 LLM 的潜在先验与 Expert 的后验对齐
时序预测损失（L_time）：预测当前是"推理阶段"还是"响应阶段"

总损失：L_elbo = L_reco + α·L_regu + β·L_time

三阶段训练流水线

预训练：常规全双工训练（无潜在推理），用语音续写数据建立基础能力
潜在推理 SFT：
子阶段 1：仅用 L_reco 训练 Expert 学习生成合理的潜在推理标签
子阶段 2：联合训练 Expert + LLM
语音合成 SFT：冻结其他参数，仅训练语音生成模块

数据

合成数据集共 620K 小时：530K 语音续写 + 70K 指令跟随 QA + 20K ASR-QA（含背景噪声）

关键结果

推理能力（QA benchmarks）

方法	LlamaQ	WebQ	TriQA	OBQA	MMSU
Moshi	54.5	22.1	16.7	25.9	24.0
Freeze-Omni	56.2	27.9	28.5	31.0	28.1
FLAIR w/o thk	73.0	41.7	53.8	72.9	50.2
FLAIR w/ thk	78.0	43.0	51.2	74.2	56.2

潜在推理在几乎所有任务上带来提升，尤其在需要理解与推理的任务（MMSU: 50.2→56.2）上效果显著。

对话行为

Turn-taking 延迟 0.39s，barge-in 成功率 100%
潜在推理不影响对话动态性能（Full-Duplex-Bench 表现稳定）

可视化发现

t-SNE 可视化显示，潜在嵌入作为"桥梁"连接输入音频嵌入与目标文本嵌入，形成从音频空间到文本空间的自然轨迹。

与相关方法对比

方法	思考方式	因果性	额外延迟	需要推理数据
传统 FD-SDLM	无（静音 token）	✓	无	-
CoT in streaming	显式文本推理	✗	有	需要 CoT 数据集
FLAIR	隐式潜在推理	✓	无	不需要

贡献与意义

首次将潜在推理引入语音 LLM 领域
全因果、零额外延迟的"边听边想"机制
ELBO + teacher forcing 实现高效 SFT，无需显式推理标注
方法可迁移至半双工 speech LLM

局限性

基于 Zeroth/Kimi-Audio 级别的模型规模，尚未在更大模型上验证
Expert 模型增加训练成本（但推理时丢弃）
回复倾向简洁（适合对话但不利于需要长回复的 QA）