The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning

FLAIR：基于隐式推理的全双工口语对话模型内部认知建模

一句话定位

提出一种名为 FLAIR 的全双工隐式内部推理方法，在用户说话期间通过连续更新的隐状态实现‘边听边思考’，无需显式推理标注或额外推理延迟。

小学生也能听懂

这篇论文发明了一个叫FLAIR的“边听边想”机器人，它在别人说话时悄悄用隐藏的小脑袋思考，不用停下来等，就能更快更准地回答问题，就像边听老师讲课边做笔记一样聪明。

为什么值得记录

• 首次将隐式推理机制引入语音大语言模型领域，填补了传统全双工系统在用户说话阶段仅输出静音 token 的认知空白
• 提出基于 ELBO 的变分训练框架，利用非因果‘全局感知专家’模型生成隐式推理嵌入标签，实现高效监督微调
• 在多个语音 QA 基准测试中显著提升响应质量（如 LlamaQ 准确率从 73.0% 提升至 78.0%），同时保持低交互延迟和高打断成功率
• 方法严格遵循因果性约束，适用于实时流式对话场景，且无需构建显式推理数据集

核心方法

• 将‘边听边思考’建模为隐变量问题：在用户说话阶段，LLM 输入由前一时刻的文本 logits 经 softmax 加权词嵌入矩阵得到，形成连续隐状态更新
• 设计基于 ELBO 的优化目标：包含条件重构损失（提升响应质量）和变分正则项（对齐因果模型先验与专家后验分布）
• 引入非因果 Global-aware Expert 模型（BERT 架构），利用完整对话上下文生成理想隐式推理嵌入作为监督信号
• 训练分三阶段：预训练（语音延续数据）→ 隐式推理 SFT（联合优化 LLM 与 Expert）→ 语音合成 SFT（冻结主干，训练流式 TTS）
• 推理时丢弃 Expert 模型，由 LLM 自主预测是否处于响应阶段（通过 MLP 输出门控信号），动态切换显式生成与隐式推理模式

关键结果

• 在 LlamaQ 基准上，FLAIR 带隐式推理（w/ thk）准确率达 78.0%，较无推理版本（w/o thk）提升 5.0 个百分点
• 在 OpenbookQA 和 MMSU 多选题任务中分别达到 74.2% 和 56.2% 准确率，优于多数半双工模型
• 在 Impatient 数据集上，FLAIR 的端到端延迟为 0.33s，打断成功率达 100%，优于 Moshi、Freeze-Omni 等基线
• 在 Full-Duplex-Bench 上，FLAIR 的接管率（TOR）达 93.0%，打断响应 GPT-4o 评分为 4.22，延迟仅 0.36s

局限与风险

• 依赖大规模合成数据训练，真实对话数据占比有限（仅 ASR-QA 子集使用真实语音）
• Global-aware Expert 模型在训练时需访问完整对话上下文，与推理时的因果性存在分布差异
• 未与强化学习等后训练方法结合，潜在性能上限未完全释放
• 语音合成质量（MOS 4.3）与现有流式 TTS 相当，未因隐式推理带来显著提升

适合沉淀的概念

full-duplex-spoken-dialogue, latent-reasoning, evidence-lower-bound-elbo, think-while-listening, variational-inference, streaming-speech-llm, teacher-forcing-sft, global-aware-expert

阅读注意

• 重点关注 4.1 节中条件 ELBO 的推导过程，理解如何从标准 ELBO 迁移到响应生成任务
• 注意 5.1 节数据合成策略：语音延续数据通过文本交替分配构建伪对话，QA 数据基于维基百科上下文生成以增强多样性
• 附录 D 揭示关键超参：α=3, β=5 的损失权重配置，以及 / token 的 20x/10x 损失缩放
• 附录 E 显示 600M 参数流式编码器对性能至关重要，小模型因隐空间不对齐导致响应成功率骤降至 70.7%

质量说明

• 采用来源：clean，papers/2026/03/2603.17837.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的方法描述、实验设置和结果分析，包含消融研究、案例分析和实现细节。数据合成流程、训练超参数和模型架构均有详细说明，支持复现。