DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR–LLM–TTS Pipeline and Micro-Turn Optimization

DuplexCascade：无VAD的级联ASR-LLM-TTS全双工语音对话系统

一句话定位

提出一种无VAD的级联语音对话架构，通过微轮次（micro-turn）切分与对话控制token实现全双工交互，在保持LLM智能的同时提升轮次切换鲁棒性。

小学生也能听懂

这篇论文发明了一种聪明的语音对话系统，像两个小朋友轮流说话一样，不用等对方说完就能回应。它把每0.6秒说的话切成小段，用特殊“暗号”告诉AI谁在说话、该不该插话，让AI边听边答，又快又自然，还能听懂复杂指令。

为什么值得记录

• 解决了传统级联系统依赖VAD导致半双工交互、轮次控制脆弱的问题
• 在无需端到端跨模态训练的前提下实现全双工语音对话，保留文本LLM的推理与指令遵循能力
• 通过轻量级LoRA微调（仅5k步）在50k文本对话上实现SOTA全双工性能
• 提出可解释的对话控制token机制，使LLM行为在流式约束下可控

核心方法

• 采用DSM-ASR与DSM-TTS构建流式级联管道，以固定Δt=0.6s周期将ASR输出切分为微轮次输入LLM
• 设计6类对话控制token（如、等）显式指导LLM在流式场景下的轮次决策
• 基于UltraChat的50k文本对话动态构造训练数据：将长轮次拆分为微轮次，并模拟停顿、打断、反馈等6种交互现象
• 使用LoRA（r=16, α=32）对Qwen2-7B-Instruct进行轻量微调，仅更新query/value投影与token嵌入
• 引入加权损失函数缓解控制token类别不平衡问题（如权重=10）
• 训练两个变体：DuplexCascade（无系统反馈）与DuplexCascade-β（含系统反馈）以评估反馈机制影响

关键结果

• 在Full-Duplex-Bench上Averaged Turn-Taking Accuracy达0.858，为开源系统中最佳
• 在VoiceBench整体得分65.41（DuplexCascade）与65.81（DuplexCascade-β），显著优于其他双工模型且接近原始Qwen2-7B-Instruct管道（69.66）
• 微轮次时长Δt分析显示：Δt=1.2s时轮次准确率最高，但Δt=0.6s在延迟与性能间取得实用平衡
• DuplexCascade-β在反馈频率（ICC Freq）与分布相似性（JSD）指标上排名第二，证明可通过文本训练控制反馈风格

局限与风险

• 依赖高质量流式ASR/TTS模块（DSM系列），未验证与其他ASR/TTS的兼容性
• 控制token机制需人工设计，泛化至复杂对话场景（如多人对话）的能力待验证
• 微轮次切分粒度（Δt）需手动调优，缺乏自适应机制
• 训练数据模拟的交互现象基于启发式规则，可能与真实对话存在偏差

适合沉淀的概念

full-duplex-speech-dialogue, micro-turn-segmentation, conversational-special-tokens, vad-free-turn-taking, cascaded-asr-llm-tts, lora-fine-tuning-dialogue, turn-taking-control, backchannel-generation

阅读注意

• 关注3.2节中6类控制token的具体语义与使用场景，这是实现可控双工的核心
• 注意3.3.2节对6种交互现象的模拟策略，尤其是打断与反馈的生成逻辑
• 对比Table 1中DuplexCascade与Freeze-Omni的TOR差异，理解VAD-free方法的优势
• 分析Table 2中DuplexCascade与原始Qwen2-7B-Instruct管道的性能差距，评估LLM能力保留程度
• 参考Fig. 3中Δt对性能的影响曲线，理解系统设计中的权衡考量

质量说明

• 采用来源：clean，papers/2026/03/2603.09180.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文结构完整，实验充分，包含消融分析与基线对比，数据可信。