---
title: "DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR–LLM–TTS Pipeline and Micro-Turn Optimization"
title_zh: "DuplexCascade：无VAD的级联ASR-LLM-TTS全双工语音对话系统"
arxiv_id: "2603.09180"
paper_type: "method"
source_kind: "clean"
raw_path: "raw/papers/2026/03/2603.09180.md"
generated: "2026-05-11"
model: "LongCat-Flash-Chat"
quality: "ok"
---

# DuplexCascade：无VAD的级联ASR-LLM-TTS全双工语音对话系统

## 一句话定位

提出一种无VAD的级联语音对话架构，通过微轮次（micro-turn）切分与对话控制token实现全双工交互，在保持LLM智能的同时提升轮次切换鲁棒性。

## 小学生也能听懂

这篇论文发明了一种聪明的语音对话系统，像两个小朋友轮流说话一样，不用等对方说完就能回应。它把每0.6秒说的话切成小段，用特殊“暗号”告诉AI谁在说话、该不该插话，让AI边听边答，又快又自然，还能听懂复杂指令。

## 为什么值得记录

- 解决了传统级联系统依赖VAD导致半双工交互、轮次控制脆弱的问题
- 在无需端到端跨模态训练的前提下实现全双工语音对话，保留文本LLM的推理与指令遵循能力
- 通过轻量级LoRA微调（仅5k步）在50k文本对话上实现SOTA全双工性能
- 提出可解释的对话控制token机制，使LLM行为在流式约束下可控

## 核心方法

- 采用DSM-ASR与DSM-TTS构建流式级联管道，以固定Δt=0.6s周期将ASR输出切分为微轮次输入LLM
- 设计6类对话控制token（如<user is speaking>、<user backchannel>等）显式指导LLM在流式场景下的轮次决策
- 基于UltraChat的50k文本对话动态构造训练数据：将长轮次拆分为微轮次，并模拟停顿、打断、反馈等6种交互现象
- 使用LoRA（r=16, α=32）对Qwen2-7B-Instruct进行轻量微调，仅更新query/value投影与token嵌入
- 引入加权损失函数缓解控制token类别不平衡问题（如<user finish talking>权重=10）
- 训练两个变体：DuplexCascade（无系统反馈）与DuplexCascade-β（含系统反馈）以评估反馈机制影响

## 关键结果

- 在Full-Duplex-Bench上Averaged Turn-Taking Accuracy达0.858，为开源系统中最佳
- 在VoiceBench整体得分65.41（DuplexCascade）与65.81（DuplexCascade-β），显著优于其他双工模型且接近原始Qwen2-7B-Instruct管道（69.66）
- 微轮次时长Δt分析显示：Δt=1.2s时轮次准确率最高，但Δt=0.6s在延迟与性能间取得实用平衡
- DuplexCascade-β在反馈频率（ICC Freq）与分布相似性（JSD）指标上排名第二，证明可通过文本训练控制反馈风格

## 局限与风险

- 依赖高质量流式ASR/TTS模块（DSM系列），未验证与其他ASR/TTS的兼容性
- 控制token机制需人工设计，泛化至复杂对话场景（如多人对话）的能力待验证
- 微轮次切分粒度（Δt）需手动调优，缺乏自适应机制
- 训练数据模拟的交互现象基于启发式规则，可能与真实对话存在偏差

## 适合沉淀的概念

`full-duplex-speech-dialogue`, `micro-turn-segmentation`, `conversational-special-tokens`, `vad-free-turn-taking`, `cascaded-asr-llm-tts`, `lora-fine-tuning-dialogue`, `turn-taking-control`, `backchannel-generation`

## 阅读注意

- 关注3.2节中6类控制token的具体语义与使用场景，这是实现可控双工的核心
- 注意3.3.2节对6种交互现象的模拟策略，尤其是打断与反馈的生成逻辑
- 对比Table 1中DuplexCascade与Freeze-Omni的TOR差异，理解VAD-free方法的优势
- 分析Table 2中DuplexCascade与原始Qwen2-7B-Instruct管道的性能差距，评估LLM能力保留程度
- 参考Fig. 3中Δt对性能的影响曲线，理解系统设计中的权衡考量

## 质量说明

- 采用来源：`clean`，`papers/2026/03/2603.09180.md`
- 生成模型：`LongCat-Flash-Chat`
- 源材料判断：论文结构完整，实验充分，包含消融分析与基线对比，数据可信。