PersonaPlex

PersonaPlex：全双工对话语音模型的角色与音色控制

一句话定位

提出 PersonaPlex，一种基于混合系统提示（文本角色+音频音色）的全双工语音对话模型，支持零样本音色克隆与细粒度角色控制，在真实场景客服任务中实现高自然度与强指令遵循能力。

小学生也能听懂

这篇论文发明了一个会“变声”和“演戏”的语音助手，像演员一样能模仿不同人的声音（音色克隆），还能按剧本（角色描述）说话，边听边回，像真人客服一样自然聊天。

为什么值得记录

• 首次将角色条件化与音色克隆集成到全双工语音模型中，突破现有系统仅支持固定角色与音色的限制
• 提出 Service-Duplex-Bench 基准，扩展 Full-Duplex-Bench 至多角色客服场景，填补真实世界角色评估空白
• 在保持低延迟与流畅交互的同时，实现与闭源商业系统（如 Gemini Live）相当的自然度与角色一致性
• 开源模型 checkpoint 在多个指标上超越同类开放模型，推动个性化对话代理研究

核心方法

• 采用 Moshi 架构作为基础，接收三路输入：用户音频、代理文本、代理音频
• 设计 Hybrid System Prompt：前部为语音样本（用于音色克隆），后部为文本角色描述（用于角色控制），两段通过自定义分隔符连接
• 训练时屏蔽系统提示部分的损失回传，并对非语义音频 token（权重 0.02）和填充文本 token（权重 0.3）进行降权处理
• 使用大规模合成数据训练：1840 小时客服对话 + 410 小时问答对话，由 Qwen-3-32B 和 GPT-OSS-120B 生成对话文本，Dia 和 Chatterbox TTS 生成语音
• 初始化权重来自 Moshi，采用 Adam 优化器（深度 transformer lr=4e-6，时序 transformer lr=2e-6），训练 24,576 步，batch size 32，最大序列长度 2048 token（约 164 秒）

关键结果

• 在 Full-Duplex-Bench 上 DMOS 达 3.90（95% CI ±0.15），显著高于 Moshi（3.11）和 Freeze-Omni（3.51）
• 音色相似度 SSIM 达 0.57，远超其他基线（Moshi: 0.10, Qwen-2.5-Omni: 0.07）
• 在 Service-Duplex-Bench 上 GPT-4o 评分均值为 4.48，仅次于 Gemini（4.73），远高于其他开放模型
• 数据量实验显示：25% 数据即可接近全量性能，表明合成数据高效；但角色一致性随数据量持续增长
• 发布版本进一步融合 Fisher 真实对话数据并使用 TortoiseTTS 合成语音，SSIM 提升至 0.65，回话频率提高

局限与风险

• 依赖大规模合成数据，虽避免隐私问题但可能引入分布偏差
• 角色控制仍基于静态文本提示，缺乏动态上下文适应能力
• 未进行强化学习对齐，可能存在指令误解或不当响应风险
• 评估中 Service-Duplex-Bench 为单轮探针，未充分测试多轮角色一致性

适合沉淀的概念

full-duplex-speech-model, voice-cloning, role-conditioning, hybrid-system-prompt, synthetic-dialogue-generation, service-duplex-bench, dialogue-naturalness-mos, speaker-similarity-ssim

阅读注意

• 注意 Hybrid System Prompt 的结构设计：语音在前可支持推理时预填充以降低延迟
• Table 2 中 TOR 指标含义需结合 Full-Duplex-Bench 原文理解（越低越好或越高越好因任务而异）
• Appendix A 说明发布版本与论文实验设置的差异：使用合成语音替代真实语音，并加入 Fisher 数据提升自然表达
• Service-Duplex-Bench 的 7 类问题（如 Proper Noun、Unfulfillable Request）用于细粒度评估角色行为
• 训练策略上采用 Moshi 权重初始化 + 微调，而非从头训练，体现迁移学习有效性

质量说明

• 采用来源：clean，papers/2026/02/2602.06053.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文材料完整，包含方法细节、实验设置、结果数据及发布版本说明，关键图表与表格均提供，可支撑复现与深入分析。