实体导读
Kyutai 实验室于 2024 年 9 月发布的首个实时全双工语音对话模型。开创了多流自回归架构范式。
- 基本信息
- 架构
- 意义
- 相关页面
Moshi
Kyutai 实验室于 2024 年 9 月发布的首个实时全双工语音对话模型。开创了多流自回归架构范式。
基本信息
| 属性 | 值 |
|---|---|
| arXiv | 2410.00037 |
| 团队 | Kyutai Labs（法国） |
| 发布 | 2024-09-17 |
| 开源 | 是（kyutai/moshiko-pytorch-bf16） |
| 理论延迟 | 160ms |
| 实际延迟 | ~200ms |
| 编解码器 | Mimi（12Hz, 1.1kbps） |
架构
三个核心组件： 1. Helium： 从零训练的文本 LLM backbone（7B 参数） 2. Mimi： 流式神经音频编解码器，结合语义+声学信息，残差量化 3. 多流层级化 token 生成模型： 分别建模系统语音和用户语音的并行 token 流
关键创新：将 spoken dialogue 视为 speech-to-speech generation，同时建模用户和模型两个音频流，支持重叠语音、打断和插话。
意义
- 首个真正意义上的实时全双工语音 LLM
- 开源，推动了全双工语音研究的爆发
- 多流架构成为后续工作的重要参考
相关页面
- full-duplex-speech-model - 全双工语音模型概念
- seeduplex - 字节 Seed 全双工模型
- freeze-omni - 冻结 LLM 方案