返回首页

Luel Multi-Speaker Separation

sitemap 0.70
访问原文

介绍

Luel Multi-Speaker Separation 是 Luel 的多人说话人分离产品:把一段多人对话录音拆成每人一条独立音轨。产品博文:https://www.luel.ai/blog/luel-multi-speaker-separation 。目前处于封闭测试(closed beta)。

动机:播客、会议、访谈与通话通常只有混在一起的单轨;只能整体调音量,无法单独抬出某个人。该产品接收录音后,为每位说话人返回整段时长的干净单人轨。

要点:

  • 训练数据来自 Luel 贡献者网络的真实对话(停顿、笑声、语速变化、远近麦),而非仅干净短片段;
  • 官方在留出训练外测试通话上自报:每人都能分到自己的轨、无人被换到别人轨;独白段落在正确轨上约 99.3%;
  • 硬件轻量:在普通云 GPU 上大约实时(一小时音频约一小时处理);支持 2–4 人、最长约 90 分钟、最高 48 kHz,输出采样率与输入一致;
  • 额外输出说话时间线;笑声、咳嗽等非人声可落到单独「非人」文件;
  • 当前最强于轮流发言;串话、共享房间麦、更多语言等仍在后续路线图;多数测试为英语。

解释

解决什么问题

混录对话难以单独编辑、转录、配音或做说话人级训练数据。分离后可只改一人、按人转录/配音、研究话轮,或把长时间真实对话变成可用语料。

设计与能力边界

  • 强调整段一致性:同一人在整小时录音中保持同一轨,而非只在短窗内聚类;
  • 自报指标来自 Luel 留出通话测试,完整结果见其模型页;
  • 局限:约四分之一的长双人通话可能多出一条背景声或碎片轨,使用前应人工听轨;
  • 封闭测试,需申请访问。

与 Luel Speech 的关系

同属 Luel 音频产品线,但目标不同:Speech 是低资源语言 TTS;本产品是多人对话分离。

用法

适合谁

  • 播客/会议后期、采访整理、通话质检;
  • 需要按说话人切分语料的 ASR/语音数据团队。

如何上手

  1. 阅读 https://www.luel.ai/blog/luel-multi-speaker-separation 与模型页结果;
  2. 向 Luel 申请 closed beta,并说明音频类型(人数、时长、语言);
  3. 输入 2–4 人、建议不超过 90 分钟的录音;处理后逐轨试听,尤其注意可能的多余轨;
  4. 将分离轨接到编辑、转录或数据管线,并为 Review/异常轨预留人工流程。

广告