返回首页

GigaSpeech 3

hf 0.82
访问原文

介绍

GigaSpeech 3 是 SpeechColab 发布的大规模多方言阿拉伯语语音识别语料:约 1030 万条弱转写语音片段、约 3.9 万小时,覆盖五种方言——DZA(阿尔及利亚)、EGY(埃及)、IRQ(伊拉克)、SAU(沙特)、SYR(叙利亚)。HF:https://huggingface.co/datasets/speechcolab/gigaspeech3 ;论文 arXiv 2611.02476(《Scaling Multi-Dialect Arabic Speech Recognition with Weakly Labeled Data》);评测集 GigaSpeechBench;校对门户 VoxLabel。

数据与方法(官方 card / 手稿):

  • 每方言约 51–63 小时人工转写,训 VietASR 风格偏置 SSL 标注模型,再对匹配方言的网络音频生成弱标签;
  • SAU/SYR 经数据筛选与四轮 noisy-student 精炼;
  • 音频按方言分 tar shard + Parquet 元数据;HF 上约 4.82 TB、约 10,271,066 行;
  • 手稿报告最终方言专用 Zipformer 在 GigaSpeechBench 五方言上 macro-average WER 23.86%;
  • 继承 GigaSpeech / GigaSpeech 2 编号品牌线。

解释

为什么重要

阿拉伯语方言 ASR 长期缺大规模公开训练资源;GigaSpeech 3 用弱监督把五方言推到千万段级,并配套公开评测与校对工具。

许可与用途

官方:仅限科研与评测,不授予商业使用权;底层录音权利仍归原权利人。评测请用独立人工转写(GigaSpeechBench),勿用训练集弱标签当金标。

局限

  • 弱标签含识别/规范化错误;国家级方言标签偏粗,可能混 MSA 与语码转换;
  • 网络来源带来主题与人口统计偏差;
  • 单 shard 可达数 GB,需按元数据按需下载。

用法

适合谁

  • 做阿拉伯语多方言 ASR、弱监督与低资源语音的研究团队;
  • 需要对照 GigaSpeechBench / 迁移到 MASC、Casablanca、SADA 的人;
  • 使用 VoxLabel 做校对的标注项目。

如何上手

  1. 读 arXiv 2611.02476 与 HF card;
  2. load_dataset("speechcolab/gigaspeech3", "SAU", split="train", streaming=True) 先拉元数据;
  3. 再用 hf_hub_download 按 dialect/audio/{shard} 拉对应 tar;
  4. 评测走 GigaSpeechBench;商业场景勿直接用本发布。

广告