返回首页 访问原文
GigaSpeech 3
介绍
GigaSpeech 3 是 SpeechColab 发布的大规模多方言阿拉伯语语音识别语料:约 1030 万条弱转写语音片段、约 3.9 万小时,覆盖五种方言——DZA(阿尔及利亚)、EGY(埃及)、IRQ(伊拉克)、SAU(沙特)、SYR(叙利亚)。HF:https://huggingface.co/datasets/speechcolab/gigaspeech3 ;论文 arXiv 2611.02476(《Scaling Multi-Dialect Arabic Speech Recognition with Weakly Labeled Data》);评测集 GigaSpeechBench;校对门户 VoxLabel。
数据与方法(官方 card / 手稿):
- 每方言约 51–63 小时人工转写,训 VietASR 风格偏置 SSL 标注模型,再对匹配方言的网络音频生成弱标签;
- SAU/SYR 经数据筛选与四轮 noisy-student 精炼;
- 音频按方言分 tar shard + Parquet 元数据;HF 上约 4.82 TB、约 10,271,066 行;
- 手稿报告最终方言专用 Zipformer 在 GigaSpeechBench 五方言上 macro-average WER 23.86%;
- 继承 GigaSpeech / GigaSpeech 2 编号品牌线。
解释
为什么重要
阿拉伯语方言 ASR 长期缺大规模公开训练资源;GigaSpeech 3 用弱监督把五方言推到千万段级,并配套公开评测与校对工具。
许可与用途
官方:仅限科研与评测,不授予商业使用权;底层录音权利仍归原权利人。评测请用独立人工转写(GigaSpeechBench),勿用训练集弱标签当金标。
局限
- 弱标签含识别/规范化错误;国家级方言标签偏粗,可能混 MSA 与语码转换;
- 网络来源带来主题与人口统计偏差;
- 单 shard 可达数 GB,需按元数据按需下载。
用法
适合谁
- 做阿拉伯语多方言 ASR、弱监督与低资源语音的研究团队;
- 需要对照 GigaSpeechBench / 迁移到 MASC、Casablanca、SADA 的人;
- 使用 VoxLabel 做校对的标注项目。
如何上手
- 读 arXiv 2611.02476 与 HF card;
load_dataset("speechcolab/gigaspeech3", "SAU", split="train", streaming=True)先拉元数据;- 再用
hf_hub_download按dialect/audio/{shard}拉对应 tar; - 评测走 GigaSpeechBench;商业场景勿直接用本发布。
广告