Qwen3-ASR (extract text from audio)
Qwen3-ASR - модель распознавания речи (speech-to-text) с открытым исходным кодом от команды Qwen, построенная на основе аудиовозможностей Qwen3-Omni. Она преобразует речь, пение или песню в текст с пунктуацией и временными метками. На MVSep используется самая большая версия модели (Qwen3-ASR-1.7B) вместе с Qwen3-ForcedAligner-0.6B, которая привязывает каждое распознанное слово ко времени в записи.
Модель распознаёт 30 языков и 22 китайских диалекта и определяет язык автоматически. В отличие от большинства моделей распознавания речи, она обучена работать с пением и песнями с музыкальным сопровождением, поэтому хорошо подходит для получения текстов песен. Результат — полный текст и список сегментов (предложений или фраз) с временем начала и окончания.
Настройки
- Сначала выделить вокал - перед распознаванием отделить вокал от музыки. Рекомендуется для песен с громкими инструментами. Для записей речи обычно не требуется. Если на исходной записи не удаётся определить время слов, вокал выделяется автоматически.
- Язык - оставьте «авто» для автоматического определения или выберите язык явно, если в записи несколько языков или язык определяется неверно.
Поддерживаемые языки
английский, китайский, кантонский, арабский, немецкий, французский, испанский, португальский, индонезийский, итальянский, корейский, русский, тайский, вьетнамский, японский, турецкий, хинди, малайский, нидерландский, шведский, датский, финский, польский, чешский, филиппинский, персидский, греческий, румынский, венгерский, македонский, а также 22 китайских диалекта.
Временные метки официально поддерживаются для 11 языков: английского, китайского, кантонского, французского, немецкого, итальянского, японского, корейского, португальского, русского и испанского. Для остальных языков временные метки могут быть менее точными.
Качество
Доля ошибок в словах (WER, %, чем меньше, тем лучше), опубликованная авторами:
| Набор данных | Whisper-large-v3 | Qwen3-ASR-1.7B |
|---|---|---|
| LibriSpeech (clean / other) | 1.51 / 3.97 | 1.63 / 3.38 |
| Fleurs (английский) | 4.08 | 3.35 |
| Common Voice (английский) | 9.90 | 7.39 |
| Fleurs (12 языков) | 5.27 | 4.90 |
| MLS (8 языков) | 8.62 | 8.55 |
| M4Singer (пение) | 13.58 | 5.98 |
| Popcs (пение) | 13.77 | 8.52 |
Точность определения языка: 97.9% (Whisper-large-v3: 94.1%).
Ссылки
- Оригинальная страница: github.com/QwenLM/Qwen3-ASR
- Веса модели: huggingface.co/Qwen/Qwen3-ASR-1.7B, huggingface.co/Qwen/Qwen3-ForcedAligner-0.6B
- Статья: Qwen3-ASR Technical Report (2026)
© Qwen Team, Alibaba Cloud. Лицензия: Apache 2.0
