1) Мы поменяли вид выбора моделей в меню. Теперь вместо выпадающего меню список с возможностью вывода информации о моделях и статистики. При желании можно откатиться к старой версии списка.
2) По многочисленным просьбам мы добавили инструментальную модель HQ5 на сайт для алгоритма MDX-B (vocals, instrumental).
3) Мы опубликовали веса полученные на датасете MUSDB18 для топовых моделей BSRoformer, MelBandRoformer и SCNet XL. Эти веса могут быть отличной отправной точкой для тренировки своих моделей.
4) Мы добавили три модели от unwa и 2 модели от becruily, которые основаны на архитектуре Mel-Band RoFormer. Все модели ориентированы на увеличении метрики fullness (полнота) либо для vocals, либо для instrumental. Они дают более полное звучание, но могут содержать больше шума. Новые модели доступны под именами:
- unwa Instrumental v1 (SDR vocals: 10.24, SDR instrum: 16.54)
- unwa Instrumental v1e (SDR vocals: 10.05, SDR instrum: 16.36)
- unwa big beta v5e (SDR vocals: 10.59, SDR instrum: 16.89)
- becruily instrum high fullness (SDR instrum: 16.47)
- becruily vocals high fullness (SDR vocals: 10.55)
Модели расположены в разделе "MelBand Roformer (vocals, instrumental)". Детальные метрики доступны в таблице ниже:
| Model | Vocals fullness | Vocals bleedless | Vocals SDR | Vocals L1Freq | Instrum fullness | Instrum bleedless | Instrum SDR | Instrum L1Freq |
| MelBand Roformer (Kimberley Jensen) | 16.66 | 36.51 | 11.01 | 38.96 | 27.71 | 46.72 | 17.32 | 39.77 |
| MelBand Roformer (ver. 2024.08) | 16.39 | 39.13 | 11.18 | 39.26 | 27.74 | 47.07 | 17.49 | 40.16 |
| Bas Curtiz edition | 16.30 | 38.94 | 11.18 | 39.18 | 27.49 | 47.00 | 17.49 | 40.15 |
| MelBand Roformer (ver. 2024.10) | 16.92 | 37.78 | 11.28 | 39.41 | 27.71 | 47.29 | 17.59 | 40.29 |
| unwa Instrumental v1 (SDR vocals: 10.24, SDR instrum: 16.54) | 15.89 | 27.48 | 10.24 | 36.06 | 35.44 | 38.02 | 16.55 | 38.67 |
| unwa Instrumental v1e (SDR vocals: 10.05, SDR instrum: 16.36) | 14.67 | 26.83 | 10.06 | 34.37 | 38.85 | 35.68 | 16.37 | 38.31 |
| unwa big beta v5e (SDR vocals: 10.59, SDR instrum: 16.89) | 20.78 | 32.02 | 10.59 | 38.53 | 25.65 | 45.90 | 16.90 | 37.31 |
| becruily instrum high fullness (SDR instrum: 16.47) | 15.76 | 30.15 | 10.16 | 35.84 | 33.93 | 40.55 | 16.47 | 38.86 |
| becruily vocals high fullness (SDR vocals: 10.55) | 20.72 | 31.25 | 10.55 | 38.84 | 28.28 | 40.85 | 16.86 | 38.24 |
5) Мы добавили 2 модели от lew для Super Resolution. Первая "Universal Super Resolution (by Lew)" - восстанавливает высокие частоты для музыки, вторая более специализированная "Vocals Super Resolution (by Lew)" восстанавливает качество и высокие частоты для вокала. Они доступны для выбора в меню под пунктом "Apollo Enhancers (by JusperLee and Lew)".
6) Мы добавили набор моделей для разделения вокала на Male/Female (мужские и женские голоса). Доступно 2 модели от Sucial и aufr33. Так же доступны две модели натренированные командой MVSep на базе SCNet XL и MelBand RoFormer.
| Algorithm name | Male/Female validation dataset |
|||
| SDR Male | SDR Female | L1_Freq Male | L1_Freq Female | |
| BSRoformer by Sucial (SDR: 6.52) | 6.82 | 6.23 | 40.99 | 40.62 |
| BSRoformer by aufr33 (SDR: 8.18) | 8.47 | 7.89 | 46.65 | 44.73 |
| SCNet XL (SDR: 11.83) | 12.08 | 11.58 | 50.50 | 51.51 |
| MelRoformer (2025.01) (SDR: 13.03) | 13.39 | 12.68 | 57.61 | 56.76 |
7) Мы добавили новую модель SCNet XL для баса с очень высоким SDR: 13.81. В ансамбле метрика SDR достигла 14.07, что является рекордом. Модель доступна под пунктом MVSep Bass (bass, other)
8) Мы добавили вторую версию модели для удаления эффекта реверберации от Sucial в раздел Reverb Removal (noreverb). Имя модели: Reverb removal by Sucial v2 (MelRoformer).
9) Мы подготовили новую модель для вокала на базе архитектуры SCNet XL, она достигла довольно высоких метрик.
| Algorithm name | Multisong dataset | Synth dataset | MDX23 Leaderboard |
||
| SDR Vocals | SDR Instrumental | SDR Vocals | SDR Instrumental | SDR Vocals | |
| SCNet | 10.25 | 16.56 | 12.27 | 11.97 | --- |
| SCNet Large | 10.74 | 17.05 | 12.89 | 12.59 | --- |
| SCNet XL | 10.96 | 17.27 | 13.08 | 12.78 | --- |
Добавление SCNet XL к Mel и BS роформерам в ансамбле увеличило метрику SDR:
vocals: 11.54 -> 11.61
instrumental: 17.84 -> 17.92
10) Мы добавили новую модель для музыкального инструмента - орган. В списке она доступна под именем: MVSep Organ (organ, other).
11) Мы обновили наш API, добавив больше функционала, связанного с очередью задач, рейтингом и использованием разных типов разделения, а также добавили Quality Checker в API. Больше информации доступно в документации: https://mvsep.com/full_api
12) Мы тестируем приложение для Андроид, скоро оно появится в Google Play. Об этом мы дадим анонс отдельно.
13) В ближайшее время мы планируем выложить примеры использования API MVSep на языке Python. Как простые консольные программы, так и с графической оболочкой.
