1) Добавлен новый алгоритм MVSep Wind для экстракции из музыкальных треков духовых инструментов. Духовые включают в себя 2 категории инструментов: медные и деревянные духовые. Более конкретно мы включили в духовые: флейту, саксофон, трубу, тромбон, валторну, кларнет, гобой, губную гармошку, волынку, фагот, тубу, казу, пикколо, флюгельгорн, окарину, сякухати, мелодику, язычковые, диджериду, мюссетт, гайду. Мы подготовили две модели основанные на SCNet и MelBand Roformer архитектурах. Метрики качества приведены в таблице ниже:
| Algorithm name | Wind dataset | |
| SDR Wind | SDR Other | |
| MelBand Roformer | 6.73 | 16.10 |
| SCNet Large | 6.76 | 16.13 |
| MelBand + SCNet Ensemble | 7.22 | 16.59 |
Послушать: пользовательские демо
2) Подготовлена новую модель для барабанов на основе нейронной сети SCNet - она дает лучшие результаты среди всех остальных моделей. Так же мы обновили ансамбли которые включают в себя барабаны. См. результаты в таблице ниже:
| Название алгоритма | Multisong dataset | |
| SDR Drums | SDR Other | |
| HTDemucs4 | 12.04 | 16.56 |
| MelBand Roformer | 12.76 | 17.28 |
| SCNet Large | 13.01 | 17.53 |
| MelBand + SCNet Ensemble | 13.48 | 18.00 |
| MelBand + SCNet Ensemble (+extract from Instrumental) | 13.59 | --- |
Послушать: пользовательские демо
3) Добавлен новый алгоритм MVSep Strings это модель на базе архитектуры MDX23C для разделения музыки на струнные смычковые инструменты и все остальное. Метрика SDR: 3.84. Мы планируем подготовить другие архитектуры позже.
Послушать: пользовательские демо
4) Добавлен новый экспериментальный алгоритм для экстракции Phantom Center за авторством wesleyr36. Согласно автору алгоритм извлекает фантомный центр из стереозвука, то есть контент, который одинаков для двух каналов и воспринимается как находящийся посередине.
Послушать: пользовательские демо
5) Добавлены 2 новых вариации Mel Roformer для экстракции вокала: ver 2024.10 (SDR vocals: 11.28, SDR instrum: 17.59) - которая улучшила результат на Multisong Leaderboard. А также unwa Instrumental (SDR vocals: 10.24, SDR instrum: 16.54) - которая хоть и шумная, но дает более полную картину для инструментальной партии.
Послушать: пользовательские демо 1, пользовательские демо 2
6) Добавлены новые модели SCNet и MelBand Roformer, обученные на DnR v3 датасете. Они предназначены для "cinematic" разделения треков на стемы: speech, music и sfx. Метрики получились лучше чем у аналогичной модели Bandit v2. С метриками можно ознакомиться в таблице ниже:
| Название алгоритма |
Метрики качества в таблице лидеров DnR v3 |
||||
| music (SDR) | sfx (SDR) | speech (SDR) | |||
| SCNet Large | 9.94 | 11.35 | 12.59 | ||
| Mel Band Roformer | 9.45 | 11.24 | 12.27 | ||
| Ensemble (Mel + SCNet) | 10.15 | 11.67 | 12.81 | ||
| Bandit v2 (для сравнения) | 9.06 | 10.82 | 12.29 | ||
Послушать: пользовательские демо
7) Добавлена новая модель для удаления эффекта реверберации от Sucial. Модель работает только с вокалом. Она доступна для выбора в алгоритме "Reverb Removal (noreverb)" под именем "Reverb removal by Sucial (MelRoformer)"
Послушать: пользовательские демо
8) Алгоритм "MVSep Multichannel BS (vocals, instrumental)", который отлично себя зарекомендовал для разделения мультиканальных треков (Surround 5.1/7.1) был перенесен из экспериментального раздела в раздел HQ Models. Так же мы добавили туда для выбора топовую вокальную модель MelBand Roformer. Особенность данного алгоритма, что при его использовании количество каналов не уменьшается после разделения, а Sample Rate остается идентичным оригиналу.
9) Добавлен алгоритм Medley Vox - изначально это датасет для тестирования алгоритмов разделения нескольких певцов в рамках одного музыкального трека. Так же авторы Medley Vox предложили архитектуру нейронной сети для разделения певцов. Однако, к сожалению, они не выложили веса. Позже их тренировочный процесс повторил Cyru5, натренировав несколько моделей и выложил веса в открытый доступ. Теперь натренированная нейронная сеть доступна на MVSep. Алгоритм работает со звуком с низким Sample Rate, но может быть полезен в некоторых случаях.
10) Был выложен большой набор новых датасетов для проверки качества моделей:
- Piano: https://mvsep.com/quality_checker/leaderboard/piano/
- Guitar: https://mvsep.com/quality_checker/leaderboard/guitar/
- Medley Vox: https://mvsep.com/quality_checker/leaderboard/medley/
- Strings: https://mvsep.com/quality_checker/leaderboard/strings/
- Wind: https://mvsep.com/quality_checker/leaderboard/wind/
- DNR v3 Test: https://mvsep.com/quality_checker/leaderboard/dnr_v3/
- Super Resolution Checker for Music: https://mvsep.com/quality_checker/leaderboard/super_res_music/
