1) Добавлен новый алгоритм MVSep Wind для экстракции из музыкальных треков духовых инструментов. Духовые включают в себя 2 категории инструментов: медные и деревянные духовые. Более конкретно мы включили в духовые: флейту, саксофон, трубу, тромбон, валторну, кларнет, гобой, губную гармошку, волынку, фагот, тубу, казу, пикколо, флюгельгорн, окарину, сякухати, мелодику, язычковые, диджериду, мюссетт, гайду. Мы подготовили две модели основанные на SCNet и MelBand Roformer архитектурах. Метрики качества приведены в таблице ниже:

Послушать: пользовательские демо

2) Подготовлена новую модель для барабанов на основе нейронной сети SCNet - она дает лучшие результаты среди всех остальных моделей. Так же мы обновили ансамбли которые включают в себя барабаны. См. результаты в таблице ниже:

Послушать: пользовательские демо

3) Добавлен новый алгоритм MVSep Strings это модель на базе архитектуры MDX23C для разделения музыки на струнные смычковые инструменты и все остальное. Метрика SDR: 3.84. Мы планируем подготовить другие архитектуры позже.

Послушать: пользовательские демо

4) Добавлен новый экспериментальный алгоритм для экстракции Phantom Center за авторством wesleyr36. Согласно автору алгоритм извлекает фантомный центр из стереозвука, то есть контент, который одинаков для двух каналов и воспринимается как находящийся посередине.

Послушать: пользовательские демо

5) Добавлены 2 новых вариации Mel Roformer для экстракции вокала: ver 2024.10 (SDR vocals: 11.28, SDR instrum: 17.59) - которая улучшила результат на Multisong Leaderboard. А также unwa Instrumental (SDR vocals: 10.24, SDR instrum: 16.54) - которая хоть и шумная, но дает более полную картину для инструментальной партии.

Послушать: пользовательские демо 1, пользовательские демо 2

6) Добавлены новые модели SCNet и MelBand Roformer, обученные на DnR v3 датасете. Они предназначены для "cinematic" разделения треков на стемы: speech, music и sfx. Метрики получились лучше чем у аналогичной модели Bandit v2. С метриками можно ознакомиться в таблице ниже:

Послушать: пользовательские демо

7) Добавлена новая модель для удаления эффекта реверберации от Sucial. Модель работает только с вокалом. Она доступна для выбора в алгоритме "Reverb Removal (noreverb)" под именем "Reverb removal by Sucial (MelRoformer)"

Послушать: пользовательские демо

8) Алгоритм "MVSep Multichannel BS (vocals, instrumental)", который отлично себя зарекомендовал для разделения мультиканальных треков (Surround 5.1/7.1) был перенесен из экспериментального раздела в раздел HQ Models. Так же мы добавили туда для выбора топовую вокальную модель MelBand Roformer. Особенность данного алгоритма, что при его использовании количество каналов не уменьшается после разделения, а Sample Rate остается идентичным оригиналу.

9) Добавлен алгоритм Medley Vox - изначально это датасет для тестирования алгоритмов разделения нескольких певцов в рамках одного музыкального трека. Так же авторы Medley Vox предложили архитектуру нейронной сети для разделения певцов. Однако, к сожалению, они не выложили веса. Позже их тренировочный процесс повторил Cyru5, натренировав несколько моделей и выложил веса в открытый доступ. Теперь натренированная нейронная сеть доступна на MVSep. Алгоритм работает со звуком с низким Sample Rate, но может быть полезен в некоторых случаях.

10) Был выложен большой набор новых датасетов для проверки качества моделей:
- Piano: https://mvsep.com/quality_checker/leaderboard/piano/
- Guitar: https://mvsep.com/quality_checker/leaderboard/guitar/
- Medley Vox: https://mvsep.com/quality_checker/leaderboard/medley/
- Strings: https://mvsep.com/quality_checker/leaderboard/strings/
- Wind: https://mvsep.com/quality_checker/leaderboard/wind/
- DNR v3 Test: https://mvsep.com/quality_checker/leaderboard/dnr_v3/
- Super Resolution Checker for Music: https://mvsep.com/quality_checker/leaderboard/super_res_music/