Разделитель музыки и голоса

Информация: сайт выполняет разделение музыкального трека на отдельные составляющие: голос, отдельная музыка, барабаны, гитара, пианино и т.д. Примеры разделения трека на две части - голос и музыку можно посмотреть в видео ниже. Также посмотреть результаты разделений можно на демо-странице.

Новости [2021.10.19]: На сайт mvsep.com добавлены два новых алгоритма для разделения треков: MDX A и MDX B. Это модели, созданные участниками конкурса Music Demuxing Challenge, которые заняли второе место. Код их решения и модели нейронных сетей были выложены в открытый доступ. Мы всё ещё ждем решение первого места. Но и эти модели по конкурсным метрикам значительно обгоняют Spleeter и UmxXL (см. табличку ниже), но пока проигрывают по скорости. MDX A отличается от MDX B тем что первый алгоритм не использовал внешние данные для обучения, поэтому результаты чуть хуже, чем у MDX B.
Значения в таблице рассчитаны на закрытом конкурсном датасете (доступен только организаторам). Чем больше значение, тем лучше работает алгоритм.

Алгоритм	Качество (Bass)	Качество (Drums)	Качество (Other)	Качество (Vocals)	Пример
Spleeter (4 stems)	5.774	5.845	4.321	6.939	Пример
UmxXL	6.619	6.838	4.891	7.732	Пример
MDX A	7.232	7.173	5.636	8.901	Пример
MDX B (Orig)	7.495	7.554	5.533	8.896	---
MDX B (MVSep)	7.495	7.554	5.533	9.482	Пример

Новости [2021.08.30]: на сайте mvsep.com несколько полезных обновлений

• Обновлены ПО и код сайта. Разделение треков стало работать быстрее и стабильнее. Всё реже случаются падения нашего бекэнда.
• Добавлен новый алгоритм разделения, который называется UnMix. У алгоритма доступно 4 модели "umxXL", "umxHQ", "umxSD", "umxSE". Самая качественная - первая "umxXL". По первым тестам, голос отделяет чуть хуже, чем spleeter, а вот инструменты лучше. В любом случае теперь открыто большое поле для экспериментов с треками.
• Переделана страница с результатми разделения: добавлен оригинальный трек, удобно сравнивать с одной страницы. Добавлена информация по настройкам разделения, выводится информация по загруженному файлу, ID3-теги и изображение (если они есть).

Примеры разделения на базе нового алгоритма:
umxXL: Monk Turner Fascinoma - Its Your Birthday
umxHQ: Robin Grey - These Days
umxSD: Brad Sucks - Total Breakdown
umxSE: Paper Navy - Swan Song

И напоследок немного статистики. В день на сайте разделяется около 600-750 треков. А за всё время было разделено более 300,000 треков. Двигаемся в сторону миллиона.

Другие проекты: удаление лиц с фото и видео hide-face.com

×