Алгоритмы

Ансамбль лучших вокальных моделей. Алгоритм даёт максимально возможное качество для вокальной и инструментальной дорожек. Последний ансамбль состоит из вокальных моделей BS Roformer, MelBand Roformer и SCNet XL IHF.

Таблица качества

Детальная статистика на Multisong датасете:

Ансамбль основан на алгоритме, занявшем 2-е место на Music Demixing Track of Sound Demixing Challenge 2023. Основное отличие от конкурсной версии — гораздо более совершенные вокальные/инструментальные модели, которые здесь используются. Для вокала мы используем следующие модели: UVR-MDX-NET-Voc_FT, Demucs4 Vocals 2023, MDX23C, VitLarge23, BS Roformer, Mel Roformer и SCNet XL. Для дорожек «bass», «drums» и «other» мы используем следующие 4 модели: demucsht_ft, demucs_ht, demucs_6s и demucs_mmi. Первоначальная конкурсная модель доступна здесь: https://github.com/ZFTurbo/MVSEP-MDX23-music-separation-model

Таблицы качества

Модель BS Roformer SW, которая одновременно генерирует 6 стемов превосходного качества.

Таблица качества, которая показывает значения SDR из набора данных Multisong и из таблиц лидеров для фортепиано и гитары:

Алгоритм Demucs4 HT. Лучший для разделения на bass/drums/other. Он был представлен в 2022 году командой из Facebook research. У алгоритма 3 версии: 

• htdemucs_ft - лучшее качество, но медленный
• htdemucs - ниже качество, но быстрый
• htdemucs_6s - имеет два дополнительных стема для разделения "piano" и "guitar" (качество пока среднее).

Ссылка: https://github.com/facebookresearch/demucs/tree/ht/demucs

Метрики качества разделения

Модель BS Roformer.  На данный момент модель даёт самое высокое качество разделения на вокальную и инструментальную дорожки (за исключением ансамблей). Метрики лучше чем у предыдущего лидера - MDX23C. Это модифицированная версия исходной модели BS Roformer. Изменения были сделаны lucidrains на github. Вторая версия весов для модели с лучшим качеством была подготовлена viperx. Последние версии моделей это улучшенные версия весов viperx. Они тренировались на гораздо большем датасете. И имеют лучшие метрики на трех различных проверерочных системах.

Таблица качества

Детальная статистика на Multisong датасете:

BS PolarFormer относится к семейству моделей основанных на трансформерах, но в отличие от BSRoformer тут используются эмбеддинги основанные на полярных координатах, которые хорошо работают с длинными контекстами. В этой архитектуре используются более длинные отрывки музыкальных треков.

Для этой модели доступна опция Overlap (перекрытие). При обработке аудио длинный сигнал разбивается на сегменты («окна») фиксированной длины, и Overlap определяет степень их наложения друг на друга. Это позволяет сгладить переходы между окнами, задействовать больше контекста и повысить качество разделения.

• 50% (по умолчанию): оптимальный выбор для большинства задач.
• 87.5% (для платных пользователей): позволяет получить дополнительные +0.02 SDR к качеству. Количество потраченных кредитов на разделение умножится на 1.5.

Важно: высокий показатель Overlap значительно увеличивает нагрузку на систему при незначительном приросте качества.

Quality table

Детальная статистика на Multisong dataset:

Ниже приведена зависимость значения SDR от размера Chunk Size модели для Multisong датасета.

Алгоритм для разделения треков на вокальную и инструментальную части на базе нейронной сети MelBand Roformer. Нейронная сеть впервые предложена в статье "Mel-Band RoFormer for Music Source Separation" от группы ученых из компании ByteDance. Первые веса высокого качества в открытый доступ выложила Kimberley Jensen. Далее нейронная сеть с открытыми весами была немного изменена и дотренирована командой MVSep с целью улучшить метрики качества. Также имеются высококачественные веса, предоставленные: @Bas Curtiz, @unwa, @becruily и @gabox.

Таблица качества

Детальная статистика на Multisong датасете:

Новый набор моделей MDX23C, основанный на коде опубликованном kuielab в рамках Sound Demixing Challenge 2023. Результаты полученных моделей содержат весь частотный спектр и имеют максимальные метрики качества для вокала и музыки на MultiSong Dataset и Synth Dataset.

Таблица качества

Алгоритм для разделения треков на вокальную и инструментальную части на базе нейронной сети SCNet. Нейронная сеть предложена в статье "SCNet: Sparse Compression Network for Music Source Separation" от группы ученых из Китая. Авторы выложили код нейронной сети в открытый доступ, а команда MVSep смогда воспроизвести результаты похожие на те, что приведены в опубликованной статье. Сначала мы натренировали маленькую версию SCNet, а затем спустя некоторое время была подготовлена и более тяжелая версия SCNet. Метрики качества довольно близки к качеству Roformer моделей (которые являются топовыми моделями на данный момент), но все же слегка им уступают. Однако в некоторых случаях модель может сработать лучше чем Roformer'ы.

Таблица качества

Подробная статистика на Multisong dataset:

Модели MDX B основаны на коде kuielab из Music Demixing Challenge 2021. Модели были переобучены командой UVR на большом наборе данных. Долгое время модели были лучшими для разделения треков на вокальную и инструментальную партии.

Метрики качества

Набор моделей из программы Ultimate Vocal Remover, которые основаны на старой VR-архитектуре. Большинство моделей вокальные, но есть так же специальные модели для караоке, пианино, устранение эффектов реверберации и т.д. В целом модели имеют среднее качество разделения, но могут быть полезны в некоторых сценариях.

Demucs4 Vocals 2023 - это модель Demucs4 HT которая была обучена на большом вокальном/инструментальном датасете. Она имеет лучшие показатели разделения вокала по сравнению с Demucs4 HT (версия _ft). Но обычно она дает метрики чуть хуже, чем модели MDX23C, но может быть полезна для ансамблей, поскольку модель сильно отличается от MDX23C.

Quality table

Алгоритм для экстракции только ведущего вокала (lead vocals) и всего остального на базе моделей MelBand Roformer и SCNet. Работает как для произвольного музыкального трека, так же можно предварительно извлечь вокал выбрав опцию "Extract vocals first" в Extraction type. Во втором случае в отдельном файле будет доступен back vocals.

Существует 5 моделей, одна подготовлена командой @aufr33 и viperx, вторая @becruily, третья @gabox и четвертая это объединенная модель @aufr33/viperx и @gabox. Так же отдельно добавлена модель на базе архитектуры SCNet XL IHF от @becruily.

Метрики качества приведены ниже. Для сравнения в таблице так же приведены метрики качества для старых алгоритмов UVR и MDX-B Karaoke.

Модель MDX-B Karaoke подготовлена в рамках проекта Ultimate Vocal Remover. Модель производит высококачественное извлечение ведущей вокальной партии из музыкального трека. Модель доступна в двух вариантах. В первом варианте, нейросетевая модель используется напрямую на всем треке. Во втором случае, трек сначала разделяется на две части вокальную и инструментальную и затем нейросетевая модель применяется уже только к вокальной части. Во втором случае качество разделения обычно выше и при этом появляется возможность дополнительно отделить бэк-вокал в отдельную дорожку. Модель сравнивалась с двумя другими моделями из UVR (они тоже доступны на сайте) на большом валидационном наборе. Используемая метрика — SDR: чем больше, тем лучше.

См. результаты в таблице ниже.

Уникальная модель для удаления звуков толпы из музыкальных записей (аплодисменты, хлопки, свист, шум, смех и т.д.). Текущие показатели нашего внутреннего набора данных для контроля качества:

Примеры работы модели можно найти: здесь и здесь.

Medley Vox - это датасет для тестирования алгоритмов разделения нескольких певцов в рамках одного музыкального трека. Так же авторы Medley Vox предложили архитектуру нейронной сети для разделения певцов. Однако, к сожалению, они не выложили веса. Позже их тренировочный процесс повторил Cyru5, натренировав несколько моделей и выложил веса в открытый доступ. Теперь натренированная нейронная сеть доступна на MVSep. 

MVSep Multichannel BS - эта модель подготовлена для экстракции вокала из мультиканального звука (5.1, 7.1 и.т.д.). Упор на отсутствие преобразований и потери качества. После обработки модель возвращает мультиканальный звук в том же формате, в каком он был отправлен на сервер с тем же sample rate.

Модель для разделения мужских и женских голосов в рамках одной вокальной дорожки. Дорожка должна содержать только голоса, без музыки. Если у вас есть лишние звуки, то используйте опцию "Extract vocals first with BS Roformer".

Метрики качества

Высококачественная модель для извлечения хора из аудио. Опция «How to extract» позволяет выбрать между извлечением напрямую из микса или предварительным выделением вокала с последующим применением модели к вокальной партии.

SATB — это музыкальная аббревиатура, которая расшифровывается как Сопрано, Альт, Тенор и Бас. Это стандартный состав для четырехголосной гармонии, наиболее часто используемый в хоровой музыке, но также служащий фундаментальной структурой для западной теории музыки и композиции. Вот описание четырех голосов, их диапазонов и ролей:

Голоса расположены от самого высокого к самому низкому:

• S (Сопрано): Самый высокий женский голос. Роль: В большинстве стандартных гимнов и поп-аранжировок партия сопрано ведет мелодию.

• A (Альт): Более низкий женский голос. Роль: Партия альта обычно обеспечивает гармонию непосредственно под мелодией. Это часто «клей», соединяющий высокую мелодию с более низкими мужскими голосами.

• T (Тенор): Самый высокий мужской голос. Роль: Партия тенора обеспечивает нижнюю гармонию и добавляет текстуру в середину аккорда.

• B (Бас): Самый низкий мужской голос. Роль: Партия баса обеспечивает гармоническую основу. Обычно он поет «основной тон» аккорда, придавая музыке устойчивость.

Хотя SATB описывает человеческие голоса, эта концепция применяется и к инструментам. Многие семейства инструментов построены так, чтобы имитировать структуру диапазонов SATB:

• Струнные: Скрипка 1 (S), Скрипка 2 (A), Альт (T), Виолончель (B)

Метрика SDR на внутреннем валидационном датасете:

Данная модель работает с вокалом, струнными, фортепиано и мелодиями синтезаторов. Однако она не работает с полноценными миксами. Если вам нужно обработать вокальные партии, необходимо предоставить изолированный вокал без инструментального сопровождения. Используйте опцию "Extract vocals first" для миксов.

Модель MVSep Drums представлена в 3 вариантах основанных на архитектурах: HTDemucs4, MelRoformer и SCNet. Модель производит качественное разделение музыки на барабанную партию и все остальное. Метрики качества доступны в таблице ниже.

 Detailed statistics on Multisong dataset:

Модель MVSep Bass существует в 3 различных вариантах на основе следующих архитектур: HTDemucs4, BS Roformer и SCNet XL. Модель производит высококачественное разделение музыки на басовую часть и все остальное.

Метрики качества

Модель производит разделение дорожки барабанов на 4, 5 или 6 типов: 'kick', 'snare', 'cymbals', 'toms'. В моделях для 5 дорожек из 'cymbals' выделяется 'hh', а в случае 6 дорожек 'cymbals' разбивается на 'hh', 'ride' и 'crash'.

Всего доступно 8 моделей: 
1) Используется модель DrumSep из репозитория на github обученная на базе архитектуры HDemucs и разбивающая барабаны на 4 дорожки.
2) Модель на  базе архитектуры mdx23c, подготовленная @jarredou и @aufr33. Модель разбивает барабаны на 6 дорожек.
3) Модель на  базе архитектуры SCNet XL, которая разбивает барабаны на 5 дорожек.
4) Модель на  базе архитектуры SCNet XL, которая разбивает барабаны на 6 дорожек.
5) Модель на  базе архитектуры SCNet XL, которая разбивает барабаны на 4 дорожки.
6) Ансамбль 4 моделей (одна MDX23C и три SCNet XL)
7) Модель на  базе архитектуры Mel Band Roformer, которая разбивает барабаны на 4 дорожки.
8) Модель на  базе архитектуры Mel Band Roformer, которая разбивает барабаны на 6 дорожек.

Все модели работают только с дорожкой барабанов, если в дорожке присутствуют другие инструменты или голос, то модель будет работать некорректно. Поэтому алгоритм имеет два режима работы. В первом (по умолчанию) сначала к треку применяется лучшая модель для барабанов MVSep Drums, которая извлекает из трека только барабанную часть. Далее уже применяется модель DrumSep. Если ваш трек состоит только из барабанов, то имеет смысл использовать второй режим, где модель DrumSep применяется непосредственно к загруженному аудио.

Таблица качества (метрика SDR, чем больше тем лучше):

Таблица качества (метрика L1 Freq, чем больше тем лучше):

Таблица качества (метрика Fullness, чем больше тем лучше):

Таблица качества (метрика Bleedless, чем больше тем лучше):

@jarredou подготовил новый набор данных для проверки DrumSep. Он состоит из 150 небольших различных треков. 1-я часть — наборы ударных от 001 до 017 (по 5 треков для каждого из этих наборов ударных с разным стилем игры) — акустические барабаны. От 018 до 082 (по 1 треку на набор ударных) — электробарабаны. Этот набор данных предназначен для разделения барабанов на 5 стемов: ['kick', 'snare', 'toms', 'hh', 'cymbals']. Для 6 моделей стемов 'ride' и 'crash' были суммированы в 'cymbals'. Для 4 моделей стемов 'hh' и 'cymbals' были суммированы в 'cymbals'.

Таблица качества (метрика SDR, чем больше тем лучше):

Таблица качества (метрика L1 Freq, чем больше тем лучше):

Таблица качества (метрика Log WMSE, чем больше тем лучше):

Модель MVSep Piano представлена в нескольких вариантах, основанных на архитектурах MDX23C, MelRoformer и SCNet Large. Модель производит высококачественное разделение музыки на партию фортепиано и всего остального. Для сравнения в таблице приведены метрики на открытой модели Demucs4HT (6 партий). Используемая метрика SDR - чем больше, тем лучше.

См. результаты в таблице ниже.

MVSep Keys — это высококачественная модель для разделения музыки на клавишные инструменты и всё остальное. Список инструментов: орган, клавесин, акустическое пианино, электропианино, цифровое пианино, меллотрон, челеста, вурлитцер, роудс, аккордеон.

Модель MVSep Organ производит качественное разделение музыки на органную партию и все остальное.

Clavinet (Клавинет) — это электромеханический клавишный инструмент, разработанный и выпускавшийся немецкой компанией Hohner с 1964 по 1982 год. Изначально он создавался для домашнего музицирования и исполнения классической музыки (как современная электрическая замена старинному клавикорду), но благодаря своему уникальному звучанию стал культовым инструментом в жанрах фанк, диско, соул и рок.

Как он работает

По принципу звукоизвлечения клавинет больше всего напоминает электрогитару, механизмы которой спрятаны внутрь корпуса с клавишами:

• Под каждой клавишей находится металлический рычажок с небольшим резиновым наконечником (тангентом). При нажатии на клавишу этот наконечник резко ударяет по настоящей металлической струне и прижимает её, заставляя вибрировать.

• Колебания струн считываются электромагнитными звукоснимателями (система аналогична звукоснимателям на электрогитарах). Они преобразуют акустические колебания в электрический сигнал, который направляется во внешний усилитель.

• Стандартный клавинет имеет 60 клавиш (диапазон в 5 октав).

Характер звучания

Звук клавинета крайне узнаваем. Он яркий, резкий, очень перкуссионный и отрывистый (стаккато). Благодаря такой динамике инструмент идеально подходит для исполнения быстрых ритмических и синкопированных партий. Музыканты часто пропускают звук клавинета через гитарные педали эффектов. Использование педали «вау-вау» (wah-wah), автовау или перегруза (overdrive/fuzz) стало классическим приемом в фанк-музыке.

Знаменитый пример: Самый известный в истории музыки рифф, сыгранный на клавинете, звучит во вступлении к песне Стиви Уандера «Superstition» (1972).

Основные модели

В процессе производства компания Hohner выпустила несколько модификаций инструмента:

Rhodes (Fender Rhodes / Роудс) — это культовый электромеханический клавишный инструмент, разработанный Гарольдом Роудсом. Изначально спроектированный в годы Второй мировой войны для реабилитации раненых солдат, к 1970-м годам он стал одним из важнейших инструментов в арсенале музыкантов. Роудс во многом определил звучание джаз-фьюжна, фанка, соула и классического рока.

Как он работает

По своей механике Роудс отдаленно напоминает акустическое фортепиано, но использует совершенно другой принцип резонанса, дополненный системой гитарных звукоснимателей:

• При нажатии на клавишу деревянный молоточек с резиновым (неопреновым) наконечником ударяет по тонкому металлическому стержню (язычку, англ. tine).

• Этот стержень соединен с более толстым и тяжелым резонатором (tonebar). Вместе они образуют своеобразный асимметричный камертон, который долго и стабильно вибрирует.

• Прямо напротив каждого язычка располагается индивидуальный электромагнитный звукосниматель, который считывает колебания металла и превращает их в электрический сигнал.

Характер звучания

Звук Роудса невероятно динамичен и чутко реагирует на силу нажатия. При мягкой, спокойной игре он звучит нежно, тепло и «колокольчикообразно» (похоже на вибрафон). Но если ударить по клавишам с силой, стержни начинают вибрировать шире, и инструмент выдает характерный перегруженный, агрессивный рык (известный как bark).

Музыканты почти всегда обогащают чистый сигнал Роудса эффектами — чаще всего встроенным тремоло (автопанорамированием), а также педалями хоруса или фейзера.

Знаменитые примеры: Партию Роудса можно услышать в песне The Doors — «Riders on the Storm» (1971), где он имитирует шум дождя, а также в классической композиции Стиви Уандера — «You Are the Sunshine of My Life» (1972).

Основные модели

Самыми массовыми и легендарными сериями стали Mark I и Mark II, которые традиционно делились на две конфигурации:

Mellotron (Меллотрон) — это уникальный электромеханический клавишный инструмент, разработанный в Англии в начале 1960-х годов. По сути, он является далеким предком современных цифровых семплеров, но вместо цифровой памяти для воспроизведения звуков в нем используются обычные катушки с магнитной лентой. Инструмент стал одним из важнейших элементов звучания прогрессивного рока и психоделики.

Как он работает

Внутри Меллотрона скрыт сложный, тяжелый и весьма капризный механизм:

• Под каждой клавишей находится свой отдельный отрезок магнитной ленты, на который заранее записан звук реального инструмента (скрипки, флейты, виолончели, хора и т.д.).

• При нажатии на клавишу специальный ролик прижимает ленту к магнитной головке воспроизведения, и мотор начинает протягивать ленту — звучит записанная нота.

• Длина ленты для каждой клавиши ограничена. Максимальная длительность звучания одной ноты составляет около 8 секунд. Если держать клавишу дольше, звук просто оборвется. Чтобы нота зазвучала снова, нужно отпустить клавишу — тогда пружинный механизм быстро перемотает ленту в начало.

Характер звучания

Звук Меллотрона совершенно уникален и узнаваем с первых секунд. Из-за несовершенства механики, микро-колебаний скорости мотора (wow and flutter) и особенностей магнитной ленты, звучание получается слегка нестабильным, «плывущим», атмосферным и меланхоличным. Он не звучит как настоящий оркестр, но создает густую, мистическую и лоу-файную (lo-fi) текстуру, которая ценится музыкантами до сих пор.

Знаменитый пример: Самая известная запись Меллотрона — это мечтательное вступление на «флейте» в песне The Beatles — «Strawberry Fields Forever» (1967).

Основные модели

История инструмента насчитывает несколько важных вех:

Модель MVSep Guitar основана на архитектурах MDX23C, MelRoformer и BSRoformer. Модель производит высококачественное разделение музыки на партию гитары (включает акустическую и электронную) и всего остального. Модель сравнивалась с моделью Demucs4HT (6 партий) на валидационном наборе для гитары (30 треков). Используемая метрика — SDR: чем больше, тем лучше.

См. результаты в таблице ниже.