Reverb Removal (noreverb)
Набор различных моделей для удаления эффекта реверберации из музыки/вокала.
| Author | Architecture | Works with | SDR (no independent testing yet) | Link |
| FoxJoy | MDX-B | Full track | ~6.50 | |
| aufr33 and jarredou | MDX23C | Full track | --- | Github |
| anvuew | MelRoformer | Only vocals | 7.56 | |
| anvuew | BSRoformer | Only vocals | 8.07 | |
| anvuew v2 | MelRoformer | Only vocals | --- | |
| Sucial | MelRoformer | Only vocals | 10.01 | |
| anvuew | BSRoformer | Only vocals (Room) | 13.74 | HF Link |
| anvuew | BSRoformer | Only vocals (Stereo) | 22.50 | HF Link |
Тест на нашем внутреннем датасете реверберации ниже:
| Модель | only vocals | vocals | drums | bass | other | several |
|---|---|---|---|---|---|---|
| Reverb removal by FoxJoy (MDX-B) | 1.2938 | 8.2146 | 5.0743 | 7.2590 | 8.0154 | 4.2456 |
| Reverb removal by aufr33 and jarredou (MDX23C) | 0.9761 | 7.3888 | 4.0913 | 5.8021 | 7.7194 | 3.4537 |
| Reverb removal by anvuew (MelRoformer) | 2.3110 | 2.3029 | 2.2408 | 1.8141 | 2.9739 | 1.8177 |
| Reverb removal by anvuew (BSRoformer) | 2.1902 | 1.4094 | 1.4903 | 1.3958 | 2.0425 | 1.2422 |
| Reverb removal by anvuew v2 (MelRoformer) | 3.4083 | 2.3706 | 1.8884 | 1.9344 | 2.6079 | 1.7384 |
| Reverb removal by Sucial (MelRoformer) | 0.1599 | 0.1750 | 0.8917 | 0.9148 | 0.9803 | 0.5664 |
| Reverb removal by Sucial v2 (MelRoformer) | 0.2052 | 0.7266 | 0.9363 | --- | 1.5508 | 0.7340 |
| DeReverb room by anvuew (BSRoformer) | 2.6593 | 3.0581 | 0.0887 | 1.6156 | 3.4134 | -13.7106 |
| DeReverb stereo by anvuew (BSRoformer) | 4.3740 | 5.3489 | 5.0900 | 4.2709 | 5.3950 | 4.3072 |
| Reference (SDR between reverb and orig stem) | -3.38 | 4.01 | 2.35 | 4.47 | 4.65 | 1.04 |
Тест был подготовлен на основе тестового набора MUSDB18-HQ (50 треков). Сначала все stem-дорожки были очищены от реверберации с помощью модели FoxJoy. Затем были сгенерированы 6 различных тестовых сценариев:
-
Only vocals: Реверберация применялась исключительно к вокальной дорожке, и только эта дорожка использовалась в миксе.
-
Vocals: Реверберация применялась к вокальной дорожке, после чего она объединялась со всеми остальными дорожками для формирования микса.
-
Drums: Реверберация применялась к дорожке ударных, после чего она объединялась со всеми остальными дорожками для формирования микса.
-
Bass: Реверберация применялась к басовой дорожке, после чего она объединялась со всеми остальными дорожками для формирования микса.
-
Other: Реверберация применялась к дорожке «other», после чего она объединялась со всеми остальными дорожками для формирования микса.
-
Several: Реверберация применялась сразу к нескольким дорожкам трека, которые затем объединялись для формирования микса.
Реверберация (Reverb) - это физический процесс постепенного затухания звука в закрытом пространстве после того, как источник звука замолчал. Если обычное эхо - это отчетливые, раздельные копии звука (как крик в горах: "Ау... ау... ау"), то реверберация — это плотное, непрерывное гудящее облако из тысяч слившихся воедино отражений от стен, пола, потолка и других поверхностей (как звук хлопка в пустом соборе или на лестничной клетке).
В звукорежиссуре эффект реверберации используется для того, чтобы поместить сухой (записанный в студии) звук в какое-либо виртуальное пространство и придать ему объем.
Из чего состоит реверберация?
Акустически этот процесс можно разделить на три этапа:
-
Прямой звук (Direct Sound): Звуковая волна, которая доходит до слушателя или микрофона по прямой линии, без каких-либо отражений. Это самый громкий и четкий сигнал.
-
Ранние отражения (Early Reflections): Первые отзвуки, которые отразились от ближайших поверхностей и достигли ушей спустя несколько миллисекунд после прямого звука. Именно они дают нашему мозгу информацию о том, в помещении какого размера и формы мы находимся.
-
Хвост (Late Reflections / Reverb Tail): Множество хаотичных, переплетающихся отражений, которые отскакивают от поверхностей снова и снова. Они сливаются в сплошной гул и постепенно теряют энергию (затухают).
Основные параметры в плагинах реверберации
Когда вы открываете плагин реверберации в DAW (цифровой звуковой рабочей станции), вы управляете физическими свойствами этого виртуального помещения:
-
Size / Room Size (Размер): Задает объем виртуального пространства (от крошечной кабинки до огромного стадиона).
-
Decay / Reverb Time / RT60 (Время затухания): Время (обычно в секундах), за которое хвост реверберации затухает на 60 децибел, то есть практически исчезает.
-
Pre-Delay (Предзадержка): Очень важный параметр, задающий паузу (в миллисекундах) между прямым звуком и началом реверберации. Увеличение Pre-Delay помогает отделить вокал или инструмент от "хвоста", сохраняя их разборчивость, но при этом оставляя ощущение большого пространства.
-
Damping (Демпфирование): Имитирует поглощение звука. В реальной жизни мягкие поверхности (ковры, люди, шторы) быстро поглощают высокие частоты, поэтому длинный хвост реверберации обычно звучит глуше прямого сигнала.
-
Mix / Dry/Wet (Баланс): Соотношение между исходным сухим сигналом (Dry) и обработанным (Wet).
Зачем нужна реверберация при сведении музыки?
-
Создание планов (глубина): Реверберация работает как ось Z (глубина) в миксе. Громкий и сухой звук кажется слушателю близким (прямо перед лицом), а тихий звук с большим количеством реверберации — далеким.
-
Склеивание микса: Если все инструменты записаны в разных заглушенных студиях, микс может звучать разрозненно. Отправка их на общую шину реверберации (даже в небольших количествах) помещает их в одно акустическое пространство.
-
Художественный эффект: Создание неземной, эмбиентной или эпичной атмосферы (например, эффект Shimmer, где хвост реверберации еще и поднимается на октаву вверх).
Зачем нужно удалять эффект реверберации?
Удаление реверберации (или дереверберация) — это процесс очистки аудиосигнала от акустических отражений помещения, чтобы получить изначальный сухой (Dry) звук. Хотя реверберация делает звук красивым и объемным, во многих профессиональных сценариях этот эффект превращается в нежелательный шум или серьезное препятствие. Вот главные причины, почему возникает необходимость «высушить» звук:
-
Разделение музыкальных источников (Source Separation): При извлечении вокала или отдельных инструментов из готового стереотрека хвосты реверберации создают серьезную проблему — они «въедаются» в полезный сигнал. Эффективная дереверберация позволяет получить по-настоящему чистую акапеллу или стем инструмента, которые звучат так, будто их только что записали в студии, а не вырезали из концертного зала.
-
Системы автоматического распознавания речи (ASR): Эхо и гул помещения — злейшие враги акустических моделей. Отражения «размазывают» короткие согласные звуки и фонемы. В сложных задачах машинного обучения, таких как создание моделей распознавания детской речи, где артикуляция и без того часто бывает нечеткой, наличие реверберации катастрофически снижает точность транскрибации. Поэтому дереверберация является критически важным шагом предобработки аудио-датасетов.
-
Сэмплирование и ремикширование: Если вы берете вокальный сэмпл или барабанный луп со старой записи, он уже содержит пространство оригинального микса. Если добавить этот сэмпл в свой трек и наложить поверх него собственный, новый ревербератор, возникнет акустическая «грязь» (эффект реверберации на реверберации). Чтобы интегрировать чужой звук в свою архитектуру микса, его сначала нужно очистить.
-
Постпродакшн видео и кино (ADR & Location Sound): Речь актеров часто записывается микрофонами-пушками прямо на съемочной площадке (например, в гулкой пустой комнате или на лестничной клетке). Чтобы диалог звучал плотно, разборчиво и студийно, звукорежиссеру необходимо подавить естественные отражения локации.
-
Реставрация и форензика (криминалистика): Записи с камер наблюдения, скрытых микрофонов или диктофонов часто содержат столько комнатного гула, что слова становятся неразборчивыми. Подавление реверберации помогает восстановить читаемость речи.
Как это работает технологически? Раньше звукорежиссеры пытались бороться с комнатой с помощью гейтов (Noise Gate) и транзиент-шейперов (Transient Shaper), которые просто обрезали тихие хвосты звуков. Это работало грубо и часто искажало сам полезный сигнал. Сегодня задача дереверберации решается с помощью ИИ и нейронных сетей, которые обучены анализировать спектрограмму, отличать паттерны прямого сигнала от паттернов отражений и математически вычитать последние без ущерба для оригинала.
