Basic Pitch — это современная нейросеть от исследовательской лаборатории Spotify (Audio Intelligence Lab), которая переводит любые мелодические аудиозаписи в ноты (формат MIDI). В отличие от устаревших конвертеров, эта модель умеет «слышать» не только отдельные ноты, но и аккорды, а также тончайшие нюансы исполнения. Официальная страница модели: https://github.com/spotify/basic-pitch
Ключевые возможности
- Полифоническое распознавание: Basic Pitch не боится сложностей. Вы можете загружать записи фортепиано, гитары или ансамбля — модель распознает несколько нот, звучащих одновременно.
- Сохранение нюансов (Pitch Bend): Большинство конвертеров «квантуют» звук до ближайшей ноты, делая его плоским. Basic Pitch сохраняет изменения высоты тона (pitch bends). Если вы поете с вибрато или делаете подтяжки на гитаре, эти детали останутся в MIDI-файле.
- Универсальность: Модель обучена на огромном массиве данных и работает с большинством мелодических инструментов.
- Скорость и легкость: Это «легковесная» модель, которая обрабатывает аудио быстро, не требуя мощных серверов.
С чем работает модель?
Basic Pitch — это «инструментально-агностическая» модель. Это значит, что она одинаково хорошо справляется с разными тембрами:
- Вокал: Напойте мелодию в микрофон, и нейросеть превратит ваш голос в партию для синтезатора.
- Струнные: Акустическая и электрогитара, скрипка, виолончель.
- Клавишные: Фортепиано, рояль, органы и синтезаторы.
- Духовые: Флейта, саксофон, труба и другие.
Важно: Модель предназначена для мелодических инструментов. Она не подходит для распознавания ударных (барабанов и перкуссии), так как фокусируется на высоте тона, а не на ритмическом шуме.
