Muscriptor

MuScriptor - модель с открытыми весами для автоматической транскрипции музыки с несколькими инструментами, разработанная Kyutai и Mirelo AI. Она преобразует музыкальную запись в MIDI-файл: для каждой ноты определяются высота, время начала и окончания, а также инструмент, на котором она сыграна. На MVSep используется самая большая и точная версия модели (MuScriptor large, ~1.3 млрд параметров, Transformer-декодер).

Модель распознаёт 34 группы мелодических инструментов и ударные. Лучше всего транскрибируются фортепиано, гитары, бас и ударные, так как они чаще всего встречаются в обучающих данных. Темп и размер трека определяются автоматически и записываются в MIDI-файл.

Настройки

• Квантизация нот - выравнивание нот по найденной сетке долей. Полезно для нотных редакторов и DAW. Лучше всего работает на записях с постоянным темпом; для записей с рубато или живых выступлений без фиксированного темпа эту настройку лучше не включать.
• Инструменты - позволяет ограничить транскрипцию выбранными инструментами (например, только фортепиано, бас и ударные). Ноты других инструментов в результат не попадут. Оставьте поле пустым, чтобы модель сама определила все инструменты.

Поддерживаемые инструменты

акустическое фортепиано, электропиано, хроматические ударные (челеста, глокеншпиль, вибрафон, маримба, ксилофон, колокола), орган (включая аккордеон и губную гармонику), акустическая гитара, чистая электрогитара, электрогитара с перегрузом, акустический бас, электробас, скрипка, альт, виолончель, контрабас, арфа, литавры, струнный ансамбль, синтезаторные струнные, голос / хор, оркестровый удар, труба, тромбон, туба, валторна, медная духовая секция, сопрано- и альт-саксофон, тенор-саксофон, баритон-саксофон, гобой, английский рожок, фагот, кларнет, флейты (включая пикколо, блокфлейту, пан-флейту), синтезаторный лид, синтезаторный пэд, ударные.

Ограничения

• Громкость нот (velocity) не определяется — у всех нот одинаковая громкость.
• Для ударных определяются только моменты ударов (без длительности).
• Внутри группы конкретный инструмент не различается (например, любой электробас записывается одной и той же басовой программой).

Качество

F1-метрики (%), опубликованные авторами для их отложенного тестового набора из 372 треков (без учёта инструмента, вычислены с помощью mir_eval):

Ссылки

• Оригинальная страница: github.com/muscriptor/muscriptor
• Веса модели: huggingface.co/MuScriptor/muscriptor-large
• Статья: MuScriptor: An Open Model for Multi-Instrument Music Transcription (ISMIR 2026)
• Онлайн-демо от авторов: muscriptor.kyutai.org

© Kyutai, Mirelo AI. Авторы: Rouard, Krause, Roebel, Simon-Gabriel, Défossez