Поиск музыки по фрагментам и описанию¶

Поиск музыки по фрагментам и описанию — совокупность методов и инструментов, позволяющих идентифицировать музыкальное произведение, когда известны лишь отдельные его признаки: мелодия, обрывок текста, общий характер звучания, визуальный образ или контекст использования. Задача формализована в информатике как определение музыкальной идентичности (music identification) и решается с помощью акустического анализа, распознавания речи, поисковых алгоритмов и коллективной экспертизы.

¶Основные подходы

¶Поиск по звучанию

Наиболее точный метод — автоматическое распознавание аудио. Сервисы сопоставляют прослушиваемый фрагмент с базой, содержащей цифровые отпечатки (acoustic fingerprints) миллионов записей. Цифровой отпечаток — это сжатое представление спектральных характеристик звука, устойчивое к шуму, сжатию и изменению громкости.

Ключевые инструменты:

• Shazam — мобильное приложение, анализирующее до 5 секунд звука через микрофон устройства. База сервиса содержит свыше 100 млн треков. Алгоритм строится на анализе спектрограммы и поиске «пиковых точек» (peaks) частотного представления.
• SoundHound — помимо распознавания звучания, умеет определять песню по напетой пользователем мелодии (humming).
• Яндекс.Музыка (функция «Найти по звуку») и VK Музыка — встроенный поиск по фрагменту, работающий в мобильных приложениях.
• AudD — API-сервис, доступный для интеграции в сторонние приложения.

Ограничения метода: распознавание требует достаточно чистого сигнала; живые выступления, кавер-версии и ремиксы с существенной переработкой могут не определяться.

¶Поиск по тексту

Если известны слова или их фрагмент, используется текстовый поиск:

• Google, Яндекс — прямой ввод обрывка текста в поисковую строку, часто с кавычками для точного соответствия.
• Genius — база текстов песен с аннотациями; поддерживает поиск по фразе.
• Музыкальные стриминговые сервисы (Spotify, Apple Music, Яндекс.Музыка) — поиск по названию, исполнителю и тексту.

Для распознавания песни по голосу пользователя существуют сервисы, преобразующие речь в текст (speech-to-text), после чего результат передаётся в поисковую систему.

¶Поиск по описанию и ассоциациям

Когда неизвестны ни звучание, ни текст, применяется описание контекста:

• форумы и сообщества, специализирующиеся на идентификации музыки (например, r/tipofmytongue и r/NameThatSong на Reddit);
• специализированные сайты вроде WatZatSong, где пользователи загружают фрагменты и получают ответы от сообщества;
• поиск по жанру, эпохе, языку, настроению, месту использования (саундтрек к фильму, рекламный ролик).

¶Технологическая основа

¶Цифровые отпечатки

Разработка методов акустических отпечатков связана прежде всего с работами Аvery Wang (Avery Research, 1999), чей алгоритм лег в основу Shazam. Суть подхода: из аудиосигнала извлекаются устойчивые спектральные особенности, которые индексируются в хеш-таблице. Поиск сводится к сопоставлению хешей фрагмента с базой — операция, выполняемая за миллисекунды.

¶Машинное обучение

Современные системы используют нейронные сети, обученные на больших выборках аудио. Модели вида CNN и RNN позволяют распознавать песни в сложных условиях: фоновый шум, перекрёстные помехи, искажённая акустика помещения. Отдельное направление — распознавание мелодии, напетой голосом (query by humming), где ошибка определения ноты голосом компенсируется вероятностными моделями.

¶Исторический контекст

До цифровой эпохи поиск неизвестной песни осуществлялся через печатные справочники (например, «The Great American Songbook»), радио- и телепрограммы, а позже — через специализированные передачи, где слушатели описывали песню в эфире. С распространением интернета в 2000-х годах появились первые онлайн-каталоги, а в 2002 году Shazam запустил коммерческий сервис распознавания музыки по мобильному телефону.

¶Особенности и ограничения

Точность идентификации зависит от качества исходного сигнала, длины фрагмента и представленности трека в базе. Независимые исполнители, локальные релизы и старые записи могут отсутствовать в коммерческих базах. Ремиксы и кавер-версии часто определяются как оригинальные произведения, что может вводить в заблуждение. Для музыки, не попавшей в цифровые каталоги, остаётся ручной метод — обращение к профильным сообществам.

Источники:

• Википедия (статьи «Shazam (приложение)», «Acoustic fingerprint», «Music information retrieval»)
• Avery Wang, «An Industrial-Strength Audio Search Algorithm», ISMIR, 2003
• Официальная документация SoundHound, AudD
• Материалы конференции International Society for Music Information Retrieval (ISMIR)