Новый алгоритм позволяет более реалистичные звуковые эффекты в VR

Когда мы смотрим фильмы или играем в видеоигры, правильные звуковые эффекты могут помочь сделать сцены более реалистичными: когда седой игрок катит серебряный доллар по карточному столу в салоне с серебряным экраном, звук, кажется, распространяется от уха до уха, уловка Создатели фильма могут добиться этого путем соединения предварительно записанного звука, который перемещается от динамика к динамику.

Но создание таких ощущений в виртуальной реальности до сих пор практически невозможно, потому что виртуальная реальность не зашифрована. Трудно предсказать, какой шум может издавать объект или где его можно услышать. Чтобы сделать VR-звук реалистичным, инженерам придется создать огромное количество «моделей звука» — компьютеризированных эквивалентов предварительной записи. Каждая модель звука позволит системе VR синтезировать конкретный звук именно в тот момент, когда это было необходимо. До сих пор для создания даже одной модели звука потребовалось бы много часов, а поскольку для синтеза многих различных потенциальных звуков потребовалось бы много разных моделей, создание реалистичного звука в интерактивных средах было неуловимой задачей.

Теперь ученые из Стэнфорда изобрели алгоритм, который может создавать модели звука за считанные секунды, делая его экономически эффективным для моделирования звуков для множества различных объектов в виртуальной среде. Когда происходит действие, требующее звука, эта новая модель может синтезировать звук столь же реалистично, как и звуки, генерируемые гораздо более медленными и все еще экспериментальными алгоритмами прошлого. «Упрощение создания моделей делает практичным создание интерактивных сред с реалистичными звуковыми эффектами», — сказал Дуг Джеймс, профессор компьютерных наук с вежливым назначением в музыке.

Предыдущие алгоритмы для создания моделей звука были основаны на работе, проделанной ученым 19-го века Германом фон Гельмгольцем, который дал свое имя уравнению, которое описывает, как распространяются звуки. На основе этого теоретического обоснования ученые разработали алгоритмы для создания трехмерных моделей звука: программные процедуры, способные синтезировать звук, который кажется реалистичным, поскольку громкость и направление звука изменяются в зависимости от того, где происходит действие относительно слушателя. До сих пор лучшие алгоритмы для создания трехмерных моделей звука основывались на методе граничных элементов (BEM), медленном процессе, который был слишком дорогостоящим для коммерческого использования.

Джеймс и его соавтор, аспирант Джуй-Сянь Ван, разработали алгоритм, который вычисляет модели звука в сотни-тысячи раз быстрее, избегая уравнения Гельмгольца и БЭМ. Их подход вдохновлен австрийским композитором 20-го века Фрицем Генрихом Кляйном, который нашел способ смешать множество фортепианных тонов и нот в один приятный звук, известный как материнский аккорд. Ученые, которые назвали свой алгоритм KleinPAT в знак своего вдохновения, объясняют, как их подход создает звуковые модели в научной статье, которую они представляют на конференции ACM SIGGRAPH 2019 по компьютерной графике и интерактивным методам. «Мы думаем, что это изменит правила игры для интерактивных сред», — сказал Джеймс.