https://frosthead.com

Этот конкурс на участие в конкурсе представляет собой умопомрачительный показ визуализированного и искаженного звука

« Биполярный» Джеймса Аллибана представляет аудиовизуальное зеркало, которое генерирует звуковую картину из присутствия и движения его объектов. Полученные в результате аудиоданные (включая данные участника) используются для преобразования тела в искаженный портрет, который колеблется между состояниями хаоса и порядка. Видео также чрезвычайно эффективно помогает запечатлеть бесконечное увлечение испытуемых инсталляцией, обеспечивая мгновенное удовлетворение и ощущение бесконечных возможностей.

Как вы пришли к идее для этого видео?

Эта часть началась как эксперимент. Я выступал на фестивале дизайна, и меня попросили (вместе с другими спикерами) собрать короткое видео «спасибо за то, что пришли», чтобы сыграть в конце мероприятия. Я хотел сделать что-то более интересное, чем просто говорить в свой смартфон. Первоначально я планировал сделать приложение для отслеживания лица, которое искажало и отражало мое лицо в ответ на мою речь. Со временем я изменил это на все тело, используя камеру Kinect.

Я столкнулся с этим эффектом, который казался настолько драматичным, что я решил продолжить исследование и опубликовать «Биполярный» (названный так из-за постоянных колебаний между состояниями порядка и хаоса) в виде короткого видео. Люди начали интересоваться выставкой этого произведения, поэтому я изменил его, чтобы он стал инсталляцией. Проект стал совместным усилием, когда Лиам Патон из Silent Studios добавил интерактивный звуковой аспект. С тех пор он выставлялся на нескольких мероприятиях и выставках.

Мы любим заниматься, так что побалуйте себя, что мы здесь смотрим?

Основной эффект не слишком вовлечен. Я использую openFrameworks, инструментарий программирования на C ++. Примерно 30 раз в секунду данные о глубине и видео с камеры Xbox Kinect объединяются для создания 3D-модели посетителей. Я использую звуковые данные, поступающие из микрофона, для выдавливания каждой второй точки в 3D-модели. Точки выдавливаются в направлении, к которому они обращены, чтобы создать пространственную эстетику, которая на самом деле невозможна при использовании данных со стандартной камеры.

Помимо этого, он становится довольно сложным. За кулисами происходит гораздо больше. Я использую мощь видеокарты для сглаживания 3D-модели и вычисляю кучу данных, которые ускоряют работу приложения и в целом улучшают внешний вид. У меня есть пользовательский интерфейс в приложении с 15-20 страницами кнопок и ползунков, которые позволяют мне настраивать кусок, пока я не буду удовлетворен. С точки зрения звука, движение участника рассчитывается и отправляется в отдельную часть программного обеспечения, встроенную в Max / MSP от Лиама. Затем он создает искривленный звуковой ландшафт на основе активности и ряда других факторов, таких как местоположение и близость. Этот звук затем воспринимается микрофоном вместе с любыми другими звуками в окружающей среде и визуализируется на теле субъекта.

Что было самым приятным для вас в этой части?

В то время как учебный процесс и акт открытия и случайности были очень приятными, лучшая часть этого проекта была конечным результатом. Наблюдение за людьми, которые впервые обнаруживают инсталляцию и взаимодействуют с ней, - это замечательный опыт, который мне нравится для каждого произведения, которое я предлагаю публике. Анонимно стоять в задней части комнаты и наблюдать, как люди наслаждаются неожиданным опытом, над которым я усердно работал, всегда очень полезно.

Какую последнюю замечательную вещь вы прочитали, увидели или услышали?

Недавно я посетил новую пьесу Университета Вирджинии "Momentum" в галерее Барбикана Кривая. Он состоит из серии из 12 механических световых маятников, которые равномерно качаются в темном пространстве. Эффект был очень созерцательным и, по крайней мере для меня, немного жутким из-за неестественного поведения этих медленно движущихся прожекторов.

Что дальше?

Я говорю с парой кураторов об экспонировании биполярного, и в то же время я продолжаю исследовать новые способы представления тела через интерактивность. Сейчас я работаю над несколькими проектами, некоторые из которых скоро уйдут, так что следите.

Этот конкурс на участие в конкурсе представляет собой умопомрачительный показ визуализированного и искаженного звука