https://frosthead.com

Новое программное обеспечение может реально редактировать выражения лица актеров

Съемка сцены в фильме может потребовать десятки дублей, иногда больше. В Gone Girl режиссер Дэвид Финчер сказал, что в среднем 50 дублей на сцену. Для актеров социальной сети Руни Мара и Джесси Айзенберг сыграли вступительную сцену 99 раз (снова режиссер Финчер; очевидно, он известен этим). В фильме Стэнли Кубрика « Сияние» задействовано 127 дублей печально известной сцены, где Венди поднимается по лестнице, размахивая бейсбольной битой у Джека, что считается большинством дублей каждой сцены в истории.

Новое программное обеспечение от Disney Research совместно с Университетом Суррея может помочь сократить количество необходимых дублей, тем самым сэкономив время и деньги. FaceDirector смешивает изображения из нескольких дублей, что позволяет редактировать точные эмоции на лицах актеров.

«Производство фильма может быть очень дорогим, поэтому цель этого проекта состояла в том, чтобы попытаться сделать процесс более эффективным», - говорит Дерек Брэдли, ученый из Disney Research в Цюрихе, который помогал разрабатывать программное обеспечение.

Disney Research - это международная группа исследовательских лабораторий, специализирующихся на тех видах инноваций, которые могут быть полезны для Disney, с офисами в Лос-Анджелесе, Питтсбурге, Бостоне и Цюрихе. Последние проекты включают робота для лазания по стенам, «книжку-раскраску в дополненной реальности», где дети могут раскрасить изображение, которое становится движущимся трехмерным персонажем в приложении, и жилет для детей, который обеспечивает ощущения, такие как вибрации или ощущение капель дождя, чтобы соответствовать сцены из сборника рассказов. Команда FaceDirector работала над проектом около года, прежде чем представить свои исследования на Международной конференции по компьютерному зрению в Сантьяго, Чили, в декабре этого года.

Выяснение того, как синхронизировать различные дубли, было главной целью и главной задачей проекта. У актеров голова может быть поднята под разными углами от взятия до взятия, говорить в разных тонах или остановиться в разное время. Чтобы решить эту проблему, команда создала программу, которая анализирует выражения лица и звуковые сигналы. Выражения лица отслеживаются путем картирования лицевых ориентиров, таких как уголки глаз и рта. Затем программа определяет, какие кадры можно вписать друг в друга, например, в кусочки головоломки. У каждой части головоломки есть несколько помощников, таким образом, директор или редактор могут тогда выбрать лучшую комбинацию, чтобы создать желаемое выражение лица.

Чтобы создать материал для экспериментов, команда привлекла группу студентов из Цюрихского университета искусств. Студенты разыгрывали несколько вымышленных диалогов, каждый раз делая разные выражения лица - счастливые, злые, возбужденные и так далее. Затем команда смогла использовать программное обеспечение для создания любого количества комбинаций выражений лица, которые передали более нюансированные эмоции - грустные и немного злые, возбужденные, но испуганные и так далее. Они смогли смешать несколько дублей, скажем, испуганных и нейтральных, чтобы создать вздымающиеся и падающие эмоции.

Команда FaceDirector не знает, как и когда программное обеспечение может стать коммерчески доступным. Продукт по-прежнему работает лучше всего при использовании сцен, снятых на фоне статического фона. Перемещение актеров и перемещение на открытом воздухе (например, раскачивание деревьев, проезжающие мимо машины) представляют собой еще большую проблему для синхронизации.

Новое программное обеспечение может реально редактировать выражения лица актеров