СПЕЦИАЛИСТЫ КОМПАНИИ DISNEY ЭКСПЕРИМЕНТИРУЮТ С ПРОЕКЦИОННЫМ ГРИМОМ
Компании Disney, а вернее её подразделению Disney Research Lab, кажется, удалось сделать клоунский грим страшнее, чем когда-либо. Чудовищный клоун из фильма «Оно» по мотивам произведения Стивена Кинга нервно курил бы в сторонке, увидь он то, что творится в тестовой лаборатории «Диснея». А всё дело в том, что инженеры компании активно изучают возможность нанесения грима на актёров в реальном времени при помощи специальных алгоритмов и высокоскоростных проекторов.
Сама идея проецирования грима на лицо человека далеко не нова. На просторах YouTube можно найти удивительные по своей красоте и креативности ролики, где на лица проецируется всевозможные анимации и орнаменты, превращая их в живые картины. Но специалисты Disney хотят превратить всё это из просто баловства в технологию, заменяющую актёрам грим во время их выступлений на сцене театра. Система получила название Makeup Lamps и представляет собой сочетание высокоскоростной камеры и проектора.
Камера отслеживает положение лица актёра, а также его мимику, передаёт полученные данные на компьютер. Специальная программа обрабатывает их и выдаёт соответствующее выражению лица человека изображение грима. При этом алгоритм способен усиливать эмоции, добавляя лицу дополнительные морщины и акцентируя его выражения. Делается это для того, чтобы даже зрители, сидящие очень далеко от сцены, смогли увидеть, что же происходит с мимикой героя. При этом на лице актёра нет никаких специальных маркеров, которые используются в традиционных системах Mo-Cap.
Подробнее
Makeup Lamps: Live Augmentation of Human Faces via Projection,Science & Technology,Disney Research,Zurich,projection,makeup lamps,augmentation,illuminations,artificial,virtual reality,computer graphics,We propose the first system for live dynamic augmentation of human faces. Using projector-based illumination, we alter the appearance of human performers during novel performances. The key challenge of live augmentation is latency — an image is generated according to a specific pose, but is displayed on a different facial configuration by the time it is projected. Therefore, our system aims at reducing latency during every step of the process, from capture, through processing, to projection. Using infrared illumination, an optically and computationally aligned high-speed camera detects facial orientation as well as expression. The estimated expression blendshapes are mapped onto a lower dimensional space, and the facial motion and non-rigid deformation are estimated, smoothed and predicted through adaptive Kalman filtering. Finally, the desired appearance is generated interpolating precomputed offset textures according to time, global position, and expression. We have evaluated our system through an optimized CPU and GPU prototype, and demonstrated successful low latency augmentation for different performers and performances with varying facial play and motion speed. In contrast to existing methods, the presented system is the first method which fully supports dynamic facial projection mapping without the requirement of any physical tracking markers and incorporates facial expressions. Link to publication page: https://www.disneyresearch.com/publication/makeup-lamps-live-augmentation-of-human-faces-via-projection/
geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор,технологии,Disney,Disney Research Lab,грим,Makeup Lamps,песочница,why so serious
2.3
-0.3
0.0
