Мы начинаем с удивлением видеть некоторые вещи, на которые способен искусственный интеллект, применительно к нашим повседневным устройствам. Результаты действительно удивительны, и это только верхушка айсберга. Хорошим примером является ЭМО-проект, который заключается в создании выразительных видеороликов из фотографий и портретов.
Другими словами: это технология, которая оживляет статичные фотографии, придавая им звук и движение. В этом посте мы собираемся объяснить, в чем состоит эта идея, на некоторых интересных примерах.
Что такое проект ЭМО?
ЭМО — это аббревиатура от Эмоция «Портрет жив», проект, разработанный Линруем Тянем, Ци Ваном, Бан Чжаном и Лифэн Бо, тремя инженерами из Институт интеллектуальных вычислений, которая является частью китайского технологического и бизнес-конгломерата Alibaba.
По словам его создателей, это выразительная система создания аудиопортретов на основе аудио. Это довольно грубое определение того, на что способен Project EMO: возьмите образ человека и придайте ему выражение, голос и движение. Это похоже на волшебство.
Это не простые анимационные трюки, которые может выполнить любое приложение, а скорее кропотливая и высокоточная работа что отражается в широком спектре мимики, а также движениях головы и губ. К этому добавляется звук, который также определяет форму этих движений.
С другой стороны, созданные видео могут иметь неограниченную продолжительность. На самом деле они зависят от длины видео, на котором они основаны.
Как это работает?
Работа этого невероятного инструмента подробно описана на самой странице. сайт проекта. Метод состоит из двух различных этапов:
-
- Начальная фаза кодирования в котором изучаются все аспекты исходного (или эталонного) изображения, чтобы лучше понять, какое движение и анимацию к нему можно применить.
- Этап обработки. В нем предварительно обученный аудиокодер обрабатывает встраивание звука, при этом применяется слой или маска генерации изображения лица.
Следует выделить некоторые детали этого процесса, сосредоточив внимание на устранении шума и сохранении индивидуальности персонажа. С другой стороны, для регулировки продолжительности видео и скорости движения используются другие временные модули.
Результаты, которые мы собираемся представить ниже (заставив каждый портрет говорить или даже петь), можно назвать только впечатляющими. Вмешательство ИИ служит для достижения высокий уровень реализма, способный нас полностью обмануть. Что до сих пор беспокоит, правда.
ЭМО проект. Некоторые примеры:
Давайте покажем несколько примеров чего может достичь эта технология. Как вы увидите, мы можем использовать изображение реального персонажа или изображение, созданное ИИ. Мы можем заставить его двигаться и жестикулировать, говорить на том языке, который нам нужен (говорить то, что мы хотим) и даже заставить его петь. Настоящие вундеркинды.
Это несколько видео с фотографиями, о которых рассказывает проект EMO. Актриса Одри Хепберн оживает, чтобы рассказать нам о праве людей плакать и выражать свои чувства:
Вы также можете заставить говорить персонажей, которые не созданы из плоти и крови. Здесь у нас есть Мона Лиза, Леонардо да Винчи, в которого проект «ЭМО» вдохнул жизнь, чтобы он прочитал монолог Розалинды в спектакле. "Как вам нравится" Уильям Шекспир:
Любопытно, что мы также можем взять изображения реальных актеров и заставить их говорить что угодно. В этом случае мы видим Рафаэль Феникс в своей знаменитой роли Шутник, но произнеся текст, соответствующий другому фильму, Темный рыцарь.
Теперь перейдем к миру музыки. В следующем примере созданный искусственным интеллектом персонаж по имени СОРСК исполнить песню «Не начинай сейчас» de Дуа Липа. Результат удивительно человечен:
Наконец мы представляем очень молодого Леонардо Ди Каприо спеть тему фильма Годзилла сочинил рэпер Эминем:
Этические и юридические соображения
Использование (вернее, неправильное использование) искусственного интеллекта в настоящее время находится в центре дискуссий. прорывная технология, пределы и возможности которой мы еще не можем увидеть и неправильное использование которых может иметь негативные последствия во многих различных аспектах.
Чтобы прикрыть свою спину, на странице проекта EMO они очень четко дают понять, что все их тесты и разработки предназначены исключительно для академических исследований и демонстрации эффектов. Не надо искать скрытые мотивы. Однако технология, способная достичь такой степени точности и реализма, представляет реальную опасность для любого, кто желает использовать ее для совершения мошенничества, кражи личных данных и других преступлений.