우리는 인공 지능이 할 수 있는 일 중 일부가 일상적인 장치에 적용되는 것을 놀랍게 보기 시작했습니다. 결과는 정말 놀랍고 이는 빙산의 일각에 불과합니다. 좋은 예는 EMO 프로젝트, 사진과 인물 사진으로 표현력이 풍부한 비디오를 생성하는 것으로 구성됩니다.
즉, 정지된 사진에 소리와 움직임을 부여하여 생명력을 부여하는 기술이다. 이번 포스팅에서는 몇 가지 흥미로운 예를 통해 이 아이디어가 무엇으로 구성되어 있는지 설명하겠습니다.
EMO 프로젝트란 무엇인가요?
EMO는 다음의 약어입니다. 살아있는 초상화 감정 표현, Linrui Tian, Qi Wang, Bang Zhang 및 Liefeng Bo가 개발한 프로젝트입니다. 지능형컴퓨팅연구소, 이는 중국 기술 및 비즈니스 대기업 Alibaba의 일부입니다.
제작자의 말에 따르면 이는 오디오 기반 비디오 인물 사진을 위한 표현 생성 시스템입니다. Project EMO의 기능에 대한 대략적인 정의는 다음과 같습니다. 사람의 이미지를 가져와 표현, 음성 및 움직임을 부여합니다. 그것은 마술처럼 보인다.
이는 어느 앱에서나 할 수 있는 단순한 애니메이션 트릭이 아니라 오히려 꼼꼼하고 정밀한 작업 이는 머리와 입술의 움직임뿐만 아니라 다양한 얼굴 표정에도 반영됩니다. 여기에 오디오가 추가되어 이러한 움직임의 형태도 결정됩니다.
반면에 생성된 비디오의 지속 시간은 무제한일 수 있습니다. 실제로는 기반이 되는 비디오의 길이에 따라 달라집니다.
어떻게 작동합니까?
이 놀라운 도구의 작동 방법은 페이지 자체에 자세히 설명되어 있습니다. 프로젝트 웹 사이트. 이 방법은 두 가지 단계로 구성됩니다.
-
- 초기 코딩 단계 시작(또는 참조) 이미지의 모든 측면을 연구하여 어떤 움직임과 애니메이션을 적용할 수 있는지 더 잘 이해합니다.
- 처리 단계. 여기에는 사전 훈련된 오디오 인코더가 오디오 임베딩을 처리하는 동시에 얼굴 이미지 생성 레이어 또는 마스크가 적용됩니다.
이 프로세스의 일부 세부 사항은 노이즈를 제거하고 캐릭터의 정체성을 유지하는 데 중점을 두고 강조되어야 합니다. 반면, 다른 시간 모듈은 비디오 지속 시간과 이동 속도를 조정하는 데 사용됩니다.
우리가 아래에 제시할 결과(각 초상화가 말을 하게 하거나 노래를 부르게 하든)는 단지 장관이라고 정의할 수 있습니다. AI 개입은 다음을 달성하는 데 도움이 됩니다. 우리를 완전히 속일 수 있는 높은 수준의 사실주의. 정말 여전히 불안합니다.
EMO 프로젝트. 몇 가지 예:
몇 가지 예를 보여드리겠습니다. 이 기술이 무엇을 성취할 수 있는지. 보시다시피 실제 캐릭터의 이미지나 AI가 생성한 이미지를 사용할 수 있습니다. 움직이고 몸짓을 하고, 원하는 언어로 말하게 하고(말하고 싶은 것을 말하게 하고) 심지어 노래하게 만들 수도 있습니다. 진정한 천재.
EMO 프로젝트가 이야기하는 사진을 담은 영상입니다. 여배우 오드리 햅번 사람들이 울고 자신의 감정을 표현할 권리에 대해 이야기하기 위해 생생하게 등장합니다.
살과 피로 만들어지지 않은 캐릭터에게 말을 하게 할 수도 있습니다. 여기에 우리는 레오나르도 다빈치의 모나리자EMO 프로젝트가 극 중 로잘린다의 독백을 낭송하기 위해 생명을 불어넣은 사람입니다. "원하는대로" 윌리엄 셰익스피어의 글:
흥미롭게도 실제 배우의 이미지를 찍어서 그들이 말하게 할 수도 있습니다. 이 경우에 우리는 라파엘 피닉스 그의 유명한 역할에서 조커, 하지만 다른 영화에 해당하는 텍스트를 발음하는 경우, 다크 나이트.
이제 음악의 세계로 넘어가 보겠습니다. 다음 예에서는 이름이 지정된 AI 생성 캐릭터 소라 노래를 연주하다 "지금 시작하지 마세요" de 두아 리파. 그 결과는 놀랍게도 인간적이었습니다.
마지막으로 우리는 아주 어린 레오나르도 디카프리오 영화 주제를 노래하다 무지막지한 래퍼가 작곡한 에미넴:
윤리적 및 법적 고려 사항
현재 인공지능의 활용(혹은 오용)이 논란의 중심에 있습니다. 우리가 아직 엿볼 수 없는 한계와 가능성을 지닌 파괴적인 기술, 잘못 사용하면 다양한 측면에서 부정적인 결과를 초래할 수 있습니다.
그들의 등을 가리기 위해 EMO 프로젝트 페이지에서 그들은 모든 테스트와 창작물이 학문적 연구와 효과 시연만을 위한 것임을 매우 분명히 밝혔습니다. 은밀한 동기를 찾을 필요가 없습니다. 그러나 이러한 수준의 정확성과 사실성을 달성할 수 있는 기술은 사기, 신원 도용 및 기타 범죄를 저지르는 데 사용하려는 모든 사람에게 실질적인 위험을 초래합니다.