EMO Projesi: Bir kişinin fotoğrafından videolar oluşturulması

emo

Yapay Zekanın günlük cihazlarımıza uygulanarak yapabildiği bazı şeyleri şaşkınlıkla görmeye başlıyoruz. Sonuçlar gerçekten şaşırtıcı ve bu buzdağının yalnızca görünen kısmı. Bunun iyi bir örneği EMO Projesifotoğraflardan ve portrelerden etkileyici videolar oluşturmayı içerir.

Yani statik fotoğraflara hayat veren, onlara ses ve hareket veren bir teknolojidir. Bu yazımızda bu fikrin nelerden oluştuğunu bazı ilginç örneklerle açıklayacağız.

EMO Projesi Nedir?

EMO'nun kısaltmasıdır İfade Portresi CanlıLinrui Tian, ​​​​Qi Wang, Bang Zhang ve Liefeng Bo, üç mühendis tarafından geliştirilen bir proje. Akıllı Bilgi İşlem EnstitüsüÇin'in teknoloji ve iş dünyası holdingi Alibaba'nın bir parçası.

Yaratıcılarının ifadesiyle, ses odaklı video portreler için etkileyici bir üretim sistemidir. Project EMO'nun neler yapabileceğinin oldukça kaba bir tanımı: Bir kişinin görüntüsünü alıp ona ifade, ses ve hareket kazandırın. Büyü gibi görünüyor.

Bunlar herhangi bir uygulamanın yapabileceği basit animasyon hileleri değil, daha ziyade titiz ve yüksek hassasiyetli çalışma bu, çok çeşitli yüz ifadelerinin yanı sıra baş ve dudak hareketlerine de yansır. Buna, bu hareketlerin alacağı şekli de belirleyen ses de eklenir.

Öte yandan oluşturulan videoların süresi sınırsız olabilir. Aslında temel aldıkları videonun uzunluğuna bağlıdırlar.

Nasıl çalışır?

Bu inanılmaz aracın işleyişi sayfanın kendisinde ayrıntılı olarak açıklanmaktadır. proje web sitesi. Yöntem iki farklı aşamada yapılandırılmıştır:

    1. İlk kodlama aşaması Hangi hareket ve animasyonun uygulanabileceğini daha iyi anlamak için başlangıç ​​(veya referans) görüntüsünün tüm yönlerinin incelendiği.
    2. İşleme aşaması. İçinde, önceden eğitilmiş bir ses kodlayıcı, yüz görüntüsü oluşturma katmanı veya maskesi uygulanırken ses yerleştirmeyi işler.

Bu sürecin bazı ayrıntıları vurgulanmalı, gürültünün ortadan kaldırılmasına ve karakterin kimliğinin korunmasına odaklanılmalıdır. Öte yandan videonun süresini ve hareket hızını ayarlamak için diğer zamansal modüller kullanılıyor.

Aşağıda sunacağımız sonuçlar (her bir portreyi konuşturmak, hatta şarkı söylemek olsun) ancak muhteşem olarak tanımlanabilir. Yapay zeka müdahalesi şu amaçlara hizmet eder: bizi tamamen aldatabilecek yüksek düzeyde gerçekçilik. Bu gerçekten hala rahatsız edici.

EMO Projesi. Bazı örnekler:

Bazı örnekler gösterelim bu teknolojinin neler başarabileceği. Göreceğiniz gibi, gerçek bir karakterin veya yapay zeka tarafından oluşturulan bir karakterin görüntüsünü kullanabiliriz. Hareket etmesini, jest yapmasını, istediğimiz dilde konuşmasını (söylemesini istediğimiz şeyi söylemesini) ve hatta şarkı söylemesini bile sağlayabiliriz. Gerçek harikalar.

Bunlar EMO Projesi'nin konuştuğu bazı fotoğraf videolarıdır. Aktris Audrey Hepburn insanların ağlama ve duygularını ifade etme haklarını anlatmak için hayat buluyor:

Ayrıca etten kemikten olmayan karakterleri konuşturabilirsiniz. Burada elimizde Mona Lisa, Leonardo da Vinci'ninEMO Projesi'nin oyundaki Rosalinda'nın monologunu okuması için can verdiği kişi "İstediğiniz kadar" William Shakespeare'in yazısı:

İlginç bir şekilde, gerçek oyuncuların fotoğraflarını da çekip onlara her şeyi söyletebiliyoruz. Bu durumda görüyoruz Rafael Phoenix ünlü rolünde Joker, ancak farklı bir filme karşılık gelen bir metni telaffuz ederek, Kara şövalye.

Şimdi müzik dünyasına geçelim. Aşağıdaki örnekte, AI tarafından oluşturulan bir karakter adı verilmiştir. SORA şarkıyı seslendir "Şimdi Başlamayın" de Dua Lipa. Sonuç şaşırtıcı derecede insanidir:

Sonunda çok genç bir tanesini sunuyoruz Leonardo DiCaprio film temasını söylemek Godzilla rapçi tarafından bestelenen Eminem:

Etik ve yasal hususlar

Yapay Zekanın kullanımı (ya da daha doğrusu kötüye kullanımı) şu anda tartışmanın merkezinde yer alıyor. sınırlarını ve olanaklarını henüz göremediğimiz, yıkıcı bir teknoloji yanlış kullanıldığında birçok farklı açıdan olumsuz sonuçlar doğurabilir.

Arkalarını kapatmak için EMO Projesi sayfasında tüm testlerinin ve yaratımlarının yalnızca akademik araştırma ve etkilerin gösterilmesi amaçlı olduğunu açıkça belirtiyorlar. Art niyet aramanıza gerek yok. Ancak bu kadar kesinlik ve gerçekçiliğe ulaşabilen bir teknoloji, onu dolandırıcılık, kimlik hırsızlığı ve diğer suçları işlemek için kullanmak isteyenler için gerçek bir tehlike oluşturuyor.


Yorumunuzu bırakın

E-posta hesabınız yayınlanmayacak. Gerekli alanlar ile işaretlenmiştir *

*

*

  1. Verilerden sorumlu: Miguel Ángel Gatón
  2. Verilerin amacı: Kontrol SPAM, yorum yönetimi.
  3. Meşruiyet: Onayınız
  4. Verilerin iletilmesi: Veriler, yasal zorunluluk dışında üçüncü kişilere iletilmeyecektir.
  5. Veri depolama: Occentus Networks (AB) tarafından barındırılan veritabanı
  6. Haklar: Bilgilerinizi istediğiniz zaman sınırlayabilir, kurtarabilir ve silebilirsiniz.