This algorithm taught itself to animate a still photo

This algorithm taught itself to animate a still photo
17:34 29 Noyabr 2016
Ölkə mətbuatı
A- A+

A team of researchers at MIT’s Computer Science and Artificial Intelligence Lab (CSAIL) have created a deep-learning algorithm that is able to generate its own videos and predict the future of a video based on a single frame.
 
As detailed in a paper to be presented next week at the Conference on Neural Information Processing Systems in Barcelona, the CSAIL team trained their algorithm by having it watch 2 million videos which would last for over a year if played back to back. These videos consisted of banal moments in day to day life to better accustom the machine to normal human interactions. Importantly, these videos were found “in the wild,” meaning they were unlabelled and thus didn’t offer the algorithm any clues as to what was happening in the video.
 
Drawing from this video data set, the algorithm would attempt to generate videos from scratch that mimicked human motion based on what it had observed in the 2 million videos. It was then pitted against another deep-learning algorithm which tried to discriminate between the videos that were machine generated and those that were real, a method of training machines called adversarial learning.
 
“What we found in early prototypes of this model was the generator [network] would try to fool the other network by warping the background or having these unusual motions in the background,” Carl Vondrick, a PhD candidate at CSAIL and lead author of the paper, told Motherboard. “What we needed to give the model was the notion that the world is mostly static.”
 
To rectify this issue, Vondrick and his colleagues created a “two-stream architecture” which forces the generative network to render a static background while objects in the foreground moved. This two-stream model generated much more realistic videos, albeit short ones with really low resolutions. The videos produced by the algorithm were 64 x 64 and comprised of 32 frames (standard movies shoot at 24 frames per second which means these videos just over one second long), depicting things like beaches, trains stations, and the faces of new born babies (these are particularly terrifying).
 
While the ability to generate a second of video from scratch may not sound like much, this far surpasses previous work in the field which was only able to generate a few frames of video with much stricter parameters in terms of the content. The main pitfall of the machine generated videos is that the objects in motion in the video, particularly people, were often rendered as “blobs,” although the researchers still found it “promising that our model can generate plausible motion.”
 
Indeed, this motion was so plausible that when the researchers showed a machine generated video and a ‘real’ video to workers hired through Amazon’s Mechanical Turk and asked them which they found to be more realistic, they chose the machine generated videos about 20 percent of the time.
 
Beyond generating original videos, one of the more promising results of this work is the ability to apply it to videos and photos that already exist. When the researchers applied their deep-learning algorithm to a still frame, the algorithm was able to discriminate among objects in the photo and animate them for 32 frames producing “fairly reasonable motions” for the objects. To Vondrick’s knowledge, this is the first time that a machine has been able to generate multi-frame video from a static image.
 
This ability to anticipate the motion of an object or person is crucial to the future integration of machines in the real world, insofar as this will allow machines to not take actions that might hurt people or help people not hurt themselves. According to Vondrick it will also help the field of unsupervised machine learning, since this type of machine vision algorithm received all of its input data from unlabeled videos. If machines really want to get good at recognizing and classifying objects, they’re going to need to be able to do this without label data for every single object.
 
But for Vondrick, one of the most exciting possibilities contained in his research has little scientific or real-world value.
 
“I sort of fantasize about a machine creating a short movie or TV show,” Vondrick said. “We're generating just one second of video, but as we start scaling up maybe it can generate a few minutes of video where it actually tells a coherent story. We're not near being able to do that, but I think we're taking a first step.”


RƏYLƏR

OXŞAR XƏBƏRLƏR

BU KATEQORİYADAN DİGƏR XƏBƏRLƏR

Ölkə mətbuatında bugün »

Cənub bölgəsi TƏHLÜKƏDƏ: çökmə sahələri aktivləşdi

26 May 2017 17:38

Elza ilə Nadir Qafarzadə itlərini evləndirir, toy olacaq...

26 May 2017 17:38

Ağır xəstəlikdən əziyyət çəkən Könül Xasıyevanın əsl halı - Aksiya olacaq - FOTO

26 May 2017 17:37

Prezident İlham Əliyev: "Azərbaycan ərazisində ikinci erməni dövlətininin yaradılmasına heç vaxt imkan verilməyəcək"

26 May 2017 17:32

Proqnoz: Neftin ucuzlaşması davam edəcək

26 May 2017 17:32

Alişanın nişan tarixi bilindi

26 May 2017 17:32

Erməni qızlar barda azərbaycanlı oğlana görə dava etdi, sonra... - İNANILMZA VİDEO

26 May 2017 17:28

Azərbaycanın işgüzar qadınları Yaponiyada Qadınların Qlobal Sammitində - FOTO

26 May 2017 17:27

Mayın 30-na manatın məzənnəsi

26 May 2017 17:27

İmtahanların nəticələri açıqlandı

26 May 2017 17:23

Bacısının telefonunu başqası açdı: dediyi yerə çatanda ŞOK OLDU - VİDEO - FOTO

26 May 2017 17:22

​Autizmli uşaqlar üçün xeyriyyə aksiyası

26 May 2017 17:21

SOCAR neftlə çirklənmiş 1844 hektar ərazini təmizləyib

26 May 2017 17:17

Trampın şərəfinə dondurma hazırlandı

26 May 2017 17:17

Rusiya Bankı: 5 ilə müştərilərin 80-90%-i bank xidmətlərindən məsafədən istifadə edəcək

26 May 2017 17:17

Manatın MƏZƏNNƏSİ

26 May 2017 17:17

MDB ölkələrinin müdafiə nazirləri 2018-ci il üçün birgə təlimlər planını təsdiqləyib

26 May 2017 17:17

Borc üstündə iş yoldaşını güllələdi - VİDEO - FOTO

26 May 2017 17:17

Gəncədə üzərinə ağac aşan yeniyetmə ölüb

26 May 2017 17:17

Mayın 30-na manatın məzənnəsi

26 May 2017 17:15

Tramp xəstəliyə tutulub?

26 May 2017 17:12

ADU tələbələri “Piqmalion” pyesini səhnələşdirib (FOTO)

26 May 2017 17:08

Belarus XİN başçısı: "Minskdə Azərbaycan Ticarət Evinin açılışı əmtəə dövriyyəsinin artmasına kömək edəcək"

26 May 2017 17:07

Azərbaycanın ən yaşlı seçicisi - "O, 3 əsrdə yaşayıb"

26 May 2017 17:05

"Moody's": Çində iqtisadi artım tempi 5%-ə düşəcək

26 May 2017 17:02

Bakıda Avstraliya-Azərbaycan biznes-forumunun keçirilməsi planlaşdırılır (FOTO)

26 May 2017 17:01

İtaliyada Trampın şərəfinə dondurma hazırlanıb

26 May 2017 17:01

DİQQƏTLİ OLUN: Hamı bu gecəni gözləyir...

26 May 2017 16:58

"Qarabağ" ilk "yüzlük"də, "Qəbələ" "Neftçi"ni keçdi

26 May 2017 16:57

"Qarabağ"ın futbolçusu Yunanıstanla oyuna çağırıldı

26 May 2017 16:57

Autizmli uşaqlar üçün xeyriyyə aksiyası - FOTO

26 May 2017 16:52

“Abşeronneft”in hasilatı plandan 12% çox olub

26 May 2017 16:52

Beynəlxalq Bankdan reytinqin düşməsi ilə bağlı AÇIQLAMA

26 May 2017 16:52

Azərbaycan şirkəti dünyanın ən böyük musiqi holdinqinə qarşı çoxmilyonluq iddia qaldırıb

26 May 2017 16:52

Donald Tramp: ABŞ Dağlıq Qarabağ münaqişəsinin sülh yolu ilə həllini qətiyyətlə dəstəkləyir

26 May 2017 16:50

40-54 yaş arasında kişilərlə müqayisədə qadınlarla bağlanan əmək müqavilələri çoxluq təşkil edir (FOTO)

26 May 2017 16:50

Azərbaycanın ən yaşlı seçicisinin 123 yaşı var

26 May 2017 16:47

Məzunlar "Son zəng"i belə qeyd etdi

26 May 2017 16:44

"Yer səthinin məsafədən müşahidəsi xidmətlərinin təşviqi" layihəsinin ikinci mərhələsi elan edilib

26 May 2017 16:43

Bir zamanların məşhur müğənnisi tanınmaz halda - FOTO

26 May 2017 16:42

Praqada AŞPA-nın büro və komitə iclasları keçiriləcək

26 May 2017 16:37

Yüzlərlə “Android” proqramı istifadəçiləri izləmək üçün ultrasəsdən istifadə edir

26 May 2017 16:35

Müsəlman ölkəsində 25 xaçpərəst güllələndi

26 May 2017 16:33

Azərbaycanda polislər cibindən pul verib körpünü təmir etdirdi - FOTO

26 May 2017 16:32

"Azərbaycanın 5 min illik dövlətçilik tarixi var" - Yaqub Mahmudov - FOTO

26 May 2017 16:32

Azərbaycanda seçicilərin sayı artıb

26 May 2017 16:29

Zakir Həsənov MDB Müdafiə Nazirləri Şurasının iclasında iştirak edib

26 May 2017 16:27

İslamiadada götürülən dopinq-testlərin sayı açıqlanıb

26 May 2017 16:27

Azərbaycanlı həkimlər doğuşu "Facebook"-da canlı yayımladı

26 May 2017 16:27

Lavrov: “Nəticələrin məhvedici olacağını ABŞ da etiraf edir”

26 May 2017 16:23