محققان از آموزش عمیق برای افزودن حرکت با کیفیت بالا به عکسهای ثابت استفاده می کنند

محققان دانشگاه واشنگتن روش جدید یادگیری عمیقی را ایجاد کرده اند که اساساً به طور خودکار فیلمبرداری با کیفیت بالا ایجاد می کند. تیم تحقیق می گوید که این روش می تواند هر ماده روان ، از جمله آب ، دود ، آتش و ابر را تحریک کند.

محققان می گویند که این روش شامل یک شبکه عصبی است که باید برای پیش بینی آینده و تحریک وضعیت حالت جریان مواد بر اساس یک عکس ثابت آموزش داده شود. آنها با آموزش شبکه عصبی روی هزاران فیلم از آبشارها ، رودخانه ها ، اقیانوس ها و سایر مواد با حرکت مایع ، توانستند این مورد را تخمین بزنند. طبق گفته دانشگاه واشنگتن ، روند آموزش شامل نمایش این فیلم ها به شبکه و سپس درخواست از آن بود که حرکت یک فیلم را فقط بر اساس فریم اول حدس بزند.

از آنجا ، شبکه توانست بر اساس سرنخ زمینه تصویر یاد بگیرد که حرکت به نظر می رسد چگونه باشد. خروجی آن با فیلم واقعی مقایسه شد و شبکه به آرامی آموخت که از حالت های مختلف جریان آب چه انتظاری دارد.

در ابتدا ، تیم تلاش کرد تا از یک روش معروف به “splatting” برای متحرک سازی عکس استفاده کند ، اصطلاحی که به حرکت هر پیکسل بر اساس حرکت پیش بینی شده اشاره دارد. متأسفانه ، این روش مشکلی داشت.

الكساندر هوشیوسكی ، نویسنده ارشد ، دانشجوی دكترا در دانشكده علوم و مهندسی رایانه پل جی آلن ، گفت: “به یك آبشار روان فکر كنید.” “اگر فقط پیکسل ها را به پایین آبشار منتقل کنید ، بعد از چند فریم فیلم ، هیچ پیکسلی در بالای صفحه نخواهید داشت!”

محققان برای پرداختن به این موضوع ، آنچه را “تقارن متقارن” می نامند ، ایجاد کردند که روشی است که اساساً آینده تصویر گذشته را پیش بینی می کند و آنها را در یک انیمیشن ترکیب می کند.

“با نگاهی به مثال آبشار ، اگر به گذشته برویم ، پیکسل ها از آبشار بالا می روند. بنابراین ما شروع به دیدن یک سوراخ نزدیک به پایین خواهیم کرد ، “Hołyński گفت. “ما اطلاعات هر دو انیمیشن را ادغام می کنیم ، بنابراین هرگز در تصاویر تابیده ما سوراخ های بزرگی ایجاد نمی شود.”

از آنجا محققان این سیستم را برای ایجاد یک حلقه ساده و تمیز طراحی کردند که به تصاویر ثابت متحرک امکان حرکت بی وقفه را می دهد. این روش با اشیایی که حرکت سیال قابل پیش بینی دارند بهترین کار را می کند.

روش فعلی کاملاً نمی فهمد که چگونه می توان بازتابش در آب متحرک را پیش بینی کرد یا اینکه چگونه آب اشیا below زیر سطح را تحریف می کند. این موضوعات اما همان مواردی است که گرافیک سینماهای اولیه را نیز گرفتار کرده است. با این حال ، تفاوت در اینجا به نظر می رسد یک وضعیت حرکت آب قابل باورتر از آن است که می تواند با ابزارهای نرم افزاری مانند Flixel ایجاد شود.

“وقتی آبشار می بینیم ، می دانیم که آب باید چگونه رفتار کند. همین مسئله در مورد آتش سوزی یا دود نیز صدق می کند. این نوع حرکات از همان قوانین فیزیکی پیروی می کنند و معمولاً نشانه هایی در تصویر وجود دارد که به ما می گوید چگونه باید همه چیز حرکت کند. “ما دوست داریم کار خود را برای کار با طیف وسیع تری از اشیا extend گسترش دهیم ، مانند تحریک موهای شخصی که در باد می وزد. امیدوارم که سرانجام تصاویری که با دوستان و خانواده خود به اشتراک می گذاریم تصاویر ایستا نباشد. در عوض ، همه آنها انیمیشن های پویایی مانند آنچه که روش ما تولید می کند ، خواهند بود. “

این تیم چندین نمونه از حرکت مایعات مختلف را با استفاده از الگوریتم جدید یادگیری عمیق به اشتراک گذاشته است و تفاوت اصلی بین نتایج آن و فیلمبرداری نه تنها بیان بهتر حرکت است بلکه درک کمتری از زمان حلقه انیمیشن است. این تیم به طور واضح توضیح نداده است که آنها قصد دارند با این فناوری چه کاری انجام دهند ، اما آنها این رویکرد را در 22 ژوئن در کنفرانس رایانه و تشخیص الگو ارائه می دهند.