Нейромережа навчили змінювати ракурс зйомки звичайного відео

Схема створення 2D-зображення з 3D-представлення алгоритмом NeRF
Ben Mildenhall et al./arXiv.org, 2020
Схема створення 2D-зображення з 3D-представлення алгоритмом NeRF Ben Mildenhall et al./arXiv.org, 2020
Американські дослідники розробили алгоритм, що дозволяє дивитися вже записане відео з іншого ракурсу. Новому алгоритму, на відміну від майже всіх попередніх, для цього завдання достатньо для зйомки однієї камери, а не масиву. Стаття опублікована на arXiv.org.

Chen Gao et al./arXiv.org, 2021

Ми сприймаємо світ завдяки стереоскопічному зору, яке в свою чергу виникає через те, що у нас є два очі. Завдяки цьому мозок отримує два зображення, які, хоча і схожі один на одного, трохи різняться, тому що "зняті" з трохи різних ракурсів.

Інженери вже кілька десятиліть працюють над створенням пристроїв для перегляду об'ємних зображень і відеороликів, і ці розробки можна розділити на дві основні частини: апаратні та програмні. Перші-це пристрої, безпосередньо відповідають за перегляд об'ємного контенту. Серед них можна виділити екрани світлового поля і VR-окуляри. Програмні розробки в основному зосереджені на створенні і зберіганні об'ємних даних. Наприклад, в минулому році розробники з Google створили масив камер і навчилися поєднувати кадри з нього так, щоб потім зняте відео можна було переглядати з різних ракурсів.

Але на поточний момент практично всі відеоролики зняті на одну камеру, тому їх не можна перетворити в об'ємні таким способом. Розробники з Політехнічного університету Віргінії і Facebook під керівництвом Цзя-Біня Хуана (Jia-Bin Huang) створили алгоритм, який отримує звичайне 2D-відео і синтезує для нього кадри з довільних нових ракурсів.

Новий алгоритм заснований на нейромережі NeRF (Neural Radiance Field), розробленої іншими дослідниками в 2020 році. Вона дозволяє зберігати інформацію про 3D-сцену і рендерити її 2D-зображення з довільного кута. Алгоритм рендерить зображення попіксельно, посилаючи промені через сцену: вона отримує від користувача точку і напрямок спостереження. Пропустивши промінь, нейромережа видає отримані уздовж нього значення щільності і кольору, на основі яких задається колір пікселя 2D-зображення. Потім процес повторюється для безлічі напрямків, в результаті чого утворюється повний кадр.

NeRF-моделі навчаються на безлічі кадрів одного і того ж об'єкта, знятих з різних ракурсів. У випадку з відеороликом завдання ускладнюється, тому що для кожного моменту часу є тільки один кадр з одного ракурсу. У новій роботі автори запропонували паралельно навчати дві окремі моделі: для рухомих і нерухомих частин сцени. Статична модель аналогічна звичайній Nerf-моделі, за винятком того, що при її навчанні з кадрів видаляли фрагменти з рухомими об'єктами.

Для навчання динамічної моделі і вирішення проблеми нестачі кадрів дослідники запропонували створювати для кожного кадру і відповідного моменту часу t по два додаткових кадри, "знятих" в моменти t+1 і t-1. Для цього алгоритм передбачає 3D-потік між сусідніми моментами часу, який за своєю суттю аналогічний поняттю оптичного потоку з тією різницею, що він відображає рухи для 3D-даних, тоді як оптичний потік відображає рух між 2D-кадрами.

Це, а також функції втрат, що підвищують якість навчання динамічної моделі, дозволило навчити алгоритм якісно відтворювати кадри з нових ракурсів для відео з рухомими об'єктами. Крім того, він дозволяє відокремити рух основної частини сцени від руху динамічних об'єктів. Наприклад, в демонстраційному ролику можна побачити, як алгоритм дозволив перетворити відео, на якому оператор йшов паралельно з танцюючим чоловіком, в статичне, "зняте" з одного місця. Автори порівняли роботу свого алгоритму з аналогом, створеним іншою групою дослідників в 2020 році, і влаштованим іншим чином, і показали, що нова розробка дає більш плавні переходи між ракурсами і менше артефактів геометрії, але при цьому робить кадри трохи більш розмитими.

Переглядів: 5525
Коментувати:
Введіть цифри


10_tehnologij_majbut10 технологій майбутнього, що зароджуються вже сьогодні
10:28 27.03.2021
astronomi_znyali_povАстрономи зняли повне сонячне затемнення з незвичайного ракурсу (відео)
11:49 21.12.2020
novij_rik_ta_rizdvo_Новий Рік та Різдво по інтернету: 5 порад як провести святкові дні у віддаленому режимі
10:38 02.12.2020
yak_stati_blogerom_2Як стати блогером? 28 ефективних порад від відомих блогерів, які допоможуть стати блогером в Instagram і на YouTube
09:37 04.11.2020
yak_zarobiti_v_umovaЯк заробити в умовах карантину. Ідеї бізнесу в кризу COVID-19
11:52 30.09.2020
nastupnij_implant_neНаступний імплант Neuralink подарує зір сліпим - заявив Ілон Маск
11:00 27.03.2024
pershij_paczient_neuПерший пацієнт Neuralink грає в комп'ютерні шахи, пересуваючи фігури силою думки
12:26 21.03.2024
chi_dijsno_tvarini_mЧи дійсно тварини можуть відчувати страх людини за запахом
12:14 21.03.2024
obgovoryuvati_den_z_Обговорювати день з дітьми виявилося корисніше для розвитку мови, ніж разом читати
22:30 16.03.2024
evrosoyuz_prijnyav_pЄвросоюз прийняв перший у світі закон про штучний інтелект
08:22 15.03.2024

Ми в соцмережах:

♥ В "Закладки"
Популярне

























QRcode Наш Топ-100
Новини тижня (стрічка новин)
Смачні рецепти страв
Корисні штуки
Музика для відпочинку:
 
Архив
Інтереcно - (С) 2020 Всі права збережено
Використання будь-яких матеріалів, розміщених на сайті, дозволяється за умови посилання на Інтереcно обов'язково.