Работа с иммерсивным видео виртуальной реальности

Поиск

Последнее обновление 25 мая 2023 г. | Также применяется к Adobe Premiere Pro CC (2015)

Premiere Pro

Открыть приложение

Примечание.

Обновленная версия этого документа приведена в разделе Поддержка виртуальной реальности.

Работа с видео VR

Обзор

Технология иммерсивного видео используется на протяжении уже нескольких десятилетий, однако она не применялась в крупных масштабах до недавнего времени.

В наиболее распространенных решениях по работе с видео виртуальной реальности у зрителя создается иллюзия присутствия внутри сферы, на внутреннюю поверхность которой проецируется изображение окружающего пространства. Эффект присутствия может быть дополнительно усилен с помощью использовании стереоскопических технологий, формирующих разные изображения для левого и правого глаза. Этот способ используется для просмотра видео с помощью YouTube, Google Cardboard и Facebook.

Ключевое значение при этом имеет запись, форматирование и кодирование видеоматериала таким образом, который позволяет проецировать изображение окружающего пространства на внутреннюю поверхность сферы. Наиболее простым способом выполнения этой задачи является использование равнопромежуточной проекции.

Что такое равнопромежуточная проекция?

Если, к примеру, взять поверхность сферы, то положение точки на этой поверхности будет определяться с помощью двух координат – широты и долготы. Теперь представим стандартный видеокадр. Видеокадр имеет ширину и высоту, при этом точки имеют координаты X и Y.

Сферическая проекция просто «разворачивает» сферу, сопоставляя долготу с координатой X и широту с координатой Y.

Вот известный пример – плоское и развернутое изображение глобуса:

Обратите внимание, что изображение расширяется по мере приближения к полюсам. Это происходит по причине того, что по мере приближения к полюсу уменьшается пространственное расстояние между позициями долготы. По мере приближения к полюсу меньшая окружность линии широты растягивается до той же длины, что и широта на экваторе.

Из-за этого искажения трудно понять, из чего состоит равнопромежуточное изображение. Кроме того, вы видите значительно больше объектов, чем обычно, и их положение не определяется интуитивно. Объект в правом углу кадра на самом деле находится за камерой, а объект в крайнем левом углу находится непосредственно справа от него.

Мост «Золотые Ворота» бросается в глаза, так как он расположен по центру кадра, но при съемке иммерсивного видео необходимо учитывать все окружающие объекты. Глядя на кадр, мы не можем увидеть, что позади нас находится забор. Или смельчак, который прыгает с этого забора за нашим левым плечом!

Грамотно поставленный кадр требует учета всех объектов, которые в него попадают. Эта проблема еще более актуальна при использовании равнопромежуточной проекции. В Adobe Premiere Pro CC 2015.3 имеются инструменты, позволяющие просматривать изображение в виде сферы и имитирующие вид в очках виртуальной реальности или средстве просмотра для рабочего стола, например, YouTube.

Редактирование сферического видео

Не смотря на то, что работа с равнопромежуточной проекцией является непростой задачей, она не сильно отличается от работы с любым другим форматом видео. Большинство навыков, инструментов и приемов для редактирования стандартного видео найдут свое применения при работе со сферическим видео. Обрезка кромок, склейка и манипуляции с дорожками работают точно так же. Даже многие из наиболее часто используемых эффектов отлично работают с равнопромежуточной проекцией.

В Premiere Pro 2015.3 добавлена новая функция, которая может оказаться особенно полезной при работе с иммерсивным видео – инструменты для работы с прокси-файлами. Сферическое видео может иметь размеры 8000 х 8000 пикселей – гораздо больше, чем большинство стандартных размеров кадра. Декодирование видео с таким высоким разрешением в режиме реального времени – непростая задача даже при использовании аппаратного ускорения. Новый инструмент для работы с прокси-файлами, добавленный в Premiere Pro, позволяет вставлять и редактировать соответствующий материал, в то время как версии в более низком разрешении 2К формируются в фоновом режиме и готовы занять свое место на панели «Временная шкала» с помощью простого нажатия кнопки.

Включение отображения видео в режиме виртуальной реальности

При включении отображения видео в режиме виртуальной реальности (VR) на «Программном мониторе» или «Исходном мониторе» Premiere Pro позволяет оценить проделанную работу с позиции зрителя прямо в процессе редактирования. Используя отображение видео VR, можно моделировать различные варианты просмотра равнопрямоугольного видео, например с помощью гарнитуры VR, такой как Oculus Rift, или на настольном ПК посредством YouTube и Facebook.

Чтобы включить функцию отображения видео в режиме виртуальной реальности, щелкните значок настроек («гаечный ключ») в правой части экрана а затем выберите «Параметры видео VR» > «Включить».

Включение отображения в режиме виртуальной реальности

В новой версии добавлена кнопка, позволяющая переключать функцию отображения видео в режиме виртуальной реальности, которую можно закрепить вместе с кнопками воспроизведения монитора. Чтобы добавить эту кнопку, щелкните значок «+» в правом нижнем углу монитора, чтобы открыть редактор кнопок. Перетащите кнопку «Переключить отображение видео VR» из редактора в требуемое место на панели монитора.

Кнопка «Переключить отображение видео VR»

Также можно назначить пользовательскую комбинацию клавиш для переключения режима просмотра видео в режиме виртуальной реальности на одном или двух мониторах.

Просмотр иммерсивного видео с помощью функции отображения видео в режиме виртуальной реальности

После включения функции отображения видео в режиме виртуальной реальности на экране отображается равнопромежуточная проекция, которая выглядит следующим образом:

Отображение видео в режиме виртуальной реальности

Сверху в центре экрана отображается интерактивное поле обзора внутри сферической проекции. Нажатие и перетаскивание этого интерактивного поля обзора внутри сферической проекции позволяет панорамировать изображение и изменять угол обзора. Дважды щелкните в любой точке интерактивного поля обзора, чтобы снова расположить его по центру представления.

В нижнем правом углу видеокадра расположены горизонтальный и вертикальный ползунки, позволяющие панорамировать изображение и изменять угол обзора.

Числовые значения рядом с этими ползунками показывают текущие значения степени панорамирования и наклона, а также позволяют ввести числовое значение напрямую. Положительные значения соответствуют перемещению интерактивного поля обзора вправо и вверх, в то время как отрицательные значения соответствуют перемещению влево и вниз.

Круговая шкала в нижней части экрана указывает направление обзора, а также позволяет перемещать интерактивное поле обзора влево и вправо с помощью щелчка и перетаскивания. Данная круговая шкала уникальна тем, что она обеспечивает возможность непрерывного кругового панорамирования.

Настройка параметров отображения видео в режиме виртуальной реальности

Новая функция отображения видео в режиме виртуальной реальности работает как в моноскопическом, так и в стереоскопическом режиме. Также доступна возможность работы с видеорядом виртуальной реальности, отснятым в неполной сфере представления. Можно настроить параметры отображения таким образом, чтобы имитировать вид в очках виртуальной реальности или средстве просмотра для рабочего стола. В стереоскопическом видео можно выбрать вид в формате анаглифа красного/голубого цвета и просматривать видео в 3D с помощью недорогих стереоочков.

Чтобы настроить функцию отображения видео в режиме виртуальной реальности, щелкните значок настроек («гаечный ключ») в правой части экрана а затем выберите «Видео VR» > «Настройки».

Параметр «Макет кадров» позволяет выбрать между моноскопическим или стереоскопическим режимом отображения. В стереоскопическом режиме можно выбрать вертикальную или горизонтальную стереопару. В стереоскопическом видео можно выбрать вид, предназначенный для левого или правого глаза, или в формате анаглифа красного/голубого цвета.

При работе с иммерсивным видео помимо размеров в пикселях необходимо учитывать угол обзора. Параметр «Захваченный вид» позволяет настроить поле обзора, отображаемое на мониторе. Как правило, используются настройки по умолчанию, соответствующие полной сфере с захваченным видом на 360 градусов по горизонтали и 180 градусов по вертикали.

Поля «Вид монитора» позволяют настроить поле обзора, отображаемое на мониторе в режиме виртуальной реальности, моделируя различные варианты просмотра. Например, очки Oculus Rift могут отображать поле обзора размером 90 x 60 градусов, в то время как поле обзора YouTube составляет 160 x 90 градусов. Также обратите внимание, что эти настройки определяют значение форматного соотношения окна просмотра. Например, поле обзора 160 х 90 градусов соответствует форматному соотношению окна просмотра 16:9.

Работа с эффектами

При работе с равнопромежуточной проекцией используются три самых распространенных эффекта – «Растворение», «Цветовой эффект (Lumetri)» и «Скорость». Эти эффекты не изменяют положение пикселей в достаточной мере, чтобы вызвать ошибку. Основное правило заключается в том, что если соответствующий эффект изменяет расположение пикселя по вертикали, то он вряд для будет работать. Представьте, каким образом изменение вертикального положения пикселей влияет на его искажение по горизонтали после применения перспективы. Например, эффекты «Горизонтальное сжатие» или «Горизонтальное вытеснение» будут работать, в то время как простой эффект «Картинка в картинке» будет выглядеть искаженным, поскольку он использует масштабирование изображения как по вертикали, так и по горизонтали.

Также обратите внимание на наложение изображений. Наложить сферическое видео поверх другого сферического видео можно только при условии сохранения исходного расположение по вертикали и масштаба. Можно снять объект на зеленом фоне в равнопромежуточном формате и применить цветовую рирпроекцию для наложения его поверх фонового изображения. Наложить стандартное плоское видео поверх сферического фонового видео не удастся без дополнительных шагов. Тут вступает в дело четвертый основной эффект – «Титры и графика». Для работы с плоским изображением, например, титрами, которые необходимо наложить поверх равнопромежуточного изображения, необходимо сначала спроецировать его на сферу. Чтобы наложить плоское изображение поверх сферического видео, необходимо использовать внешние модули сторонних разработчиков, например инструменты SkyBox 360/VR, в частности, эффект Mettle SkyBox Project 2D.

Одним из встроенных эффектов, на которые следует обратить внимание при работе со сферическим видео, является эффект «Смещение» (находится в разделе «Видеоэффекты»/«Искажение»). В отличие от стандартных камер, камера виртуальной реальности не использует только один объектив, который фокусируется на снимаемом объекте. Она снимает все окружающее пространство одновременно. При склейке различных кадров можно обнаружить, что камера изменила свое положение, и главный объект сместился по сравнению с предыдущим кадром. В таком случае необходимо поместить главный объект обратно в поле зрения, чтобы зрителю не пришлось крутить головой в его поисках.

Эффект «Смещение» позволяет поворачивать весь кадр. Примените эффект «Смещение» к вырезанному сегменту на панели «Временная шкала» и перетащите первое значение пары параметра «Сместить центр к» влево или вправо, в зависимости от того, каким образом вы хотите панорамировать клип. Следите за тем, чтобы не изменить второй параметр, иначе вертикальное положение объекта будет нарушено. Одно последнее замечание: данный эффект не применяется в режиме реального времени и требует рендеринга. Эффект «Повернуть сферу» в Mettle поддерживает обработку в реальном времени. Он также позволяет наклонять изображение по вертикали и даже вращать камеру. Будьте внимательны при наклоне и вращении сферы, так как это может привести к ухудшению качества изображения исключительно из-за способа, которым работает равнопромежуточная проекция.

Экспорт

Экспортирование сферического видео в целом не сильно отличатся от экспортирования видеоматериалов любого другого типа, однако тут имеются несколько особенностей:

Независимо от используемого формата и стиля, необходимо установить значение параметра «Масштабирование исходного изображения» в верхней правой части окна равным «Растягивание для заполнения». Если не изменить этот параметр, в экспортируемом видеоролике в верхней и нижней части или по бокам экрана с большой степенью вероятности появятся черные полосы, которые нарушат непрерывность сферы и вызовут ее искажение.
При экспортировании видеоматериалов в формате H.264, HEVC или QuickTime установите флажок «Видео соответствует VR» на вкладке «Параметры видео». Затем выберите «Макет кадров», который соответствует исходному видео, таким же образом, как в настройках отображения видео в режиме виртуальной реальности. Если этот параметр включен, то сферическое видео, опубликованное на веб-сайте YouTube и Facebook, будет автоматически воспроизводится в специальном средстве просмотра VR после обработки соответствующей службой, которая может занять около часа после завершения загрузки.
При работе со сферическим видео с кадрами очень большого размера следует тщательно выбирать контейнер и кодек. При экспортировании на компьютере Mac имеется возможность экспорта с помощью QuickTime и один из вариантов ProRes.

В операционной системе Windows ситуация более сложная, поэтому рекомендуется использовать формат H.264. При экспортировании кадров большого размера в формате H.264 выполните следующие действия:

Выберите формат H.264 и стиль «Использовать параметры исходного видео».
Отключите флажки стиля «Использовать параметры исходного видео» для размеров, профиля и уровня.
Измените значение профиля на «Высокий» и уровня – на «5.2».
Выберите параметр масштабирования исходного изображения «Растягивание для заполнения».
Отключите ссылку значения форматного соотношения рядом с пунктом «Размер» и измените размер на «4096 х 2304» (или 2160 при частоте 60 кадров в секунду).
Выберите высокую скорость потока, например, 100 Мбит/с.
Включите параметр «Использовать наилучшее качество рендеринга» для достижения наилучших результатов при масштабировании.

Ниже приводится пример настроек экспорта стереоскопического видео в формате H.264:

Настройки экспорта стереоскопического видео в формате H.264

Сводка

Adobe Premiere Pro долгое время был стандартным инструментом, используемым операторами монтажа, работающими с иммерсивным видео виртуальной реальности. В версии 2015.03 в Premiere Pro имеются инструменты для улучшенного качества просмотра, экспортирования и обмена видео виртуальной реальности. Кроме того, сегмент виртуальной реальности быстро расширяется – штативы, камеры, инструменты для создания сферического видео, эффекты, очки и шлемы виртуальной реальности и даже мониторинг изображения, подаваемого на экраны шлема виртуальной реальности, внутри приложения. Технологии виртуальной реальности находятся на стадии зарождения, однако это направление переживает период бурного развития. Они отличаются от трехмерного стереоскопического видео тем, что над их развитием трудится не горстка производителей, а сотни компаний, как крупных, так и малых, многие из которых работают вместе, включая компанию Adobe.