| title | description | author | ms.author | ms.date | ms.topic | keywords | ms.openlocfilehash | ms.sourcegitcommit | ms.translationtype | ms.contentlocale | ms.lasthandoff | ms.locfileid |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
Обзор записи смешанной реальности |
Получите общие сведения о рекомендациях по включению, использованию и визуализации записи смешанной реальности для разработчиков. |
mattzmsft |
v-vtieto |
09/28/2021 |
article |
Нормативная бумага, Фото, видео, захват, Камера |
5e6fde52f8a1f9941b24397c44ab448973c0362a |
bea83261bf9ce7a27a618e5bc54dc4d7711f5435 |
MT |
ru-RU |
10/19/2021 |
130158328 |
Note
Дополнительные сведения о новой функции нормативных требований для HoloLens 2 см. в разделе Render на камере ПС ниже.
Вы можете в любое время принять фотографию или видео смешанной реальности (с соблюдением нормативных требований), но при разработке приложения следует учитывать некоторые моменты. Сюда входят рекомендации по качеству с соблюдением нормативных требований и реагированию на изменения системы при записи МРКС.
Разработчики также могут легко интегрировать запись смешанной реальности и вставить их в свои приложения.
нормативная версия на HoloLens (первое поколение) поддерживает видео и фотографии до 720p, а в соответствии с нормативными разHoloLens 2 поддерживает фильмы вплоть до 4 кб и разрешение до 4000 изображений.
независимо от того, находятся ли снимки на снимках смешанной реальности на странице Microsoft Store или других пользователей, совместно использующих данные для захвата в социальных сетях, часто пользователи получают доступ к вашему приложению в первую очередь. НОРМАТИВную версию можно использовать для демонстрации приложения, обучения пользователей, предоставления пользователям возможности совместного использования смешанного мира, а также для исследования пользователей и решения проблем.
По умолчанию приложению не нужно ничего делать, чтобы пользователи могли принимать смешанные записи реальность.
По умолчанию, запись смешанной реальности сочетает в себе сопоставленный с фотографией (ПС) выход с изображением монитора. Эти два источника объединяются с помощью точки фокусировки, заданной текущим выполняющимся приложением.
Это означает, что голограммы за пределами плоскости фокусировки не будут выделены из-за физического расстояния между камерой ПС и отображаемым справа.
иммерсивное приложение (на HoloLens) должно устанавливать точку фокусировки , где должна быть стабилизации плоскость. Это обеспечивает наилучшее выравнивание как на гарнитуре, так и в смешанной реальности.
Если точка фокусировки не задана, по умолчанию для плоскости стабилизации будет установлено 2 метра.
HoloLens 2 добавляет возможность визуализации иммерсивного приложения с камеры пс при выполнении записи смешанной реальности. Чтобы обеспечить правильную визуализацию приложения, приложение должно принять участие в этой функции.
Визуализация с камеры PV обеспечивает следующие улучшения по сравнению с НОРМАТИВным опытом по умолчанию:
- Выравнивание по голограммам для физической среды и взаимодействие практических действий должны быть точными на всех расстояниях. Избегайте смещения на расстоянии, отличном от точки фокусировки, как в случае с соблюдением требований по умолчанию.
- Правый глаз на гарнитуре не будет скомпрометирован, так как он не будет использоваться для визуализации голограмм для выходных данных нормативных требований.
Дополнительные сведения о подготовке к просмотру с помощью фотокамеры (DirectX).
НОРМАТИВная версия должна работать без дополнительных усилий по разработке, но есть несколько моментов, которые следует учитывать при обеспечении наилучшего захвата смешанной реальности.
НОРМАТИВный номер использует альфа-канал голограммы для смешения с изображением камеры
Самый важный шаг — сделать так, чтобы приложение было очищено до прозрачного черного, а не для снятия непрозрачного черного цвета. В Unity это выполняется по умолчанию с помощью Микседреалититулкит. При разработке в не Unity может потребоваться изменить одну строку.
Ниже приведены некоторые артефакты, которые вы можете увидеть в НОРМАТИВе, если ваше приложение не очищается до прозрачного черного:
Примеры сбоев: черные границы вокруг содержимого (не удается очистить до прозрачного черного)
|
|
Примеры сбоев. вся фоновая сцена голограммы отображается черным цветом. Установка альфа-значения фона для одного результата на черном фоне
ожидаемый результат: Голограммы должным образом смешиваться с реальным (ожидаемый результат при снятии на прозрачный черный цвет).
Решение
- Измените любое содержимое, которое отображается как непрозрачный черный, для альфа-значения 0.
- Убедитесь, что приложение очищено до прозрачного черного.
- Unity по умолчанию автоматически очищается с помощью Микседреалититулкит, но если это приложение, отличное от Unity, необходимо изменить цвет, используемый с ID3D11DeiceContext:: Клеаррендертаржетвиев (). Необходимо убедиться, что для прозрачного черного (0, 0, 0, 0) вместо непрозрачного черного (0, 0, 0, 1).
Теперь при желании можно настроить альфа-значения ресурсов, но обычно это не требуется. В большинстве случаев МРКС будет выглядеть нормально. НОРМАТИВная версия предполагает предварительное умножение альфа-канала. Альфа-значения будут влиять только на запись в отношении нормативных требований.
следующие условия применимы как к HoloLens (первому поколению), так и к HoloLens 2, если не указано иное.
- Система выполняет регулирование приложения до 30 Гц. Это создает некоторый запас для выполнения нормативных требований, поэтому приложению не нужно поддерживать постоянный запас бюджета, а также соответствует частоте записи видео о НОРМАТИВе в 30 кадров/с
- содержимое голограммы в правильном глазе устройства может выглядеть как "живы" при соблюдении требований к записи/потоковой передаче: текст может стать более трудным для чтения, а голограмма может показаться более жагги (при включении в третью камеру визуализация HoloLens 2 избежать такой компрометации).
- Если приложение включено, фотографии и видеоролики с соблюдением требований к приложению будут учитываться в фокусе приложения, что поможет обеспечить точное позиционирование голограмм. В случае с видеоматериалами точка фокусировки сглаженна, поэтому голограммы могут показаться медленно переводиться при значительном изменении глубины точки фокусировки. Голограммы, которые имеют разную глубину от точки фокусировки, могут быть смещены от реального мира (см. пример ниже, в котором точка фокусировки установлена на 2 метрах, а голограмма находится на 1 метре).
Приложение "смешанная реальность" может начать захватывать фотографии или видео в приложении, а захваченное содержимое становится доступным для вашего приложения без сохранения в "рулоне камеры" устройства. Вы можете создать настраиваемый набор средств записи или воспользоваться встроенным ИНТЕРФЕЙСом для захвата камеры.
Разработчики могут использовать API пользовательского интерфейса для записи камеры , чтобы получить записанную пользователем фотографию или видео смешанной реальности с помощью всего нескольких строк кода.
Этот API запускает встроенный интерфейс для камеры с соблюдением требований, где пользователи могут взять фотографию или видео и возвратить полученную запись в приложение. Вы можете создать настраиваемый набор записей для записи смешанной реальности, если вам нужно добавить пользовательский интерфейс камеры или доступ на более низком уровне для записи потоков.
Хотя пользователь всегда может запускать фотографию или видео с помощью службы записи системных требований, приложение может захотеть создать пользовательское приложение для камеры, включающее голограммы в потоке камеры, как и в случае с соблюдением требований. Это позволяет приложению запускать записи из пользовательского ввода, создавать пользовательский пользовательский интерфейс записи или настраивать параметры пользователя, чтобы присвоить несколько примеров.
HoloStudio добавляет пользовательскую камеру с особой назначением, используя эффекты нормативных требований
Приложения Unity должны увидеть Locatable_camera_in_Unity для свойства, чтобы включить голограммы.
другие приложения могут сделать это с помощью api-интерфейсов Windowsного захвата носителей для управления камерой и добавления видео и звуковых эффектов с соблюдением требований к виртуальным голограммам, а также аудио и видео приложения.
Необходимо иметь в виду некоторые ограничения, когда несколько приложений обращаются к НОРМАТИВным данным в одно и то же время.
в HoloLens 1, норматив не сможет записать фотографию или записать видео, пока процесс записывает видео или отправит фотографию. Обратная попытка также имеет значение true: Если норматив работает, приложение не сможет получить доступ к камере.
с HoloLens 2 можно предоставить доступ к камере. Если вам не требуется прямой контроль над разрешением или частотой кадров, можно инициализировать Медиакаптуре, используя свойство шаредмоде с шаредреадонли.
Узнайте о встроенных параметрах требований к фотографии и видеокамере (DirectX).
При использовании функции нормативных требований рекомендуется всегда запрашивать монопольный доступ к камере. Это обеспечит приложению полный контроль над параметрами камеры при условии, что вы знаете об ограничениях, перечисленных выше.
Дополнительные сведения об нормативном доступе для разработчиков (DirectX).