| title | description | author | ms.author | ms.date | ms.localizationpriority | keywords | ms.openlocfilehash | ms.sourcegitcommit | ms.translationtype | ms.contentlocale | ms.lasthandoff | ms.locfileid |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
Документация по MRTK в Unity для разработчиков |
Сведения о Mixed Reality Toolkit для Unity. |
polar-kev |
kesemple |
11/10/2021 |
high |
Unity, HoloLens, HoloLens 2, смешанная реальность, разработка, MRTK |
1d205e8fa0bf57c109e1c700b60dd159b28ff1d8 |
bb8074afb7e2073f32e8bf9314756b46de25df5a |
HT |
ru-RU |
11/12/2021 |
132364047 |
[!VIDEO https://www.microsoft.com/en-us/videoplayer/embed/RWyXHW]
MRTK-Unity — это проект, управляемый Майкрософт, который предоставляет набор компонентов и функций для ускорения кроссплатформенной разработки приложений смешанной реальности в Unity. Ниже приведены некоторые его функции.
- Предоставляет кросс-платформенную систему ввода и стандартные блоки для пространственных взаимодействий и пользовательского интерфейса.
- Поддерживает быстрое создание прототипов с помощью имитации в редакторе, позволяющей сразу просматривать изменения.
- Работает как расширяемая платформа, предоставляющая разработчикам возможность менять основные компоненты.
- Поддерживает широкий ряд платформ:
::: moniker range=">= mrtkunity-2021-05"
| Платформа | Поддерживаемые устройства |
|---|---|
| OpenXR (Unity 2020.3.8 и выше) | Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; |
| Windows Mixed Reality | Microsoft HoloLens; Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; |
| Oculus (Unity 2019.3 или более поздней версии): | Oculus Quest. |
| OpenVR: | гарнитуры смешанной реальности Windows Mixed Reality; HTC Vive; Oculus Rift; |
| отслеживание рук Ultraleap. | Leap Motion Controller (Ultraleap) |
| Мобильные службы | iOS и Android |
| ::: moniker-end | |
| ::: moniker range="< mrtkunity-2021-05" | |
| Платформа | Поддерживаемые устройства |
| --- | --- |
| OpenXR (предварительная версия в MRTK 2.6, Unity 2020.3.8 и выше) | Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; |
| Windows Mixed Reality | Microsoft HoloLens; Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; |
| Oculus (Unity 2019.3 или более поздней версии): | Oculus Quest. |
| OpenVR: | гарнитуры смешанной реальности Windows Mixed Reality; HTC Vive; Oculus Rift; |
| отслеживание рук Ultraleap. | Leap Motion Controller (Ultraleap) |
| Мобильные службы | iOS и Android |
| ::: moniker-end |
Note
Старайтесь не использовать Unity 2020.3.21f и 2020.3.22f, так как это приводит к миганию и мерцанию в HoloLens 2. Дополнительные сведения см. здесь.
Если вы не знакомы с MRTK или разработкой для смешанной реальности в Unity, мы рекомендуем установить и изучить пример приложения из центра примеров MRTK на устройстве или в эмуляторе.
[!div class="nextstepaction"] Скачайте приложение в центре примеров MRTK
Ознакомившись с MRTK и Смешанной реальностью, установите необходимые средства и следуйте инструкциям из серии руководств по HoloLens 2 для начинающих.
[!div class="nextstepaction"] Установка средств
[!div class="nextstepaction"] Серия учебников по HoloLens 2
Хотите узнать, как это работает?
[!div class="nextstepaction"] Подробнее об MRTK на GitHub
 Заметки о выпуске |
 Обзор MRTK |
 Справочник по интерфейсам API |
|---|
| Ветвь | Состояние CI | Состояние документации |
|---|---|---|
main |
:::row:::
:::column:::
Система ввода
:::column-end:::
:::column:::
Отслеживание рук
(HoloLens 2)
:::column-end:::
:::column:::
Отслеживание взгляда
(HoloLens 2)
:::column-end:::
:::column:::
Профили
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Отслеживание рук
(Ultraleap)
:::column-end:::
:::column:::
Элементы управления пользовательским интерфейсом
:::column-end:::
:::column:::
Решатели
:::column-end:::
:::column:::
Диспетчер
нескольких сцен
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Отслеживание
пространственного положения
:::column-end:::
:::column:::
Средство
диагностики
:::column-end:::
:::column:::
Отображение примера работы стандартного шейдера MRTK
:::column-end:::
:::column:::
Речь
& Диктовка
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Система
границ
:::column-end:::
:::column:::
Имитация
в редакторе
:::column-end:::
:::column:::
Экспериментальные
функции
:::column-end:::
:::column:::
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Кнопка
Элемент управления типа "кнопка", поддерживающий различные методы ввода, в том числе свободный ввод с отслеживаем рук в HoloLens 2.
:::column-end:::
:::column:::
Элемент управления границами
Стандартный пользовательский интерфейс для манипулирования объектами в трехмерном пространстве.
:::column-end:::
:::column:::
Манипулятор объектов
Скрипт для манипулирования объектами одной или двумя руками.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Грифель
Плоскость в двухмерном стиле, поддерживающая прокрутку с помощью свободного ввода рукой.
:::column-end:::
:::column:::
Системная клавиатура
Пример скрипта для использования системной клавиатуры в Unity.
:::column-end:::
:::column:::
Интерактивный объект
Скрипт, обеспечивающий взаимодействие с объектами, с поддержкой визуальных состояний и тем.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Решатель
Различные модели поведения для позиционирования объектов, такие как следование (tag-along), прикрепление к пользователю (body-lock), зафиксированный размер просмотра (constant view size) и поверхностный магнетизм (surface magnetism).
:::column-end:::
:::column:::
Коллекция объектов
Скрипт для размещения массива объектов в трехмерной фигуре.
:::column-end:::
:::column:::
Подсказка
Пользовательский интерфейс заметок с гибкой системой привязки и поворота, который можно использовать, чтобы помечать контроллеры движений и объекты.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Ползунок
Пользовательский интерфейс ползунков для изменения значений, поддерживающих взаимодействие с прямым отслеживанием рук.
:::column-end:::
:::column:::
Стандартный шейдер MRTK
Стандартный шейдер MRTK поддерживает различные элементы интерфейса Fluent с достаточной производительностью.
:::column-end:::
:::column:::
Меню руки
Привязанный к руке пользовательский интерфейс, обеспечивающий быстрый доступ и использующий решатель ограничения руки.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Панель приложения
Пользовательский интерфейс для активации элемента управления границами вручную.
:::column-end:::
:::column:::
Указатели
Сведения о различных типах указателей.
:::column-end:::
:::column:::
Визуализация с использованием кончика пальца
Визуальный маркер на кончике пальца, повышающий уверенность в прямом взаимодействии.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Быстрое меню
Пользовательский интерфейс подвешенного меню для быстрых взаимодействий.
:::column-end:::
:::column:::
Представление для отслеживания пространственного положения
Обеспечьте взаимодействие голографических объектов с физическими средами.
:::column-end:::
:::column:::
Голосовая команда
Скрипты и примеры для интеграции голосового ввода.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Индикатор хода выполнения
Визуальный индикатор, сообщающий о ходе процесса или операции.
:::column-end:::
:::column:::
Диалоговое окно
Элемент пользовательского интерфейса для получения подтверждения пользователя.
:::column-end:::
:::column:::
Обучающая рука
Компонент, помогающий направлять пользователя, если жест еще не выучен.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Служба физического взаимодействия с помощью рук [экспериментальная]
Служба физического взаимодействия с помощью рук поддерживает события столкновения с твердым телом и взаимодействия с помощью свободного ввода руками.
:::column-end:::
:::column:::
Коллекция прокрутки
Коллекция объектов со встроенной поддержкой прокрутки трехмерных объектов.
:::column-end:::
:::column:::
Док-панель [экспериментальная]
Док-панель позволяет перемещать объекты между заранее определенными позициями.
:::column-end:::
:::row-end:::
:::row:::
:::column:::
Отслеживание взгляда: выбор цели
Объедините ввод с помощью взгляда, голоса и рук для быстрого и простого выбора голограмм в сцене.
:::column-end:::
:::column:::
Отслеживание взгляда: навигация
Узнайте, как автоматически прокручивать текст или быстро увеличить масштаб выбранного содержимого с учетом того, на что направлен ваш взгляд.
:::column-end:::
:::column:::
Отслеживание взгляда: тепловая карта
Примеры ведения журналов, загрузки и визуализации того, на что смотрят пользователи в вашем приложении.
:::column-end:::
:::row-end:::
 Окно оптимизации |
 Окно зависимости |
 Окно сборки |
 Запись ввода |
|---|---|---|---|
| Автоматизируйте настройку проектов смешанной реальности, чтобы оптимизировать производительность. | Анализируйте зависимости между активами и выявляйте неиспользуемые активы. | Настройте и выполните комплексный процесс сборки для приложений смешанной реальности. | Записывайте и воспроизводите данные о перемещении головы и отслеживания рук в редакторе. |
MRTK предоставляет примеры сцен, которые демонстрируют использование функций MRTK. Примеры сцен можно найти в папке Assets/MRTK/Examples/Demos. Изучите страницу Примеры сцен, чтобы узнать, как получить и выполнять примеры сцен. Сцена с примерами взаимодействий с помощью рук позволяет изучить базовые блоки MRTK для взаимодействий и пользовательского интерфейса.
В центре примеров MRTK вы можете опробовать различные сцены MRTK, при этом вам не понадобится создавать и развертывать каждую сцену. Вы можете скачать готовые пакеты приложений для HoloLens (x86), HoloLens 2 (ARM) и иммерсивных гарнитур Windows Mixed Reality (x64), выбрав пакет Mixed Reality Toolkit Examples в средстве MR Feature Tool. Обязательно используйте портал устройств Windows для установки приложений в HoloLens (1-го поколения). Для HoloLens 2 можно скачать и установить Центр примеров MRTK с помощью приложения Microsoft Store.
Дополнительные сведения о создании центра со сценами с помощью системы сцен и службы перехода между сценами MRTK см. на странице сведений Центра примеров.
 |
 |
 |
|---|---|---|
| Periodic Table of the Elements — это пример приложения с открытым кодом, которое демонстрирует, как использовать систему ввода и стандартные блоки MRTK для создания интерфейса приложения для HoloLens и иммерсивных гарнитур. Прочитайте историю о портировании приложения Periodic Table of the Elements на HoloLens 2 с помощью MRTK v2. | Galaxy Explorer — пример приложения с открытым кодом, которое изначально было разработано для HoloLens в марте 2016 г. в рамках кампании Share Your Idea. В Galaxy Explorer добавлены новые возможности для HoloLens 2 с помощью MRTK v2. Прочитайте историю о создании Galaxy Explorer для HoloLens 2. | Surfaces — это пример приложения с открытым кодом для HoloLens 2, которое демонстрирует, как мы можем вызвать тактильные ощущения с помощью визуализации, звуков и отслеживания свободных движений рук. Ознакомьтесь с докладом Microsoft MR Dev Days по наработкам при разработке и использовании приложения Surfaces, чтобы узнать больше о проектировании и разработке. |
 |
 |
 |
|---|---|---|
| Учебник по созданию простого приложения MRTK с нуля. Узнайте больше о понятиях взаимодействия и мультиплатформенных возможностях MRTK. | Изучите стандартные блоки взаимодействий в MRTK, которые помогут вам создать великолепные среды смешанной реальности. | Вводная информация о встроенных и внешних средствах оценки производительности для MRTK, а также стандартного шейдера MRTK. |
Другие видео с докладами см. на странице Mixed Reality Dev Days.
-
Присоединяйтесь к обсуждению MRTK на сайте Slack. Вступить в сообщество Slack можно с помощью автоматической рассылки приглашений.
-
Задать вопросы об MRTK можно на сайте Stack Overflow (используйте тег MRTK).
-
Если вы нашли ошибки в коде MRTK, вы можете выполнить поиск по известным проблемам или сообщить о новой проблеме.
-
Вопросы об участии в разработке MRTK можно задать на канале mixed-reality-toolkit в сообществе Slack.
В рамках этого проекта действуют правила поведения в отношении продуктов с открытым исходным кодом Майкрософт. Дополнительные сведения см. в статье Вопросы и ответы, связанные с правилами поведения. Чтобы задать вопрос или получить комментарии, обратитесь по адресу opencode@microsoft.com.
 Знания |
 Проектирование |
 Разработка |
 Дистрибуция |
|---|---|---|---|
| Узнайте, как создавать взаимодействия смешанной реальности для HoloLens и иммерсивных гарнитур (виртуальная реальность). | Получите руководства по проектированию. Создайте пользовательский интерфейс. Узнайте о взаимодействиях и способах ввода. | Получите руководства по разработке. Узнайте о технологиях. Изучите их научную основу. | Подготовка приложения для других пользователей и создание средства для запуска трехмерных приложений. |
 Пространственные привязки |
 Службы распознавания речи |
 Службы компьютерного зрения |
|---|---|---|
| Пространственные привязки — это кросс-платформенная служба, которая позволяет создавать взаимодействия смешанной реальности с использованием объектов, сохраняющих свое расположение на различных устройствах с течением времени. | Откройте для себя и интегрируйте в свое приложение возможности обработки речи на платформе Azure, такие как преобразование речи в текст, распознавание говорящего или перевод речи. | Идентифицируйте изображения или видео с помощью служб визуального распознавания с такими возможностями, как компьютерное зрение, определение лиц, распознавание эмоций или индексация видео. |
Узнайте, как принять участие в разработке MRTK.
Если при использовании MRTK у вас возникли проблемы или появились вопросы, вам помогут следующие ресурсы:
- Чтобы сообщить об ошибке, создайте запрос в репозитории GitHub.
- Свой вопрос вы можете задать на сайте StackOverflow или на канале mixed-reality-toolkit в сообществе Slack. Вступить в сообщество Slack можно с помощью автоматической рассылки приглашений.