xr kit приложение что это
Лучше VR и AR. Что такое XR и при чем тут Qualcomm
В последнее время много заговорили о виртуальной реальности. Конечно, ее не только что изобрели, но именно сейчас с выходом нового Half-Life и перехода на виртуальное общение тема как-то вспыхнула с новой силой. Хотя, до идеала этой технологии еще далеко. Далеко до идеала пока и с дополненной реальностью, которую так активно взялись развивать сначала Apple, а затем и Google. Дополненная реальность куда перспективней виртуальной. Ее можно использовать каждый день в любом месте, а виртуальную — только в ограниченном пространстве для погружения в отдельный мир. Но есть еще кое-что более интересное и перспективное — XR. И нет, это не модель iPhone прошлого поколения.
новый уровень реальности уже близко. Но это не точно.
Что будет после AR и VR
Буквально пару дней назад завершилась выставка Augmented World Expo (AWE 2020), которая проходила в Соединенных Штатах. Проходила она, как и все сейчас, в онлайн-формате. Одним из участников выставки была компания Qualcomm Technologies, известная своими чипами, которые стоят в огромном количестве флагманских смартфонов на Android и других гаджетах. Являясь дочерней компанией Qualcomm Incorporated, она недавно установила партнерские отношения с крупнейшими мировыми операторами, производителями мобильных устройств и производителями XR. Все это уже в следующем году должно поспособствовать широкому распространению XR среди пользователей.
Средство просмотра XR не совсем категория устройств. В основном это комбинация AR и VR, которая может применяться в разных устройствах. Его просто нужно стандартизировать, и поэтому глобальные операторы вместе решили поделиться планами дальнейшей коммерциализации технологии. Потребителем XR будет простой пользователь AR и VR. Пользоваться новым стандартом он может в том числе и через новые сети пятого поколения, где это будет наиболее актуально с учетом тех скоростей, которые предлагает эта сеть.
Дополненная реальность на Android. Чем она лучше виртуальной
Что такое XR
Изначально XR (или, как его еще называли ”Extended Reality” или ”Cross Reality”) не предполагался как что-то конкретное. Маркетологи говорили о нем в основном, как об объединении VR (виртуальной реальности), AR (дополненной реальности), MR (модифицированная реальность), CR (кинематографическая реальность) и других сокращений, который сейчас не используются. Все эти сочетания букв в конце концов свелись в VR и AR. Эти два понятия в некоторых кругах и объединялись в XR.
AR это хорошо, но тоже есть куда улучшаться.
Теперь все чаще встречается определение XR как отдельной технологии, которая представляет собой перенос виртуальных объектов в реальный мир, например, по средством голограмм или, наоборот, перенос реальных объектов в выдуманный мир. Например, сделать полную вашу копию в компьютерной игре.
Все это выглядит очень интересно, но говорить о настоящих достижениях в этой отрасли пока рано. А еще неизвестно, сохранит ли это течение свое название или получит какое-то другое. Сейчас все любят букву ”Х”, но что будет через несколько лет, никто не знает.
Подборка лучших VR игр для Android
Верители вы в такие технологии? Это надо обязательно решить в нашем Telegra
Кто занимается XR
К пятнадцати мировым компаниям, присоединившимся к этой работе, относятся China Telecom, China Mobile, China Unicom, Deutsche Telekom, EE, KT, LG Uplus, KDDI, Orange, SoftBank, Verizon, Vodafone, Telefonica и NTT DOCOMO. Эти бренды согласны с тем, что средства просмотра XR могут работать на мобильном процессоре Qualcomm Snapdragon 855 или 865. Они будут подключаться к смартфону через кабель USB-C или по сети 5G. Все это может вывести AR и VR на новый уровень. Представьте себе голографическое телеприсутствие, как новый способ общения и потребления контента.
Устройства могут быть разными, но работать они должны едино.
Средство просмотра XR позволяют производить виртуальные контакты с кем угодно или с выдуманным миром. С более стандартизированной системой и технологией пользователям может быть доступно более простое взаимодействие. Программа Qualcomm XR Optimized Certification предлагает свои стандарты унификации технологий XR и того, как это все будет интегрировано в мировую систему потребления и создания контента, вне зависимости от того, на устройстве какого производителя это будет осуществляться.
Основными целями такого продвижения являются:
Когда появится XR
Мы можем ожидать появления новых устройств для просмотра XR в следующем году, поскольку все больше брендов проходят сертификацию, такие, как Nreal, iQIYI, 3Glasses, Panasonic, OPPO, Shadow Creator и Pico. Скоро мы увидим и новые устройства XR и смартфоны со значком Qualcomm XR Optimized.
Вот тогда заживем! После прихода таких технологий, мир уже никогда не станет прежним, а те каналы коммуникации и контента, к которым мы привыкли, сильно изменятся. Получится как со смартфонами. Многие пользователи, скорее всего, примут новую технологию. А к тем, кто не примет, будут относиться как к тем, кто до сих пор принципиально выбирает кнопочные ”звонилки”, имея возможность купить любой смартфон.
Безграничные технологии XR в эпоху распределённых вычислений
Как трансформация Wireless Edge поможет в разработке фотореалистичных мобильных систем расширенной реальности.
Расширенная реальность (Extended Reality, XR) уже сейчас даёт пользователям революционные возможности, но добиться ещё большей реалистичности и нового уровня погружения, учитывая ограничения, связанные с производительностью и охлаждением тонких портативных гаджетов, — задача достаточно нетривиальная.
Взгляд в будущее: тонкие и стильные очки дополненной реальности
С трансформацией систем Wireless Edge (беспроводные системы, работающие на стыке сети и гаджета) начнётся новая эпоха распределённых вычислений, в которой будут активно использоваться технологии 5G, обработка информации на самих устройствах и пограничные облачные вычисления. И именно эта трансформация должна помочь найти оптимизированное решение.
Лучшее из обоих миров
Что если бы мы могли взять все преимущества мобильных XR-устройств и объединить их с производительностью XR-систем на базе ПК? Мобильные гаджеты для расширенной реальности — это будущее XR, ведь их можно использовать где угодно и когда угодно, без предварительной подготовки и без проводов. Реализация XR на базе ПК, хоть и не может считаться будущим расширенной реальности, имеет важное преимущество – она не ограничена по потребляемой мощности и эффективностью систем охлаждения, что, в свою очередь, позволяет делать более экстенсивные вычисления. Благодаря сетям 5G с более низкой задержкой и большой пропускной способностью мы планируем взять лучшее от обоих подходов. Распределение вычислительных задач при помощи технологий 5G позволит предложить лучшее двух миров – безграничный мобильный XR-опыт и фотореалистичную графику в тонких и доступных XR-гарнитурах. В результате пользователи получат во всех смыслах «безграничные» возможности, ведь они смогут подключаться к расширенной реальности, где захотят, и степень погружения в XR-приложения станет еще выше.
Технологии безграничной расширенной реальности предлагают взять лучшее от мобильных XR-устройств и устройств с подключением к ПК
Повышение эффективности обработки данных расширенной реальности на устройстве
Работа с графикой в системах расширенной реальности требует больших вычислительных мощностей и чувствительна ко времени отклика. Для корректного разделения вычислений необходим системный подход. Давайте рассмотрим, как использование пограничных облачных вычислений может помочь более эффективно дополнять обработку на устройстве, создавая системы безграничной расширенной реальности с фотореалистичной графикой (более подробная информация есть в нашем вебинаре).
Когда пользователь системы XR поворачивает голову, обработка на устройстве определяет положение головы и отправляет эти данные в облако пограничных вычислений по 5G-каналу с минимальной задержкой и высоким качественным показателем сервиса. Эта система использует полученные данные о положении головы, чтобы провести частичный рендеринг очередного кадра изображения, закодировать данные и отправить их обратно на XR-гарнитуру. Затем гарнитура расшифровывает последний полученный пакет и, используя регулярно обновляемые данные об изменениях положения головы, продолжает визуализацию и подстройку изображения, чтобы минимизировать показатель motion-to-photon latency (задержка между сменой положения головы пользователя и сменой изображения в гарнитуре). Напомним, что в соответствии с этим показателем вся обработка должна быть завершена за время, не превышающее 20 миллисекунд. Превышение этого порога приводит к появлению у пользователя неприятных ощущений и снижению уровня погружённости в дополненную реальность.
Вычисления на устройстве дополняются при помощи пограничных облачных вычислений и канала 5G с низким временем отклика.
Как видите, для получения качественного эффекта погружения в XR необходимо системное решение с низким временем отклика и высокой надёжностью, поэтому сети 5G с их минимальной задержкой, высокой пропускной способностью являются критически важным элементом XR. По мере совершенствования 5G-сетей и роста их покрытия пользователи смогут наслаждаться фотореалистичной графикой в XR-приложениях в большом количестве мест и будут уверены, что премиальный автономный XR-опыт останется доступным благодаря эффективным вычислениям на самом устройстве.
И это ключевой момент, который стоит подчеркнуть ещё раз: обработка данных на устройстве остаётся крайне важным фактором в любых сценариях. В автономном режиме «бортовое» вычисление на устройстве отвечает за вообще все вычисления, связанные с XR. При совместной работе с системой пограничных облачных вычислений «бортовая» обработка обеспечит XR-гарнитуре возможность энергоэффективной, высокопроизводительной визуализации и трекинга с низкой задержкой.
Создавая «безграничную» дополненную реальность
Qualcomm Technologies уже занимается созданием высокопроизводительных автономных мобильных XR-решений и остаётся лидером в продвижении технологий 5G в мире. Но мы не можем претворить свои идеи «безграничной» XR в реальность в одиночку. Мы активно сотрудничаем с крупнейшими представителями экосистем XR и 5G, включая OEM-производителей и создателей контента, поставщиков услуг и инфраструктуры, ведь архитектура раздельного рендеринга — это системное решение.
Участники экосистем XR и 5G должны работать совместно, чтобы технологии «безграничной» XR стали реальностью
В результате синергии все участники экосистемы XR получат большую общую выгоду от её активного развития, и имя этой выгоде «рост принятия потребителями». К примеру, операторы связи получат определённые выгоды от трансформации Wireless Edge в целом, но давайте рассмотрим пользу именно от развития безграничного XR. Во-первых, с приходом сетей 5G улучшенный ШПД повысит емкость, снизит время отклика и обеспечит гарантированный класс обслуживания, что даст возможность появления более богатых и интерактивных XR-приложения. Во-вторых, по мере увеличения операторами мощностей для пограничных облачных вычислений они смогут предложить массовому пользователю совершенно новые услуги, например, XR-приложения с фотореалистичной графикой.
Мы верим, что большим преимуществом станет новый революционный пользовательский опыт, включая совместную интерактивную работу в реальном времени, многопользовательские игры с фотореалистичной графикой, новое поколение видео с поддержкой шести степеней свободы, образовательные приложения с погружением и персонифицированный шопинг какого не было. Эти перспективы вдохновляют, поэтому мы надеемся на плодотворную совместную работу с другими участниками экосистемы — эта работа поможет превратить наше видение XR в реальность.
Дополненная
реальность
А что, если границы между воображением и реальным миром не существует? Благодаря технологиям дополненной реальности (AR) это не просто возможно, это уже факт.
Дополненная реальность открывает новые перспективы для работы, учёбы, игр и взаимодействия с окружающим миром. Теперь можно увидеть то, что в реальности невозможно показать или слишком сложно реализовать.
Apple создала крупнейшую платформу для дополненной реальности, в основе которой миллионы устройств с поддержкой AR, а также тысячи приложений в App Store, разработанных специально для дополненной реальности. А так как устройства и программное обеспечение Apple сразу проектируются с учётом технологий AR, то они просто идеально подходят для погружения в дополненную реальность.
У дополненной реальности много разных применений.
Complete Anatomy.
Изучите любую часть человеческого тела, чтобы понять, как она устроена. Технологии захвата движения и сканер LiDAR на iPad Pro скоро позволят физиотерапевтам и пациентам получать статистику улучшения подвижности во время реабилитации.
Snapchat.
Общаться с друзьями в Snapchat станет ещё веселее, если использовать эффекты дополненной реальности. Благодаря сканеру LiDAR iPhone 12 Pro может превратить вашу комнату в волшебный лес: на полу вырастет трава, на столе — цветы, стены оплетёт лоза, а над головой появится бесконечное звёздное небо.
iScape.
Приложение iScape поможет вам визуализировать клумбу вашей мечты. Выберите подходящие растения из сотен различных вариантов, поделитесь результатом с друзьями и вместе составьте идеальное сочетание, прежде чем начинать работу в саду.
AR Quick Look.
Благодаря функции AR Quick Look можно пользоваться возможностями дополненной реальности прямо в Safari, Сообщениях и Почте. Например, прежде чем покупать что‑то в интернете, можно посмотреть в дополненной реальности, как этот предмет будет смотреться в комнате.
JigSpace.
Узнайте, как устроены разные объекты: от двигателя самолёта до кораллового рифа. Всё с помощью трёхмерных интерактивных изображений. Доступны десятки моделей по различным темам: механизмы, наука, космос, история, практика и другие.
AR, VR и MR технологии. Что это и как применять?
Рассказываем об отличиях и как правильно применять
Как в любой бурно развивающейся сфере, терминологический аппарат «подтягивается» за реальными разработками, какие-то определения закрепляются, а какие-то перестают использоваться. То же происходит сейчас с иммерсивными технологиями. Если переводить дословно, то VR – это виртуальная реальность, AR – дополненная реальность, MR – смешанная реальность, XR – расширенная реальность.
В статье ниже мы расскажем вам об этих популярных аббревиатурах и видах реальности.
Что такое виртуальная реальность (VR)?
Технология виртуальной реальности заключается в следующем: перед глазами два маленьких мониторчика, картинка на них реагирует на повороты головы и/или движения в пространстве так, как если бы вы видели реальные объекты. За счет этого пользователь более глубоко вовлекается в происходящее в виртуальном пространстве, может смотреть во все стороны и в некоторых случаях даже взаимодействовать с виртуальными предметами.
Что такое дополненная реальность (AR)?
Используя дополненную реальность (AR), мы смотрим на мир не напрямую, а через какой-то «фильтр», который встраивает в настоящий мир виртуальные объекты так, будто они действительно там находятся. В отличие от виртуальной реальности, настоящий мир не уходит из поля зрения, а «дополняется», что и отражается в термине. Какие возможности предлагает дополненная реальность, мы подробно рассказывали в нашей статье.
Чаще всего в качестве «фильтра» для AR используется смартфон или планшет. Сферы применения здесь самые разные. Может использоваться в обучении, играх, навигации, искусстве, рекламе, музеях, ивент-сфере, ритейле. Реже встречающийся способ – AR на больших экранах: обычно применяется в торговых центрах, на остановках в рамках рекламных кампаний и т.п. Экран становится либо «окном», в котором помимо обратной стороны показываются дополнительные объекты, либо «телевизором», показывающим зрителей и виртуальные объекты рядом.
Еще более редкий, но известный благодаря футуристичности способ – очки дополненной реальности. Используются в основном на производствах, в обычной жизни вы их скорее всего не встретите. По крайней мере не сегодня.
Программное обеспечение и Mixed Reality (MR)
Без программного обеспечения оборудование бесполезно, чтобы погрузиться в виртуальную или дополненную реальность, нужно, чтобы кто-то эту реальность сначала создал. Разные шлемы работают на разных программных системах (GearVR, SteamVR, Oculus). Одну из таких систем разрабатывает компания Microsoft. Возможно, чтобы выделиться, возможно по каким-то другим соображениям, они назвали свою платформу Windows Mixed Reality. На этой платформе работают ПК-гарнитуры таких производителей как Samsung, Lenovo, HP и другие. Чаще всего аббревиатура MR употребляется именно в этом значении, в виде WMR. Люди же далекие от деталей технологии иногда ставят MR в ряд с VR и AR из-за сходства, некоторые пробуют дать этому словосочетанию отдельный дополнительный смысл, но в профессиональном сообществе этот термин не прижился.
Осталось рассказать о последней аббревиатуре – XR (Extended reality). Здесь всё просто – этот термин иногда используется для обобщения современных иммерсивных технологий – VR и AR. По сути, XR = VR + AR, без всякого дополнительного смысла.
3D-сканирование с помощью лидара iPhone
Как вы наверное знаете, последнее поколение iPhone (12 Pro и 12 Pro Max) оснащено камерой с лидаром. 3D съемка для меня — это естественная эволюция съемки и я ждал этого дня почти 10 лет.
Недавно было выпущено несколько приложений для съемки в 3D, которые на полную используют эту новую возможность. Я протестировал практически все доступные из них, и на протяжении последних 3 месяцев активно занимался 3D сканированием. Меня часто спрашивают, какие приложения я рекомендую и как получить красивые снимки. Вот информация о приложениях, что мне нравится в каждом из них, а также некоторые общие советы по работе с лидаром в iPhone.
Итак, вот мои 6 приложений для сканирования, все они поддерживают экспорт напрямую в Sketchfab:
Scaniverse
Scaniverse в целом работает хорошо, быстрый и простой в использовании, создает отличные текстуры и хорошо справляется с устранением пустот. Убедитесь, что вы работаете со снимками в ультра-режиме. Этот инструмент очень хорошо подходит для сканирования таких вещей, как автомобили. Вот этот замороженный Мини — один из моих лучших снимков с лидаром. Все мои снимки со сканера находятся тут, а приложение — тут.
Polycam
Polycam быстро работает и отлично справляется с текстурами. Вы можете обрабатывать изображение в HD-режиме и получать мгновенные результаты сканирования. Очень хорошо подходит для сканирования таких вещей как комнаты или фрески, а также стритарт. Здесь можно посмотреть мои снимки Polycam, а само приложение — здесь.
3D scanner app
3D scanner app предлагает массу опций, благодаря которым обеспечивается полный контроль. Например, вы можете легко отделить или обрезать лишнее пространство в приложении. Можно отрезать даже с помощью сферы. Я считаю, что приложение особенно хорошо подходит для небольших вещей, таких как, например, эта долларовая купюра. Убедитесь, что используете режим HD. Тут вы можете посмотреть все мои снимки 3D scanner app, а приложение можно скачать здесь.
Record3D
Record3D позволяет снимать объемное видео, также известное как 4D контент, т. е. 3D сканирование на каждый кадр видео. Вот первые шаги моей дочери. Имейте в виду, что этот формат в итоге выдает очень тяжелые файлы, так что вам нужно снимать всего несколько секунд, чтобы можно было загрузить видео на Sketchfab. Здесь вы можете найти все мои записи в формате Record3D, а приложение — здесь.
SiteScape
SiteScape отлично подходит для быстрого создания точных облаков точек. Вы можете регулировать плотность и размер точек. Мне нравится использовать его для сложных и замысловатых сцен или структур. Также может быть отлично подходит для автомобилей. Здесь находятся все мои снимки SiteScape. Приложение можно найти здесь.
Everypoint
Everypoint отлично подходит для больших облаков точек, например, для этой мозаики в подземке. Разработчики дразнят нас грядущим обновлением приложения, сочетающим лидар и фотограмметрию, с нетерпением ждем, чтобы попробовать. Тут вы можете найти все мои снимки Everypoint, а приложение — здесь.
Общие советы
Вот некоторые общие советы, касающиеся сканирования с помощью лидара на iPhone:
Продажа 3D фото
Магазин Sketchfab позволяет монетизировать свои 3D творения. Мне кажется, что большинство моих снимков с лидаром iPhone все еще немного отстают по качеству для того, чтобы разместить их в магазине. При этом я выставил 2 из них на продажу (мини и кабинет врача), потому что пользователи на самом деле спросили меня, как они могут их купить. Суть в том, что никогда не знаешь, как кто-то может использовать ваши сканы, и часто речь идет скорее о том, чтобы установить соответствующую цену в зависимости от качества и ограниченности контента. Не стоит забывать, что качество (и мои навыки) продолжает улучшаться, поэтому я ожидаю, что в будущем смогу выставить на продажу больше 3D снимков. Помните, что если вы сканируете что-то с интеллектуальной собственностью (например, Мини), вы можете размещать это только под издательской лицензией.