logo

45. Понятие виртуальной и дополненной реальности. Средства реализации.

Виртуа́льная реа́льность, ВР, искусственная реальность, электронная реальность, компьютерная модель реальности (англ. virtual reality, VR) — созданный техническими средствами мир (объекты и субъекты), передаваемый человеку через его ощущения: зрение, слух, обоняние, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие. Для создания убедительного комплекса ощущений реальности компьютерный синтез свойств и реакций виртуальной реальности производится в реальном времени.

Объекты виртуальной реальности обычно ведут себя близко к поведению аналогичных объектов материальной реальности. Пользователь может воздействовать на эти объекты в согласии с реальными законами физики (гравитация, свойства воды, столкновение с предметами, отражение и т. п.). Однако часто в развлекательных целях пользователям виртуальных миров позволяется больше, чем возможно в реальной жизни (например: летать, создавать любые предметы и т. п.).

Не следует путать виртуальную реальность с дополненной. Их коренное различие в том, что виртуальная конструирует новый искусственный мир, а дополненная реальность лишь вносит отдельные искусственные элементы в восприятие мира реального.

Реализация

Системами «виртуальной реальности» называются устройства, которые более полно по сравнению с обычными компьютерными системами имитируют взаимодействие с виртуальной средой, путём воздействия на все пять имеющихся у человека органов чувств.

Изображение

В настоящее время существует несколько основных типов систем, обеспечивающих формирование и вывод изображения в системах виртуальной реальности:

Шлем / очки виртуальной реальности (HMD - display)

Современные шлемы виртуальной реальности представляют собой скорее очки, нежели шлем, и содержат один или несколько дисплеев, на которые выводятся изображения для левого и правого глаза, систему линз для корректировки геометрии изображения, а также систему трекинга, отслеживающую ориентацию устройства в пространстве. Как правило, системы трекинга для шлемов виртуальной реальности разрабатываются на основе гироскопов, акселерометров и магнитометров. Для систем этого типа важен широкий угол обзора, точность работы системы трекинга при отслеживании наклонов и поворотов головы пользователя, а также минимальная задержка между детектированием изменения положения головы в пространстве и выводом на дисплеи соответствующего изображения.

MotionParallax3D дисплеи

К устройствам этого типа относится множество различных устройств: от некоторых смартфонов до комнат виртуальной реальности (CAVE). Системы данного типа формируют у пользователя иллюзию объемного объекта за счет вывода на один или несколько дисплеев специально сформированных проекций виртуальных объектов, сгенерированных исходя из информации о положении глаз пользователя. При изменении положения глаз пользователя относительно дисплеев, изображение на них соответствующим образом меняется. Все системы данного типа задействуют зрительный механизм восприятия объёмного изображения параллакс движения (Motion Parallax). Также, в большинстве своём, они обеспечивают вывод стереоизображенияс помощью стереодисплеев, задействуя стереоскопическое зрение. Системы трекинга для MotionParallax3D дисплеев отслеживают координаты глаз пользователей в пространстве. Для этого используются различные технологии: оптическая (определение координат глаз пользователя на изображении с камеры, отслеживание активных или пассивных маркеров), существенно реже - ультразвуковая. Зачастую системы трекинга могут включать в себя дополнительные устройства: гироскопы,акселерометры и магнитометры. Для систем данного типа важна точность отслеживания положения пользователя в пространстве, а также минимальная задержка между детектированием изменения положения головы в пространстве и выводом на дисплеи соответствующего изображения. Системы данного класса могут выполняться в различных форм - факторах: от виртуальных комнат с полным погружением до экранов виртуальной реальности размером от трёх дюймов.

Виртуальный ретинальный монитор

Устройства данного типа формируют изображение непосредственно на сетчатке глаза. В результате пользователь видит изображение, «висящее» в воздухе перед ним. Устройства данного типа ближе к системам дополненной реальности, поскольку изображения виртуальных объектов, которые видит пользователь, накладываются на изображения объектов реального мира. Тем не менее, при определенных условиях (тёмная комната, достаточно широкое покрытие сетчатки изображением, а также в сочетании с системой трекинга), устройства данного типа могут использоваться для погружения пользователя в виртуальную реальность.

Также существуют различные гибридные варианты: например, система CastAR, в которой получение корректной проекции изображения на плоскости достигается за счет расположения проекторов непосредственно на очках, а стереоскопическое разделение - за счет использования световозвращающего покрытия поверхности, на которую ведётся проецирование. Но пока такие устройства широко не распространены и существуют лишь в виде прототипов.

На данный момент самыми совершенными системами виртуальной реальности являются проекционные системы, выполненные в компоновке комнаты виртуальной реальности (CAVE)[2]. Такая система представляет собой комнату, на все стены которой проецируется 3D-стереоизображение. Положение пользователя, повороты его головы отслеживаются трекинговыми системами, что позволяет добиться максимального эффекта погружения. Данные системы активно используются в маркетинговых, военных, научных и других целях.

Звук

Многоканальная акустическая система позволяет производить локализацию источника звука, что позволяет пользователю ориентироваться в виртуальном мире с помощью слуха.

Имитация тактильных ощущений

Имитация тактильных или осязательных ощущений уже нашла своё применение в системах виртуальной реальности. Это так называемые устройства с обратной связью.[3] Применяются для решения задач виртуального прототипирования и эргономического проектирования, создания различных тренажёров, медицинских тренажёров, дистанционном управлении роботами, в том числе микро- и нано-, системах создания виртуальных скульптур.

Управление

С целью наиболее точного воссоздания контакта пользователя с окружением применяются интерфейсы пользователя, наиболее реалистично соответствующие моделируемым: компьютерный руль с педалями,рукояти управления устройствами, целеуказатель в виде пистолета и т. д.

Для бесконтактного управления объектами используются как перчатки виртуальной реальности, так и отслеживание перемещений рук, осуществляемое с помощью видеокамер. Последнее обычно реализуется в небольшой зоне и не требует от пользователя дополнительного оборудования.[4]

Перчатки виртуальной реальности могут быть составной частью костюма виртуальной реальности, отслеживающего изменение положения всего тела и передающего также тактильные, температурные и вибрационные ощущения.

Устройство для отслеживания перемещений пользователя может представлять собой свободно вращаемый шар, в который помещают пользователя, или осуществляться лишь с помощью подвешенного в воздухе или погружённого в жидкость костюма виртуальной реальности. Также разрабатываются технические средства для моделирования запахов.[5]

Прямое подключение к нервной системе

Описанные выше устройства воздействуют на органы чувств человека, но данные могут передаваться и непосредственно нервным окончаниям, и даже напрямую в головной мозг посредством мозговых интерфейсов[6][7] . Подобная технология применяется в медицине для замены утраченных чувствительных способностей[6], но пока она слишком дорога для повседневного применения и не достигает качества передачи данных, приемлемого для передачи виртуальной реальности. На этом же принципе основаны различные физиотерапевтические приборы и устройства, воспроизводящие ощущения реального мира в измененном состоянии сознания ("Радиосон" и др.).

Дополненная реальность (англ. augmented reality, AR — «расширенная реальность») — результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации.

Дополненная реальность — воспринимаемая смешанная реальность (англ. mixed reality), создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда реальные объекты монтируются в поле восприятия).

Среди наиболее распространенных примеров дополнения воспринимаемой реальности — параллельная лицевой цветная линия, показывающая нахождение ближайшего полевого игрока к воротам при телевизионном показе футбольных матчей, стрелки с указанием расстояния от места штрафного удара до ворот, «нарисованная» траектория полета шайбы во время хоккейного матча и т. п.

Сам термин «дополненная реальность» предположительно был предложен исследователем корпорации Boeing Томом Коделом (англ. Tom Caudell) в 1990 году.

Существует несколько определений дополненной реальности: исследователь Рональд Азума (англ. Ronald Azuma) в 1997 году определил её как систему, которая:

  1. совмещает виртуальное и реальное;

  2. взаимодействует в реальном времени;

  3. работает в 3D.

В 1994 году Пол Милгром (англ. Paul Milgram) и Фумио Кисино (англ. Fumio Kishino) описали континуум «виртуальность — реальность» (англ. Milgram's Reality-Virtuality Continuum)[3] — пространство между реальностью и виртуальностью, между которыми расположены дополненная реальность (ближе к реальности) и дополненная виртуальность (ближе к виртуальности). Дополненная реальность — результат добавления к воспринимаемым как элементы реального мира мнимых объектов (обычно в качестве вспомогательной информации).

Иногда в качестве синонимов используют термины «расширенная реальность», «улучшенная реальность», «обогащённая реальность», «увеличенная реальность».

Мобильные технологии

Существует множество программных продуктов для мобильных устройств, которые позволяют при помощи дополненной реальности получить необходимые сведения об окружении: браузеры дополненной реальности и специализированные программы для отдельных сервисов, компаний или даже единственных моделей. Само распространение дополненной реальности и нарастающая известность технологии среди потребителей связано с тем, что вычислительная мощность и набор датчиков в аппаратных платформах для смартфонов и планшетов позволяют производить наложение любых цифровых данных на получаемое в реальном времени со встроенных в устройства камер изображение. Часть решений в этой области воплощается в виде нательных компьютеров (в том числе в качестве элементов умной одежды) для постоянного контакта со средой дополненной реальности.

Корпорация Google работает над гарнитурой Project Glass, а Vuzix — над Smart Glasses M100. Аналогичные разработки ведут другие крупные компании (включая Canon с AR-очками для профессиональных дизайнеров MREAL), а также многие начинающие компании.

Медицина

В современных лапароскопических операциях изображение на эндоскопе дополняется изображением, полученным во время интраоперативной ангиографии. Это позволяет хирургу точно знать, где находится опухоль внутри органа, и таким образом минимизировать потери здоровой ткани органа пациента во время операции по удалению опухоли.

Военная техника

В современных боевых самолетах и вертолетах часто используется индикация на лобовом стекле или на шлеме пилота. Она позволяет пилоту получать наиболее важную информацию прямо на фоне наблюдаемой им обстановки, не отвлекаясь на основную приборную панель. Это позволяет, например, сэкономить драгоценные секунды во время маневренного воздушного боя. Многие подобные системы позволяют осуществлять целеуказание путем поворота головы или движения глазных яблок.

Компьютерные игры

Существуют компьютерные игры, производящие обработку видеосигнала с камеры и накладывающие на изображение окружающего мира дополнительные элементы. Например, в 2004 году была выпущена игра для мобильных телефонов с названием Mosquitos, отображающая на экране телефона изображение с расположенной позади него камеры, с наложенными на это изображение прицелом и огромными комарами, от которых «отстреливался» игрок.

В современном мире игры дополненной реальности получили широкое распространение на смартфонах и планшетах, а также игровых консолях.

Полиграфия

Дополненная реальность активно используется в печатной продукции на Западе благодаря распространению так называемых браузеров дополненной реальности — в частности, Wikitude, Layar, blippAR и других. В газеты, буклеты, проспекты, журналы и даже географические карты помещаются изображения, служащие метками для последующей визуализации цифровых объектов. В роли дополняющей информации может выступать текст, изображения, видео, звук или трёхмерные объекты, статичные или анимированные — фактически, абсолютно любые цифровые данные. С помощью специальных программ-браузеов, установленных на планшеты и смартфоны, пользователи сканируют метки, получая доступ к дополнительному контенту.

В периодике дополненная реальность чаще всего используется для визуализации рекламы, в качестве привлекающего внимание аудитории маркетингового инструмента. Однако встречаются проекты, направленные на решение социальных задач: показательным примером здесь выступает инициатива японской газеты Tokyo Shimbun, тексты которой при помощи мобильных устройств адаптируются для детского восприятия, что направлено на создание общего информационного поля у детей и их родителей и укрепление связей в семье.