От камеры всепогодного зрения — к шлему дополненной реальности

В Томском университете систем управления и радиоэлектроники изобрели телевизионную камеру всепогодного зрения. Она позволяет видеть на расстоянии до 200 метров в абсолютной темноте, в дождь или туман, а также в сильно задымленном помещении, например, при пожаре. В поисках способа заработать на технологии, в ТУСУР решили сделать шлем дополненной реальности, на внутренний экран которого транслировалось бы дублирующее изображение с камеры всепогодного зрения. Приступив к созданию протитипа, ученые нашли применение еще нескольким разработкам ТУСУР. В итоге получился шлем, который может составить конкуренцию очкам дополненной реальности Microsoft HoloLens и одновременно быть интересен военным и спасателям.

Сегодня проект называется «Шлем дополнительной реальности gAR.1№*». 14 февраля 2017 года он выиграл грант фонда Бортника на томском этапе Стартап Тура Сколково. Прототип шлема уже прошел испытания.

На фото в центре представитель Фонда Бортника в Сколково Владимир Гвердцители с прототипом gAR.1№

Об эволюции проекта SmartBabr рассказал начальник инновационно-технологического центра ТУСУР Евгений Гарин.

Евгений Гарин

начальник инновационно-технологического центра ТУСУР

Главная задача, которую передо мной поставило руководство ТУСУР при создании инновационно-технологического центра — это коммерциализация научных разработок. В ТУСУРе на уровне прототипов и уже готовых рыночных продуктов таких разработок более 100.

Мы продвигали наши продукты в отечественных институтах развития и среди таких крупных игроков IT-рынка, как Samsung, «Яндекс» и «Рамблер» — и некоторые разработки привлекли к себе внимание.

Так, «Объединенная Инновационная Корпорация» (ОИК), дочернее предприятие «Росатома», заинтересовалась разработкой «Всепогодного зрения» профессора Пустынского. Созданная на кафедре телевидения и управления ТУСУР камера всепогодного зрения позволяет видеть в абсолютной темноте, в дождь, в сильный туман на расстоянии до 200 метров. «ОИК Росатом» она привлекла тем, что позволяла видеть в сильно загазованном и задымленном помещении — как при пожаре, так и при аварии паровых турбин, когда видимость падает до нуля от насыщения воздуха перегретым паром.

Казалось бы: есть разработка, которая нужна пожарным, и есть сильный индустриальный партнер — «ОИК Росатом», готовый помочь с масштабированием производства. Но не все так просто.

Изначально всепогодное зрение разрабатывалось для авиации и планировалось к установке на беспилотники. Визуальный сигнал выводился на экран нотбука. И что же? Пожарный должен бегать по горящему дому с ноутбуком в руках? Это никуда не годилось. Возникла необходимость вывода изображения на рабочий экран защитного шлема.

В нашем же случае все наоборот: рынку под уже готовую к внедрению периферию потребовался шлем дополненной реальности. И мы знали, в каком направлении работать, и какими параметрами должен обладать наш продукт.

И тем не менее первоначально к прямому НИОКР мы не перешли. На самом первом этапе мы исследовали уже имеющиеся на рынке разработки в области виртуальной и гибридной реальности, наладили контакты с российскими и зарубежными разработчиками, стали обмениваться решениями по проблематике, даже какие-то работы произвели на аутсорс. Но в целом ни одна из уже представленных на рынке разработок не удовлетворила первоначально заданным требованиям к AR-шлему.

• Все имеющиеся VR-устройства сразу не подошли: подвижная рабочая (игровая) сессия в VR-шлемах не превышает 6-7 минут, после которых у пользователей начинается головокружение, тошнота, потеря ориентации.

• Отечественная разработка LiveMap за 2000$ не удовлетворила качеством изображения — оно просто двоилось. Консультанты с СибГМУ предупредили нас о риске снижения зрения.

• Зарубежный аналог Microsoft HoloLens стоил еще дороже — 3000$, был избыточно сложным, неремонтопригодным, как и сугубо военная разработка Speereo Software UK. В последнем изображение формировалось на двух маленьких интегрированных ЖК-дисплеях поверх защитного экрана и годилось только для вывода тактической информации.

Нам нужен был полноценный AR-шлем, формирующий дублирующее изображение, ремонтопригодный, и, главное, недорогой.

В конце концов пришлось все делать самим, без отрыва от основного производства

Основное производство на нашей профильной кафедре Безопасности информационных систем ТУСУР — это антивирусы, разработка поисковых алгоритмов, семантический анализ, системы антиплагиата, алгоритмы сжатия БигДата, решения задач сетевого моделирования и дистанционной диагностики. Самыми близкими на тот момент к шлему у нас были речевые технологии.

Их применение позволяло зайти на НИОКР голосового управления с уже имеющемся фундаментом таких разработок как «Анализ биологической обратной связи в методике голосовой реабилитации онкологических больных, перенесших полное удаление гортани».

Эти разработки с высокой степенью научной новизны позволяют распознавать речь при сильном зашумлении, что характерно на поле боя, при пожаре, на трассе с интенсивным движением, а в пределе развития технологии позволяют распознавать команды от оператора получившего серьезные ранения голосового аппарата. Но это все в среднесрочной перспективе полутора-двух лет.

Сейчас перед нами стоит весьма прозаичная задача завершить цикл патентования. В течение полугода мы планируем навесить на шлем всю имеющуюся периферию, в течение трех месяцев довести прототип до рыночного образца и приступить к мелкосерийным продажам.

Прототип gAR.1№

Тестирование трансляции видео на экран gAR.1№

Ну а в течение 8-10 месяцев подготовится к выходу на рынок игровой и развлекательной индустрии, на котором спрос на аппаратные решения в области дополнительной реальности только в российском сегменте прогнозируются на уровне 200000 продаж в первые полгода, а весь потенциальный рынок в премиально-подарочном, среднем и эконом классах насчитывает примерно 6 000 000 продаж в первые пять лет реализации проекта.

Изображения и фотографии предоставлены Евгением Гариным. Видео тестов gAR.1№ можно посмотреть на странице Евгения Гарина в фейсбук.

*gAR.1№ (от «gear augmented reality») — механизм дополненной реальности, прототип №1.