Проекты

Увеличение человеческой памяти на основе дополненной реальности с использованием Искусственного интеллекта

Целью этого проекта является разработка вспомогательной экспертной системы. Мы намерены создать вспомогательные инструменты, способные увеличить объем человеческой памяти, объединив инструменты компьютерного зрения, такие как распознавание объектов на основе глубокого обучения, и технологию камеры, способную записывать данные. В этом исследовании мы также намерены создать вспомогательный инструмент для отображения пути на основе собранных данных изображений участников экспериментов.

Такое приложение способно значительно облегчить когнитивную нагрузку на людей, уменьшая необходимость запоминать множество объектов и мест в повседневной жизни или в рабочей среде. Кроме того, эти вспомогательные средства могут принести пользу людям с нарушениями памяти, таким как люди с повреждением головного мозга в результате инсульта или деменции Альцгеймера. В ходе нашего исследования мы также хотели бы оценить эффективность автоматического вспомогательного средства отображения пути, созданного на основе собранных визуально-пространственных данных. Мы сравним навигационные характеристики запоминаемого человеком пути с дополненным случаем AR. Мы планируем собрать визуальные данные от различных групп здоровых людей в сообществе Назарбаев университета.

Наша цель:

Наша установка для сбора данных состоит из двух компонентов: 1) Очки дополненной реальности Microsoft HoloLens со встроенной цветной камерой для сбора изображений, представляющих вид пользователя, надевающего эти цифровые очки, и 2) серверный компьютер, на котором процессы автоматического распознавания объектов и локализации работают в режиме реального времени. Для автоматической локализации участников, носящих цифровые очки, мы будем использовать фидуциарные маркеры, размещенные на 4-6 этажах здания C4. На этапе ходьбы экспериментов мы попросим запомнить метки объектов (около 10) и их расположение на испытательном этаже в здании C4. Затем, после этапа ходьбы экспериментов, мы попросим участников заполнить форму, в которой они перечислят увиденные объекты и их местоположение. Для оценки вспомогательного средства автоматического поиска пути на основе видео мы попросим участников найти объект в коридорах 4-го, 5-го или 6-го этажей здания C4 на основе информации, которую они запомнили на этапе записи данных во время ходьбы. Затем мы попросим выполнить ту же процедуру, но с помощью помощника AR, показывающего короткие обучающие видеоролики о том, как добраться до интересующих объектов, расположенных вдоль коридоров здания C4.

Данные будут собираться от пользователей-людей, носящих цифровые очки для дополненной реальности, известные как Microsoft HoloLens. Данные представлены в виде изображений RGB, собранных со встроенных цветных камер в цифровые очки Microsoft HoloLens. В дополнение к сбору изображений вида пользователя-человека в HoloLens мы также будем собирать пространственные данные, представляющие положение пользователя-человека в здании C4 во время экспериментов. В результате мы получим экспериментальные данные, содержащие информацию о том, что и где видели пользователи-люди. Собранные визуально-пространственные данные будут отправлены на сервер под управлением операционной системы Ubuntu 16.04, чтобы обработать данные, запустив автоматическое распознавание и локализацию объектов. Затем результат работы инструментов распознавания и локализации объектов будет отправлен пользователю, носящему цифровые очки HoloLens, в режиме реального времени.