В работе представлена первая система увеличения памяти человека, которая может создавать синтетическую пространственно-временную память для объектов в помещении – “ExoMem”. Наше решение использует дополненную реальность (AR) и искусственный интеллект (ИИ) и состоит из двух компонентов:
Чтобы продемонстрировать эффективность нашей системы, мы разработали задачи на запоминание и вспоминание объектов, и измеряли умственную нагрузку участника и производительность во время этих задач. В задании на запоминание участники прошли 20-минутный маршрут по трем этажам здания и должны были запомнить расположение десяти различных объектов, которые они видели на пути. В задаче на вспоминание участники должны были вспомнить положения запомненных объектов с использованием и без использования пространственно-временной памяти на основе дополненной реальности.
На видео ниже мы показываем, как участник выполняет задание на запоминание с помощью ExoMem:
В следующем видео мы показываем локализацию пользователя на основе компьютерного зрения с помощью реперных маркеров ArUco и распознавание объектов с помощью детектора объектов YOLO версии 4, работающего на вычислительном модуле нашей системы:
В следующем видео мы показываем, как участник проходит тест на вспоминание с помощью ExoMem:
По субъективным оценкам, при использовании ExoMem участники испытывали гораздо меньше умственных нагрузок и усилий при выполнении обеих задач. Точно так же опыт участников во временном спросе и разочаровании уменьшался благодаря использованию ExoMem в каждом задании. Однако, результаты физической нагрузки показали, что участники испытывали большую нагрузку в Задаче 1 с ExoMem, чем без нее, тогда как в Задаче 2 с ExoMem они испытывали меньшую нагрузку, чем без нее.
Объективные оценки показали, что участники сделали в 7,52 раза меньше ошибок в тесте на вспоминание и завершили тест, затрачивая на 27% меньше времени при использовании системы дополненной реальности. Оценка удобства использования системы показала, что оценка по шкале удобства использования системы среди участников превышает 80%.
Результаты подчеркивают потенциал технологий дополненной реальности и искусственного интеллекта в разработке систем помощников памяти нового поколения для улучшения и компенсации функций памяти человека.
Все коды, разработанные для нашей системы улучшения памяти, доступны в репозитории GitHub.
