Профессор РУДН улучшил технику отслеживания взгляда в системах виртуальной реальности
Фовеальный рендеринг — одна из базовых технологий виртуальной реальности. Она учитывает, что взгляд человека сфокусирован лишь на так называемой фовеальной зоне, остальное пространство занимает периферийное зрение. Вычислительные ресурсы компьютера концентрируются на отображение картинки в фовеальной зоне, а остальная часть отображается с меньшей детализацией. Этот подход позволяет экономить вычислительные мощности и разрешает проблему отставания мощности графических процессоров от увеличения разрешения дисплеев. Однако в технологии фовеального рендеринга есть ограничения по точности и быстроте прогноза следующей точки фиксации взгляда, потому что движение взгляда — сложный и во многом случайный процесс. Для разрешения этой проблемы профессор РУДН вместе с коллегами из МГУ предложил метод, который позволяет заранее вычислять точки фокусировки с помощью математического моделирования.
«Одна из проблем техники фовеального рендеринга — своевременное предсказание следующей точки фиксации взгляда, потому что зрительное восприятие — это сложный стохастический процесс. Мы предлагаем математическую модель, которая прогнозирует изменение точки фиксации», — доктор технических наук Виктор Беляев, профессор департамента механики и мехатроники РУДН.
Прогнозирование в математической модели опирается на изучение быстрых ритмичных движений глаза — саккадических движений. Саккады сопровождают перемещение взгляда от одного объекта к другому и могут подсказать следующую точку фиксации. Есть эмпирические закономерности, которые определяют отношение между длительностью, амплитудой и максимальной скоростью движения глаза в саккаде. Однако для предсказания движения глаз айтрекерами эти модели неприменимы из-за недостаточной точности. Поэтому исследователи использовали не эмпирическую, а одну из математических моделей. С ее помощью ученые рассчитали параметры саккад, а затем применили эти данные для расчёта фовеальной области изображения.
Метод опробовали в эксперименте. Для этого использовали шлем виртуальной реальности и очки дополненной реальности. Работающий по предложенной модели айтрекер оказался способен различать мелкие движения глаза — в 3,4 минуты (0,05 градуса), а погрешность составила 6,7 минут (0,11 градуса). Более того, ученым удалось преодолеть ошибку вычислений, которая возникает из-за моргания, — с помощью встроенного в модель «фильтра» эту погрешность удалось уменьшить в 10 раз. Эти результаты можно будет использовать для моделирования в виртуальной реальности, в видеоиграх, в медицине при проведении операций и диагностике проблем со зрением.
«Мы разрешили проблему техники фовеального рендеринга в массовом производстве систем виртуальной реальности. Теперь мы планируем откалибровать айтрекер таким образом, чтобы снизить влияние перемещений закрепленного на голове дисплея или шлема относительно головы», — доктор технических наук Виктор Беляев, профессор департамента механики и мехатроники РУДН.
Результаты опубликованы в журнале SID Symposium Digest of Technical Papers
Представьте себе мир, где у каждого есть достаточно еды, чистая вода, доступ к образованию и достойная работа. Мир, где берегут природу и заботятся о будущем нашей планеты. Это и есть цели устойчивого развития — построить устойчивое будущее для всех! Для этого Организация Объединенных Наций (ООН) в 2015 году определила 17 Целей устойчивого развития (ЦУР). ЦУР — это глобальный план, который помогает странам и людям вместе двигаться к лучшему будущему. К нему присоединились 193 государства-члена ООН.
Исследователи факультета искусственного интеллекта РУДН провели масштабное исследование, которое раскрыло системные ошибки больших языковых моделей (LLM) при диагностике депрессии по тексту. Эта работа, выполненная совместно с коллегами из AIRI, ФИЦ ИУ РАН, ИСП РАН, МФТИ и MBZUAI, не только выявляет проблему, но и закладывает основу для создания более надёжных и безопасных инструментов для детектирования депрессии и тревожности.
В РУДН состоялась первая научно-практическая конференция «Функциональная морфология тканевого микроокружения: от теории к практике», посвящённая памяти академика РАН Михаила Пальцева. Она объединила ведущих исследователей из России, Китая и других стран, став важной площадкой для обсуждения трансляции фундаментальных открытий в персонализированную медицину.