Cеминар «Распознавание эмоций и психоэмоционального состояния человека на основе анализа физиологических сигналов с использованием глубоких нейронных сетей»
21 октября в 15:00 по московскому времени
Исследования в области взаимодействия человека и компьютера (Human Computer Interaction, HCI) стали одним из трендов развития IT-индустрии 21-века. Системы HCI, находят свое потенциальное применение в социальной и биомедицинской инженерии, нейробиологии, нейромаркетинге, цифровых медиа и других альтернативных областях жизни, которые существенно связаны с эмоциональной окраской деятельности человека. Важнейшей их частью являются работы направленные на распознавание эмоций человека. Следовательно, с увеличением спроса на HCI методы автоматического распознавания человеческих эмоций будут привлекать все большее внимание исследователей и разработчиков.
Большинство исследований по распознавание эмоций основано на анализе текста, речи, жестовых движений и мимики, но есть много ограничений для вышеупомянутых методов. Так распознавание эмоций с помощью текста применяется к словам или предложениям на определенном языке, поэтому довольно трудно разработать универсальную систему с использованием текста. Распознавание эмоций с помощью мимики имеет много преимуществ, но мимика не всегда связана с внутренними эмоциями, поскольку мимику можно сознательно контролировать. В результате эмоции не могут быть распознаны точно. Распознавание эмоций с помощью речи намного проще, чем вышеперечисленные два, но речь варьируется от человека к человеку с разной культурой или географией, поэтому техника распознавания речи также не позволяет добиться истины.
Чтобы справиться с этими ограничениями оказалось возможным использовать для анализа эмоций с помощью HCI физиологические сигналы, которые каждый человек генерирует из различных частей своего тела. Существует много преимуществ мониторинга физиологических паттернов организма, контролируемых нервной системой, на которую влияют человеческие эмоции. Существуют различные датчики, которые могут быть использованы для сбора физиологических сигналов, таких как ЭКГ, ЭМГ, ЭЭГ, проводимость кожи, температура кожи и объемный пульс крови (BVP). В последнее время биологические сигналы, такие как фотоплетизмограмма (ФПГ), электроэнцефалограмма (ЭЭГ), электрокардиограмма (ЭКГ) и акселерационная плетизмограмма (АПГ), были предложены в качестве метода обнаружения вариабельности эмоций. Вся эта информация может быть получена с помощью физиологических приборов, которые измеряют частоту сердечных сокращений, кровяное давление, уровень насыщения кислородом, уровень глюкозы в крови, нервную проводимость и активность мозга.
Однако наше исследование будет больше сосредоточено на распознавании эмоций с помощью ЭЭГ-сигналов. Это связано с тем, что с их помощью возможно более точно определять активность человеческого мозга с помощью устройства сбора данных высокого разрешения по сравнению с другими биологическими сигналами. Изменения в электрической активности человеческого мозга происходят очень быстро, поэтому для точного определения эмоции требуется приборы с высоким разрешением. Быстрое развитие новых носимых, удобных, недорогих беспроводных гарнитур для измерения ЭЭГ и классификации сигналов ЭЭГ без участия обученных специалистов значительно расширило их использование в других областях, таких как электронное обучение, видеоигры, виртуальная реальность, телемедицина и т. д.
Еще одно преимущество использования сигналов ЭЭГ заключается в том, что физиологическую реакцию, сопровождаемую сигналами ЭЭГ, практически невозможно свободно контролировать, что делает их более точными в описании истинных эмоций, по сравнению с другими методами, такими как мимика, речь и т. д. Кроме того, сигнал ЭЭГ непрерывно доступен в любое время, даже если человек спит или бодрствует.
В этом исследовании предложена компьютерная система распознавания четырех психоэмоциональных состояний, которыми являются покой, страх, счастье и грусть, с использованием сигналов ЭЭГ. Целями настоящего исследования являются; изучить сигналы ЭЭГ и их характеристики, разработать систему распознавания на основе ЭЭГ, а также оценить эффективность работы этой системы на открытых базах данных физиологических сигналов.
Докладчик
Щетинин Евгений Юрьевич, доктор физико-математических наук, профессор,
Финансовый университет при Правительстве РФ, Москва, Россия.