Запуск/How to launch

Приложение требует загрузки следующих модулей (App contains following packages):

pip install numpy scipy pycwt matplotlib

Для удобства можно использовать IDE Spyder из дистрибутива Anaconda, где эти модули уже загружены.

For convenience one may use IDE Spyder from Anaconda-dist with these packages preloaded.

Последовательность запуска/Launch sequence

1. /brainsysFileMem2020301/brainw.exe or TstMapWrite.exe (Windows only),

2. (console session 1 and 2)

   cd ./biosignal_realtime_cwt_analysis_py/,
   

3. (console session 1)

   python -m socket_server,
   

4. (console session 2)

   python -m main.
   

Введение

Создание виртуальных персонажей, обладающих собственным интеллектом, способным на сложные когнитивные реакции, обусловленные взаимодействием с человеком, или, тем более, способных устанавливать долговременные эмоциональные связи, является амбициозной задачей, стоящей перед лабораторией BICA Lab MEPhI. С целью создания таких виртуальных персонажей сотрудники лаборатории занимаются разработкой моделей эмоционального интеллекта, что характеризуется обширным спектром конкретных задач по созданию:

• виртуального домашнего животного – пингвина;
• виртуального собеседника;
• виртуального танцора;
• виртуального ассистента.

Иные решаемые задачи можно охарактеризовать как взаимодействие двух людей в виртуальном окружении.

Для обеспечения возможности эмоционального взаимодействия двух людей в виртуальном окружении давно существуют методики, позволяющие предполагать текущее эмоциональное состояние человека, интерпретируя выражение лица, определенного с помощью средств видеофиксации. Одной из самых известных цифровых реализаций таких методик является программное обеспечение Face Reader, которое, основываясь на проприетарных техниках глубокого обучения, может адекватно фиксировать выражение лица, даже если какая-то его часть закрыта, однако результаты анализа выражения лица даже с использованием такого эффективного средства очевидно перестают нести какую либо информативность, если закрыта большая часть лица как, например, в случае ношения VR-шлема. Появляется необходимость в использовании технических средств, основанных на принципиально иных методах, среди которых выступает ЭМГ.

Имея в своем распоряжении такие методики исследования как электроэнцефалография и электромиография, сотрудники лаборатории неизбежно столкнулись с необходимостью анализа сигналов, считанных с помощью этих методик. Такие сигналы, часто именуемые биосигналами, считанные с мышц лица и оцифрованные, – высокочастотные, что затрудняет их интерпретацию в необработанном виде.

Одним из весьма удобных представлений для интерпретации биосигнала является сглаженный профиль его мощности, для приведения сигнала к которому сотрудниками лаборатории была разработана методика анализа, основанная на вейвлет преобразовании и свертке результирующих коэффициентов с окном Гаусса [Tikhomirova D. Empirical and modeling study of emotional state dynamics in social videogame paradigms // Cognitive Systems Research. - 2020. - №60.], которая успешно применялась к уже считанному биосигналу, однако реализация этой методики для анализа сигнала в реальном времени позволила бы упростить процесс как сбора эмпирических данных, так и реализовать процесс взаимодействия людей или человека и виртуального персонажа в виртуальном окружении путем интерпретации приведенного к коэффициентам эмоциональных моделей PAD или VAD профиля мощности биосигнала.

Модели эмоциональных состояний PAD, VAD

Эмоциональная модель PAD является психологической моделью, созданной Альбертом Мерабианом и Джеймсом Расселом еще в семидесятых годах прошлого века, описания и измерения эмоциональных состояний. Для представления эмоций модель использует три численные координаты – Pleasure, Arousal, Dominance, – из которых можно составить пространство или карту эмоциональных состояний [Mehrabian A. Basic dimensions for a general psychological theory: implications for personality, social, environmental, and developmental studies. – Cambridge: Oelgeschlager, Gunn & Hain, 1980. – 424 с.].

Координаты:

• Pleasure определяет, насколько человек доволен на данный момент. Для примера можно привести эмоции-антагонисты – грусть и радость, которые будут находиться по разные стороны этой координаты;
• Arousal определяет, насколько человек возбужден на данный момент. Пример с грустью и радостью подходит и для этой координаты, поскольку радость подразумевает некоторое возбуждение, а для грусти характерна подавленность;
• Dominance определяет степень влияния, оказываемого на человека, или степень его доминантности на данный момент. Здесь в качестве примера можно привести гнев и страх, не приносящие удовольствия, но находящиеся по разные стороны координаты.

Эмоциональная модель VAD является вариацией PAD, в которой координата Valance заменяет собой Pleasure и определяет уже позитивность или негативность определенной эмоции.

Требования к ПО

Проектируемое приложение должно соответствовать следующим требованиям:

• взаимодействие с программным интерфейсом АПК «НейроКМ» через протокол передачи данных File Mapping, подразумевающее получение зарегистрированных электрических потенциалов мышц с частотой оцифровки 1000 Гц;
• обработка полученного из АПК биосигнала с помощью непрерывного вейвлет преобразования, приведение обработанного сигнала к профилю мощности и сглаживание полученного профиля, приведение к координатам моделей эмоциональных состояний PAD или VAD;
• взаимодействие с Socket-сервером, запущенным другим приложением, способным принимать структуры данных, описанные в документе в директории /biosignal_realtime_cwt_analysis_py/, подразумевающее передачу обработанных данных (профиль мощности, PAD или VAD) серверу частотой 4 или более Гц;
• временная задержка между регистрацией сигнала и его передачей Socket-серверу для трех ЭМГ-каналов не должно превышать 0,25 секунды.

Исходя из требований можно представить упрощенную схему взаимодействия между элементами системы.

TO DO

Осталось реализовать:

• приведение обработанного биосигнала к карте моделей эмоциональных состояний PAD или VAD;
• интерфейс приложения;
• скомпилированное в один файл приложение, целесообразность чего остается под вопросом.