Электромиографический биоинтерфейс для распознавания жестов руки

О проекте

Данный программно-аппаратный комплекс предназначен для точного распознавания движений кисти и пальцев руки на основе анализа электромиографических сигналов (ЭМГ), данных гироскопа и акселерометра.

Функционал:

• Считывание и обработка сигналов с браслета через COM-порт
• Реалтайм-визуализация сигналов ЭМГ, акселерометра и гироскопа
• Запись жестов и создание датасетов для обучения
• Обучение и распознавание жестов с помощью нейросетей (RNN, LSTM)
• Удобный и интуитивно понятный графический интерфейс

Архитектура проекта

В папке "3D models" находятся 3D-модели корпуса устройства.

Приложение в папке Application построено по модульной архитектуре и включает следующие модули:

• bracelet.py — Подключение и обработка данных с браслета
• config.py — Настройки и параметры приложения
• gui.py — Графический интерфейс пользователя (Tkinter)
• processing.py — Обработка данных (фильтрация, нормализация, FFT)
• plot.py — Построение и отображение графиков (Matplotlib)
• recognition.py — Обучение и использование нейросети для распознавания жестов (TensorFlow)
• main.py — Запуск приложения

Технологический стек

• Python 3.x
• TensorFlow
• NumPy, SciPy
• Matplotlib
• PySerial
• Tkinter
• Arduino Nano (для сбора данных)

Начало работы

Зависимости

Установите зависимости, выполнив команду:

pip install -r requirements.txt

Запуск приложения

Запустите приложение, используя файл main.py:

python main.py

Использование

1. Подключите браслет к компьютеру через COM-порт.
2. Выберите COM-порт в интерфейсе и нажмите «Подключиться».
3. Начните запись жестов, обучение модели и распознавание в реальном времени.

Перспективы развития проекта

• Улучшение точности распознавания с помощью расширения датасетов
• Интеграция с роботизированными протезами
• Реализация поддержки дополнительных жестов и сценариев использования