В качестве входных данных используются значения, полученные с электродов электроэнцефалографа, расположенных на поверхности головы, и значения сигналов электромиографа, снятых в области отвечающей за речь. На основе этих данных необходимо разработать алгоритм для распознавания мысленно произносимых фонем русского языка.
Репозиторий содержит:
- Phonemes. Correlation_with_EMG.ipynb -- нахождение значений корреляции во всех секторах внутреннего проговаривания,
- Searching_the_beginning_of_unvoiced_phoneme.ipynb -- исследование и нахождение начала внутреннего произношения на основе ЭМГ,
- make_CVS_DTW_for_SVM.ipynb -- излечение признаков из временных рядов и запись в файл(.cvs),
- SVM_classification.ipynb -- классификация с помощью метода опорных вектор,
- Network_classification.ipynb -- классификация с нейронных сетей,
Папки:
- classification/
- beginning_of_recitation/ - функции поиска начала внутреннего произношения на основе ЭМГ
- conversion_to_spectrograms/ - перевод временных рядов в спектограммы
- data_preparation/ - выбор каналов, выделение сегментов с внутренним произношением их исходных данных
- datasets/ - формирование Dataset| функции для аументации| разделение выборки для нейронных сетей
- metrics.py - метрики качества модели нейронной сети
- open_data.py - открывает данные из файла
- plot.py - строит графики обучения
- train.py - функции для обучения нейронных сетей
- for_train.py - фунции для оптимизации обучения по испытуемым
- Data_EEG+EMG_csv - файлы с фиксированным разделением выборки, файлы таблицами признаков для SVM
Файлы с расшириением .ipynb выполнены в виде блокнота и содержат комментарии. Эапускаются с Jupyter Notebook или Google Colab