-
Notifications
You must be signed in to change notification settings - Fork 0
/
уст_и_исп_ubuntu.txt
63 lines (61 loc) · 6.73 KB
/
уст_и_исп_ubuntu.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
Для решения задачи автоматического распознавания русской речи:
А) Статья: https://habr.com/ru/company/ods/blog/692246/;
Б) Открытый репо: https://github.com/openai/whisper;
В) туториал: https://github.com/openai/whisper/blob/main/notebooks/Multilingual_ASR.ipynb
Г) Решение универсально, работает для любого языка, см. документацию в А).
===================================================================================
Инструкция для установки всех зависимостей Whisper и первого использования:
0) компьютер с Ubuntu должен быть подключен к сети интернет и иметь python с версией >=3.8
Откройте терминал. Все следующие команды будут последовательно вводятся в этот терминал.
1) Переходим в папку (предположим, она называется wps), в которой лежат файлы asr_file_processing.py и params.yml, командой (подставить ваш путь к папке wps):
cd asr_whisper
2) создаем виртуальное окружение командой:
python -m venv whisp_venv
3) активируем созданное виртуальное окружение командой:
source whisp_venv/bin/activate
4) обновляем менеджер установки пакетов/библиотек командой:
pip install --upgrade pip
5) устанавливаем библиотеки нейросетей командой (внимание, команда для вашей системы может быть другой!)
(точную формулировку команды смотреть на https://pytorch.org/get-started/locally/)
(чтобы узнать вашу версию ComputePlatform, вбейте в терминал команду: nvidia-smi):
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu114
6) устанавливаем/проверяем, что установлена библиотека git командой:
pip install git
7) Устанавливаем библиотеку whisper из открытого git-репозитория командой:
pip install git+https://github.com/openai/whisper.git
8) устанавливаем дополнительную библиотеку командой:
pip install pydub
9) устанавливаем дополнительную библиотеку командой:
pip install PyYAML
10) устанавливаем дополнительную библиотеку командой:
pip install ffmpeg-python
10.1) Если с установленной ffmpeg-python при запуске скрипта asr_file_processing.py в терминал выводится сообщение типа "FileNotFoundError: [Errno 2] No such file or directory: 'ffprobe'", следует установить библиотеку ffmpeg-python в глобальное окружение, выполнив команду 10 в корневой папке компьютера
11) Перед использованием решения необходимо изменить параметры в файле params.yml
Для этого его можно открыть в любом текстовом редакторе, отредактировать и сохранить.
MODEL_NAME: medium
(все модели: tiny ~1Гб RAM; base ~1Гб RAM; small ~2Гб RAM; medium ~5Гб RAM; large ~10Гб RAM)
LANG: ru (язык распознавания - русский)
DEVICE: cuda (cpu = обработка на процессоре, cuda или cuda:0 = обработка на GPU №0)
PART_LEN: 180 (временные отрезки в секундах, на которые будут разбиваться большие аудиофайлы. Чем короче отрезок - тем меньше памяти RAM будет расходоваться)
DATAPATH: /home/data_ru (путь к папке с аудиофайлами, которые нужно транскрибировать)
FILEPATH: /home/data_ru/file1.mp3 (путь к одному аудиофайлу, который нужно транскрибировать)
RESULTPATH: /home/results_ru (путь к папке, в которую будут записываться распознанные тексты)
12) для транскрибации одного определенного аудиофайла (путь к которому прописан в params.yml, поле FILEPATH) запустить скрипт командой:
python asr_file_processing.py
13) после отработки пункта 12 в папке результатов транскрибации (путь к которой прописан в params.yml, поле RESULTPATH) появятся два файла .txt, в которых будет разный формат текста.
14*) (необязательно) чтобы открыть юпитер-тетрадку и посмотреть пример работы нейросети, необходимо сначала установить библиотеку командой:
pip install jupyter
Далее, открыть IDE с помощью одной из двух команд ниже:
jupyter notebook
jupyter notebook --ip 0.0.0.0 --NotebookApp.iopub_data_rate_limit=1.0e10
После, в появившейся файловой структуре открыть (нажать на него) файл:
usage_example.ipynb
==============
Инструкция для повседневного использования
(подключение компьютера к сети интернет не требуется, если хотя бы один раз отработали пункты 12-13 с определенный именем MODEL_NAME):
0) убедиться, что ранее выполнены все пункты 0-13 из инструкции выше. Откройте терминал. Все следующие команды будут последовательно вводятся в этот терминал.
1) cd asr_whisper
2) source whisp_venv/bin/activate
3) по необходимости изменить параметры в файле params.yml с помощью любого текстового редактора
4) для транскрибации одного определенного аудиофайла (путь к которому прописан в params.yml, поле FILEPATH) запустить скрипт командой:
python file_proc.py