Skip to content

Wiki

Jump to bottom
wemppyy edited this page Mar 10, 2026 · 2 revisions

RU

1. Установка приложения

1. Установить Python

  1. Скачайте установщик: https://www.python.org/downloads/
  2. Запустите его и обязательно отметьте галочку «Add Python to PATH» внизу окна.
  3. Нажмите «Install Now» и дождитесь окончания.

Проверка: откройте cmd, введите python --version и Enter. Должна появиться версия (например, 3.12.x).

2. Установить FFmpeg

  1. Скачайте архив для Windows: https://www.gyan.dev/ffmpeg/builds/ (файл ffmpeg-release-essentials.zip) или с https://ffmpeg.org/download.html.
  2. Распакуйте архив в любую папку (например, C:\ffmpeg).
  3. Добавьте папку bin в PATH:
    • Win + R → введите sysdm.cpl → Enter.
    • Вкладка Дополнительно → Переменные среды.
    • В «Переменные среды пользователя» выберите Path → Изменить → Создать → укажите путь к папке bin (например, C:\ffmpeg\bin).
    • OK во всех окнах.
  4. Закройте и снова откройте cmd. Проверка: введите ffmpeg -version — должна появиться информация о версии.

3. Запустить проект

  1. Скачайте или склонируйте этот проект и откройте его папку.
  2. Дважды щёлкните по start.bat.
    • При первом запуске установятся зависимости (может занять минуту).
    • Откроется окно программы.

2. Настройка приложения

Движок

Две разных библиотеки для распознавания речи, рекомендую попробовать обе и выбрать понравившуюся

Модель

Выберите размер модели распознавания речи. Чем больше модель - тем точнее результат, но выше нагрузка на ПК

Whisper

Рекомендация: не используйте модели medium и large без необходимости: они требуют много оперативной памяти и при длинных аудио могут сильно тормозить или падать. Для большинства записей достаточно base или small

Vosk

Для скачивания модели нажмите на кнопку "Скачать модели". Рекомендую скачивать модели типа "small". После загрузки выберете в меню нужную вам модель. Примечание: язык модели и язык в параметрах должен совпадать

Формы рта

Путь к папке с формами рта нужно брать из BBS-мода (тот путь, что указывается в треке texture), а не из проводника

Smooth-режим

Включённый smooth задаёт кейфреймы для трека позы pose, а не для texture

Базовое изображение

Название текстуры по умолчанию, которая показывается, когда в аудио тишина. Должно совпадать с именем файла одной из форм рта

3. Использование в BBS моде

Как использовать Mouth и Mouth RIG?

В папке bbs_models/ лежат риги, совместимые с авто-липсинком. Переместите нужный риг в каталог моделей BBS.

Mouth или Mouth RIG?

Вариант Описание
Mouth Модель накладывается на лицо персонажа. Анимация рта — смена текстур.
Mouth RIG Полноценный риг рта (зубы, язык и т.д.). Плавная анимация, но менее универсален. Анимация рта — смена поз.

Как сделать свои формы рта?

  • Mouth: нарисуйте свои текстуры с теми же именами, что и стандартные изображения.
  • Mouth RIG: создайте позы с названиями как в риге, затем файл poses.json из папки с моделью переместите в json_files/.

Настройка рига под вашего персонажа

Mouth

  1. Если на скине есть рот — уберите его.
  2. Скопируйте одно из изображений рта и нарисуйте свой вариант (если рта нет — шаг пропустить).
  3. Прикрепите модель к кости Head рига персонажа.

Mouth RIG

  1. Откройте texture.png в папке с ригом рта.
  2. Замените существующий рот своим рисунком; если на скине рта нет — сотрите эти пиксели.

Использование .json в BBS

  1. Откройте свой фильм в BBS.
  2. Наведите курсор на любую дорожку кейфреймов → ПКМ → иконка пресетов.
  3. В открывшемся меню нажмите иконку папки справа, затем закройте меню.
  4. В открывшуюся папку положите свой .json файл.
  5. Наведитесь на нужную дорожку (texture или pose), поставьте курсор на тик начала аудио.
  6. ПКМ → пресеты → выберите только что добавленный пресет.

Рекомендую удалять.json файлы которые вы уже использовали

Дополнительная информация

Вы можете добавлять поддержку других языков. Для этого в папке json_files/maps/ создайте новый .json файл, где напишите какая форма рта будет использоваться под каждую букву в вашем языке

Отдельная благодарность

Благодарю великодушный Cursor и ChatGPT, которые помогли мне в создании данного скрипта.

Благодарю добродушного МакХорса, который создал BBS мод!

EN

1. Installation

1. Install Python

  1. Download the installer: https://www.python.org/downloads/
  2. Run it and check "Add Python to PATH" at the bottom of the window.
  3. Click "Install Now" and wait for it to finish.

To verify: open cmd, type python --version and press Enter. You should see a version (e.g. 3.12.x).

2. Install FFmpeg

  1. Download the Windows archive: https://www.gyan.dev/ffmpeg/builds/ (file ffmpeg-release-essentials.zip) or from https://ffmpeg.org/download.html.
  2. Extract it to any folder (e.g. C:\ffmpeg).
  3. Add the bin folder to PATH:
    • Win + R → type sysdm.cpl → Enter.
    • Advanced tab → Environment Variables.
    • Under "User variables" select Path → Edit → New → enter the path to the bin folder (e.g. C:\ffmpeg\bin).
    • OK in all dialogs.
  4. Close and reopen cmd. To verify: type ffmpeg -version — version info should appear.

3. Run the project

  1. Download or clone this project and open its folder.
  2. Double-click start.bat.
    • On first run, dependencies will be installed (may take a minute).
    • The application window will open.

2. Application settings

Engine

There are two different libraries for speech recognition. I recommend trying both and choosing the one you like best

Model

Select the size of the speech recognition model. The larger the model, the more accurate the result, but the higher the load on the PC

Whisper

Recommendation: do not use medium and large models unless necessary: they require a lot of RAM and can slow down or crash when processing long audio files. For most recordings, base or small is sufficient.

Vosk

To download a model, click on the “Download models” button. I recommend downloading “small” models. After downloading, select the model you need from the menu. Note: the model language and the language in the settings must match

Mouth shapes

The path to the mouth shapes folder must be taken from the BBS mod (the path used in the texture track), not copied from Explorer.

Smooth mode

When enabled, smooth mode creates keyframes for the pose track (pose), not for texture.

Base image

The default texture name shown when there is silence in the audio. It must match the filename of one of the mouth shapes (e.g. neutral mouth).

3. Using with BBS models

How to use Mouth and Mouth RIG

The bbs_models/ folder contains rigs compatible with auto lip sync. Copy the desired rig into your BBS models folder.

Mouth vs Mouth RIG

Option Description
Mouth Model overlays the character’s face. Mouth animation uses texture switching.
Mouth RIG Full mouth rig (teeth, tongue, etc.). Smoother animation but less universal. Mouth animation uses pose switching.

How to make your own mouth shapes

  • Mouth: draw your textures with the same names as the default images.
  • Mouth RIG: create poses with the same names as in the rig, then copy poses.json from the model folder into json_files/.

Fitting the rig to your character

Mouth

  1. If the skin has a mouth, remove it.
  2. Copy one of the mouth images and draw your version (skip if there is no mouth on the skin).
  3. Attach the model to the character rig’s Head bone.

Mouth RIG

  1. Open texture.png in the mouth rig folder.
  2. Replace the existing mouth with your drawing; if the skin has no mouth, erase those pixels.

Using the .json file in BBS

  1. Open your film in BBS.
  2. Hover over any keyframe track → Right-click → presets icon.
  3. In the menu that opens, click the folder icon on the right, then close the menu.
  4. Put your .json file in the folder that opened.
  5. Hover over the target track (texture or pose) and place the cursor on the tick where the audio starts.
  6. Right-click → Presets → select the preset you just added.

It’s a good idea to remove .json files after you’ve used them.

Additional information

You can add support for other languages. In json_files/maps/ create a new .json file that maps each letter of your language to a mouth shape.

Thanks

Thanks to Cursor and ChatGPT for help with this script.

Thanks to Mchorse for creating the BBS mod!

Clone this wiki locally