Прохождение практики
Ноутбук main.ipynb состоит из пяти частей (программа для изменения кодировок файлов LaTeX, лексер, парсер, генератор XML-файла и генератор всех файлов)
Шаги для запуска кода- поэтапно все запускать
1- Установка всех импортов
2- Код для изменения кодировок файлов LaTeX - Эта часть кода отвечает за преобразование кодировок входных LaTeX-файлов в единый формат
3- Лексер - Лексер (lexer) выполняет токенизацию содержимого LaTeX-файлов, разбивая текст на минимальные синтаксические единицы
4- Парсер -Парсер анализирует список токенов, полученных от лексера, и строит структуру данных, представляющую синтаксическое дерево LaTeX-документа
5- Генератор XML-файла - Эта часть кода преобразует синтаксическое дерево, полученное от парсера, в XML-файл, представляющий структуру LaTeX-документа
6- Генератор всех файлов - Финальная часть кода создаёт все необходимые выходные файлы, а точнее XML
Что находится внутри
папка dataset - это входныйе полученные данные
папка output - это те же файлы что и в дата сет просто с другими кодировками
папка outut_xml - это выходные данные которые распарсены