nlp.py

Документация к файлу nlp.py

Файл nlp.py содержит класс WordProcessor, предназначенный для обработки слов с использованием библиотек gensim и pymorphy2. Класс предоставляет методы для очистки, нормализации и определения частей речи слов, а также для работы с векторными представлениями слов.

Класс WordProcessor

Описание: Класс для обработки и анализа слов.

Атрибуты:

• _morph: Экземпляр pymorphy2.MorphAnalyzer для морфологического анализа слов.
• gensim_nlp_embeddings: Векторные представления слов, предоставленные библиотекой gensim.

Методы:

1. __init__

Конструктор класса.

Параметры:

• gensim_nlp_embeddings (gensim.models.keyedvectors.KeyedVectors): Векторные представления слов.

2. get_clean_word

Очищает и приводит слово к нижнему регистру.

Параметры:

• word (str): Слово для очистки.

Возвращает: Очищенное слово.

3. get_embeddable_words_batch

Преобразует список слов в список слов, подходящих для встраивания (embedding).

Параметры:

• words (list): Список слов для обработки.

Возвращает: Список слов, подходящих для встраивания.

4. get_morph_or_none

Выполняет морфологический анализ слова. Возвращает первую известную форму слова, если она существует.

Параметры:

• word (str): Слово для анализа.

Возвращает: Первая известная форма слова или None.

5. get_normal_form_or_none

Возвращает нормальную форму слова или None, если слово не может быть преобразовано.

Параметры:

• word (str): Слово для преобразования.

Возвращает: Нормальная форма слова или None.

6. get_grammeme_or_none

Определяет грамматическую категорию (часть речи) слова.

Параметры:

• word (str): Слово для анализа.

Возвращает: Грамматическая категория слова или None.

7. get_embeddable_word_or_none

Преобразует слово в формат, подходящий для использования с векторными представлениями (gensim_nlp_embeddings).

Параметры:

• word (str): Слово для преобразования.

Возвращает: Слово в формате, подходящем для встраивания, или None.

Общее применение

Класс WordProcessor может использоваться для различных задач NLP, связанных с предобработкой текста, таких как лемматизация, частеречная разметка и подготовка слов к использованию в моделях машинного обучения, работающих с векторными представлениями слов.