doc‐inseq_helpers.py

Документация к файлу inseq_helpers.py

Файл inseq_helpers.py предоставляет набор инструментов для работы с интерпретацией генерации последовательностей, используя библиотеку inseq. Этот файл содержит функции и классы, помогающие анализировать и преобразовывать данные, полученные от моделей генерации текста, в более удобный для анализа формат.

Функции

1. fix_ig_tokens

Исправляет токены, используя токенизатор GPT2.

Параметры:

• feature_attr (FeatureAttributionOutput): Выходные данные атрибуции признаков.

Возвращает: Объект атрибуции признаков с исправленными токенами.

2. get_ig_tokens

Извлекает токены из атрибуции признаков.

Параметры:

• feature_attr (FeatureAttributionOutput): Выходные данные атрибуции признаков.

Возвращает: Список кортежей токенов.

3. get_ig_phrases

Извлекает фразы из атрибуции признаков.

Параметры:

• feature_attr (FeatureAttributionOutput): Выходные данные атрибуции признаков.

Возвращает: Кортеж фраз.

4. get_g_arrays

Преобразует атрибуции признаков в массивы.

Параметры:

• feature_attr (FeatureAttributionOutput): Выходные данные атрибуции признаков.

Возвращает: Список массивов.

Классы

1. AttrObj

Хранит информацию об атрибуции признаков.

Атрибуты:

• phrase_input: Входная фраза.
• phrase_generated: Сгенерированная фраза.
• tokens_input: Токены входной фразы.
• tokens_generated: Токены сгенерированной фразы.
• array: Массив атрибуций.

2. Detokenizer

Класс для детокенизации.

Методы:

• __init__(text, tokenized_text): Инициализация с текстом и токенизированным текстом.
• clean_text(s): Очищает текст.
• group_text(): Группирует токены в слова.

Вспомогательные функции

• attr_to_df: Преобразует атрибуцию признаков в DataFrame.
• calculate_mask: Вычисляет маску для группирования элементов.
• group_by: Группирует токены и соответствующие атрибуции.
• squash_arr: Сжимает массив с использованием заданных масок.

Применение

Этот набор инструментов полезен для исследователей и разработчиков, работающих с моделями генерации текста, особенно с теми, которые основаны на трансформерах, таких как GPT-2. Функции и классы в inseq_helpers.py облегчают процесс анализа и интерпретации выходных данных таких моделей, позволяя лучше понять, как модель генерирует текст и на какие аспекты входных данных она больше всего опирается.