ml nlp
Model "worek słów" (ang. Bag of Words - BoW) jest jedna z podstawowych, najprostszych i najpopularniejszych technik inżynierii cech, umożliwiając przekształcenie tekstu w wektor numeryczny. Działa dwuetapowo: najpierw pobiera słowa z wokabularza, a następnie zlicza ich obecność lub częstość występowania w tekście. Nie są brane pod uwagę struktura dokumentu ani informacje kontekstowe.
Metoda TD-IDF Skrót TD-IDF rozwija się jako Term Frequency - Inverse Document Frequency. Technika ta zawiera dwie składowe, TF czyli warzenie częstością termów oraz IDF czyli obliczanie odwrotnej częstości słów w dokumencie. Składowa TF określa jedynie występowanie słów w danym dokumencie. Jest ona równoważna "workowi słów". Nie uwzględnia kontekstu słow i jest obciążona błędem systematycznym w kierunku dłuższych dokumentów. Z kolei ze składowa IDF oblicza wartość określajace ilosc informacji przechowywane przez poszczególne słowo:
Metoda TD-IDF stanowi iloczyn skalarny obydwu członów TD i IDF. Normalizuje omna wagi dokumentów. Wyższa wartość TD-IDF danego słowa oznacza wieksza częstośc wystepowania tego słowa w dokumencie.
