Repozytorium zawiera materiały omawiane w ramach warsztatu "Analiza języka naturalnego w R", prowadzonego podczas konferencji "Machine Learning@Enterprise 2018" (18 września 2018 r.).
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
data
dicts
prezentacja
prezentacja_skrypty
README.md

README.md

Analiza języka naturalnego w R

Repozytorium zawiera materiały omawiane w ramach warsztatu Analiza języka naturalnego w R, prowadzonego podczas konferencji Machine Learning@Enterprise 2018 (18 września 2018 r.).

Agenda:

  • Do czego może przydać się analiza tekstu
  • Skąd wziąć dane tekstowe
  • Przygotowanie i podstawowa analiza tekstu
  • Zagadka kryminalna: kto napisał książkę

Co użytkownik zyska:

Dowiesz się jak przetworzyć tekst w języku R z użyciem stosownych pakietów, wyszukać najpopularniejsze słowa (tf-idf). Spróbujemy znaleźć tematy kilku lektur szkolnych (LDA), porównać język ich autorów i znajdziemy autora nieznanego tekstu.

Wymagania wobec uczestnika:

  • Zainteresowanie tematyką przetwarzania tekstu
  • Podstawowa znajomość programowania (R)
  • Przydatna będzie znajomość pakierów tidyverse i tidytext
  • Własny komputer z zainstalowanym R/RStudio – dla chcących aktywnie uczestniczyć w warsztacie

Zawartość repo:

  • prezentacja - folder z prezentacją (treść i pliki)
  • prezentacja_skrypty - skrypty omawiane podczas prezentacji
  • data miejsce na dane - ściągnięte albo obliczone
  • dicts - potrzebne słowniki

Potrzebne pakiety:

  • manipulacja danymi, wykresy:
    • tidyverse (wraz z zależnościami, szczególnie dplyr i ggplot2)
    • widyr
    • lubridate
    • glue
  • analiza i manipulacja danymi tekstowymi:
    • tidytext
    • tm
    • topicmodels
    • text2vec
    • lsa
    • wordcloud
  • modele:
    • e1071
    • randomForest
    • xgboost
  • pobieranie danych:
    • rvest
    • rtweet
  • grafy:
    • igraph
  • inne przydatne:
    • fs
    • ggrepel
    • ggridges

Do poczytania przy okazji

Kilka tekstów związanych z tematem warsztatu: