Liner2: poleval2019 data

Liner2 — poleval2019-data

Description

Converts a set of annotated documents into a dataset in a format used in PolEval 2019 Task 2.

Usage

The source set of annotated documents used to generated the training dataset is available here: https://clarin-pl.eu/dspace/handle/11321/692

Default usage

./liner2-cli poleval2019 -i batch:ccl -f kpwr_dump_r240/index_phrases.list -t kpwr_dump_r240_poleval2019

index.tsv

(...)
343918  00100505        Zachodniego Okręgu Administracyjnego    Zachodni Okręg Administracyjny
343922  00100505        portu lotniczego Wnukowo        port lotniczy Wnukowo
99653   00100505        Wnukowo Wnukowo
343923  00100506        Gramatyka kombinatoryczna       Gramatyka kombinatoryczna
303757  00100506        Chomsky'ego     Chomsky
(...)

Additional features

./liner2-cli poleval2019 -i batch:ccl -f kpwr_dump_r240/index_phrases.list -t kpwr_dump_r240_poleval2019 -e

index.tsv

(...)
343918  00100505        Zachodniego Okręgu Administracyjnego    Zachodniego Okręgu Administracyjnego    zachodni okrąg administracyjny  adj:sg:gen:m3:pos subst:sg:gen:m3 adj:sg:gen:m3:pos     True True False null    Zachodni Okręg Administracyjny
343922  00100505        portu lotniczego Wnukowo        portu lotniczego Wnukowo        port lotniczy wnukowo   subst:sg:gen:m3 adj:sg:gen:m3:pos subst:sg:gen:m3       True True False null    port lotniczy Wnukowo
99653   00100505        Wnukowo Wnukowo wnukowo subst:sg:gen:m3 False   nam_fac_goe     Wnukowo
343923  00100506        Gramatyka kombinatoryczna       Gramatyka kombinatoryczna       gramatyka kombinatoryczny       subst:sg:nom:f adj:sg:nom:f:pos True True       null    Gramatyka kombinatoryczna
303757  00100506        Chomsky'ego     Chomsky'ego     Chomsky subst:sg:gen:m1 True    nam_liv_person_last     Chomsky
(...)

With masked lemmas

./liner2-cli poleval2019 -i batch:ccl -f kpwr_dump_r240/index_phrases.list -t kpwr_dump_r240_poleval2019 -n xx

index.tsv

(...)
343918  00100505        Zachodniego Okręgu Administracyjnego    xx
343922  00100505        portu lotniczego Wnukowo        xx
99653   00100505        Wnukowo xx
343923  00100506        Gramatyka kombinatoryczna       xx
303757  00100506        Chomsky'ego     xx
(...)