Omnia Russica

[kuk]

https://omnia-russica.github.io/

[kuk]

@TatianaShavrina
Можно ли считать что формат всего датасета повторяет первый 1ГБ?

<doc did="00000001" did="ta.ma.00000001" file="corpus_arion_100200.txt" path="Magazines/texts/corpus_arion_100200.txt">
<p>
<s>
ГОРЧАЩИЙ        ГОРЧАЩИЙ        Aj      Afpmsnf 0
ЗВУК    звук    Nn      Ncmsnn  1
</s>
</p>
<p>
<s>
В       в       Pp      Sp-l    1
этой    этот    Pn      P--fsla 1
публикации      публикация      Nn      Ncfsln  1
—       --      Zz      -       1
стихотворения   стихотворение   Nn      Ncnpnn  1
Александра      Александр       Nn      Npmsgy  1
Межирова        Межиров Nn      Npmsgy  1
и       и       Cj      C       1
два     два     Nm      Mcm-n   1
эссе    эссе    Nn      Ncnsan  1
<g/>
,       ,       Zz      ,       1
недавно недавно Av      R       1
обнаруженные    обнаружить      Vb      Vmps-p-pfpn     1
мной    я       Pn      P-1-sin 1
в       в       Pp      Sp-l    1
его     его     Pn      P-----a 1
домашнем        домашний        Aj      Afpmslf 1
нью-йоркском    нью-йоркском    Aj      Afpmslf 0
архиве  архив   Nn      Ncmsln  1
<g/>
.       .       Zz      SENT    1
</s>
</p>
<p>
...

Там ~900ГБ пожатого текста, проверить эмпирически отдельная задача.

[TatianaShavrina]

Да, размечали все одинаково, разметка автоматическая с udpipe, включая токенизацию, морфологию и синтаксис.

[kuk]

f92f733