Расхождения в разметке морфологии.

[AlexeySorokin]

Уважаемые организаторы, не могли бы вы указать все отличия стандарта разметки соревнования от разметки SynTagRus, потому что большинство систем обучались именно на SynTagRus и тем самым следуют его аннотации. Пока найдены следующие отличия (на примере файла GramEval2020-GSD-train.conllu):

1. у некоторых прилагательных размечена одушевлённость:

5	за	за	ADP	IN	_	7	case	_	_
**6	новый	новый	ADJ	JJL	**Animacy=Inan|Case=Acc|Degree=Pos|Gender=Masc|Number=Sing	7	amod	_	_
7	клуб

но у некоторых -- нет:

2	изучение	изучение	NOUN	NN	Animacy=Inan|Case=Acc|Gender=Neut|Number=Sing	5	obl	_	_
**3	двойной	двойной	ADJ	JJL	**Case=Gen|Degree=Pos|Gender=Fem|Number=Sing	4	amod	_	_
4	специализации	специализация	NOUN	NN	Animacy=Inan|Case=Gen|Gender=Fem|Number=Sing	2	nmod	_	_

2. порядковые числительные считаются прилагательными (upos=ADJ) и размечены по признакам прилагательного

**15	7	7	**ADJ	ORD	Case=Gen|Degree=Pos|Gender=Neut|Number=Sing	10	obl	_	_
16	января	январь	NOUN	NN	Animacy=Inan|Case=Gen|Gender=Masc|Number=Sing	15	flat	_	_

в СинТагРусе как минимум часть аналогичных примеров размечена как NUM
3. у количественных числительных размечен падеж и NumType=Card
4. у некоторых глаголов (быть, стать) не размечен залог
5. у местоимений что и который размечены все признаки.

[AlexeySorokin]

Могли бы вы ответить по перечисленным расхождениям и указать то, что было упущено или подтвердить, что других систематических отличий нет.

[olesar]

у некоторых прилагательных размечена одушевлённость:

В UD 2.0 у прилагательных одушевленность размечается в тех формах Case=Acc, где различаются две формы, согласуемые с одушевлённой вершиной (вижу большого человека) и с неодушевленной (вижу большой дом).
У прилагательных Case=Acc, Gender=Fem, Number=Sing такой пометы не ставится (форма "большую" не зависит от согласования, отличаясь от Nom и Gen), у остальных прилагательных ставится. То же касается DET.

[AlexeySorokin]

В UD 2.0 у прилагательных одушевленность размечается в тех формах Case=Acc, где различаются две формы, согласуемые с одушевлённой вершиной (вижу большого человека) и с неодушевленной (вижу большой дом).

Тем не менее обучающая выборка GSD-train одержит 8 примеров DET или ADJ не в аккузативе с размеченной одушевлённостью. Это ошибка разметки?

[olesar]

Да, ошибка.
Ручная полнотекстовая разметка часто страдает от решений, где разметчику нужно помнить несколько правил. Второй источник - изменение частеречного класса при редактировании разметки (NOUN -> ADJ, одушевленность убрать забыли).

[AlexeySorokin]

В GSD иностранные имена собственные размечены как X, в остальных подкорпусах как PROPN, на какую из разметок ориентироваться?

[olesar]

Добрый день, четких указаний в UD на это нет, на практике в ручной аннотации применяется критерий (не)освоенности.Иностранное имя собственное, написанное кириллицей или имеющее русские окончания (Veber-а) трактуется как русское, с пометой PROPN и грамматическими пометами, если их возможно установить. Заимствование, написанное арабским, греческим и прочими шрифтами, размечается как X Foreign=Yes.В латинице так же, но исключением могут быть слова, включенные в культуру и контекст,ср. "работал на Adidas" (как правило, это название брендов и мероприятий).16.02.2020, 12:14, "AlexeySorokin" <notifications@github.com>:В GSD иностранные имена собственные размечены как X, в остальных подкорпусах как PROPN, на какую из разметок ориентироваться? —You are receiving this because you commented.Reply to this email directly, view it on GitHub, or unsubscribe. -- Olga Lyashevskaya School of Linguistics, Faculty of Humanities& Linguistic Convergence LabHigher School of Economics, Moscow Dept. of Corpus Linguistics and Linguistic PoeticsVinogradov Institute of the Russian Language

[AlexeySorokin]

@olesar Вы не ответили на вопрос: я вижу в тестовой выборке предложение с иностранным именем собственным, как я должен его размечать? Разные подмножества обучающей выборки делают это по-разному, как правильно?

[olesar]

Уточню еще раз: однозначного соответствия Latinitsa -> X или Latinitsa -> PROPN в принципе нет.Проверила по обучающим выборкам: GSD всегда выбирает X (но и контекстов освоенности я там не вижу, это жанр wiki), Taiga-social PROPN (но обратите внимание, что там много контекстов типа "каверы на Billy Jean и Джо Дассена" или "новенький IPHONE", в SynTagRus-v2 и так, и так.Ответ: не "подмножества делают", а "подмножества представляют разные жанры, предполагающие разную степень освоенности и включенности в окружающий русский контекст".Но безусловно, факторы субъективности разметчиков и степени ручной перепроверки тут тоже играют роль, для разных выборок они разные.16.02.2020, 18:19, "AlexeySorokin" <notifications@github.com>:@olesar Вы не ответили на вопрос: я вижу в тестовой выборке предложение с иностранным именем собственным, как я должен его размечать? Разные подмножества обучающей выборки делают это по-разному, как правильно? —You are receiving this because you were mentioned.Reply to this email directly, view it on GitHub, or unsubscribe. -- Olga Lyashevskaya School of Linguistics, Faculty of Humanities& Linguistic Convergence LabHigher School of Economics, Moscow Dept. of Corpus Linguistics and Linguistic PoeticsVinogradov Institute of the Russian Language

[AlexeySorokin]

Боюсь, Вы не совсем правы: разные подмножества предоставляют разную разметку не потому, что эти предложения разных жанров, а потому что разные исходные стандарты разметки. И не раскрывать, какой из них будет выбран в тестовой выборке, не слишком честно по отношению к участникам, поскольку совершенно не влияющее на качество модели решение даст разницу в несколько процентов по upos, поскольку в новостных текстах названия латиницей могут встречаться едва ли не в каждом втором предложении. Чтобы не возникло подобной несправедливости, предлагаю зафиксировать одно максимально непротиворечивое решение (это же касается и различия PROPN/NOUN, которое столь же бессистемно).