factRuEval-2016
http://www.dialog-21.ru/evaluation/2016/letter/
###Статус
Оценка завершена. Результаты предварительной (run_1) и окончательной (run_2) оценок опубликованы в папке https://github.com/dialogue-evaluation/factRuEval-2016/tree/master/reports .
###Тестсет
В папке testset опубликована разметка оценочной коллекции для первых двух дорожек. Мы предполагаем, что в ней есть ошибки. Мы будем рады, если вы нам о них сообщите через раздел Issues. Просим вас создавать по одному issue на каждую ошибку. Это поможет быстро закрывать простые проблемы. Спасибо!
###Даты
- до 23:00 26.02.2016 - регистрация прогонов
- до 29.02.2016 - предварительные оценки
- 29.02.2016 - публикация разметки тестсета (в этом репозитории)
- до 01.03.2016 (включительно) - подача статей на конференцию Диалог (статьи нужно отправлять сюда: Secretary@dialog-21.ru)
- до 23:00 04.03.2016 - принимаются сообщения об ошибках в тестсете
- до 10.03.2016 - окончательне оценки (с учётом найденных ошибок)
-
scripts/
- t1_eval.py - компаратор для первой дорожки
- Readme.txt - инструкция к компаратору
-
devset/ - демонстрационная коллекция
- *.txt - тексты документов
- *.tokens - деление на токены и предложения
- *.spans - спаны (первый слой разметки)
- *.objects - упоминания объектов (второй слой разметки)
- *.coref - кореференция и идентификация (третий слой разметки)
Описание модели разметки: http://opencorpora.org/wiki/Nermanual/2/model
Формат демонстрационной разметки
Тексты документов (*.txt)
Текст предложений сохранён из источника. Предложения склеены через пробел. Абзацы - через двойной перевод строки.
Сегментация на токены и предложения (*.tokens)
Каждая строка - один токен. Предложения разделены пустой строкой.
Описание одного токена состоит из следующих полей:
- id токена
- позиция начала токена (от начала текста)
- длина токена
- текст токена
Разделитель полей - пробел. В токене пробела быть не может.
Спаны (*.spans)
Каждая строка - один спан. Разделитель полей - пробел.
Поля:
- id спана
- тип спана
- позиция первого символа спана от начала текста
- длина спана в символах
- первый токен спана
- длина спана в токенах
Справочно (после решётки):
- все id входящих токенов
- все тексты входящих в спан токенов
Упоминания объектов (*.objects)
Каждая строка - одно упоминание объекта. Разедлитель полей - пробел.
Поля:
- id упоминания
- тип упоминания
- список идентификаторов входящих в упоминание спанов
Справочно (после решётки):
- текст всех входящих в упоминание объекта спанов
Кореференция и идентификация (*.coref)
Каждая запись - один объект. Разделитель записей - пустая строка.
Первая строка записи состоит из следующих полей:
- идентификатор объединённого объекта
- список идентификаторов упоминаний объектов, входящих в объединённый объект
Последующий строки:
- ключ
- значение
Допустимые ключи:
- firstname, surname, patronymic, nickname - у объектов типа Person
- name - у Location, LocOrg, Org
- wikidata - у всех