Имеется в виду, чтобы результаты вносились в один турнир?
Сейчас ОВСЧ тоже многоязычный, но его результаты в разных турнирах

Или чтобы можно было рейтинговать турнир, скажем, на английском?
Сейчас переводы ОВСЧ играются в режиме асинхрона, без рейтингования

Да, чтобы результаты отыгрыша пакета на разных языках вносились в рейтинговый турнир под одним id, просто под флагами соответствующего языка.

Или чтобы можно было рейтинговать турнир, скажем, на английском?

Турнир на английском рейтинговать можно и сейчас (если я ничего не путаю, в Условиях рейтингования ничего нет про ограничение рейтингования турнирами на русском языке.

Да, речь именно о том, чтобы собирать их в один турнир (с флагами, соответствующими языку отыгрыша) и рейтинговать его.

По критериям переводимости — я думаю о дополнительном пункте в 2.3 с формулировкой вроде «В случае, если турнир проводился на нескольких языках и ТГ, изучив пакет, считает, что различия в переводах привели к нарушению спортивного принципа.»

Да, с рейтингованием вроде прямого запрета нет. Но я понял, что тут нужно расширять толкование Правил.

• сейчас в п.1.1 Правил "Команды соревнуются на одних и тех же вопросах, заданных в одном и том же порядке";
• в определении вопроса там же нужна часть "Текст вопроса [...] представляет собой набор условий, который сообщается командам и позволяет логическим путём найти ответ".

Соответственно, вопрос в том, можно ли считать, что вопрос один и тот же, если набор условий вопроса даётся на разных языках (понятно, не в общем случае, а когда вопрос переводим).

Кстати, может, для того же ОВСЧ посмотреть статистику по разным языкам (как с тематическими турнирами делали)? Насколько отличается ожидаемое количество взятий от предсказанного рейтингом или хотя бы просто различие распределений по вопросам.

Да, статистику по языковым версиям сделаю.

Да, с рейтингованием вроде прямого запрета нет.

Хочется просто прямо прописать возможность такого. И да, возможность отзывать рейтингование, если пакет неудачный.

Посчитал статистику, посмотреть можно на гугл-таблицах.

На вкладке diff_stats медианный и средний диффы между процентами взятия одного и того же вопроса на данной паре языков.

На вкладке raw_data, собственно, сырые данные — процент взятия по каждому этапу, номеру вопроса, стране, языку.

Видно, что наиболее похожи по процентам взятий синхрон и асинхрон на русском, что логично. Дальше идут различия.

Но надо учитывать ещё, что все языковые версии, кроме украинской, играло по 3–8 команд, так что это всё в пределах погрешности. А также команды были разного уровня — я думал попытаться скорректировать на это, посмотрев на рейтинг, но оказалось, что для многих команд в языковых асинхронах рейтинг просто не посчитался, и в итоге данных стало бы ещё меньше, что сделало бы сравнение бессмысленным.

На всякий случай ссылка на код, которым считал.

И всё это ещё усугубляется тем, что часть игралась очно, а часть — онлайн, то есть с текстом перед глазами и (скорее всего) временем чутка больше минуты (ну и возможно даже кто-то подгугливал, такой вероятности тоже нельзя исключать).

Вроде же наоборот, в онлайне обычно контроль времени чуть строже, чем в офлайне? Ну если моноплощадка и сдают в чат, то примерно такой же, как в офлайне, но вроде не хуже.

В остальном всё так

В онлайне строже контроль времени сдачи ответа, однако скачет время на обсуждение. По делу должно быть так: ведущий читает вопрос, закончил — показался текст и начался отсчёт, потом время на сдачу. Но зачастую чтение начинается одновременно с показом вопроса либо он пказывается на половине, в результате ты можешь быстро пробежать глазами текст и начать обсуждать, что даёт тебе дополнительных 20-30 секунд на обсуждение.

Возвращаясь к основной теме, вот мои соображения по поводу мультиязычных пакетов:

• разделяется понятие пакет и языковая версия пакета
• (отредактировано) у каждого пакета должна быть основная языковая версия пакета. По умолчанию у "обычных" пакетов только она одна и есть, у "мультиязычных" — более одной версии, одна из которых явно обозначается как основная
• языком набора вопросов является основной язык их как единого текста, как этот язык определила бы лингвистическая экспертиза и здравый смысл
• основным языком пакета является язык его основной версии
• в случае мультиязычного пакета к основной версии предъявляются особые требования:
  • исключены специфичные для языка версии подсказки («два слова на одну букву»). Исключение: разрешены при явном указании, в каком это языке («в латыни эти слова начинаются на одну и ту же букву»)
  • исключены смысловые замены, не имеющие смысл в других языках пакета (нельзя заменить «дрожжи» на «вожжи» по принципу «похожжи»)
  • исключено использование родовых местоимений в качестве замен/переменных, все такие замены должны быть обозначены как ИКС/ИГРЕК и не использовать категорию рода (это идея из квизболла, она сперва пугает, но она очень здравая, см. перевод моего ОВСЧ на английский),
  • аналогично прошлому пункту, любые пропуски обозначаются как ИКС/ИГРЕК, это может быть глагол, словосочетание или «сидя спиной к Юкатану», эти переменные должны пониматься в математическом подстановочном смысле
  • должно отсутствовать или быть критически мало влияние грамматического рода на понимание вопроса («ТАКАЯ ИКС», «ИКС, котороГО»)
• к дополнительным языковым версия пакета предъявляются такие требования:
  • они должны по возможности быть прямым переводом основном версии (а не транзитивным)
  • они должны в точности соответствовать по смыслу
  • они должны соответствовать функционально (иметь, как правило, то же число предложений, подавать ту же информацию, опускать ту же информацию, содержать ровно столько же подсказок)
  • они не должны добавлять никаких подсказок и зацепок — дополнительных намёков, упрощений за счёт грамматического рода и подобных категорий, и так далее
  • аналогично, они не должны терять никаких подсказок или намёков (что исключает непереводимую игру слов в основном версии)

Идеи, куда стоит посмотреть (я пока не смотрел):

• международное АП, для примеров того, как определяется перевод как производное произведение
• правила международных олимпиад по математике — как там кодифицируются равные условия (там ситуация на практике даже сложнее нашей, потому что переводят на свои языки люди, аффилированные с командой)

• у каждого пакета должна быть основная языковая версия пакета. По умолчанию у "обычных" пакетов она ровно одна, у "мультиязычных" — более одной

Наверное, у "обычных" пакетов --- одна языковая версия, а у "мультиязычных" --- несколько, но одна из них выделена как основная? Или я что-то неверно прочитал?

в случае мультиязычного пакета к основной версии предъявляются особые требования:

• исключены смысловые замены, не имеющие смысл в других языках пакета (нельзя заменить «дрожжи» на «вожжи» по принципу «похожжи»)

А если в других языках пакета смысловые замены тоже будут иметь смысл (например, все языки пакета родственные, условно, романские или тюркские), это разрешено? Нужно ли указывать это в преамбуле, например?

• исключено использование родовых местоимений в качестве замен/переменных, все такие замены должны быть обозначены как ИКС/ИГРЕК и не использовать категорию рода (это идея из квизболла, она сперва пугает, но она очень здравая, см. перевод моего ОВСЧ на английский),
• аналогично прошлому пункту, любые пропуски обозначаются как ИКС/ИГРЕК, это может быть глагол, словосочетание или «сидя спиной к Юкатану», эти переменные должны пониматься в математическом подстановочном смысле

Почему пропуски нужно обозначать ИКС/ИГРЕК, а не словом, обозначающим ПРОПУСК на языке версии пакета?
В этом есть какой-то смысл или просто для уменьшения порога входа?

Можно ли где-то почитать английскую версию пакета ОВСЧ?

Можно ли где-то почитать английскую версию пакета ОВСЧ?
https://drive.google.com/drive/u/0/folders/1o9aIUZ4ccD3ukFPWZ_akH8XjHQwmIvB-

все такие замены должны быть обозначены как ИКС/ИГРЕК и не использовать категорию рода

Все вот эти вещи кажутся на первом этапе очень радикальными: они будут контрастировать с другими пакетами на том же языке, люди при переходе будут путаться. Я бы сперва просил просто не использовать такие замены вовсе, максимум используя ЭТО.

Наверное, у "обычных" пакетов --- одна языковая версия, а у "мультиязычных" --- несколько, но одна из них выделена как основная? Или я что-то неверно прочитал?

Нет, я путанно написал, поправлю сейчас

А если в других языках пакета смысловые замены тоже будут иметь смысл (например, все языки пакета родственные, условно, романские или тюркские), это разрешено? Нужно ли указывать это в преамбуле, например?

Мне кажется, это довольно рискованное направление, потому что есть нюансы (например, украинский близок к белорусскому, но в нём неодушевлённые склоняются как и одушевлённые, типа «накрутить хвоста»)

Почему пропуски нужно обозначать ИКС/ИГРЕК, а не словом, обозначающим ПРОПУСК на языке версии пакета?
В этом есть какой-то смысл или просто для уменьшения порога входа?

Как мне объяснили, это общая практика в англоязычных/западных квизах, и хотя нам она непривычна, она имеет много смысла — это по сути приложение математических обозначений к "некое неизвестное"
Как перевести на английский слово "ПРОПУСК"? GAP? ELLIPSIS? Мне кажется, это сложно выразить понятно для англофила, но если какой-то вариант будет найден, принципиально я не против него — as long as такое слово может быть подобрано более-менее для всех языков (как минимум славянские, английский, французский, испанский, грузинский, узбекский, you name it)
Плюс ИКС/ИГРЕК ещё в том, что можно сделать больше одной замены.

Все вот эти вещи кажутся на первом этапе очень радикальными: они будут контрастировать с другими пакетами на том же языке, люди при переходе будут путаться. Я бы сперва просил просто не использовать такие замены вовсе, максимум используя ЭТО.

Я считаю, что некоторая радикальность нужна. Точнее даже не радикальность, а отказ от практик русскоязычного ЧГК как основополагающих. Я бы скорее брал практики английских квизов (это движение давно устоявшееся) и их адаптировал под наши нужды, это будет в равной мере не слишком удобно всем выходцам из чгк, но если подумать, всего 2 года назад было много громких голосов о том, что онлайн — это уже не ЧГК.

Слово "ЭТО" я рассматривал как вариант, в английским это что будет? THIS? В переводе ОВСЧ я вижу "this thing", это норм вариант, но очевидно только для неодушевлённых сущностей.

В целом я бы уточнил своё предложение по заменам так:

• когда возможно, вместо переменных используется естественный язык: "этот продукт", "этот человек", "это произведение"
• если речь идёт о пропуске в цитате (фразе, стихотворении), используется слово ПРОПУСК — но ему нужно сразу подобрать аналоги на возможных языках и привести их в качестве примера в приложении к правилам. При этом этот приём нужно минимизировать в сторону предыдущего пункта — в самой цитате поставить плейсхолдер "пропущено несколько слов", а в тексте вопроса сказать "пропущенные слова"
• во всех остальных случаях (которых должно быть не слишком много) используется обезличенная замена ИКС/ИГРЕК: In any questions, X and Y can be used to substitute words, in singular or plural, concepts or phrases.

Что хочу добавить: я считаю, что эти новые мультиязычные пакета — отличный вариант немного встряхнуть наш подход к редактуре. Под соусом того, что часть вещей невыразима между языками в равной степени функциональности можно, я полагаю, и заметно упростить часть правил, и кодифицировать то, что давно вызывает споры — как раз те же замены.

Главное при этом правильная подача — это новые формат, он экспериментальный, это не старое доброе чгк в обвесе из переводов, а специальная адаптация формата в пользу максимально справедливого соревновательного аспекта, поэтому часть правил мы упрощаем, а часть вынужденно меняем.

И дальше для обкатки нужно не сразу бросать его в бой на уровне чемпионата мира, а провести несколько демо-турниров: сперва промо-синхрон, потом ещё один, потом сделать единый пакет для чемпионатов стран (какие захотят), ну и так далее.

Я бы сперва просил просто не использовать такие замены вовсе

Добавлю, что на самом деле конечно эта мысль тоже ок, но при этом хочется думать сразу же и об идеальной перспективе, когда наши пакеты смогу сыграть ребята из того же квизболла

Я считаю, что некоторая радикальность нужна.

Мне кажется, что радикальность отпугнёт. В твоём виде это не то чтобы новая игра, но требует времени (и желания) на адаптацию. Я бы хотел, чтобы переход был плавный: сперва люди втянулись в игру без упора на род, но и без иксов / замен на созвучность, а потом уже можно и остальные аспекты вводить. Эволюционно, а не революционно.

Поэтому вот эта мысль при подаче мне не очень нравится:

новый формат, он экспериментальный, это не старое доброе чгк в обвесе из переводов,

Слово "ЭТО" я рассматривал как вариант, в английским это что будет? THIS? В переводе ОВСЧ я вижу "this thing", это норм вариант, но очевидно только для неодушевлённых сущностей.

Поэтому я говорю о крайнем случае, в идеале вообще без. «Назовите фильм», назовите персонажа», «кто», «что», ну ты понимаешь.

при этом хочется думать сразу же и об идеальной перспективе, когда наши пакеты смогу сыграть ребята из того же квизболла

В моей парадигме нет отказа от этой перспективы. Просто я не вижу смысла сразу окунать всех в новые реалии: люди из квизбола к нам сразу не побегут (инфраструктуры-то у нас на английском всё равно нет + мало кто будет этим активно заниматься), а своих распугаем.

В твоих словах есть резон, нюанс только в том, на мой взгляд, что правила придётся потом уточнять
То есть меня полностью устраивает, что мы будем редакторам выдавать ТЗ с полным запретом на замены — многие откажутся, но многие и согласятся

Но вот меня смущает, если мы сейчас всё запретим в правилах, а потом этот формат тоже устаканится в головах у людей, а мы вдруг туда что-то чужеродное принесём

Есть мысли, как с этим быть?

Я вот придумал такое:

• определяем 2 или 3 уровня переводимых пакетов. допустим, 3
• в пакетах категории A нет никаких замен, только естественный язык для обозначения сущностей
• в пакетах категории B допускается использование нейтральной замены ЭТО, а также (возможно) ОН/ОНА только для одушевлённых сущностей (если это во всех языках имеет смысл — это нужно проверять)
• в пакетах категории C допускаются замены-переменные ИКС/ИГРЕК, с теми же оговорками, что я выше привёл — они могут обозначать любой набор слов, идею или концепцию, при этом открытым остаётся вопрос, как быть с грамматическим согласованием («ИКС, которЫЙ» даёт больше информации, чем "X that")
• в правилах мы пишем, что на тестовом этапе все пакеты рекомендуются соответствующими категории A, категория B допустима, категория С не применима для официальных соревнований до особого решения

Таким образом, мы сразу готовим базу, и желающие могут уже сделать какой-то асинхрон с категорией С, например

Но вот меня смущает, если мы сейчас всё запретим в правилах,

погоди-погоди, это же новая фигня, если мы её не вводим, это не значит, что мы её запрещаем :)

а потом этот формат тоже устаканится в головах у людей, а мы вдруг туда что-то чужеродное принесём

я не думаю, что за 2-3 сезона у людей что-то сможет устаканиться — не такой быстрый процесс всё же.

Плюс ты говоришь о закреплении в правилах, я же скорее о практике. Вариант с несколькими уровнями ок, допилить напильником и в путь.

Только я вот до сих пор не понимаю, куда мы все эти изменения должны вкрячивать — только ли в Положение об эгиде и рейтинге или и в Правила тоже?

погоди-погоди, это же новая фигня, если мы её не вводим, это не значит, что мы её запрещаем :)

Моё мнение в том, что мы должны чётко написать: мультиязычный турнир рейтингуется только если...
И это "если" должно явно говорить, что разрешены такие-то вещи в пакете и не разрешены такие-то. Иначе я не очень понимаю, как это работает. Где-то должен быть критерий, что языковые версии функционально эквивалентны

я не думаю, что за 2-3 сезона у людей что-то сможет устаканиться — не такой быстрый процесс всё же.

Мне кажется, что те, кому важно, привыкнут куда быстрее

Только я вот до сих пор не понимаю, куда мы все эти изменения должны вкрячивать — только ли в Положение об эгиде и рейтинге или и в Правила тоже?

Вопрос интересный. По идее с точки зрения правил каждая языковая версия и так является своим пакетом ЧГК, а коллизии мы разрешаем только с точки зрения рейтинга

С другой стороны, мы вроде кодифицируем немного другую игру

На практике я бы всё занёс в рейтинг, а правила потрогал после установления статус кво

Где-то должен быть критерий, что языковые версии функционально эквивалентны

Я предлагаю так и написать, что не должно быть различий между языковыми версиями, влияющими на спортивность турнира (т.е. делающих вопрос на каком-то языке проще или сложнее, чем на других). А каким образом это обеспечить — я бы оставил на усмотрение редакторов.

Турнирная группа бы только проверяла (по чьей-то жалобе или собственной инициативе), что между версиями действительно нет значимых различий.

Что касается конкретных рекомендаций по тому, как именно делать вопросы переводимыми, то:

• мне кажется, что директивно переделывать семантику ИКСА — плохая идея, а лучше действовать поступательно, в данном случае — идти от уже устоявшейся практики в существующих мультиязычных пакетах.
• не нужно перечислять конкретные приёмы на уровне правил, а следует написать отдельный документ с рекомендациями от редакторов, у которых есть опыт подготовки мультиязычных пакетов. По факту у нас нет нормальных данных, как, условно, наличие замен влияет на спортивность — так лучше их не запрещать.

Многоуровневую модель ввести можно, но к моменту, когда подкопятся данные про реальные мультиязычные турниры. Лучший способ это сделать — разрешить рейтингование без особых условий (но с возможностью для ТГ отозвать рейтинг) и посмотреть что получится. Т.к. сейчас почти все языковые версии — асинхроны, аудитории у них не очень много.

Только я вот до сих пор не понимаю, куда мы все эти изменения должны вкрячивать — только ли в Положение об эгиде и рейтинге или и в Правила тоже?

Вроде бы исходя из обсуждения выше:

• в Правила — вписать уточнение к пункту про то, что команды соревнуются на одних и тех же вопросах, что переводные версии вопроса считаются одним и тем же вопросов и определение пакета с несколькими языковыми версиями
• в рейтинг — условия рейтингования пакета с несколькими языковыми версиями (что не должно быть между ними значимых спортивных различий), а впоследствии, когда практика сформируется — возможно и конкретные правила а-ля «нельзя замены»

@peczony это хорошие идеи

В среднесрочной перспективе я считаю, что кодифицировать замены — хорошо, это урежет 1 процент креатива в сторону понятности игры для новых людей. Но и мысль набрать данных — безусловно здравая

В свете этого я бы зафиксировал, что устанавливается конкретный срок (3 или 6 месяцев), когда в экспериментальном режиме рейтингуются мультиязычные синхроны без особых огораживающих правил, но это заранее известный оговоренный период, после которого группа по правилам отсмотрит практику и введёт более формальные требования.

@peczony @emirotin кто-то из вас готов подготовить текст правок? Первый этап ОВСЧ через 2 недели начинается уже, не успеем ничего внести, но можем успеть ко второму.

Я могу заняться. Какой дедлайн будет?

@emirotin мы в группе по правилам себе выставили неформальный дедлайн в 15 ноября для наших первых поправок (которые убирают отсылку к Кодексу). Если будет созываться ОС где-то в районе того времени, то было бы удобно и эти поправки на нём рассмотреть. Соответственно, было бы хорошо посмотреть на них, например, в начале ноября, чтобы было время обсудить.

@emirotin мы сейчас собираемся менять только пункт про правильный ответ, убирая отсылку к Кодексу. т.е. наши изменения по идее никак не должны пересекаться с твоими, показать просим просто на всякий случай.

Тебе надо сделать:

• правки в п. 1.1 «Определение и принципы игры» Правил, которые поясняют, что вопросы, переведённые на другой язык — это всё ещё «одни и те же вопросы»
• правки в п. 2.2.4 «Требования к рейтингуемым турнирам» Положения об эгиде и рейтинге — дописать, что рейтингование может быть снято в случае, если турнир мультиязычный и турнирная группа сочтёт, что различия в пакетах на разных языках повлияли на спортивность результатов.

Кстати, у меня ещё появилась мысль, что мб турнирной группе разрешить не только снимать рейтингование турнира целиком, но и снимать отдельные вопросы? Типа 35 вопросов ок, в одном косяк в переводе, не снимать же весь турнир из-за этого, но можно снять отдельный вопрос. Если мы решим двинуться в этом направлении, то надо будет ещё поправки в правила, подумаю в какой конкретно пункт.

т.е. наши изменения по идее никак не должны пересекаться с твоими, показать просим просто на всякий случай.

А, ок

Кстати, у меня ещё появилась мысль, что мб турнирной группе разрешить не только снимать рейтингование турнира целиком, но и снимать отдельные вопросы?

Я понимаю, как это привлекательно, но ожидаю, что породит ненужный хаос
Вместо этого если бы такие вопросы можно было снять (что логично, раз они нарушили спортивность), остальное работало бы автоматически.

Тоже кажется, что снятие отдельных вопросов турнирной группой будет вызывать вопросы. А если другие грубые нарушения были только на конкретных вопросах (скажем, вердикты спорных или апелляций не опубликовали) — можно только их снять?

Думаю, этот момент всё-таки нужно оставить оргкомитету, который может снимать отдельные вопросы.

Хотя, конечно, есть лазейка в п.2.3.2.1 Положения: "Результаты турнира — частично или полностью — могут быть исключены из Рейтинга..." [выдел. моё]. Здесь имелось в виду, я полагаю, исключение результатов отдельных команд, как в 2.3.2.4, но удаление отдельных вопросов из рейтинга формально тоже выглядит как частичное исключение результатов.

Но пусть лучше это решает оргкомитет, имхо — терять ли рейтингование целиком или снять отдельный вопрос

Подниму тред, а то у нас уже два этапа прошли с переводами.

Класс, спасибо!

Я открыл драфтовый PR с первой версией правок. Можно обсуждать

Я сделал поболее изменений, чем предлагал Саша, потому что показалось, что лучше это нормализовать сразу, а ситуация с неравнозначным переводом выглядит очень близкой к истории про ошибку воспроизведения.

В эгиде наиболее спорным выглядит пункт про снятие рейтинга при существенном числе ошибок перевода (по сути 2+ из 36 вопросов), можно его убрать, но тоже как-то хотелось прописать то, что предложеное в 2.3.4.1.

Я учёл все замечания, кажется, можно это считать окончательной версией моего предложения. Если у кого есть ещё что добавить — давайте например до понедельника