glossary.md

Глоссарий

{% include deprecate %}

А

API Толоки {#toloka-api}

: API Толоки (application programming interface), программный интерфейс Толоки — это описание способов (набор классов, процедур, функций, структур или констант), которыми сервис Толока может взаимодействовать с другой компьютерной программой и дает возможность создавать задания и получать ответы пользователей (см. документацию).

Запросы к API Толоки выполняются по протоколу HTTPS. Сервис возвращает данные в формате JSON.

Активные исполнители {#active-tolokers}

: Исполнители с доступом к пулу, которые брали задания за последний час.

Архивный пул {#archive-pool}

: Пул, отправленный в архив. Такой пул недоступен для запуска и редактирования, а также для выполнения отложенной приемки. Пул автоматически архивируется, если в течение месяца в нем не совершались никакие действия.

Б

Блокировка исполнителя {#banning-tolokers}

: Вы можете закрыть доступ исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ.

Бонус {#reward}

: За хорошее выполнение заданий исполнителям можно выдавать бонусы. Это повышает мотивацию и заставляет исполнителей более внимательно относиться к вашим заданиям. Вы можете начислить бонусы одному или нескольким исполнителям (помимо платы за выполненные задания). Сумма бонуса может составлять от 0,01 до 100 долларов одному исполнителю единовременно.

Быстрые ответы {#fast-responses}

: Ограничение доступа к заданиям исполнителям, которые отвечают слишком быстро. Применяется, чтобы:

• приостанавливать доступ исполнителям, которые отвечают недобросовестно (в этом случае установите время, достаточное для выполнения страницы заданий с помощью случайных ответов);
• обеспечить защиту от роботов (в этом случае времени на выполнение страницы заданий должно быть в 2 раза меньше).

В

Вариант расстановки элементов (layout) — конструктор шаблонов {#element-layout}

: Категория компонентов для расположения элементов в интерфейсе, например в виде колонок или side-by-side.

Список вариантов расстановки

Взявшиеся исполнители {#interested-users}

: Число исполнителей, которые выполнили хотя бы одну страницу заданий.

Внутренние данные {#internal-data}

: Данные, доступные только изнутри задания. В результаты они не записываются. Их можно использовать для расчетов или хранения промежуточных значений. Для доступа к внутренним данным используйте компонент data.internal конструктора шаблонов.

О работе с данными в инструкции Чтение и запись.

Входные и выходные данные {#input-output-data}

: Вы описываете формат входных и выходных данных в поле Спецификации.

Входные данные — это данные, которые нужны для ваших заданий. Например, ссылки на картинки, которые вы хотите показать исполнителям. Для доступа к входным данным используйте компонент data.input конструктора шаблонов.

Output это данные, которые получаются в результате выполнения заданий. Например, ответы исполнителя на ваши вопросы. Для доступа к выходным данным используйте компонент data.output конструктора шаблонов.

О работе с данными в инструкции Чтение и запись документации конструктора шаблонов.

Выборочная проверка мнением большинства {#selective-majority-vote-check}

: Проверка мнением большинства только некоторых заданий. Это позволяет экономить средства и ускорить выполнение пула.

Выполненные задания (правило контроля качества) {#completed-tasks}

: Количество выполненных страниц заданий (с учетом перекрытия).

Г

Готовые наборы защиты {#ready-protection-sets}

: Несколько правил контроля качества с настройками по умолчанию.

Д

Действие (action) — конструктор шаблонов {#action}

: Категория компонентов, выполняющих действия, например, открыть ссылку, вывести сообщение, воспроизвести видео. Некоторые компоненты работают с данными, например могут менять значение с true на false.

Список действий

Декомпозиция {#decomposition}

: Разделение одного крупного проекта на несколько небольших. После декомпозиции задания становятся проще и выполняются быстрее, а качество ответов возрастает.

Динамическое перекрытие {#dynamic-overlap}

: Динамическое перекрытие (incremental relabeling, IRL) позволяет изменять количество исполнителей, которые должны выполнить каждое задание пула в зависимости от того, насколько хорошо исполнители справляются с заданием или насколько согласованы их ответы.

Динамическое ценообразование {#dynamic-pricing}

: Динамическое ценообразование позволяет дополнительно установить другие цены, которые зависят от навыка исполнителя. Например, чтобы платить больше тем, у кого более высокий навык. Подробнее

З

Задание {#task}

: Задание для выполнения в Толоке. Фрагмент веб-страницы, в котором могут быть размещены различные объекты: картинки, текст, поля ввода и т. д. Исполнитель читает инструкцию к заданию, выполняет его и вводит ответы. В конструкторе шаблонов вы можете создавать интерфейс таких заданий.

Заинтересованные исполнители {#interested-users}

: Число исполнителей, которые начали выполнять хотя бы одну страницу заданий.

Заработок (правило контроля качества) {#earnings}

: Ограничение заработка исполнителя в пуле в течение суток, чтобы получить ответы как можно большего числа исполнителей и обеспечить защиту от роботов.

И

Инструкция {#instructions}

: Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.

Интерфейс задания {#task-interface}

: Интерфейс задания определяет внешний вид задания для исполнителя и логику обработки ответов.

К

Капча {#captcha}

: Ограничение доступа к заданиям исполнителям, которые неправильно ввели капчу несколько раз подряд. Это помогает защититься от роботов.

Комиссия {#fee}

: За использование Толоки с заказчика взимается комиссия — процент от стоимости заданий.

Компонент {#component}

: Интерфейс задания составляется из готовых компонентов — JSON-объектов с заданной структурой. Компоненты делятся на категории в зависимости от назначения, например поля для ввода данных, условия или действия. Название компонента указывается в свойстве type в формате <категория>.<имя>.

Cписок компонентов

Контроль качества {#quality-control}

: Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее

Контрольное задание {#control-task}

: Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.

Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.

{% note tip %}

• Добавляйте не менее 1% контрольных заданий в пул.
• Составляйте контрольные задания таким образом, чтобы разные варианты правильных ответов встречались с одинаковой частотой. Подробнее

{% endnote %}

Помимо контрольных заданий, бывают основные и обучающие задания.

Конфигурация {#configuration}

: Описание вашего интерфейса в формате JSON. Так же называется панель в редакторе, где вы пишете этот код.

М

Мнение большинства (правило контроля качества) {#majority-vote}

: Способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.

Н

Навык {#skill}

: Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Навыки используются для отбора исполнителей в пуле. Подробнее

Неполная страница {#incomplete-task-suite}

: Последняя страница, на которую не хватило нужного количества основных заданий. Формируется, если невыполненных основных заданий осталось меньше минимума. При этом количество контрольных и обучающих заданий должно быть полным.

О

Обучающее задание {#training-task}

: Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. При этом в контроле качества и при расчете навыков учитывается только первый ответ на задание.

Обучающие задания можно использовать в бесплатных обучающих пулах, чтобы отбирать исполнителей, прошедших обучение.

Также их можно использовать в обычных пулах в качестве контрольных заданий с подсказками. Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.

Обучающий пул {#training-pool}

: Обучающий пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

Чтобы повысить качество результатов, вы можете добавить обучающий пул и отобрать только тех исполнителей, которые успешно прошли обучение. Подробнее

Основное задание {#general-task}

: Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.

Помимо этого бывают контрольные и обучающие задания.

Отложенная приемка {#assignment-review}

: Параметр настройки пула, который позволяет проверять ответы и при этом не платить за задания, которые исполнители сделали некачественно.

Отображаемый элемент (view) — конструктор шаблонов {#view}

: Категория компонентов для создания визуальных элементов интерфейса. Это могут быть, например, текст, список, аудио-плеер или картинка.

Список отображаемых элементов

П

Перекрытие {#overlap}

: Количество исполнителей, которые должны выполнить каждое задание пула.

Персонализированный прогноз качества {#personilized-quality-forecast}

: Персонализированный прогноз качества строится на основе большого объема накопленной информации о том, как исполнитель вел себя в системе, как другие исполнители справлялись с вашим заданием, и что из себя представляет само задание.

Песочница {#sandbox}

: Тестовая среда Толоки. В ней вы можете протестировать настройки проекта в качестве исполнителя, а затем перенести их в основную версию Толоки и запустить на реальных исполнителей. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.

Плагин (plugin) — конструктор шаблонов {#plugin}

: Категория компонентов для работы с дополнительными функциями. Например, plugin.hotkeys позволяет настроить горячие клавиши.

Список плагинов

Повторное выполнение заданий после блокировки исполнителя (правило контроля качества) {#recompletion}

: Правило, настройка которого позволит отправлять задания на повторное выполнение другим исполнителям, если:

• исполнитель заблокирован по одному из правил контроля качества (например, контрольные задания, мнение большинства);
• изменился навык исполнителя (например, у исполнителя уменьшилось значение навыка и он перестал соответствовать фильтру по навыку).

Повторно будут отправлены все задания, сделанные исполнителем в пуле. Будут выданы только задания заблокированных исполнителей, но не исполнителей, чей доступ временно приостановлен.

Поле для ввода данных (field) — конструктор шаблонов {#data-entry-field}

: Категория компонентов, создающих поля для ввода данных, например текстовые поля или выпадающие списки.

Список полей для ввода данных

Полевое задание {#field-task}

: Задание для выполнения в мобильном приложении. Чаще всего, оно содержит точку на карте, куда нужно прийти, проверить наличие чего-либо и сфотографировать.

Правило контроля качества {#quality-control-rule}

: Независимые правила, из которых состоит контроль качества. Блок контроля качества позволяет установить правила и настроить их.

Пресет проекта {#project-template}

: Пресет проекта содержит описание, инструкцию, преднастроенные поля входных и выходных данных и интерфейс задания, которые можно редактировать.

Проверка заданий {#checking-completed-tasks}

: Проверка полученных ответов заказчиком вручную. Заказчик принимает или отклоняет ответы. Отклоненные ответы не оплачиваются.

Проект {#project}

: Проект состоит из пулов с заданиями. Настройки проекта определяют интерфейс задания, входные и выходные данные.

Настройки для создания заданий:

• параметры объектов, которые отображаются на странице с заданием (например, картинки, текст и т. д.);
• параметры полей ввода;
• внешний вид заданий.

Пропуск заданий (правило контроля качества) {#skipping-tasks}

: Ограничение доступа к заданиям в пуле исполнителям, которые пропускают несколько страниц заданий подряд.

Пул {#pool}

: Страницы заданий, которые объединены общими свойствами (например, настройки отбора исполнителей, плата за страницу заданий) и отправляются на выполнение единовременно.

Р

Разметка заданий {#task-markup}

: Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Можно сделать обычное задание контрольным, добавив правильный ответ, или обучающим, указав правильный ответ и подсказку. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи «умного смешивания».

Подробнее про разметку заданий

Реабилитационный пул {#retry-pool}

: Реабилитационный пул поможет исполнителям, допустившим ошибки, улучшить навык и вернуться к выполнению задания.

С

Сертифицированные партнеры {#certified-partners}

: Компании, которые берут на себя запуск и ведение проекта и помогают обработать результат. Эти компании уже внедрили краудсорсинг в свои процессы — их разработки мы считаем одними из лучших.

Сохранение порядка заданий {#keep-task-order}

: Страницы с заданиями в пуле распределяются в том же порядке, в котором они были записаны в загрузочном файле. При этом задания внутри этих страниц произвольно перемешиваются.

Специалисты по краудсорсингу {#crowdsourcing-experts}

: Профессионалы, которые помогают создавать и настраивать проекты, размещать задания и многое другое. Они уже прошли тестирование, показали, что разбираются в краудсорсинге, и получили именной электронный сертификат. Об условиях сотрудничества можно узнать напрямую у специалистов.

Список языков для перевода {#target-languages}

: Используется, в разделе Перевод на другие языки, если исходного языка нет.

Порядок отображения:

• английский;
• русский;
• турецкий;
• французский;
• индонезийский;
• вьетнамский;
• узбекский;
• испанский;
• немецкий;
• итальянский;
• польский.

Срок проверки {#review-period}

: Количество дней на проверку задания.

Страница заданий {#task-suite}

: На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя. Страница может состоять из одного задания.

Т

Тренировка {#training}

: Основной пул, который состоит только из обучающих заданий и может иметь нулевую стоимость.

Используйте его, чтобы натренировать исполнителей перед выполнением реальных задач, если функциональность обучающего пула вам не подходит.

Тренировочный навык {#training-skill}

: Навык, который автоматически создается при добавлении первого обучающего пула в проект. Имя навыка — <название проекта> - training. Значение — процент правильных ответов в обучающем пуле. Навык присваивается исполнителю после прохождения обучающего пула.

: Тренировочный навык один на весь проект. Если вы создаете новые обучающие пулы, то в них будет использоваться тот же навык.

• Подробнее про навыки
• Подробнее про обучающие пулы

У

Умное смешивание {#smart-mixing}

: Умное смешивание случайным образом формирует страницы с заданиями так, чтобы задания не повторялись для каждого исполнителя.

Условие (condition) — конструктор шаблонов {#condition}

: Категория компонентов для проверки, соответствует ли выражение заданному условию. Нужны, например, для проверки, что поле с текстом заполнено.

Список условий

Ф

Файл с заданиями {#tsv}

: Для загрузки заданий используйте файлы в форматах TSV и XLSX.

• TSV (tab-separated values) — это текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.
• XLSX — формат файлов для работы с электронными таблицами, разработанный компанией Microsoft с целью заменить более старый тип файлов XLS.

Фильтры {#filters}

: Критерии отбора исполнителей. Например, чтобы отобрать только русскоязычных исполнителей или исполнителей с каким-то навыком.

Фильтры используются в настройках пула, на странице Пользователи и при отправке сообщений группе пользователей. Подробнее

Х

Хелпер (helper) — конструктор шаблонов {#helper}

: Категория компонентов для вспомогательных операций, например работы с массивами.

Список хелперов

Э

Экзамен {#exam}

: Пул контрольных заданий для отбора исполнителей. Назначайте исполнителям навыки в зависимости от правильности ответов и определяйте тех, кто справляется успешнее других.