{% include deprecate %}
Используйте правила контроля качества, чтобы получить более точные ответы на задания и ограничить доступ недобросовестным исполнителям. Правила настраиваются как для проекта в целом — на вкладке Контроль качества, так и для каждого пула по отдельности.
Если в вашем проекте присутствует много однотипных заданий, то вам понадобится защита от роботов и недобросовестных исполнителей.
Настройте правило Быстрые ответы, чтобы отсеять недобросовестных исполнителей, которые выполняют задания слишком быстро и небрежно. Вы пробовали выполнять задания и знаете, что на одно задание требуется не менее 15 секунд. Стоит отстранить того, кто выполнит три задания из десяти быстрее контрольного времени.
Другой способ «оптимизации», которым пользуются недобросовестные исполнители, — пропуск отдельных заданий. Пока они выбирают из потока то, что кажется им легким, другие честно выполняют все задания подряд. Оплата при этом остается одинаковой.
Настройте правило Пропуск заданий, чтобы ограничить доступ исполнителям, которые пропускают несколько страниц заданий подряд.
Настройте правило Капча, чтобы защититься от роботов. В Толоке ее показывают через каждые 10 страниц с заданиями. Если задания выполняются быстро и капча мешает, ее можно показывать через каждые 20 страниц — укажите в настройках пула низкую частоту показа капчи.
{% include captcha-warning %}
Лимиты полезны также, когда требуется как можно больше исполнителей. Например, для сбора статистики, проведения соцопроса или выбора логотипа. Другой случай — описания внешности для дейтинг-сервиса. Если тексты будет писать один человек, то они, скорее всего, получатся однообразными и скучными.
Вы можете ограничить количество заданий в пуле на каждого исполнителя или установить лимит на дневной заработок в проекте. За это отвечают правила Выполненные задания и Заработок.
Результаты добросовестных исполнителей тоже стоит проверять. В Толоке это можно делать автоматически.
В заданиях исполнители выбирают один из нескольких вариантов ответа. Качество в таких проектах проверяется с помощью правила Контрольные задания. Это вопросы, для которых вы указали правильный ответ.
Добавьте проверочные вопросы к основным заданиям. Желательно, чтобы их было не меньше 1%. Присвойте исполнителям навык в соответствии с количеством правильных ответов.
Тех, кто набрал критическое число ошибок, платформа отстранит от разметки благодаря фильтрам. Исполнителей с высоким навыком поощрите повышенной оплатой. Так у них появится стимул внимательнее относиться к заданиям.
Иногда у заказчиков нет возможности регулярно добавлять контрольные задания и следить за тем, чтобы они не устаревали.
В таком случае поможет правило Мнение большинства. Платформа выдаст одно и то же задание сразу нескольким исполнителям. Например, пятерым. Вариант ответа, который выберут трое или больше, она сочтет правильным.
Долю согласованных ответов используйте для присвоения навыков, настройки доступа и поощрения исполнителей.
Задания, в которых у исполнителя нет готовых вариантов ответа, проверяют сами заказчики или другие исполнители. Например, если требуется записать аудио, снять фото или сочинить текст. Некачественные ответы отклоняются.
Используйте правило Результаты проверки, чтобы регулировать доступ исполнителей к заданию. Платформа сама подсчитает, какой процент ответов принят, а какой отклонен у каждого из исполнителей. Те, кто часто ошибался, перестанут получать задания.
Правила контроля качества позволяют минимизировать последствия ошибок. В Толоке можно отправлять на повторное выполнение как отдельные отклоненные задания, так и все ответы исполнителя, который часто ошибался.
Например, с помощью Толоки вы улучшаете алгоритмы распознавания речи. Исполнители должны прослушать ряд коротких записей и перевести речь в текст.
В некоторых случаях исполнители неправильно расшифровывают записи. Настройте правило Обработка отклоненных и принятых заданий, чтобы автоматически отправлять задания на доработку другим исполнителям.
Если исполнитель часто ошибается, платформа ограничит ему доступ к разметке. Но ответы, которые он успел дать, останутся в базе и могут попасть в итоговый набор данных. Отправьте эти задания на обработку заново.
Здесь поможет правило Повторное выполнение заданий после блокировки исполнителя. Стоимость разметки может возрасти, зато уменьшится вероятность ошибок.
Если исполнитель заблокирован, то выполненные им задания будут отправлены другим исполнителям.
Правила контроля качества желательно комбинировать. Например, если задания предполагают выбор ответа из нескольких вариантов, то стоит использовать:
Проектам с генерацией контента — написанием текстов, съемкой фото — подойдет другое сочетание:
Каждый проект требует индивидуального подхода. Методы, эффективные в одном случае, могут оказаться бесполезными в другом. Но существуют и общие рекомендации:
-
Проанализируйте задачу и выберите подходящие правила контроля качества.
-
Напишите четкие инструкции. Если создаете контрольные задания — следите, чтобы не было устаревших, неоднозначных и с неправильными ответами.
-
Протестируйте проект в тестовой среде — в Песочнице. Запуск и выполнение заданий в ней помогут разобраться в правилах и подсчитать, сколько времени потребуется на одно задание.
-
Проведите первый настоящий запуск с небольшим количеством заданий. Проанализируйте результаты и при необходимости скорректируйте настройки.
-
Следите за разметкой и прислушивайтесь к отзывам исполнителей.
-
Обращайтесь в Cлужбу поддержки, если что-то не получается.
{% include contact-support %}
{% include image-styles %}