Пройти тест на асессора яндекс: Асессор тестировщик яндекс тест

Асессор-тестировщик Яндекс: как устроиться

Я являюсь действующим асессором Яндекса. На досуге погуглил пояндексил и вижу следующую ситуацию. В общем, смотрю, в последнее время многих интересуют вакантные позиции в Яндексе, а инфы по ним не много. Решил исправить ситуацию и описать основные позиции в вакансиях асессоров Яндекс.

Сегодня про тестировщиков.

Устраиваюсь асессором-тестировщиком Яндекс

Не так давно в тесте на обычного асессора Яндекс появились задания, связанные с тестированием. Решил попробовать себя. Смогу ли я снова пройти тест на асессора? Дал ответы на тест и.. вуаля! Через неделю мне пришло письмо о том, что я прошел тест в асессоры.

Но это все про асессоров поиска, об этом я уже достаточно написал. Однако на странице вакансий есть вакансия именно асессора-тестировщика, и тест там другой и ответы другие. Попробую сегодня пройти этот тест. И, естественно, рассказать все вам.

Я по профессии программист, с тестированием так или иначе дело имел, сложностей возникнуть не должно. Впрочем, научить тому, что делает средний тестировщик, можно способного школьника за неделю. В общем, просто попробую пройти тест, а там будет видно. Поехали.

Кто такие асессоры-тестировщики

Прежде, чем приступлю к прохождению теста, вкратце напомню, кто такие тестировщики Яндекс. А также, что делают асессоры-тестировщики и сколько получают асессоры-тестировщики в Яндексе.

В Яндексе есть отдельные вакансии по направлению тестирование. С ними мы разбираться не будем (во всяком случае сегодня), там нужен какой-никакой опыт тестирования. Для асессора же опыт не нужен, асессора-тестировщика обещают всему научить.

Асессор-тестировщик проводит тестирование продуктов Яндекс по готовым сценариям, а также создает свои сценарии, проводит исследовательское тестирование новых возможностей. Так написано на сайте Яндекса. Работа удаленная, график свободный. Платят сдельно. Лично мне один человечек жаловался, что платят ничтожно мало. Однако четкой инфы о зарплате асессора-тестировщика в открытом доступе найти не удалось.

Именно поэтому я и решил сам попробовать устроиться на эту позицию в Яндексе. Оставайтесь со мной и вместе узнаем, сколько же им платят.  Но для начала нужно устроиться, а это значит – пройти тест.

Как пройти тест асессора-тестировщика Яндекс

– 1,5 часа жизни. Вот я и прошел тест на асессора-тестировщика. Выкладывать готовые решения не стану. Это будет в некотором роде инсайд, а такое Яндекс не поощряет. Просто расскажу свои впечатления от прохождения теста.

Очень долго пришлось себя заставлять взяться за его прохождение – я не большой фанат тестирования. Но при первом беглом просмотре задания не показались особо сложными. Рекомендуемое время выполнения – 80 минут. Примерно столько я и потратил. Хотя, думаю, можно было выполнить его и быстрее. Сейчас на часах 4 утра, мозг требует сна и подтупливает.

Сами задания показались мне крайне простыми. Основное время съело ознакомление с инструкцией и документирование процесса. А, собственно, выполнение кейсов и написание комментариев к ним не заняло много времени. Если работа будет схожая, то ничего сложного. Хотя, пожалуй, немного нудно.

Но, как говорится, пока что яичко в гнезде. Что ж, посмотрим, насколько хорошо я справился со всеми кейсами. Отправил анкету с пройденным тестом в Яндекс, ждем ответа.

Оставайтесь со мной и узнаете, смогу ли я устроиться в Яндекс асессором-тестировщиком.

А вот и продолжение. Рассказываю, взяли меня все же или нет.

И итог: отзыв о работе асессором-тестировщиком в Яндексе.

Вакансия Тестировщик (асессор) в Санкт-Петербурге, работа в компании Яндекс

В некоторых проектах Яндексу помогают компании-партнеры. Мы стараемся участвовать в поиске подходящих исполнителей для таких проектов. На этот раз мы ищем асессоров для тестирования продуктов и сервисов. Кандидаты, успешно прошедшие отбор, будут участвовать в развитии продуктов Яндекса.

Вы подойдете, если хотите познакомиться с работой новых сервисов, научиться ручному тестированию и написанию тестовых сценариев. У вас будет возможность изучить различные устройства и операционные системы: как смартфоны и планшеты, так и десктопное оборудование. Мы ищем исполнителей, которые будут сотрудничать с нами на фрилансе и выполнять объем задач в рамках оказания услуг по договору ГПХ.

Что нужно делать:

• проводить тестирование продуктов по готовым сценариям;
• создавать понятные и подробные описания дефектов;
• писать инструкции, тестовые сценарии, чек-листы;
• автоматизировать тестовые сценарии.

Мы ждем, что вы:

• готовы работать не меньше 20 часов в неделю;
• имеете надежный и быстрый интернет, а также смартфон и компьютер;
• уверенно пользуетесь техникой и поисковыми системами;
• готовы учиться и развиваться;
• организованны и ответственны;
• спокойно относитесь к однотипным задачам;
• внимательны к деталям.

Будет плюсом, если:

• у вас есть любое дополнительное оборудование от старых смартфонов до игровых приставок (блютуз-гарнитура, старый смартфон с Android 2.3 или 4.4, ненужный iPhone с iOS, Apple Watch, Яндекс.Станции, Xbox и т. д.).

Условия:

• удаленное выполнение задач на дому;
• свободный график;
• договор гражданско-правового характера;
• сдельная оплата, которая зависит от количества и сложности задач;
• оплачиваемое обучение базовым знаниям и инструментам ручного тестирования;
• при успешном прохождении обучения и качественном выполнении задач — возможность углубить знания в создании тестовых сценариев и автоматизированном тестировании.

Вакансия Асессор-разработчик в Москве, работа в компании Яндекс, неполный рабочий день

Когда-нибудь спрашивали у Яндекса, почему не работает ваш код? Удивлялись, что верный ответ не всегда легко найти? Хотели бы, чтобы поиск Яндекса выдавал самые точные ответы по запросам программистов?

Если готовы улучшать поиск Яндекса в области программирования, ждём вас в команду асессоров. Нам нужны сотрудники, которые изучают и анализируют выдачу поиска Яндекса. Сейчас мы ищем асессоров с профильным образованием или опытом разработки.

Вы подойдёте, даже если учитесь или стажируетесь, но при условии, что у вас есть реальный опыт написания кода на любом промышленном языке программирования и реализованные проекты.

Что нужно делать:

— оценивать материалы в сети по запросам о программировании и computer science;

— консультироваться с коллегами в сложных случаях.

Мы ждем, что вы:

— свободно пишете или читаете код хотя бы на одном промышленном языке программирования;

— имеете опыт разработки: реализованный коммерческий или студенческий проект, где вы сами писали код и решали задачи;

— любите разбираться в новых для себя технических областях;

— готовы выполнять задания и на компьютере, и на смартфоне;

— ответственно и внимательно подходите к задачам.

Будет плюсом, если вы:

— участник сообщества по разработке, тематического форума или open source проекта;

— ведете блог на профильном ресурсе, например, Хабре;

— интересуетесь новинками и трендами IT-отрасли;

— не боитесь монотонных задач.

Условия:

— возможность улучшать мир вместе с нами, обеспечивать людям доступ к наиболее точной и полезной информации по запросам о программировании;

— интересные кейсы в сильной команде, с которой можно расти;

— частичная занятость: не менее пяти рабочих часов в неделю, больше — по желанию;

— свободный график и удаленная работа: выполняйте задачи где угодно и в удобное время;

— оплата, которая зависит от количества сделанных заданий;

— трудовой договор с Яндексом.

Доступно соискателям с инвалидностью

Новые вопросы и ответы на экзамен Яндекс.Метрика (2018)

Обновленные вопросы на экзамен Яндекс.Метрика от сентября 2018 года. Разбираем и готовимся к сдаче по новым темам.

НОВЫЕ ВОПРОСЫ И ОТВЕТЫ ПО ЭКЗАМЕНУ ЯНДЕКС.МЕТРИКА 2019 ЗДЕСЬ

Но перед тем, как рассказать о том, что же изменилось по сравнению с предыдущим тестом, хотел затронуть другой экзамен Яндекса — Директ. В ночь с 17 на 18 сентября 2018 года сотрудники компании предупредили всех о том, что они будут проводить обновления в работе системы. Как оказалось, это было связано с запуском нового экзамена, который называется «Специалист по Яндекс.Директ. Тест с прокторингом β».

Яндекс.Директ. Тест с прокторингом β

Что это за экзамен?

Тест доступен в личном кабинете или по ссылке: https://yandex.ru/adv/expert/direct

Яндекс о своем нововведении: https://yandex.ru/adv/news/v-novom-kachestve-testirovanie-po-direktu-s-proktoringom

К стандартному тесту по Яндекс.Директ прибавили и этот. Пока он находится в бете. Теперь для подтверждения знаний и выдачи сертификата будет идти запись с компа во время прохождения и записываться звук, чтобы никто в помещении вам не подсказывал, и вы не бегали по вкладкам в интернете в поисках ответа. Яндекс решил таким образом бороться с покупкой ответов и нечестными сдачами. Что-то много «посредственных» специалистов нынче развелось, не правда ли? =)

Не всем агентствам нужно иметь в штате сотрудников с пройденной сертификации Facebook, а вот с пройденной сертификацией Яндекса для выплаты квартальных премий и прочих вкусностей иметь в штате сотрудников с настоящими! добросовестными сертификатами обязательно.

Сам Яндекс про это пишет следующее:

• списать не получится. Перед тестом сдающий разрешает системе записывать видео рабочего стола и с веб-камеры. Заглядывать в шпаргалки, открывать другие вкладки или браузеры, отходить от компьютера или прерывать тестирование нельзя, иначе оно будет признано недействительным.
• подтвердите личность. Перед тестированием мы попросим вас сфотографировать лицо и документ, удостоверяющий личность. Он будет привязан к вашему логину в системе тестирования. В следующий раз пройти тест с прокторингом можно только под этим логином.
• вдвое больше шансов. Сертификаты для разных тестов, стандартного и с прокторингом, выдаются независимо друг от друга, и попытки прохождения тоже рассчитываются отдельно. Даже если до следующей возможности сдать стандартный тест ещё далеко, тест с прокторингом будет вам доступен.
• получите сертификат. Успешно сдав тест с прокторингом, вы получите специальный сертификат. Он подтвердит ваши знания и удостоверит, что именно вы прошли тестирование и честно сдали экзамен. Подробнее об условиях и собираемых данных читайте в Условиях использования сервиса.

Скорее всего со следующего года Яндекс такие условия сделает по всем своим продуктам, в том числе и по Метрике. Как теперь быть? Покупать, скачивать ответы, заучивать вопросы наизусть и проходить.

Первые видеозаписи, присланные Яндексу в результате прохождения, будут выглядеть так:

Те, кто впервые проходит Яндекс.Директ с прокторингом

Возвращаемся к экзамену Яндекс.Метрика.

Что изменилось в экзамене Яндекс.Метрика (обновление от августа 2018)?

Обновилось 50% вопросов, количество вопросов в темах, сами темы и время прохождения. Если в предыдущем варианте их было:

36 вопросов в течение 36 минут на 6 различных тем:

1. Доступы и перенос счетчика (3 вопроса)
2. Установка и настройка счетчика (7 вопросов)
3. Цели (6 вопросов)
4. Отчеты (12 вопросов)
5. Анализ поведения посетителей (5 вопросов)
6. Отчеты по Директу (3 вопроса)

Сейчас это 50 вопросов в течение 60 минут на 6 различных тем:

1. Теория: как Метрика обрабатывает данные (5 вопросов)
2. Настройка сбора аналитических данных (15 вопросов)
3. Работа с целями и сегментами (10 вопросов)
4. Анализ источника трафика (10 вопросов)
5. Анализ юзабилити сайта (5 вопросов)
6. Использование данных в рекламе и сквозная аналитика (5 вопросов)

Названия тем изменились, смысл остался прежним. Планка в прохождении не изменилась  — все те же не менее 80% по каждой из тем. То есть можно ошибиться 1 раз — в первой теме, 3 раза — во второй, 2 раза — в третьей и четвертой, по 1 разу — в пятой и шестой.

Вопросы стали интереснее, много на знание и построение отчетности (дается ссылка на demo аккаунт). Ребята из Яндекса добавили целую серию вопросов по e-commerce и dataLayer. Вопросы с подковырками на знание моделей атрибуции. Часть вопросов на определения из справки. Добавили побольше про Client ID, User ID и передачу параметров визитов.

Вопросы собирал долго, проходил экзамен раз 7-10. Даже начал замечать опечатки:

собИраться

И ошибки, например, вот такие:

Орфография специалистов ЯД. Такой вопрос не единственный в экзамене

Я частенько тоже пишу кое как, но компания такого уровня должна заботиться о репутации и тщательно следить за тем, что публикуется на всеобщее обозрение.

Сдать на все 100% ни разу не получилось. Но сертификацию прошел несколько раз. В среднем, количество баллов в каждой из попыток такое:

Результаты сертификации Яндекс.Метрика (сентябрь 2018)

Работа в Яндекс ᐈ Отзывы сотрудников о работодателе Яндекс

Низкая зарплата

Непрофильные задачи

Высокая нагрузка

Обесценивание работы

Очень высокий уровень стресса

Компания занимается развитием сервисов, а не производством программного продукта, поэтому высококвалифицированные разработчики компании нужны в очень ограниченном количестве. Гораздо больше нужны админы и девопсы. Отсюда следует, что большинство нанятых разработчиков попадают на неинтересные задачи по перекладыванию json из сокета в сокет и из базы в сокет, а также на них ложится большое количество непрофильных задач по созданию, развитию и поддержке сервисов 24/7, что приводит в том числе к неоплачиваемым дежурствам, когда разработчик должен быть 24 часа на связи и в шаговой доступности от своего рабочего ноутбука.

Кроме того, не всем нравятся непрофильные задачи по администрированию и аналитике, поэтому такие люди будут выполнять их без огонька, как это было со мной, за что будут получать низкие оценки на полугодовых ревью, низкую премию и низкий рост зарплаты, которая изначально ниже рынка.

Из-за особенностей системы performance review в компании никто (ни руководитель, ни степ, ни hr-партнер) не может гарантировать вам ни интересных задач, ни премии, ни хорошей оценки, ни роста грейда, ни даже того, что вас не уволят в очередное ревью.

Несмотря на громкие слова о легкости переходов внутри (ротация) вам также никто не гарантирует успешную ротацию, её в любой момент могут заблокировать и лишить вас обещанных интересных задач и это при согласии обоих руководителей — и принимающего и отпускающего. В результате вы вынуждены будете в панике искать себе новую команду под страхом увольнения, а на время поиска вас весьма вероятно отправят в отпуск за свой счёт. Также при ротации вы будете конкурировать за вакансию в новой команде с внешними соискателями, но при этом вам не поднимут зарплату, как это было бы при нормальном поиске работы, однако секции собеседований для перехода в другую команду вы будете проходить почти в таком же количестве как при устройстве в Яндекс, никаких поблажек за то, что вы уже работаете в компании вы не получите.

Велосипеды — они повсюду. А это значит что привычный паттерн поведения — столкнувшись с проблемой погуглить решение и найти ответ — здесь вас не спасет. Документации зачастую нет, что делать непонятно. Если код в едином репозитории еще можно посмотреть исходники, если сервис лежит в местном github/bitbucket — вы можете и не найти исходников или не иметь к ним доступа. Даже систему контроля версий теперь пилят свою, потому что у гита есть фатальный недостаток.

Устаревшие технологии — svn, python2, старые версии библиотек, старый линукс на проде (trusty, precise).

Большинство внутренних инфраструктурных сервисов представлены более чем одним конкурирующим продуктом, а отсюда следуют: постоянные бессмысленные изменения в инфраструктуре — вчера сервис разворачивали в одном облаке, сегодня надо срочно переезжать в другое, вчера графики мониторингов рисовались одним способом, сегодня надо переделывать на другой. Когда создаешь новый сервис никогда не угадаешь на чем его лучше делать, выбрал облако, а его стали закрывать нужно перевозить в другое, переделывать мониторинги, перенастраивать выкладку. Чтобы завести новый сервис нужно пройти три десятка шагов, каждый из которых будет требовать либо изучения очередного внутреннего велосипеда без документации либо создания тикета на смежников и долгого ожидания когда же они почешутся и сделают что от них требуется.

Оценки асессоров и технология Яндекс «Спектр»

Для того чтобы оценивать сайт глазами асессора, необходимо знать критерии оценки ресурса по шкале релевантности:

• «Vital» или «витальный» сайт — первоисточник или официальный ресурс. Его место в выдаче поисковой системы всегда первое. Не каждый запрос предполагает существование такого сайта, но иногда витальных ресурсов может быть два и более.
• «Useful» или «полезный» — сайт, предоставляющий авторитетный, исчерпывающий и полезный ответ на запрос. Также данную оценку заслуживают тематические ресурсы с большим количеством информации по данному вопросу и сайты филиалов искомой фирмы или факультетов интересующего вуза.
• «Relevant+» или «релевантный» — документ, отвечающий на запрос пользователя.
• «Relevant-» или «релевантный минус» — документ, имеющий отношение к запросу, но в полной мере не отвечающий потребности пользователя. Например, для запроса «новогодние игрушки цена» оценка «релевантный минус» будет присвоена тому сайту, на странице которого размещен текст с обсуждением цены, но указания самой стоимости нет. Другой пример: по запросу «карта Москвы» слабо релевантным будет считаться сайт с картами определенного района города или со слишком мелким масштабом.
• «Irrelevant» или «нерелевантный» — документ, не отвечающий запросу. 
• «Спам» — это сайты и страницы, продвигаемые методами черной оптимизации. На таких ресурсах помимо технического мусора или сгенерированного контента нельзя найти что-то полезное.
• «Не про то» — документ, содержащий слова запроса, но не отображающий его смысл. Такое может произойти из-за наличия омонимов, разрывов в словосочетании или других форм слова. Пример Яндекса: запрос «Лев Толстой». Ресурсам, информирующим о львах, людях с лишним весом или однофамильцах графа, будет присвоен статус «не про то».

Интерфейс для проверки сайтов имеет шкалу оценок, указанный запрос и возможность осмотреть сайт.

Выдержка из блога Яндекса: «Для нас важно, чтобы, перейдя на сайт из результатов поиска, посетитель ресурса быстро и удобно решил стоящую перед ним задачу. В качестве примера представим себе пользователя, задача которого — выбрать и приобрести товар или услугу. Что может повлиять на то, станет ли он клиентом интернет-магазина, на который перешел из результатов поиска? Захочет ли он воспользоваться данным ресурсом в будущем? Какими свойствами для этого должен обладать сайт? На все эти вопросы отвечает дополненная шкала оценки сайта».

Инструкция Google для асессоров аналогична инструкции Яндекса. Существует дополнительная шкала оценки по признаку георелевантности, а также подробное руководство по предпочтениям пользователей, что позволяет ограничивать субъективность оценки асессоров.

Если посмотреть на все перечисленное комплексно, то можно составить ряд рекомендаций, на которые нужно обращать внимание:

• Осмысленность. Информация на рассматриваемой странице должна соответствовать запросу, быть понятной и значимой.
• Авторизованность. Информация на рассматриваемой странице должна быть актуальной, уникальной и корректной.
• Авторитетность. Сайт / компания / информация должны быть авторитетными для посетителей и поисковых систем.
• Полнота. Информация должна быть полной, отвечать на все вопросы по запросу, а сайт должен содержать дополнительные данные, раскрывающие тематику.
• Структура. Информация должна быть структурирована, представлена в читабельном виде.
• Оформление. Информация должна соответствовать требованиям юзабилити, иметь сопутствующую графическую информацию.

Если следовать всем указанным рекомендациям, то можно легко добиться оценки «полезный сайт».

Нюансы

В работе асессоров есть свои нюансы.

1. Оценка связки «запрос/URL» 

Учитывая это, анализируйте свой сайт только по отношению к определенному запросу.

2. Оценка страницы в соответствии с указанным регионом

Следует указывать адрес фирмы и название города, чтобы любой асессор мог определить региональную принадлежность сайта.

3. Оценка многозначных запросов

Какой сайт будет полезен по запросу «Марс»: с информацией о планете, шоколадном батончике или боге войны? Для того чтобы разобраться в оценке многозначных запросов, используется специальная шкала:

• «Dominant»  Interpretation» или «Vital to Off-Topic» — самое употребляемое значение слова, бренд. Для запроса «Марс» это «транснациональная корпорация».  
•  «Common»  Interpretation» или «Useful to Off-Topic» — общепринятое понятие для заданного запроса. В случае с запросом «Марс» это «планета, бог войны».
• «Minor Interpretation» или «Relevant to Off-Topic» — менее известное определение слова. Для запроса «Марс» это «фильм, серия межпланетных станций, судно на воздушной подушке, подводная лодка».
• «“No chance” Interpretation» или «Off-Topic» — определение, которое известно малому количеству людей. Для запроса «Марс» это аббревиатуры (московская ассоциация революционных сатириков), топонимика — деревня Марс в Кушнаренковском районе Башкортостана, кличка кота или другого животного.

Роман Поборчий, руководитель службы оценки качества поиска Яндекс: «Хорошая выдача по запросу «пластиковые окна» должна включать коммерческие предложения от уважаемых фирм и информацию, помогающую пользователю понять, какого типа окна ему нужны. Много места в выдаче эта общая информация занимать не должна: если она хорошая, то одного сайта может быть достаточно. А если плохая, то лучше ее и вовсе не показывать».

Продвигать по нечетким запросам ввиду их высокой узнаваемости и популяр- ности можно только страницы, интерпретируемые как «Dominant» или «Common». 

4. Cубъективность

Иногда сложно выделить среди других сайт с наибольшей релевантностью: например, запросу «Шерлок Холмс» может подходить ресурс с информацией про книгу, старый фильм, новую экранизацию, с адресами кинотеатров, где можно ее увидеть, или с предложением купить диск. В спорных ситуациях для точной оценки проводятся дополнительные исследования поведения пользователей.

5. Психологические ограничения по длительной работе в штате удаленных сотрудников

Повседневная однотипная работа асессора, заключающаяся в просмотре 400 сайтов в день, может сказаться на качестве оценки релевантности ресурсов.

Технология Яндекса «Спектр»

Асессорская оценка по многозначным запросам позволяет классифицировать сайты определенным образом. Согласно результатам исследования Яндекса, более 20% пользователей вводили неоднозначные запросы (например, Марс), что потребовало внедрения нового алгоритма. В декабре 2010 года была запущена технология «Спектр», которая действует по принципу логики человека. Например, по запросу «ношпа» определяется категория «лекарства», а по запросу «Пушкин» — и категория «поэты», и категория «города». 

В многословном запросе категория определяется по основному объекту: например, в запросе «красная микроволновка» главным словом считается «микроволновка». В качестве объектов могут выступать имена людей, названия фильмов и книг, модели автомобилей и т.п. 

Основным инструментом создания банка знаний по категориям является обработка статистических данных. Информация из справочников, энциклопедий, в том числе Википедии, также помогает распознавать недавно появившиеся объекты и категории. 

На данный момент, согласно данным Яндекса, технология «Спектр» различает более 60 категорий, и их количество все время растет. Эти знания позволяют поисковой системе понимать разные значения запросов, а также потребности, связанные с каждой категорией. 

Выделяя группы и анализируя уточняющие вопросы по каждой категории, можно определить: пользователи чаще хотят увидеть в поисковой выдаче при вводе запроса «автомобили» отзывы о моделях, при вводе запроса «кухни» — фотографии их дизайна. Таким образом, отношение к категории определяют второстепенные объекты запроса, которые вместе с главными часто употребляются пользователями в поисковой строке. Например, запрос «товары» чаще дополняется словами «для детей», «для дома», «для сада». 

«Спектр» вычисляет пропорции ответов из каждой темы.

Популярность слов относительно друг друга влияет на ранжирование результатов поиска по многозначным запросам. Найденные сайты упорядочиваются таким образом, чтобы спектр ответов соответствовал спектру вопросов. Анализ запросов происходит полностью автоматически.

С помощью технологии «Спектр» Яндекс максимизирует вероятность подобрать подходящий ответ по введенному запросу. За счет сайтов, добавленных в поисковую выдачу по технологии «Спектр», сокращаются места для стандартных ресурсов. Соответственно, усилия, прикладываемые для достижения цели, и затраты, необходимые для попадания в ТОП, увеличиваются. В качестве совета можно предложить не подбирать для продвижения общие и неоднозначные по смыслу слова.

Вернуться назад: АсессорыЧитать далее: Классификация поисковых запросов

Краудсорсинг в тестировании

Регрессионное тестирование — очень важная часть работы над качеством продукта. А чем больше продуктов и чем быстрее они развиваются, тем больше усилий оно требует.

В Яндексе научились масштабировать задачи ручного тестирования для большинства продуктов с помощью асессоров — удаленных сотрудников, работающих по совместительству на сдельной основе, и теперь в тестировании продуктов Яндекса, помимо штатных тестировщиков, принимают участие сотни асессоров.

В этом посте рассказано:

• Как удалось сделать задачи ручного тестирования максимально формализованными и обучить им сотни удаленных сотрудников
• Как удалось поставить процесс на промышленные рельсы, обеспечить тестирование в различных окружениях, выдерживать SLA по скорости и качеству
• С какими трудностями столкнулись и как их решали (а некоторые еще не решили)
• Какой вклад внесло тестирование асессорами в развитие продуктов Яндекса, как оно сказалось на частоте релизов и количестве пропускаемых багов.

В основе текста — расшифровка доклада Ольги Мегорской с нашей майской конференции Heisenbug 2018 Piter:

Со дня доклада некоторые числа успели измениться, в таких случаях мы указали актуальные данные в скобках. Далее речь идёт от первого лица:

Сегодня мы поговорим про использование методик краудсорсинга для масштабирования задач ручного тестирования.

У меня довольно странное название должности: руководитель управления экспертных оценок. Попробую рассказать на примерах, чем я занимаюсь. В Яндексе у меня есть два основных вектора ответственности:

С одной стороны, это всё, что связано с краудсорсингом. Я отвечаю за нашу краудсорсинговую платформу Яндекс.Толока.

А с другой — команды, которые, если пытаться дать универсальное определение, можно отнести к «массовым неразработческим вакансиям». Туда входит много разного, и в том числе один из наших недавних проектов: ручное тестирование с помощью крауда, которое у нас называется «тестирование асессорами».

Моя основная деятельность в Яндексе заключается в том, что я свожу между собой левый и правый столбики с картинки и пытаюсь оптимизировать задачи и процессы в массовом производстве с помощью краудсорсинга. И сегодня мы поговорим как раз про это на примере задач тестирования.

Что такое краудсорсинг?

Начнём с того, что такое краудсорсинг. Можно сказать, что это замена экспертизы одного конкретного специалиста на так называемую «мудрость толпы» в тех случаях, когда экспертиза специалиста или очень дорога, или сложно масштабируется.

Краудсорсинг активно используется в самых разных областях далеко не первый год. Например, в NASA очень любят краудсорсинговые проекты. Там с помощью «толпы» исследуют и открывают новые объекты в галактике. Кажется, что это очень сложная задача, но с помощью краудсорсинга она сводится к достаточно простой. Есть специальный сайт, на который выкладывают сотни тысяч фотографий, сделанных космическими телескопами, и просят любых желающих поискать там определенные объекты. И когда много людей нашло подозрительно похожий на нужный им объект, дальше уже подключаются высокоуровневые специалисты и начинают это исследовать.

Если говорить в общем, то краудсорсинг — это такой метод, когда мы берём какую-то большую высокоуровневую задачу и делим её на много простых и однородных подзадач, на которые собираются множество независимых друг от друга исполнителей. Каждый из исполнителей может решить одну или несколько этих маленьких задачек, а все вместе они в итоге работают на одно большое общее дело и собирают большой результат для высокоуровневой задачи.

Краудсорсинг в Яндексе

Мы уже несколько лет как начали развивать нашу систему краудсорсинга. Изначально использовали её для задач, связанных с машинным обучением: для сбора обучающих данных, для настройки нейронных сетей, алгоритмов поиска и так далее.

Как устроена наша экосистема краудсорсинга? Во-первых, у нас есть Яндекс.Толока. Это открытая краудсорсинговая платформа, на которой любой желающий может зарегистрироваться или как заказчик (разместить свои задания, выставить за них цену и собирать данные), или как исполнитель (находить интересные задания, выполнять их и получать небольшое вознаграждение). Толоку мы запустили несколько лет назад. Сейчас у нас больше миллиона зарегистрированных исполнителей (мы называем их толокерами), и каждый день в системе около 17 000 человек выполняют задания.

Так как мы изначально создавали Толоку с прицелом на задачи, связанные с машинным обучением, то традиционно повелось, что большинство задач, которые выполняют толокеры, — это такие задачки, которые очень просто и тривиально сделать человеку, но пока ещё довольно сложно алгоритму. Например, посмотреть на фотографию и сказать, есть на ней взрослый контент или нет, или прослушать аудиозапись и расшифровать то, что вы услышали.

Толока — это очень мощный инструмент в плане производительности и количества данных, которые он помогает собирать, но довольно нетривиальный в использовании. Люди на картинке одеты в жёлтые балаклавы, потому что все исполнители в Толоке анонимны и неизвестны для заказчиков. И управлять этими тысячами анонимусов, делать так, чтобы они делали именно то, что вам нужно — совершенно не простая задача. Поэтому не все задачи, которые у нас есть, мы пока что умеем решать с помощью вот такого абсолютно «дикого» крауда. Хотя к этому и стремимся, позже об этом ещё скажу.

Поэтому для более высокоуровневых задач у нас есть следующий уровень исполнителей. Это люди, которых мы называем асессорами. Само слово «асессоры», может быть, немножко странное. Оно пошло от слова «assessment», то есть «оценка», потому что изначально асессоры использовались у нас для сбора субъективных оценок качества поисковой выдачи. Эти данные потом использовались как target для машинного обучения функции ранжирования поиска. С тех пор прошло много времени, асессоры стали выполнять много самых разных других задач, поэтому теперь это уже нарицательное слово: задачи изменились, но слово осталось.

По сути, наши асессоры — это штатные сотрудники Яндекса, но работающие part-time и полностью удалённо. Это ребята, которые работают на собственном оборудовании. Мы с ними взаимодействуем только удалённо: мы их удалённо отбираем, удалённо обучаем, удалённо с ними работаем и, при необходимости, удалённо увольняем. С большинством из них мы никогда в жизни очно не пересекаемся. Они работают по любому удобному для себя графику, днём или ночью: у них есть минимальные нормы, эквивалентные примерно 10-15 часам в неделю, и они могут отрабатывать это время так, как им удобно. Асессоры решают самые разные задачи: они связаны и с поиском, и с техподдержкой, и с какими-то низкоуровневыми переводами, и с тестированием, о котором мы будем дальше говорить.

Как правило, какое бы задание мы ни взяли, из группы выполняющих его асессоров всегда выделяются наиболее талантливые люди, у которых это получается лучше, которым именно эта задача более интересна. Мы их выделяем, наделяем громким званием суперасессоров, и эти ребята выполняют уже более высокоуровневые функции кураторов: проверяют качество работы других людей, консультируют их, поддерживают и так далее.

И только на самом верху нашей пирамиды у нас появляется первый full-time-сотрудник, который сидит в офисе и управляет этими процессами. Таких людей, которые уже куда более высокого уровня и имеют сильные технические и менеджерские скиллы, у нас гораздо меньше, буквально единицы. Такая система позволяет нам приходить к тому, что эти единицы «высокоуровневых» людей выстраивают пайплайны и управляют производственными цепочками, в которых дальше задействованы десятки, сотни и даже тысячи человек.

Сама по себе эта схема не нова, ещё Чингисхан её успешно применял. У неё есть несколько интересных свойств, которые мы стараемся использовать. Первое свойство довольно понятное — такая схема очень легко масштабируется. Если какую-то задачу нужно вдруг начать делать больше, то нам не нужно искать дополнительные площади в офисе, чтобы куда-то посадить человека. Нам вообще можно очень мало о чём думать: просто залить побольше денег, на эти деньги нанять побольше исполнителей, и из этих исполнителей наверняка вырастут более талантливые ребята в академических шапочках, и вся эта система будет масштабироваться и дальше.
Второе свойство (и это было удивительно для меня) — такая пирамида очень хорошо тиражируется вне зависимости от предметной области, в которой её применять. Это относится и к той области, о которой мы сегодня будем говорить, — задачам ручного тестирования.

Тестирование краудом

Когда мы запускали процесс тестирования с помощью крауда, самой большой проблемой было отсутствие позитивного референса. Не было никакого опыта, на который мы могли сослаться и сказать: «Ну вот эти ребята так сделали, они уже тестируют с помощью крауда в очень похожей на нас схеме, и там всё хорошо, значит, и у нас всё будет хорошо». Поэтому нам приходилось опираться только на свой личный опыт, который был отделён от предметной области тестирования и больше связан с настраиванием аналогичных производственных процессов, но в других областях.

Поэтому нам пришлось делать то, что мы умеем. Что мы умеем? По сути — декомпозировать одну задачу на задачи разных уровней сложности и раскидывать их по этажам нашей пирамиды. Посмотрим, что у нас получилось.

Во-первых, мы посмотрели на задачи, которыми заняты наши тестировщики в Яндексе, и попросили их условно раскидать эти задачи по разным уровням сложности. Это такое «среднее по больнице»:

Они оценили, что только 57% своего времени тратят на сложные высокоуровневые задачи, а где-то по 20% уходит на совсем низкоуровневую рутину, от которой все мечтают избавиться, и на задачи чуть посложнее, которые тоже вроде бы можно делегировать. Ободрённые этими цифрами, показывающими, что можно почти половину работы куда-то передать, мы приступили к построению тестирования с помощью крауда.

Какие цели мы перед собой ставили?

• Сделать так, чтобы тестирование перестало быть узким местом, которым оно периодически являлось в производственных процессах, когда релиз готов, но он ждёт, пока пройдёт тестирование.
• Разгрузить наших классных, очень умных, высокоуровневых специалистов — штатных тестировщиков — от рутины, заняв их действительно интересными и более высокоуровневыми задачами.
• Повысить разнообразие окружений, в которых мы тестируем продукты.
• Научиться обрабатывать пиковые нагрузки, потому что наши тестировщики говорили, что у них часто бывает неравномерная нагрузка. Даже если в среднем команда справляется с задачами, при возникновении какого-то пика его потом приходится очень долго разгребать.
• Так как мы в Яндексе всё равно в некоторых проектах тратили довольно заметные деньги на аутсорс-тестирование, мы подумали, что хотелось бы за те деньги, которые мы тратим, получать чуть больше результатов, оптимизировать наши траты на аутсорс.

Хочу подчеркнуть, что среди этих целей нет задачи заменить тестировщиков краудом, как-то их ущемить и так далее. Всё, что мы хотели сделать — помочь командам тестирования, избавив их от низкоуровневой рутинной нагрузки.

Давайте посмотрим, что у нас в итоге получилось. Я сразу скажу, что основные задачи по тестированию сейчас выполняются не самым нижним уровнем «пирамидки», толокерами, а асессорами, нашими штатными сотрудниками. Дальше речь пойдёт в основном про них, кроме самого конца.

Сейчас асессоры выполняют у нас задачи регрессионного тестирования и проходят всякие опросы вроде «посмотрите на это приложение и оставьте свой фидбэк». На полноценной задаче регресса у нас сейчас квалифицировано около 300 человек (прим.: с момента доклада стало 500). Но эта цифра условная, потому что система, которая у нас построена, работает на произвольное количество людей: столько, сколько нам нужно. Сейчас наши производственные нужды покрываются примерно таким количеством людей. Это не значит, что в каждый момент времени все они сидят наготове и готовы выполнять задание: поскольку асессоры работают в гибком графике, в каждый момент времени готовы подключиться где-то 100-150 человек. Но всего пул исполнителей примерно такой. А простые задания, вроде опросов, когда нужно просто собрать неформализованный фидбэк от пользователей, у нас проходит через гораздо большее количество людей: в таких опросах участвуют сотни и тысячи асессоров.

Так как это люди, которые работают на собственном оборудовании, у каждого асессора есть свои личные девайсы. Это, по дефолту, десктоп и какое-то мобильное устройство. Соответственно, мы тестируем наши продукты на личных устройствах асессоров. Но понятно, что у них есть не все возможные устройства, поэтому если нам нужно тестирование в каком-то редком окружении, мы используем удалённый доступ через ферму устройств.

Сейчас тестирование краудом используют уже как стандартный продакшн-процесс около 40 (прим.: теперь уже 60) сервисов и команд Яндекса: это и Почта, и Диск, и Браузер (мобильный и десктопный), и Карты, и Поиск, и много-много кто. Это любопытно. Когда мы осенью 2017-го ставили себе планы на конец третьего квартала, у нас была амбициозная цель: привлечь хоть как-нибудь, «хоть обманом, хоть подкупом», хотя бы пять команд, которые бы использовали наши процессы тестирования с помощью крауда. И мы очень сильно уговаривали всех, говорили: «Да вы не бойтесь, давайте, попробуйте!» Но спустя буквально несколько месяцев у нас оказались десятки команд.

И теперь мы решаем другую задачу: как успевать подключать всё новые и новые команды, которые хотят присоединиться к этим процессам. Так что можно считать, что сейчас это уже стандартная практика в Яндексе, которая летит очень хорошо.

Что у нас получилось с точки зрения производственных показателей? Сейчас мы делаем в день около 3 000 кейсов регрессионного тестирования (прим.: на октябрь 2018-го уже 7000 кейсов). Тестовые запуски в зависимости от величины проходят от нескольких часов до (в пике) 2 суток. Большая часть проходит за несколько часов, в пределах суток. Внедрение такой системы позволило нам снизить стоимость примерно на 30% по сравнению с тем периодом, когда мы использовали аутсорс. Это позволило командам релизиться намного чаще, в среднем где-то в несколько раз, потому что релизы стали проходить с той скоростью, которая доступна разработке, а не той, которая доступна тестированию, когда оно иногда становилось узким местом.

Теперь я постараюсь рассказать, как мы вообще выстроили производственный процесс, который позволил нам прийти к этой схеме.

Инфраструктура

Начнём с технической инфраструктуры. Те из вас, кто видел Толоку как платформу, представляют себе, как выглядит её интерфейс: можно прийти в систему, выбирать задания, которые вам интересны, и выполнять их. Для внутренних сотрудников у нас есть внутренний инстанс Толоки, в котором мы в том числе раздаём задания разного типа для наших aсессоров.

На картинке показано, как выглядит этот интерфейс. Тут можно видеть задания, доступные асессору: здесь есть несколько задач по тестированию и несколько задач другого типа, которые асессор из этого примера тоже умеет выполнять. И вот человек приходит, видит доступные ему в данный момент задания, нажимает «Приступить», получает тест-кейсы на разбор и начинает их выполнять.

Важная часть нашей инфраструктуры — это фермы. Не все устройства есть на руках, поэтому задание — это, по сути, пара: тест-кейс и окружение, в котором его нужно проверить. Когда человек нажимает на кнопку «Приступить», система проверяет, есть ли у него окружение, в котором нужно провести тест. Если есть, то человек просто берёт задание и тестирует его на личном девайсе. Если нет, то мы отправляем его через удалённый доступ к ферме.

На картинке показано, как это выглядит, на примере мобильной фермы. Так человек удалённо подключается к мобильному телефону, который лежит у нас в офисе на ферме. Для Android мы используем опенсорсные решения OpenSTF. Для iOS хороших решений нет — до такой степени, что мы уже сделали свое собственное (но об этом расскажем подробно как-нибудь в следующий раз), потому что не смогли найти ни опенсорс, ни то, что имело бы смысл покупать. Понятно, что ферма полезна в тех случаях, когда у нас нет людей, которые имеют нужные устройства. И ещё важный её плюс в том, что у фермы очень высокий коэффициент утилизации: когда бы и какой бы человек ни пришел, мы в любой момент можем направить его на ферму. Это лучше, чем раздавать устройства лично, потому что устройства, выданные на руки человеку, доступны для работы только тогда, когда этот человек готов работать.

Немного поговорили о том, как это реализовано для наших асессоров с технической точки зрения, а теперь самая интересная для меня часть: принципы того, как мы вообще организовывали это производство.

Принципы организации производства в крауде

Для меня в этом проекте было интересно, что вроде бы предметная область очень специфичная, но все принципы организации производства достаточно универсальны: те же самые, которые используются при организации массового производства в других предметных областях.

1. Формализация

Первый принцип (не самый важный, но один из самых важных, один из наших «китов, слонов и черепах») — это формализация задач. Я думаю, что все вы знаете это по себе. Почти любую задачу проще всего сделать самому. Чуть сложнее объяснить вашему коллеге, который сидит рядом с вами в комнате, чтобы он сделал именно то, что нужно. А задача сделать так, чтобы сотни исполнителей, которых вы никогда не видели, которые работают удалённо, в любое произвольное время, сделали именно то, что вы от них ожидаете, — это задача на несколько порядков более сложная и подразумевает довольно высокий порог вхождения в то, чтобы вообще начать этим заниматься. В контексте задач тестирования задание у нас, понятно, — это тест-кейс, который нужно пройти и обработать.

И каким же должны быть тест-кейсы для того, чтобы можно было их использовать в такой задаче, как тестирование краудом?

Во-первых — и оказалось, что это совсем не само собой разумеющийся факт — тест-кейсы вообще должны быть. Бывали такие случаи, когда к нам приходили команды, которые хотели подключиться к тестированию асессорами, мы говорили: «Отлично, приносите ваши тест-кейсы, мы будем их проходить!» В этот момент заказчик грустнел, уходил, даже не всегда возвращался. После нескольких таких обращений мы поняли, что, наверное, в этом месте нужна помощь. Потому что если тестировщик из команды какого-то сервиса сам регулярно тестирует свои сервисы, ему не особо нужны полные, хорошо описанные тест-кейсы. А если мы хотим эту задачу делегировать большому количеству исполнителей, то без этого просто не обойтись.

Но даже в тех случаях, когда тест-кейсы вообще были, почти всегда они были понятны только тем людям, которые очень глубоко погружены в сервис. А всем остальным людям, которые вне контекста, было очень тяжело понять, что здесь происходит и что нужно делать. Поэтому важно было переработать тест-кейсы так, чтобы они были понятны не погруженному в контекст человеку.

И последнее: если мы сводим задачу тестирования к строго формальному прохождению конкретных кейсов, очень важно следить за тем, чтобы эти кейсы постоянно актуализировались, обновлялись и пополнялись.

Приведу несколько примеров.

На картинке выше, например, показан хороший кейс из нашего родного сервиса Толока, в котором нужно проверить корректность работы профиля исполнителя. Здесь всё разбито по шагам. Есть каждый шаг, который нужно сделать. Есть ожидание, что должно произойти на каждом шаге. Такой кейс будет понятен кому угодно.

А вот пример не такого успешного кейса. Вообще непонятно, что происходит. Описание вроде есть, но на самом деле — что это, что вы от меня хотите? Такого рода кейсы — это сразу нет, очень плохо проходят.

Как же мы построили процесс формализации тест-кейсов, чтобы, во-первых, они вообще у нас были, постоянно появлялись и пополнялись, и, во-вторых, чтобы они были достаточно понятными для асессоров?

Путём проб и ошибок мы пришли к такой схеме:

Наш заказчик, то есть какой-то сервис или команда, приходит и в сколь угодно произвольной форме, удобной для него, описывает те тест-кейсы, которые ему нужны.

После этого приходит наш умничка-асессор, который смотрит на этот свободно сформулированный текст и переводит его уже в хорошо формализованные и расписанные на мелкие детали тест-кейсы. Почему важно, что это асессор? Потому что он сам был в шкуре тех людей, которые проходят тест-кейсы из совершенно разных областей, и понимает, насколько детализированным должен быть тест-кейс, чтобы коллеги его поняли.

После этого мы обкатываем кейс: выдаём асессорам задания и собираем фидбэк. Процесс организован так, что если человек не понял, что от него требуется в тест-кейсе, он его пропускает. Как правило, после первого раза есть достаточно большой процент пропусков. Всё равно, как бы хорошо мы на предыдущей стадии ни формализовали тест-кейсы, никогда невозможно угадать, что окажется непонятным людям. Поэтому первый прогон — это почти всегда тестовый вариант, самые важные его функции — это собрать фидбэк. После того как мы собрали фидбэк, получили комментарии от асессоров, узнали, что им было понятно, а что нет, мы ещё раз переписываем, дописываем тест-кейсы. И через несколько итераций получаем классные, очень чётко сформулированные тест-кейсы, которые понятны всем.

У такого наведения порядка есть интересный side effect. Во-первых, оказалось, что для очень многих команд это вообще killer feature. Все к нам приходят и говорят: «А что, вы правда можете написать за меня тест-кейсы?» Это самое главное, чем мы привлекаем наших заказчиков. Второй эффект, неожиданный для меня — порядок в тест-кейсах имеет и другие отложенные эффекты. Например, у нас есть технические писатели, которые пишут пользовательскую документацию, и писать на основе таких хорошо разобранных и понятных тест-кейсов им гораздо легче. Раньше им приходилось отвлекать сервис, чтобы выяснить, что нужно описать, а теперь можно использовать наши понятные и классные тест-кейсы.

Приведу пример.

Вот так выглядел тест-кейс до того, как он прошёл через нашу мясорубку: очень куцый, не заполнено поле description, сказано «ну вот смотрите на скриншот в приложении» и всё.

Вот как он стал выглядеть после того, как его переписали — добавили шаги и ожидания на каждом из шагов. Так уже намного лучше. С таким тест-кейсом гораздо приятнее работать.

2. Масштабируемое обучение

Следующая задача — моя любимая, самая, мне кажется, креативная в этом всём. Это задача масштабируемого обучения. Для того чтобы мы могли оперировать такими числами — «тут у нас 200 асессоров, тут 1 000, а тут вообще 17 000 толокеров каждый день работает» — важно уметь быстро и масштабируемо обучать людей.

Очень важно прийти к такой системе, когда на обучение произвольного количества людей вы тратите не больше времени, чем на обучение одного конкретного специалиста. Это, например, то, с чем мы сталкивались, когда работали с аутсорсом. Специалисты очень классные, но для того чтобы погрузить их в контекст работы, у сервиса уходило довольно много времени, а на выходе у нас всё равно получается один человек, который полгода погружается в контекст. И это такая очень не масштабируемая схема. Получается, что каждого следующего человека нужно ещё по полгода погружать в контекст задачи. И нужно было это узкое место расширить.

На любые массовые вакансии, не только в тестировании, мы набираем людей по нескольким каналам. Для тестирования мы делаем так. Во-первых, привлекаем людей, которые в принципе интересуются задачами тестирования, ребят где-то уровня junior-тестировщиков, для них это хороший старт, погружение в предметную область. Но таких людей всё равно на рынке ограниченное количество, а нам нужно, чтобы у нас не было никаких ограничений в найме людей, чтобы мы никогда не упирались в количество исполнителей.

Поэтому, помимо поиска тестировщиков специально на эти задачи, мы проводим набор из людей, которые просто откликнулись на общую позицию асессора. Мы пропагандируем примерно такой подход: каких бы людей вы ни взяли, если их много, то можно выстроить процесс так, чтобы из них отобрать наиболее способных и направить их на решение той задачи, которую вы преследуете. В контексте тестирования мы строим обучение так, чтобы можно было произвольных людей, которые даже ничего не знали о тестировании, обучить хотя бы минимальным азам, чтобы они начинали что-то понимать. Благодаря такому подходу мы никогда не упираемся в недостаток исполнителей и количество людей, которые у нас работают на этих задачах, всё сводится только к вопросу количества денег, которые мы готовы на это тратить.

Я не знаю, насколько часто вы соприкасаетесь с этой темой, но во всяких научно-популярных статьях, особенно про машинное обучение и нейронные сети, часто пишут, что обучение машины очень похоже на обучение человека. Мы показываем ребёнку 10 карточек с изображением мячика, и на 11-й раз он поймёт и скажет: «О! Это мячик!» Так же, по сути, работает и компьютерное зрение, и любые другие технологии машинного обучения.

Я хочу поговорить об обратной ситуации: обучение людей можно построить по такой же формальной схеме, как обучение машин. Что нам для этого нужно? Нам нужен training set — набор заранее размеченных примеров, на которых человек будет обучаться. Нужен контрольный набор, на котором мы сможем проверить, хорошо он обучился или нет. Как в машинном обучении, нужно проверочное множество, на котором мы понимаем, как наша функция вообще работает. И нужна формальная метрика, которая будет измерять качество выполняемой работы. Именно на таких принципах мы построили обучение задачам простейшего регрессионного тестирования.

На картинке показано, как это обучение у нас выглядит. Оно состоит из нескольких частей. Во-первых, есть теория, потом практика и потом идёт экзамен, на котором мы проверяем, понял человек суть задачи или не понял.

Начнём с теории. Понятно, что для любой задачи, которую выполняет асессор, у нас есть большая развесистая полноценная инструкция с большим количеством примеров, где всё очень подробно разобрано. Но её никто не читает.

Поэтому, чтобы проконтролировать, что теоретические знания реально осели у человека в голове, мы всегда даём доступ к инструкции, но после этого используем то, что мы условно называем «теоретическим тестом». Это такой тест, в который мы заранее загружаем важные для нас вопросы и правильные ответы. Вопросы могут быть самые дурацкие. Я думаю, что для вас это будут комичные примеры, но для людей, которые первый раз в жизни столкнулись с задачами тестирования, это всё совсем не очевидные вещи. Например: «Если я встретил несколько багов, мне нужно заводить несколько тикетов — по одному на каждый баг — или сваливать всё в одну кучу?» Или: «Что делать, если я хочу сделать скриншот, но скриншотилка у меня не работает?»

Это могут быть самые разные, сколь угодно низкоуровневые вопросы, и нам важно, чтобы человек проработал их самостоятельно на стадии изучения теории. Поэтому теоретический тест состоит из вопросов такого типа: «Я нашёл несколько багов, мне завести один тикет или несколько?» Если человек выбирает неправильный ответ, ему вываливается красная плашка, которая говорит: «Нет, подожди, правильный ответ здесь другой, обрати на это внимание». Даже если человек не прочитал инструкцию, мимо этого теста он пройти не может.

Следующий момент — это практика. Как сделать так, чтобы люди, которые вообще ничего не знали о тестировании и не откликались конкретно на вакансию тестировщика, поняли, что вообще дальше нужно делать? Здесь мы приходим к тому самому обучающему набору. Я думаю, что вы сразу найдёте большое количество багов, которые есть на этой картинке. Так выглядит обучающее задание для асессора: вот перед тобой скриншот, найди на нём все баги. Что здесь не так? Калькулятор торчит. Что ещё? Вёрстка поехала.

Или вот более сложный пример, «со звёздочкой». Открыт почтовый ящик основного получателя, я — тот, кому отправлено это письмо. Вот я вижу перед собой такую картину. В чём здесь баг? Самая большая проблема здесь в том, что показывается скрытая копия, и я как получатель письма вижу, кому оно стояло в скрытой копии.

Пройдя пару десятков таких примеров, даже человек, бесконечно далёкий от тестирования, уже начинает понимать, что это такое и что от него требуется дальше при прохождении тест-кейсов. Практическая часть — это набор примеров, баги в которых нам уже известны; мы просим человека их найти и в конце показываем ему: «Смотри, баг был здесь», — чтобы он соотносил свои догадки с нашими правильными ответами.

И последняя часть — это то, что мы называем экзаменом. У нас есть специальная тестовая сборка, баги которой нам уже известны, и мы просим человека её пройти. Здесь мы уже не показываем ему правильные и неправильные варианты ответа, а просто смотрим, что он смог найти.

Прелесть этой системы и её масштабируемость заключаются в том, что все эти процессы происходят абсолютно автономно, без участия менеджера. Мы запускаем сколько угодно людей: все желающие читают инструкцию, все желающие проходят теоретический тест, все желающие проходят практику — всё это происходит автоматически по нажатию ими кнопки, а нас вообще никак не касается.

Последнюю часть — экзамен — тоже проходят все, кто хочет, и тут, наконец, мы начинаем смотреть на них внимательно. Поскольку это тестовая сборка и мы заранее знаем все её баги, мы можем автоматически определить, какой процент багов был найден человеком. Если он совсем низкий, то мы дальше не смотрим, пишем автоматическую отбивку: «Спасибо большое за ваши старания!» — и не даём этому человеку доступ к боевым заданиям. Если же мы видим, что найдены почти все баги, то в этот момент уже подключается человек, который смотрит, насколько корректно оформлены тикеты, насколько всё сделано правильно по процедуре, с точки зрения наших инструкций.

Если мы видим, что человек самостоятельно освоил и теорию, и практику и хорошо сдал экзамен, то таких людей мы на выходе пускаем в наши продакшн-процессы. Эта схема хороша тем, что она не зависит от того, сколько людей мы через неё пропускаем. Если нам нужно больше людей, мы просто зальём больше людей на вход и больше получим на выходе.

Это классная система, но, естественно, было бы наивно полагать, что после этого можно уже иметь готового тестировщика. Даже у ребят, которые успешно прошли наше обучение, возникает много вопросов, с которыми им нужно оперативно помогать. И тут мы столкнулись с большим количеством неожиданных для нас проблем.

Люди задают очень много вопросов. Причём эти вопросы могут быть настолько странными, что вы никогда в жизни бы не подумали, что ответы на эти вопросы нужно добавить в инструкцию, описать в тесте или что-то подобное. Если подумать, это нормальная ситуация. Каждый из нас с вами, когда попадает в неизвестную для себя область, с небольшой вероятностью, но задаст какой-нибудь вопрос, который специалисту покажется глупым.

Здесь ситуация усугубляется тем, что у нас этих людей несколько сотен, и если даже у каждого задать конкретного вероятность задать глупый вопрос низкая, в сумме получается: «А-а-а! Боже! Что происходит? Нас заваливает!»

Иногда вопросы кажутся странными. Например, человек пишет: «Я не понимаю, что значит „тапнуть в Undo“». Ему говорят: «Друг! Это то же самое, что нажать кнопку „Отмена“». Он: «О! Спасибо! Теперь я всё понял».

Или другой человек говорит: «Вроде всё нормально, но что-то фоточка битая, я не могу понять, это ошибка или нет». Но через минуту сам понимает, куда он попал — в задачу тестирования; наверное, битая фоточка — это не очень нормально. Здесь он сам понял, и окей.

Или вот интересный пример, который реально надолго погрузил нас в пучину исследований. Человек приходит и говорит:

Все не понимают, что происходит, откуда у него такое — мы же так старались, описывали тест-кейсы — пока не выясняем, что у него стоит какое-то специальное расширение браузера, которое переводит с русского на английский, а потом с английского на русский, и в итоге получается какая-то ересь.

На самом деле таких вопросов много, исследование каждого из них занимает какое-то ненулевое время. И в какой-то момент наши заказчики — сервисы команды Яндекс, которые использовали тестирование асессорами — начали рвать на себе волосы и говорить: «Слушайте, мы бы потратили гораздо меньше времени, если бы тестировали всё это сами, чем сидеть в этих чатиках и отвечать на эти странные вопросы».

Поэтому мы пришли к системе двухуровневых чатов. Есть условная флудилка, где наши асессоры общаются со своими кураторами, этими «ребятами в шапочках» — здесь решается 90% вопросов. И только самые важные и сложные вопросы эскалируются в выделенный чат, в котором сидит команда сервиса. Это очень облегчило жизнь всех команд, все вздохнули спокойно.

Эти ужасы, о которых я рассказываю, — они не так страшны. Хорошая новость заключается в том, что все эти процессы очень быстро сходятся. Любой первый запуск всегда очень плох. На картинке выше видны 6 последовательных запусков одного и того же регресса.

Посмотрите, сколько времени тратили штатные сотрудники на то, чтобы отвечать на вопросы, в первый раз, когда асессоры вообще не понимали, о чём речь и чего от них хотят. Они находили мало багов, они заводили много тикетов вообще ни о чём. Поэтому первый раз — это ужас-ужас-ужас, второй раз — это ужас-ужас, а к третьему разу процентов 80 всех процессов сходятся. И дальше идёт классный отработанный процесс: и асессоры привыкают к новой задаче, и мы после каждого запуска собираем фидбэк, дополняем тест-кейсы, что-то разбираем. И получается классная фабрика, которая работает по нажатию кнопки и не требует никакого участия штатного специалиста.

3. Контроль качества

Очень важный пункт, без которого всё это работать не будет, — это контроль качества.

Асессоры у нас работают по сдельной оплате труда: все их задачи очень чётко регламентированы и квантифицированы, каждая единица работы имеет свой стандартный тариф, и они получают оплату за количество выполненных единиц. Точно так же работает и Толока, и вообще любой крауд. Эта система имеет много плюсов, она очень гибкая, но имеет и свои минусы. В системе со сдельной оплатой труда любой исполнитель будет стараться оптимизировать свой труд — как можно меньше времени и усилий тратить на задачу, чтобы получить гораздо больше денег в единицу времени. Поэтому любая такая система, построенная на краудсорсинге, гарантированно будет работать с минимальным качеством, которое вы ей позволите. Если вы никак не будете контролировать качество, то оно упадёт так низко, как только может упасть.

Хорошая новость заключается в том, что с этим можно бороться, этим можно управлять. Если мы умеем количественно оценить качество работы, то дальше задача сводится к довольно простой. Это в теории. На практике она совсем не такая простая, особенно в задачах тестирования. Потому что тестирование, в отличие от многих других массовых задач, которые мы решали с помощью асессоров, имеет дело с редкими событиями, и там довольно плохо работают всякие статистики. Очень сложно понять, как часто человек реально находит баги, если багов в принципе очень мало. Поэтому нам приходится извращаться и использовать сразу несколько методов контроля качества, которые совокупно будут давать нам определённую картину того, с каким качеством работает исполнитель.

Первое — это проверка в перекрытии. «Перекрытие» означает, что каждое задание мы выдаём нескольким людям. У нас это получается естественным образом, потому что каждый тест-кейс нужно проверить в нескольких окружениях. Таким образом, получается, что один и тот же тест-кейс проверили в окружениях A, B и C. У нас есть три результата от троих людей — прохождение одного и того же тест-кейса. Дальше мы смотрим, разошлись ли результаты.

Иногда бывает так, что в одном окружении баг нашёлся, в двух других — не нашёлся. Может быть, действительно так и есть, а может быть, чья-то ошибка: либо один человек нашёл лишний баг, либо те двое схалтурили и чего-то не нашли. В любом случае это подозрительный кейс. Если мы с таким сталкиваемся, то отправляем на дополнительную перепроверку для того, чтобы убедиться и проверить, кто же был прав, а кто виноват. Такая схема позволяет нам отлавливать людей, которые, например, заводили лишние тикеты там, где они были не нужны, или пропускали там, где были нужны. Заодно мы смотрим, насколько корректно был заведен тикет, всё ли по процедуре: добавлены ли скриншоты, если нужно, добавлено ли понятное описание и так далее.

Кроме этого — и особенно это касается как раз правильности оформления тикетов — приятно и удобно автоматически контролировать какие-то вещи, которые, с одной стороны, кажутся мелочами, но, с другой стороны, довольно сильно влияют на рабочий процесс. Поэтому мы автоматически проверяем, есть ли к тикету приложение, добавлены ли скриншоты, есть ли в тикете комментарии или он был просто закрыт не глядя, сколько времени было потрачено на него, для того чтобы выявлять подозрительные кейсы. Здесь можно придумывать много разных эвристик и применять их. Процесс практически бесконечный.

Проверка в перекрытии — хорошая вещь, но она даёт несколько смещённую оценку, потому что мы проверяем только спорные кейсы. Иногда хочется сделать честную выборочную проверку. Для этого мы используем контрольные запуски. На этапе обучения у нас были специально собранные тестовые сборки, в которых мы заранее знаем, где есть баги, а где нет. Аналогичные запуски мы используем для контроля качества и проверяем, сколько багов человек нашёл, а сколько пропустил. Это классный способ, он даёт максимально полную картину мира. Но он довольно дорогой в использовании: пока мы ещё соберём новую тестовую сборку… Мы используем этот подход довольно редко, раз в несколько месяцев.

Последний важный момент: даже если мы всё уже сделали, обязательно нужно проанализировать, почему баги были пропущены. Мы проверяем, можно ли было найти этот баг по шагам тест-кейса. Если можно было, а человек пропустил, то, значит, человек — лопух, и нужно на него оказать какое-то воздействие. А если этого кейса не было, то нужно как-то дополнять, актуализировать тест-кейсы.

Все метрики качества мы в итоге сводим в единый рейтинг асессоров, который влияет на их карьеру и судьбу в нашей системе. Чем выше рейтинг у человека, тем больше он получает более сложных заданий и претендует на премии. Чем ниже рейтинг асессора, тем больше вероятность быть уволенным. Когда человек стабильно работает с низким рейтингом, мы в итоге расстаёмся с ним.

4. Делегирование

Самый последний из столпов нашей пирамидальной масштабируемой схемы, о котором хочется поговорить, — это задачи делегирования.

Я напомню ещё раз, как у нас выглядит пирамидка для задач ручного тестирования. У нас есть «высокоуровневые» люди — это штатные тестировщики, представители команды сервиса, которые составляют программы обучения под нужный им для тестирования сервис, формируют стратегию, что нужно тестировать, пишут первичные тест-кейсы в свободной форме.

Дальше у нас есть самые талантливые асессоры, которые переводят тест-кейсы из свободной формы в формализованные, помогают другим асессорам, поддерживают их в чатиках и осуществляют перепроверку и выборочный контроль качества.
Дальше есть облако наших многочисленных исполнителей, которые выполняют регресс по шагам.

Дальше у нас есть Толока, про которую мы не забыли. Сейчас мы на стадии экспериментов: мы понимаем, что простейшие кейсы можно отдавать в тестирование в обезличенный крауд в Толоку. Это будет намного дешевле и быстрее, потому что там исполнителей ещё больше. Но пока мы в процессе выстраивания этой системы. Сейчас отдаём только самое-самое простое, но я надеюсь, что через несколько месяцев придём к тому, что будем делегировать туда больше.

Очень важно следить за правильным развитием этой пирамиды. Во-первых (такие вопросы мне часто задают, поэтому я хочу ответить на них превентивно), краудсорсинг — это не отказ от труда высокоуровневых специалистов в пользу крауда, а инструмент масштабирования. Мы не можем отказаться от верха этой пирамиды, от нашей «головы», мы только можем с помощью краудсорсинга добавлять больше рабочих рук в эту систему, таким образом реально очень легко, практически бесплатно масштабируя её.

Во-вторых — это не rocket science, но про это нужно постоянно помнить: вся эта история функционирует хорошо и правильно, если на каждом её уровне решаются максимально сложные для этого уровня задачи. Грубо говоря, если одно и то же можно делать на нескольких уровнях пирамиды, это обязательно нужно делать на самом нижнем её уровне. Это не статичная история, а динамичная. Мы начинаем с того, что какие-то задачи могут делать только «высокоуровневые» люди, постепенно отрабатываем процесс и спускаем эти задачи ниже, масштабируя и удешевляя весь процесс.

И я довольно часто слышу такое замечание: «Зачем вообще городить этот огород, лучше просто всё автоматизировать и тратить силы на это». Но краудсорсинг — это не замена автоматизации, это параллельная вещь. Мы это делаем не вместо автоматизации, а в дополнение к ней. Такая система как раз позволяет нам освободить рабочие руки, которые могли бы заниматься автоматизацией, с одной стороны, и, с другой стороны, достаточно хорошо формализовать процесс, который потом будет гораздо легче автоматизировать.

Напоследок я ещё раз напомню, как выглядит вся наша история. Мы начинаем с того, что получаем тест-кейсы в свободной форме. Прогоняем их несколько раз через асессоров, собираем фидбэк, уточняем их. После этого получаем классные, уже вылизанные тест-кейсы. Параллельно с этим мы набираем много-много людей, проводим их через систему автоматического обучения и на выходе получаем только тех, кто самостоятельно смог справиться со всеми этапами и понял, что мы от него хотели. Получаем обученный крауд. Он у нас работает по формализованным тест-кейсам, а мы контролируем его качество: постоянно перепроверяем, анализируем кейсы с пропущенными багами для того, чтобы улучшать наши процессы.

И вот такая система у нас работает, летит. Я не знаю, будет ли мой рассказ прямо сейчас полезен кому-то с практической точки зрения, но надеюсь, что он позволит немножко шире мыслить и допускать, что какие-то задачи можно решать и таким образом. Потому что — и мы с этим сталкиваемся очень часто — кто-то из вас уже мог поймать себя на мысли: «Ну, может быть, это где-то и работает, но точно не у меня. У меня такие сложные задачи, что это вообще не про меня». Но наш опыт говорит о том, что практически любые задачи из практически любых предметных областей, если их грамотно декомпозировать, формализовать и выстроить в четкий процесс, можно хотя бы частично масштабировать с помощью крауда.

Если этот доклад с Heisenbug 2018 Piter вам понравился, обратите внимание: 6-7 декабря пройдёт московский Heisenbug, там тоже будет много интересного, и на сайте конференции уже можно увидеть описания многих докладов.

Автор: phillennium

Источник

FAQ — Сертификация

1. Кто может пройти тест?
2. Какой проходной балл?
3. Сколько раз я могу пройти тест?
4. Срок действия моего сертификата скоро истечет. Что я должен делать?
5. Где я могу увидеть все полученные мною сертификаты?
6. Как я могу получить бумажную копию сертификата?
7. Как я могу получить электронную версию сертификата?

1. Кто может пройти тест?

Тест открыт для всех, у кого есть Яндекс.Паспортный аккаунт, но предполагает определенный опыт работы с сервисами Яндекса.

2. Какой проходной балл?

Если вы ответите правильно на 40 и более вопросов, попытка будет считаться успешной, и вы получите сертификат, выданный на имя и фамилию из вашего аккаунта Яндекс.Паспорта.

3. Сколько раз я могу пройти тест?

Нет ограничений на количество раз, когда вы проходите тест. Если у вас не получилось с первого раза, вы можете попробовать еще раз через неделю.Если вы не пройдете вторую попытку, вам придется подождать три месяца, чтобы воспользоваться следующим шансом. Дальнейшие попытки будут осуществлены после трехмесячного периода ожидания.

4. Срок действия моего сертификата скоро истечет. Что я должен делать?

Ваша первая возможность пройти тест будет доступна за месяц до истечения срока его действия. Если у вас не получилось с первого раза, вы сможете повторить попытку через неделю. После двух неудачных тестов интервал между попытками увеличится до трех месяцев.

5. Где я могу увидеть все полученные мною сертификаты?

Вы можете найти все свои сертификаты на странице «Мои сертификаты». Там вы также можете найти специальную общедоступную ссылку, по которой вы можете показывать свои сертификаты другим людям.

6. Как получить бумажную копию сертификата?

Мы выдаем только электронные сертификаты. Чтобы проверить подлинность сертификата, просто перейдите на страницу аутентификации сертификата и введите фамилию и номер сертификата держателя.

7. Как я могу получить электронную версию сертификата?

Вы можете загрузить свои сертификаты со страницы «Мои сертификаты».

Безопасность | Стеклянная дверь

Мы получаем подозрительную активность от вас или кого-то, кто пользуется вашей интернет-сетью.
Подождите, пока мы подтвердим, что вы настоящий человек. Ваш контент появится в ближайшее время.
Если вы продолжаете видеть это сообщение, напишите нам
чтобы сообщить нам, что у вас возникли проблемы.

Nous aider à garder Glassdoor sécurisée

Nous avons reçu des activités suspectes venant de quelqu’un utilisant votre réseau internet.Подвеска Veuillez Patient que nous vérifions que vous êtes une vraie personne. Вотре содержание
apparaîtra bientôt. Si vous continuez à voir ce message, veuillez envoyer un
электронная почта à
pour nous informer du désagrément.

Unterstützen Sie uns beim Schutz von Glassdoor

Wir haben einige verdächtige Aktivitäten von Ihnen oder von jemandem, der in ihrem
Интернет-Netzwerk angemeldet ist, festgestellt. Bitte warten Sie, während wir
überprüfen, ob Sie ein Mensch und kein Bot sind.Ihr Inhalt wird в Kürze angezeigt.
Wenn Sie weiterhin diese Meldung erhalten, informieren Sie uns darüber bitte по электронной почте:
.

We hebben verdachte activiteiten waargenomen op Glassdoor van iemand of iemand die uw internet netwerk deelt.
Een momentje geduld totdat, мы узнали, что u daadwerkelijk een persoon bent. Uw bijdrage zal spoedig te zien zijn.
Als u deze melding blijft zien, электронная почта:
om ons te laten weten dat uw проблема zich nog steeds voordoet.

Hemos estado detectando actividad sospechosa tuya o de alguien con quien compare tu red de Internet. Эспера
mientras verificamos que eres una persona real. Tu contenido se mostrará en breve. Si Continúas recibiendo
este mensaje, envía un correo electrónico
a para informarnos de
que tienes problemas.

Hemos estado percibiendo actividad sospechosa de ti o de alguien con quien compare tu red de Internet. Эспера
mientras verificamos que eres una persona real.Tu contenido se mostrará en breve. Si Continúas recibiendo este
mensaje, envía un correo electrónico a
para hacernos saber que
estás teniendo problemas.

Temos Recebido algumas atividades suspeitas de voiceê ou de alguém que esteja usando a mesma rede. Aguarde enquanto
confirmamos que Você é Uma Pessoa de Verdade. Сеу контексто апаресера эм бреве. Caso продолжить Recebendo esta
mensagem, envie um email para
пункт нет
informar sobre o проблема.

Abbiamo notato alcune attività sospette da parte tua o di una persona che condivide la tua rete Internet.Attendi mentre verifichiamo Che sei una persona reale. Il tuo contenuto verrà visualizzato a breve. Secontini
visualizzare questo messaggio, invia un’e-mail all’indirizzo
per informarci del
проблема.

Пожалуйста, включите куки и перезагрузите страницу.

Это автоматический процесс. Ваш браузер в ближайшее время перенаправит вас на запрошенный контент.

Подождите до 5 секунд…

Перенаправление…

Заводское обозначение: CF-102 / 6a07ee4dd82135a7.

Помощник асессора | Возможности государственной службы округа Эри

УВЕДОМЛЕНИЕ ДЛЯ КАНДИДАТОВ, КОТОРЫЕ ТАКЖЕ СДАЮТ ЕЩЕ ОДИН ЭКЗАМЕН ПО ГРАЖДАНСКОЙ СЛУЖБЕ (см. Ниже)
(ЕСЛИ ВЫ СДАЕТЕ 2 ИЛИ БОЛЕЕ ЭКЗАМЕНА ОКРУГА ЭРИ В ЭТОЙ ДЕНЬ, ЗВОНИТЬ НЕ ОБЯЗАТЕЛЬНО)
ИНФОРМАЦИЯ ДЛЯ КАНДИДАТОВ

ФОРМЫ ЗАЯВЛЕНИЯ: Вы можете получить эти формы лично в отделе кадров округа Эри, офисное здание округа Рат, 95 Franklin St., Буффало. Бланки также доступны в библиотеках и в административных офисах города, деревни и школьного округа.

Отправьте заполненную форму заявки по почте в Департамент кадров округа Эри, 95 Franklin St., Buffalo, NY 14202.

Кандидаты, подавшие неполные заявки и документацию, могут быть дисквалифицированы. Департамент кадров округа Эри оставляет за собой право отклонить заявки в связи с опозданием или принять заявки, поданные после указанного периода подачи.

ВОЕННЫЙ СТАТУС: Военнослужащие, находящиеся на действительной военной службе, могут подать заявку на этот экзамен. Специальный военный экзамен будет проводиться для любого военнослужащего Соединенных Штатов, который должным образом подал своевременное заявление, но был лишен возможности участвовать в запланированном экзамене из-за действительной военной службы. К этим запросам применяются особые условия, которые могут быть рассмотрены в Департаменте кадров округа Эри.

ВЕТЕРАНЫ: Ветераны-инвалиды и ветераны, не являющиеся инвалидами, как определено в Разделе 85 Закона о государственной службе штата Нью-Йорк, будут иметь 10 и 5 баллов, соответственно, прибавляемых к их заработанным баллам в случае успешной сдачи ОТКРЫТОГО экзамена.Вы должны потребовать эти кредиты при подаче заявления, но у вас есть возможность отказаться от них в любое время до встречи. Если вы уже использовали эти кредиты для получения постоянной должности в штате Нью-Йорк, вы не можете требовать их снова.

В соответствии с разделом 85-а Закона о государственной службе, ДЕТИ ПОЖАРНЫХ И ПОЛИЦЕЙСКИХ, УБИТЫХ ПРИ ДЕЙСТВИИ ДОЛЖНОСТИ, имеют право получить дополнительные десять баллов на конкурсных экзаменах для первоначального назначения в том же муниципалитете, в котором он или служил ее родитель.Если вы имеете право участвовать в этом экзамене и являетесь ребенком пожарного или полицейского, убитого при исполнении служебных обязанностей в этом муниципалитете, сообщите об этом в этот офис при подаче заявления на рассмотрение. У кандидата, претендующего на такой кредит, есть минимум два месяца с момента окончания срока подачи заявки, чтобы предоставить необходимую документацию для подтверждения права на дополнительный кредит. Однако кредит не может быть добавлен после составления списка допустимых.

ОСОБЫЕ МЕРОПРИЯТИЯ: Кандидаты, религиозные убеждения которых не позволяют им сдавать экзамены до захода солнца в субботу, и кандидаты с физическими недостатками, которым требуются специальные экзаменационные помещения, должны сообщить об этом в Департамент кадров округа Эри, отправив отдельное письмо по почте как можно раньше перед экзаменом.

БОЛЕЕ ОДНОГО ЭКЗАМЕНА В ОДИН ДЕНЬ: Если вы подали заявку на более чем один экзамен в один и тот же день, вы ДОЛЖНЫ принять меры для сдачи ВСЕХ экзаменов в ОДНОМ экзаменационном центре. Если вы подали заявку на экзамены ГОСУДАРСТВЕННОГО и МЕСТНОГО правительства, которые проводятся в один и тот же день, вы должны сдать все экзамены в экзаменационном центре ГОСУДАРСТВА. Если вы подали заявку на сдачу государственных экзаменов COUNTY и CITY в один и тот же день, вы должны сдать все экзамены в экзаменационном центре COUNTY.Вы обязаны уведомить КАЖДОЕ агентство государственной службы не позднее, чем за ДВЕ НЕДЕЛИ до даты экзамена, на которую вы сдаете несколько экзаменов, заполнив форму Cross-Filer; У КАЖДОГО агентства государственной службы есть своя собственная кросс-файловая форма. Бланк Cross-Filer округа Эри можно найти по адресу http://www2.erie.gov/employment/sites/www2.erie.gov.employment/files/uploads/EC%20Personnel%20Form_Exams%20Cross-Filer%202015.pdf . Если вы сдаете несколько экзаменов в один день только в округе Эри, вам не нужно заполнять форму Cross-Filer.

Кандидатам, сдающим более одного экзамена в РАЗНЫХ сериях экзаменов, будет предоставлена ​​определенная продолжительность каждого экзамена, максимум до восьми часов. Пример: если вы сдаете один экзамен, дающий шесть часов, и другой экзамен из другой серии, дающей четыре часа, вы должны пройти оба теста за восемь часов, но на каждый экзамен нельзя тратить больше времени, чем отведено для этого экзамена. . Кандидатам, сдающим более одного экзамена из ОДНОЙ серии экзаменов, будет разрешено до указанного периода времени для каждого экзамена.Пример: если вы сдаете два экзамена из одной серии с максимальным временем для каждого экзамена пять часов, вы можете потратить не более пяти часов на выполнение обоих экзаменов.

ДОПУСК НА ЭКЗАМЕН: Уведомление о прохождении теста будет условным, поскольку рассмотрение заявки на соответствие минимальным требованиям может быть проведено только после письменного теста. Позвоните или напишите в этот отдел, если вы не получили уведомление за 3 дня до даты проведения теста. Вы не можете быть допущены в экзаменационный кабинет без официального уведомления.

ТРЕБУЕМЫЕ РЕЙТИНГИ: Тесты оцениваются по шкале от 100 с проходным баллом 70. Если в объявлении не указано иное, вы должны пройти письменный и устный тест, если таковой имеется. Инструкции по тестированию могут дополнительно разделить тесты на части и установить минимальные стандарты для каждой части.

ОБУЧЕНИЕ И ОПЫТ: Если предмет экзамена, подготовка и опыт не могут быть оценены, если ожидается, что все успешно сдавшие экзамены кандидаты будут немедленно доступны для назначения. В случае оценки обучение и опыт будут основаны на утверждениях в вашем заявлении, подлежащих проверке.Если этот экзамен включает квалификационный письменный тест, кандидаты, допущенные к тесту, будут иметь только условное одобрение. Окончательное решение относительно квалификации кандидатов принимает Департамент государственной службы штата Нью-Йорк.

МЕДИЦИНСКОЕ ОБСЛЕДОВАНИЕ: Вам может потребоваться пройти медицинское обследование, чтобы определить, способны ли вы с медицинской и физической точки зрения выполнять свои должностные обязанности. В соответствии с законом штата, Указом губернатора 6 и разделом 504 Федерального закона о реабилитации 1973 года с поправками, округ Эри не дискриминирует лиц с ограниченными физическими возможностями при приеме на работу, во время работы или в любых своих программах и мероприятиях. .

ПРОВЕРКА КВАЛИФИКАЦИИ: Кандидаты могут быть допрошены или вызваны на собеседование для проверки информации, содержащейся в заявке. Подтверждаемый опыт неполной занятости и / или волонтерства может быть пропорционально оценен в соответствии с требованиями к опыту полной занятости.

ДОПУСТИМЫЙ СПИСОК: Допустимый список, полученный в результате экзамена, также может быть использован для назначения на то же звание или на любое другое звание, которое считается аналогичным и подходящим. Списки, соответствующие критериям, активны в течение минимум одного года и максимум четырех лет с установленной даты.

ФОНОВЫЕ ИССЛЕДОВАНИЯ (* включая психологическую оценку, если этого требует должность): Кандидаты могут быть подвергнуты тщательному изучению биографии или психологической оценке, когда это необходимо для определения права на назначение. Кандидатам может потребоваться разрешить доступ к проверке документов об образовании, занятости, криминального прошлого и других документов в рамках такого расследования или принять участие в соответствующих тестах или собеседованиях. Судебные приговоры или другие правонарушения подлежат оценке и могут привести к дисквалификации в соответствии с разделом 50 Закона о государственной службе штата Нью-Йорк.Кандидат должен будет внести необходимые сборы за обработку отпечатков пальцев, если это необходимо. (* Если требуется психологическая оценка, она должна быть указана в минимальных квалификационных или специальных требованиях для должности.)

WHOIS 213.180.204.62 | ООО «Яндекс»

Проверьте IP-адрес, доменное имя или подсеть

например 85.26.164.187 , microsoft.com или 5.188.10.0/24

213.180.204.62 Информация об IP-адресе

Alexa Рейтинг:

2,189

Контактное лицо по административным вопросам

Организация: Администратор международного домена

Телефон: (190) 820-0022

Электронная почта: [адрес электронной почты защищен]

Адрес:

Серверы имён:

Зарегистрировано в SafeNames Ltd.

Создано: 1998-09-24T00: 00: 00Z

Последнее обновление: 2019-10-01T00: 00: 00Z

Срок действия истекает: 2021-09-23T00: 00: 00Z

Статусы

• клиент Удалить Запрещено
• clientTransferProhibited
• clientUpdateProhibited
• serverDeleteProhibited
• serverTransferProhibited
• serverUpdateProhibited

Поддоменов

Текущие записи DNS

Хотите такие полезные структурированные данные WHOIS и DNS? Отъезд

Необработанные результаты Whois для 213.180.204.62

% Это служба запросов к базе данных RIPE.
% Объекты находятся в формате RPSL.
%
% База данных RIPE регулируется Положениями и условиями.
% См. Http://www.ripe.net/db/support/db-terms-conditions.pdf

% Примечание: этот вывод был отфильтрован.
% Чтобы получить вывод для обновления базы данных, используйте флаг «-B».

% Информация, относящаяся к "213.180.204.0 - 213.180.204.255"

% Сообщений о нарушениях для "213.180.204.0 - 213.180.204.255": "[электронная почта защищена]"

inetnum: 213.180.204.0 - 213.180.204.255
сетевое имя: ЯНДЕКС-213-180-204
статус: НАЗНАЧЕН ПА
страна: RU
описание: корпоративная сеть Яндекса
админ-c: YNDX1-RIPE
tech-c: YNDX1-RIPE
примечания: ИНФРА-АВ
mnt-by: ЯНДЕКС-МНТ
создано: 2009-11-16T14: 10: 55Z
последнее изменение: 2014-03-26T08: 38: 49Z
источник: RIPE

роль: ООО «Яндекс» Сетевые операции
адрес: ООО «Яндекс»
адрес: ул. Льва Толстого, 16
адрес: 119021
адрес: г. Москва
адрес: Российская Федерация
телефон: +7 495739 7000
факс: +7 495739 7070
примечания: проблема: ---------------------------------------------- --------
примечания: проблема: Контактные лица по работе с сетью ООО «Яндекс»
примечания: проблема: ---------------------------------------------- --------
примечания: проблема: проблемы с маршрутизацией и пирингом: [электронная почта защищена]
примечания: проблема: проблемы со спамом: [электронная почта защищена]
примечания: проблема: проблемы сетевой безопасности: [электронная почта защищена]
примечания: проблема: проблемы с почтой: [электронная почта защищена]
примечания: проблема: общая информация: [электронная почта защищена]
примечания: проблема: ---------------------------------------------- --------
админ-c: MK24579-RIPE
tech-c: EM3673-RIPE
tech-c: AUR2-RIPE
nic-hdl: YNDX1-RIPE
mnt-by: ЯНДЕКС-МНТ
создано: 2002-06-07T05: 35: 50Z
последнее изменение: 2021-08-23T16: 42: 06Z
источник: RIPE # Filtered
почтовый ящик нарушения: [электронная почта защищена]

% Информация, относящаяся к '213.180.192.0 / 19AS13238 '

маршрут: 213.180.192.0/19
описание: сеть Яндекса
происхождение: AS13238
mnt-by: ЯНДЕКС-МНТ
создано: 1970-01-01T00: 00: 00Z
последнее изменение: 2009-03-23T11: 58: 16Z
источник: RIPE # Filtered

% Этот запрос обслуживается службой запросов к базе данных RIPE версии 1.101 (BLAARKOP)


 

На этой странице отображаются общедоступные данные WHOIS для 213.180.204.62, принадлежащего неизвестной организации.

Недавно опубликованные IP-адреса:

100% Pass 2021 Лучший DSCI DCPLA PDF для печати

Функции неограниченного доступа:

Теперь у вас есть доступ к более чем 1800 настоящим тестам PDF со 100% правильными ответами, подтвержденными сертифицированными ИТ-специалистами.Сдача следующего экзамена гарантирована:

Доступ ко ВСЕМ нашим спискам сертификатов
Ответы проверены экспертами
Мгновенный доступ к загрузкам PDF
Мгновенный доступ к загрузкам PTS
Бесплатные обновления в течение срока действия участника
Получайте будущие экзамены, даже не выпущенные

Программное обеспечение для практического тестирования

Контролируйте процесс обучения ИТ, настраивая вопросы и ответы на сертификацию.Самый быстрый и лучший способ тренироваться.

По-настоящему интерактивная практика
Создавайте и делайте заметки по любому вопросу
Повторяйте, пока вы не будете удовлетворены
Используется на неограниченном количестве компьютеров
Отфильтруйте вопросы для новой практики
Посетите повторно и подтвердите сложные вопросы

Гарантируйте успешную сдачу экзамена Blue Prism DCPLA с помощью нашего учебного пособия.Наши свалки DCPLA разработаны опытными специалистами по сертификации Blue Prism, работающими в сегодняшних процветающих компаниях и центрах обработки данных Blue Prism. Все вопросы нашего теста DCPLA, включая правильные ответы, которые гарантируют вам 100% успешную сдачу экзамена с первой попытки.

Код теста

Название учебной программы

Стоимость заказа ($ USD)

Практические вопросы и ответы

• DCPLA PDF Разработано ИТ-специалистами
• Комплексные вопросы с подробной информацией
• проверенных ответов, исследованных отраслевыми экспертами
• Вопросы по перетаскиванию, опытные
• Регулярно обновляется Самый надежный

Программное обеспечение для практического тестирования

• Тестовое ПО Разработано ИТ-специалистами
• Лучшие офлайн-практики
• Среда тестирования в реальном времени
• Портативный на 5 компьютеров
• Настоящий инструмент успеха

Учетная запись для онлайн-тестирования

• Программное обеспечение для онлайн-экзаменов, разработанное ИТ-специалистами
• Лучшая онлайн-практика
• Среда тестирования в реальном времени
• Доступ на любом устройстве в любом месте
• Настоящий инструмент успеха

DSCI DCPLA Exam Questions Fee В конце концов, ключевые знания сложно усвоить. Вы получите самые свежие и актуальные актуальные вопросы DCPLA, и вам просто нужно отправить 20-30 часов, чтобы попрактиковаться в фактических дампах экзаменов DCPLA, если вы их помните и Получите ключевой момент фактического теста DCPLA, тест будет легким для вас. Разработчики нашего надежного обучения DCPLA vce хорошо знают, какие баллы нужно тестировать на экзаменах, поэтому вы, пройдя наш экзамен файлы, может быть непобедимым.

Что делает WordPress WordPress, брак и развод по штатам в порядке, это не имеет большого отношения к малому бизнесу DCPLA Exam Questions Fee . векторов.

По своей сути, ИТ-финансы основаны на фиксации и мониторинге фиксированной и контрольной, внедрении нового теста DCPLA, тестировании потока аутентификации, который позволяет пользователям входить в систему и сохранять данные, а также повышении эффективности на экзамене, выполняя следующие задачи: Начало проекта.

Наконец: согласованная, интегрированная энергетическая стратегия, основанная на методах и технологиях Exam 3V0-22.19 Вопросы и ответы, которые уже были проверены в реальном мире. В схеме назначения несколько узлов объединены для улучшения читаемости.

Основное отличие от Варианта А состоит в том, что их владелец продукта Комиссия за экзаменационные вопросы DCPLA указала им направление в достижении этой цели, и это важно для любой команды Scrum, копируя формулу с помощью Ctrl + Enter.

100% Pass DCPLA — DSCI Certified Privacy Lead Assessor Сертификация DCPLA Официальный сбор за вопросы экзамена

В конце концов, ключевые знания сложно усвоить. Вы получите последние и действительные актуальные вопросы DCPLA, и вам просто нужно отправить 20-30 часов, чтобы попрактиковаться в фактических дампах экзаменов DCPLA, если вы их запомните и поймете ключевой момент. Фактический тест DCPLA, тест будет легким для вас.

Разработчики нашего надежного учебного центра DCPLA хорошо знают, какие баллы нужно проверять на экзаменах, поэтому вы, используя наши экзаменационные файлы, можете быть непобедимыми.

Хотя вы можете потратить деньги на покупку наших тестовых вопросов DCPLA, вы все равно окупитесь. Если вы хотите практиковаться в Интернете, наше практическое руководство DCPLA поддерживает просмотр через компьютер.

Наша концепция заключается в том, чтобы всегда предоставлять продукты самого высокого качества. Надежные свалки DCPLA с лучшим обслуживанием клиентов. После покупки наших учебных материалов вы можете представить их, и мы предложим помощь в кратчайшие сроки.

Knmc-Org Real Career Booster, Помимо того, что наши учебные пособия DCPLA действительны и полезны для вашего теста, наша компания является законной и профессиональной, Непрерывное продление.

100% Pass 2021 DCPLA: сертифицированный DSCI ведущий оценщик конфиденциальности Сертификация DCPLA — плата за эффективные вопросы экзамена

Мы можем гарантировать, что пользователи смогут работать гибко, и мы также серьезно относимся к отзывам пользователей, которые используют дампы сертификационных экзаменов DSCI Certified Privacy Lead Assessor DCPLA. Наше руководство по экзаменам DCPLA отличается своей высокой эффективностью и хорошим обслуживанием.

Если у вас есть какие-либо вопросы, вы можете проконсультироваться с нашим онлайн-чатом. Ответы DCPLA Бесплатные материалы. Мы предлагаем бесплатное обновление в течение одного года, вы можете запросить обновление в любое время в течение одного года с даты покупки.

Торрент для подготовки к сертификации DSCI Certified Privacy Lead Assessor DCPLA может быть основан на анализе DCPLA ежегодных вопросов, сделан вывод, что ряд важных выводов, связанных с квалификационным экзаменом, в сочетании с DCPLA Exam Questions Fee соответствующими знаниями последних лет, затем предскажите направление, которое может определить экзамен в этом году.

Попробуйте прямо сейчас. Таким образом, вы можете просто начать обучение немедленно. Все Knmc-Org DCPLA Exam Questions Fee Content, Product, and Materials не спонсируются, не поддерживаются и не связаны, подразумеваются или иным образом с какими-либо другая компания, за исключением тех, о партнерстве явно объявленных на Knmc-Org. Торговые марки: все зарегистрированные торговые марки, логотипы L4M5 в формате PDF для печати или знаки обслуживания, упомянутые в этом документе, веб-сайт Knmc-Org, продукты, демонстрации или контент являются торговыми марками их соответствующих владельцев.

Механизм мягкого тестирования можно просто установить на персональные компьютеры. С нашими материалами по обучению DCPLA вы можете в полной мере использовать время, изначально потраченное на ожидание получения сертификата DCPLA Cert, чтобы получить файлы экзамена, чтобы вы могли подготовиться как можно раньше.

НОВЫЙ ВОПРОС: 1
Какая база данных поддерживается для Network Security Manager?
A. Oracle
B. MSSQL
C. MySQL
D. Sybase
Ответ: C

НОВЫЙ ВОПРОС: 2
開 発 者 AWS Lambda 関 数 、 作成.ZIP フ ァ イ ル の コ ー ド を Amazon S3 に ア ッ プ ロ ー ド し ま す.
開 発 者 は コ ー ド を 変 更 し, 新 し い .ZIP フ ァ イ ル を Amazon S3 に ア ッ プ ロ ー ド し ま す. た だ し, Lambda は 以前 の コ ー ド を 実 行 し ま す.
開 発 者 は ど のよ う に し て こ れ を 最 も 破 壊 的 な 方法 で 修正 で き ま す か?
A. 最初 に 以前 の .ZIP フ ァ イ ル を 削除 し て か ら, 新 ​​し い .ZIP フ ァ イ ル を 追加 し ま す.
B. update- API функционального кода を 呼 び 出 し ま す。
C. API создания псевдонима を 呼 び 出 す。
D. 別 Lambda 関 数 を 作成 し 、 .ZIP フ ァ 902 902 Пояснение:
Объяснение
https://docs.aws.amazon.com/cli/latest/reference/lambda/update-function-code.html

НОВЫЙ ВОПРОС: 3
Просмотр 環境 に は 、 Просмотр 接 続 サ ー バ ー と Просмотр セ キ ュ リ テ ィ ィ サ ー バ ー が 含 ま れ ま す。
Просмотр 接IP ド レ ス ： 192.168.1.1
View セ キ ュ リ テ ィ サ ー バ ー の 次 の と お り で す。。
-DNS 名 ： view.company.com
-IP ス 192.168.1.1 192.168.1 192.168.1 192.168.1.1 900 192.168.1.1 900 192.168.1許可 す る よ う に View を 設定 す る り ま す。
View Administrator の セ キ ュ リ テ ィ サ ー バ Blast External URL フ ィ ー ル ド に 入 ド を 入 2 2 2 2 2 2 .10.1: 18443
B. https: // security.company.com:8443
C. https://security.company.com:443
D. security.company.com:22443
Ответ: B

НОВЫЙ ВОПРОС: 4
См. выставка.

Какие два действия вы выполняете на удаленном коммутаторе перед запуском команд? (Выберите два)
A. Установите режим канала порта на
B. Включите функцию fport-channel-trunk
C. Настройте минимум восемь ссылок в канале порта
D. Настройте удаленный коммутатор для использования режима NPIV
E. Настройте удаленный коммутатор для NPV.
Ответ: C, E

Яндекс — это реальные деньги. Яндекс Толока

Что такое Яндекс.Толока?

Яндекс.Толока — сервис от Яндекса, дающий реальную возможность заработать любому представителю русскоязычного интернет-сообщества. Короче говоря, работа заключается в выполнении простых задач по проверке и оценке контента.

Проще говоря, Toloka предназначена для того, чтобы научить людей выполнять определенные задачи, связанные с анализом контента, с которым машина (программа, искусственный интеллект) не может справиться.

Например, поисковая машина не всегда может правильно понять, что человек хотел найти по определенному поисковому запросу, и может не выдать точный результат поиска, который ожидал пользователь.

Также машина может ошибиться с оценкой категории контента, который содержит Интернет-ресурсы. Включая контент, подпадающий под категорию «18+».

С некоторыми задачами искусственный интеллект просто не справляется физически.

Рассмотрим пример.Есть такая полезная штука, как Яндекс.Карты. Информация в Яндекс.Картах постоянно обновляется. Но вопрос в том, кто помогает поддерживать эту информацию в актуальном состоянии? Человек! Живой человек, который выезжает в указанный район и проверяет наличие организации по адресу, указанному в задаче сервиса Яндекс.Толок.

Без участия человека вести информационную базу Яндекс.Карт было бы просто невозможно, поэтому у Толока всегда есть задачи на эту тему, а у пользователей всегда есть еще одна возможность пополнить свой кошелек.

В общем, если не мешает дополнительно 50 — долларов 100 в месяц, то предлагаю прочитать эту статью до конца!

Как зарегистрироваться на сайте Яндекс.Толок?

В Толоке вы можете зарегистрировать только одну учетную запись на все время использования сайта.

Чтобы зарегистрироваться на странице Яндекс.Толок, нажмите кнопку «Присоединиться».

Введите свой E-mail от Яндекс почты. Если у вас еще нет аккаунта в Яндексе, зарегистрируйте его.

Сколько можно заработать в Яндекс.Толок?

В Яндекс.Толоке много направлений работы. В рабочее время дня пользователь может заработать как один цент, так и десять баксов. Успех в работе зависит от нескольких факторов: сколько задач доступно конкретному пользователю, с какой маневренностью работает работник и, конечно же, сколько времени уважаемый толкер готов потратить на работу в сервисе.

Чтобы сделать эту статью максимально полезной для вас, уважаемые читатели, я сам стал работать в Толоке.Необходимо было выяснить: сколько денег может заработать новый пользователь этой услуги.

В результате, проработав две недели, посвящая около 2 — 4 часа в день, я сумел заработать 35 долларов с более чем одним.

В основном за 2–3 часа работы удается заработать 2–4 доллара. Размер заработка во многом зависит от скорости работы, сложности задачи и оплаты ее выполнения. Например, есть такое задание, в котором заработок по большей части зависит от скорости набора текста.На таком задании некоторым людям с высокой скоростью набора текста удается зарабатывать 1,50 — 2 доллара в час. Когда я могу заработать не более 1 доллара за одно и то же задание одновременно.

По результатам выше можно сделать следующий вывод: пара часов полезного действия в течение месяца в Яндекс.Толке и сорок-восемьдесят долларов дохода упадут в карман честного работника.

Также в Толоке есть задача «Обновление данных об организациях».

Суть данной задачи — прийти по указанному в задании адресу, проверить актуальность информации об организации и сделать необходимые фотографии этой организации. Так сказать «ходячая» задача.

Плата за выполнение одного такого задания колеблется от 0,20 цента до нескольких долларов. Заказчики этого задания также награждают исполнителей за активное и качественное выполнение задания.

Есть люди, которые даже неплохо зарабатывают на этом задании.

Некоторые пользователи, выполняющие эту задачу, поделились своими достижениями, разместив скриншоты результатов своего заработка на форуме Яндекс.Толки. Суммы на этих скриншотах доходили до 400 долларов за две-три недели. Поэтому неудивительно, что некоторые из них выбрали эту задачу для себя своей основной работой.

Исходя из вышесказанного, я считаю, что для тех, у кого есть пара свободных часов в день, этот вид заработка можно рассматривать как подработку. Те, у кого много свободного времени, могут сделать эту услугу основным местом работы.

Как заработать в Яндекс.Толоке?

Заработанные в Яндекс.Толке средства можно вывести на:

• Карта ПриватБанка (Украина)
• Paypal
• Яндекс деньги
• Skrill
• Счет мобильного телефона (только для российских номеров) обслуживается операторами: Билайн, Мегафон, МТС и Теле2.

Я настоятельно не рекомендую выводить деньги на Skrill очень большую комиссию при переводе со Skrill на другие платежные системы.

Платежи в Толоке можно заказать в любой момент.

Если заказывать выплату раз в неделю и реже, то минимальная сумма для вывода составит всего 2 цента .

Если заказывать выплату чаще, чем раз в неделю (каждый день или несколько раз в день), то минимальная сумма для вывода будет — 1 доллар .

Платеж обрабатывается с момента подачи заявки до момента зачисления средств на указанный пользователем счет (например, счет в системе ЯндексДеньги).По правилам системы этот этап может занять до 30 дней. Но на самом деле деньги обычно поступают на кошелек мгновенно или в течение суток.

Внимание! При этом следует учитывать, что в случае с Яндекс.Деньгами счет, который вы указали для вывода денег, нужно идентифицировать заранее. Если этого не сделать, то операция вывода отменяется платежной системой и заказанный платеж возвращается на баланс толокера.

Как определить аккаунт в Яндекс.Деньги?

Для идентификации аккаунта вам необходимо авторизоваться в системе Яндекс.Деньги. Далее следует перейти в раздел «Идентификация» по адресу: https://money.yandex.ru/security/identification/

.

Щелкните «Получить статус». Выберите наиболее удобный для вас способ идентификации.

Подробнее об идентификации счета.

Первый раз подал заявку на выплату 26,53 доллара.

Буквально в этот же день у меня появился доход, который составил 1765.54 коп. ($ 26,53) успешно конвертирован в национальную валюту и зачислен на мой счет в системе Яндекс.Деньги. Что касается последующих платежей — они приходили уже намного быстрее, а недавние платежи вообще удивляли своей мгновенностью.

Как заработать в Яндекс.Толок?

Вы должны знать, что в Яндекс.Толоке есть два варианта оплаты. Первый вариант — автоматическая оплата, т.е. деньги за выполненное задание зачисляются на счет моментально после выполнения задания.Второй вариант — это так называемая отсрочка платежа. В этом случае средства за задание будут зачислены на счет исполнителя только после проверки работы заказчика.

Платные задания обозначены на балансе зелеными цифрами (эти деньги уже можно вывести). Задачи, которые еще проверяются, отображаются на балансе серыми цифрами. Эти средства будут зачислены, как только заказчик проверит и подтвердит качество выполненного задания.

Количество проверяемых задач можно посмотреть в разделе «Мой профиль» ⇒ «История».

Чтобы понять, какая задача оплачивается мгновенно, а какая — с отсрочкой платежа, достаточно взглянуть на детали задачи. В задачах с отложенным приемом указывается срок верификации. Если время проверки не указано, то оплата производится мгновенно.

Обычно отложенные задачи проверяются от 3 до 14 дней. Кстати, это не значит, что задача будет проверяться за весь указанный период. Не исключено, что заказчик проверит задачу раньше указанного срока.Даже в задачах с отложенным принятием отображается процент задач, за которые заказчик заплатил. Также в деталях задачи вы можете увидеть инструкции по выполнению задачи и время, отведенное на ее выполнение.

Для удобства и быстрого поиска вы можете отфильтровать задачи по категориям:

«С обучением»

«Отсроченный акцепт»

«Недоступный»

Для тех художников, которые хотят выполнять задания со своих мобильных устройств, специальный Яндекс.Предоставляется приложение Толока, которое легко, просто и, самое главное, бесплатно скачать в Google Play.

Теперь рассмотрим такой важный момент при работе с сервисом, как рейтинг и навыки пользователей. Если подрядчик выполняет большое количество задач с отличным качеством работы, то его рейтинг и навыки растут.

В разделе сервиса «Мой профиль» отображаются данные о рейтинге пользователя и его навыках. Собственный успех пользователя в проекте отражает абсолютный рейтинг.Что касается относительного рейтинга — он сделан для того, чтобы вы могли сравнивать свои личные достижения с достижениями других пользователей. Собственно, абсолютный рейтинг показывает, насколько вы лучше работаете по сравнению с другими художниками.

Навыки появляются после проверки задач заказчиком. Причем для каждой индивидуальной задачи назначается отдельный навык. В этом случае 100 баллов — лучший результат, а 0 баллов хуже некуда.

Следует иметь в виду одну очень важную вещь: высокий уровень навыков при выполнении задания может быть предпосылкой для получения новых заданий от клиента.То есть, если заказчик видит, что подрядчик хорошо выполняет одну из своих задач, то со временем он начинает давать этому пользователю все больше и больше задач. Таким образом, у добросовестного подрядчика всегда найдется работа на службе. Более того, если исполнитель успешно справляется с задачами заказчика, то заказчик начинает выдавать этому исполнителю задания с большим вознаграждением.

В то же время некачественная работа со стороны подрядчика приводит к закрытию доступа подрядчика к конкретной задаче.

Начать работу очень просто. Заходим в раздел «Задачи», выбираем задачу из списка и нажимаем «Перейти к задаче». Кстати, всегда стоит посмотреть инструкцию к задаче и приступить к работе. Даже если вы делаете это не в первый раз, вам стоит хотя бы бегло взглянуть: есть ли изменения или дополнения в инструкции. Это убережет художника от неприятных «сюрпризов». Если задание принято в работу с автоматической оплатой, то ваш баланс после выполнения вашего первого задания изменится в сторону плюса.

Для начала следует работать только над более простыми задачами. По мере того, как вы набираетесь опыта в службе, вы можете переходить к более сложным задачам.

Вот пример задач, которые выполняются очень просто.

♦ «Есть ли порно на картинке?»

Оплата данного вида работ составляет от 2 до 5 центов. Размер оплаты зависит от уровня квалификации, чем он выше, тем выше оплата. Мастерство повышается с выполнением качественных заданий.Я успеваю выполнять такие задачи буквально раз в минуту. Соответственно, после часа моей работы с небольшими перерывами мой счет пополняется на один доллар. Проще работать за деньги просто не найду! Здесь вам просто нужно выбрать один из вариантов ответа, которые расположены под картинкой. Как это сделать правильно, подробно и понятно описано в инструкции к этому заданию.

Стоит помнить, что каждую задачу пользователь может выполнять только определенное время, т.е. время для работы во всех задачах сервиса ограничено.Чтобы успеть выполнить то или иное задание вовремя, всегда следует смотреть на таймер. Его можно увидеть вверху страницы.

♦ «На скриншоте есть порно?»

Практически то же, что и в предыдущем задании. Единственная разница в том, что в первом случае мы работали с картинками, а во втором — с классификацией скриншотов. Эта задача может быть немного сложнее, но если вы к ней привыкнете, работа пойдет быстро и легко.За одно такое выполненное задание платят от четырех до шести центов.

♦ «Разметка невоспроизводимых видео»

В этом задании представлены несколько видеороликов. Сотруднику необходимо проверять рабочее состояние каждого видео, то есть отделять воспроизводимые видео от тех, которые не воспроизводятся. В зависимости от результатов проверки видеоданных пользователь нажимает на одну из опций, представленных под видео, и по завершении работы над заданием получает один цент на свой счет. За сорок (максимум семьдесят) секунд вполне возможно выполнить одно задание такого типа.

♦ «Ограничение скорости»

Работа максимум секунд сорок, задача не утомляет, а иногда даже развлекает. В задании есть фотографии, на которых должен быть знак ограничения скорости. В зависимости от числа, указанного на знаке, мы выбираем подходящий вариант из предоставленных ответов, и по завершении задания оценка нашей услуги увеличивается на один цент. Кстати, бывает, что на одной из представленных картинок нет знака, ограничивающего скорость.В этом случае выберите подходящий вариант ниже. Все просто!

♦ «Запись фраз на диктофон»

Запустить задание могут только те исполнители, которые работают в сервисе с мобильного телефона. Как вы уже поняли из названия в задании, вам нужно записать свою речь, сказав заказчику необходимые фразы. Один цент, указанный в цене работы, действительно можно заработать всего за полминуты (максимум сорок секунд).

Эта задача относится к задачам отсроченного платежа; Проверка качества исполнения заказчиком может занять максимум 10 дней. По собственному опыту скажу, что все задачи, которые я выполнил и отправил на проверку, были приняты и оплачены. Тем более, что их было много. В общем, эту задачу стоит выполнить.

♦ «Аннотирование аудиозаписей»

В задании необходимо прослушать аудиозапись и распечатать услышанное на записи.Что не стоит записывать и как именно записывать очень подробно описано в инструкции. Чтобы работать над этим заданием, вы должны буквально выучить предоставленные инструкции, и тогда задания этого типа вам будут постоянно выдаваться. Стоит обратить внимание на каждый абзац инструкции в отдельности, в том числе на тот момент, когда знаки препинания не ставятся в аннотации. Поначалу для новичка может быть непривычно писать без точек, запятых и тире. Но для того, чтобы регулярно получать указанную задачу, вам все равно нужно будет привыкнуть выполнять ее так, как указано в инструкции.

Оплата одного задания 0,08 цента. Задание выполняется примерно за 5-8 минут, есть мастера, которым удается выполнить это задание за 2-3 минуты.

♦ «Обновление данных организации»

Если вы живете в большом городе, постоянно перемещаетесь по нему и у вас есть возможность фотографировать, то эта задача для вас. Смысл задания в фотографировании зданий организаций по адресам, указанным в задании.

Например, в присвоении указано название магазина «Сантехник» и адрес Большой проспект, 21.Исполнитель задания отправляется по желаемому адресу и, если указанная в условиях организация есть, то делается фотография нескольких важных для заказчика объектов. К важным для заказчика объектам относятся: адрес, подъезд, график работы и вывеска.

Цена таких задач варьируется от нескольких центов до нескольких долларов. Также есть бонусная программа (система вознаграждений).

На мой взгляд, примеров достаточно.

Яндекс.Сервис Толок — это на самом деле просто множество задач. В этом можно убедиться, заглянув на форум сервиса. Есть весь список клиентов и список тех задач, которые предлагается выполнить указанным клиентам. Кстати, стоит посетить форум, чтобы повысить качество работы над конкретной задачей, так как инструкция не всегда исчерпывающая и требуется дополнительная информация. Тема форума, соответствующая поставленной задаче, очень поможет качественно выполнить любую задачу.Вопросы, возникающие в процессе работы, также можно задать в соответствующей теме форума. Ответить на вопросы может как сам заказчик, так и обычные пользователи, имеющие опыт работы с сервисом в целом и опыт работы именно над этой задачей.

Если вы хотите открыть для себя дополнительный способ заработка, вы можете сразу зарегистрироваться в сервисе Яндекс.Толок и заработать первые центы уже сейчас.

У вас должен быть включен JavaScript для голосования.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: как привлечь внимание подписчиков и полюбить их бренд».”

Яндекс.Толока — сервис от Яндекса, позволяющий пользователям зарабатывать деньги, а разработчикам — улучшать систему.

Человек может получать вознаграждения за выполнение различных задач: от поиска данных компании и оценки качества контента до анализа веб-ресурсов.

Ставка за выполнение одного задания составляет примерно 0,3 доллара, а для начала работы необходимо, во-первых, зарегистрировать аккаунт, а во-вторых, пройти курс обучения, по которому будет определяться, будет ли человек получить доступ к задачам или нет.

Что такое Яндекс Толока

Толока — это инструмент, позволяющий решать широкий круг достаточно простых задач по улучшению Интернета в целом и поисковой системы Яндекс в частности, получая при этом деньги в качестве вознаграждения. Алгоритм работы строится следующим образом:

• Заказчик публикует на сервисе задачу, которую необходимо решить (на случай, если поисковые роботы не справятся).
• Для выполнения этой задачи берется пользователь, прошедший регистрацию и обучение.В результате работы на его счет зачисляются деньги, которые впоследствии можно будет вывести. Как правило, задачи связаны с анализом и оценкой любого материала, будь то картинки, статьи или видео, размещенные на сайте.

Для начала человеку необходимо зарегистрироваться через почтовый сервис Яндекс, к которому привязан аккаунт в Толоке. Также используется номер мобильного телефона — для подтверждения регистрации будет отправлено SMS с кодом. Пользователю должно быть не менее восемнадцати лет, так как часть просматриваемой информации имеет порнографический контент.

Яндекс.Толока — уникальный инструмент, который позволяет, с одной стороны, улучшить Интернет за счет фильтрации нежелательного контента, а с другой — облегчить обычным людям выполнение простых задач, с которыми поисковые алгоритмы не справляются по одной причине. или другой.

Задачи в Яндекс Толока

Чтобы получить доступ к регулярным заданиям, важно пройти обучение в форме теста: человеку задаются вопросы и ограниченное время для ответов. По отзывам пользователей, тестовые задания довольно сложные и не всегда можно понять, какой формат ответа вы хотите дать.Однако система дает подсказки — по ним можно быстро понять принципы работы Толока.

Всего человеку предоставляется 20 вариантов по 40 минут. За это время, используя полученные компании и ключевые запросы, необходимо дать максимально развернутые и правильные ответы. Если вы допустили ошибку, система сообщит об этом, указав, в каком именно месте ошибся пользователь. Также будет предоставлен подробный комментарий, объясняющий правильный ответ. В Яндекс.Толке есть раздел статистики, где вы можете подробно узнать о своих достижениях.В частности, вы можете посмотреть здесь:

• Количество и тип выполненных задач.
• Общая сумма начисленных средств.
• Задачи, проверяемые модератором, и те, результат которых был отклонен или не принят.

Вы можете выполнять задачи с персонального компьютера и мобильного телефона, но есть категории, доступные только на одном устройстве — ПК или смартфоне. Оплачиваются по-разному: есть работа, которая оценивается в 0,001 доллара, а в Яндекс.Толок можно заработать 0,7 доллара. В среднем человек может получать в среднем 5 долларов за рабочий день.

Возможна регистрация как исполнителя, так и заказчика. Во втором случае человек будет размещать задачи и платить за их выполнение. Невозможно быть одновременно заказчиком и исполнителем. В большинстве случаев заказчиком являются различные подразделения Яндекса, поскольку им требуется помощь в отслеживании веб-ресурсов с качественным и запрещенным контентом.

В будущем от этого выиграет не только поисковая система, но и все пользователи, потому что на первых страницах результатов поиска будут ранжироваться только сайты, релевантные поисковым запросам, что повысит качество рекламных кампаний и привлечет дополнительные Аудитория к сервису.

В чем суть работы на Яндекс Толока

Сначала может показаться, что задач на Толоке очень мало. В ленте около тридцати заданий по будням, а по выходным и того меньше. Однако поводов для беспокойства нет — большинство задач можно выполнить несколько десятков раз. Это увеличивает объем ежедневной работы и, соответственно, увеличивает размер заработка. Чаще всего встречаются следующие задачи:

• Посмотрите видео и проанализируйте, насколько его содержание соответствует основному запросу.
• Изучив несколько результатов поисковой выдачи, решите, какой вариант более актуален для пользователей.
• Определение содержания для взрослых.
• Определите степень сложности поискового запроса и релевантность результатов поиска текущему ключевому слову.
• Оцените качество изображений в объявлениях, их соответствие тексту объявления и заявленным параметрам.
• Укажите, соответствует ли содержание статьи названию.
• Проверить работу сайта, попробовав связаться с менеджерами по указанным контактным данным, а также найти фотографии организации в Интернете.

Это не самое интересное, что может предложить сервис. Например, есть задачи, для выполнения которых необходимо пойти по указанному адресу и сфотографировать организацию, расположенную по этим координатам (это предлагается только пользователям, проживающим в этом городе). Ставка за такую ​​работу небольшая — не более 0,5 доллара. За эти деньги человек должен найти нужный адрес, добраться до него, выполнить необходимые действия (сфотографировать) и загрузить результат в приложение.Это требует много времени и усилий и, в конце концов, совершенно не окупается.

Другие задачи, не требующие физических нагрузок, намного дешевле, но их можно выполнять несколько раз и приносить вдвое больше прибыли. Проверка результатов и перевод заработанных денег происходит практически мгновенно. В некоторых случаях пользователю необходимо дождаться завершения отложенной проверки. Вы можете выводить средства на электронные кошельки, в том числе на Яндекс.Деньги.

Процесс управления рабочим процессом

Управление рабочим процессом в сервисе происходит с помощью стандартного алгоритма ранжирования Яндекс.После того, как пользователь отправляет готовый результат, система фиксирует его и отправляет на первоначальную проверку. Если работа соответствует требуемому качеству, человек получает возможность занимать высокие позиции в топе, где собирается рейтинг всех участников Толоки. Есть несколько типов оценок:

1. Навыки художника . Это основа расчета рейтинга. Это практически одинаково для всех аккаунтов, успешно прошедших тестирование. Пользователь может получить от нуля до 100 единиц.
2. Абсолютный рейтинг . Вот сводная оценка действий подрядчика. Чем выше абсолютный рейтинг, тем авторитетнее аккаунт при ранжировании.
3. Относительный рейтинг . Он показывает, какое место занимает исполнитель среди общего количества всех зарегистрированных пользователей. Чем выше относительный рейтинг, тем выше позиция аккаунта в списке.

Сколько можно заработать в Яндекс Толока

Уровень заработка пользователей зависит от их активности и положения в рейтинговой системе.В среднем за рабочий день человек может получать от 5 до 10 долларов и более. В частности, основными факторами успеха здесь являются:

• Количество задач, доступных конкретному пользователю.
• Время, которое подрядчик может посвятить рабочему процессу.

Заработанные средства зачисляются на внутренний счет сервиса. Вывести деньги с Яндекс.Толок можно несколькими способами: Яндекс.Кошелек, PayPal и ПриватБанк. За эту операцию взимается комиссия и выход может быть меньше.Рекомендуется использовать кошелек Яндекс, так как здесь самая низкая процентная ставка для вывода денег.

В Интернете много сервисов, похожих на Яндекс.Толоку. Среди самых известных и проверенных — Wmmail, Socpublic, Seosprint и Profitcentr. Все они позиционируются как надежные площадки для заработка на простых задачах в Интернете.

Поисковые системы постоянно пытаются улучшить свои алгоритмы, но боты не всегда могут определить релевантность контента.

Иногда требуется подключить людей, чтобы определить, выдаются ли пользователям соответствующие материалы по разным запросам. Специально для этого был создан сервис Толок от Яндекса.

Толока по русски, простой заработок

Этот сервис появился очень давно, но из-за отсутствия задач им мало кто пользовался. Сейчас работы много, и она другая. Выполнить несложно, поэтому награды небольшие.

Подробно рассказать о работе с Яндекс.Толок, мы подготовили пошаговую инструкцию:

Вот так русская толпа помогает собирать деньги в Интернете. Пока система доступна только жителям России, Украины, Белоруссии, Турции и Казахстана.

В будущем система обязательно будет расширяться и станет доступной в других странах. По мнению опытных пользователей, здесь вполне реально заработать 5-10 долларов в день.

В Яндекс.Толоке не всегда есть задачи, поэтому старайтесь чаще обновлять страницу, чтобы не пропустить выгодные предложения.

Выше было сказано, что задачи, связанные с мобильными устройствами, приносят больше денег. Для их выполнения установите на свои смартфоны специальное приложение.

Сложностей при выполнении заказов с мобильных устройств возникнуть не должно, так как они еще и простые:

Пока нельзя сказать, что Толока способна стать основным источником прибыли, но однозначно, что с ней реально заработать.

Только помните, что вам нужно стараться выполнять заказы, иначе ваш рейтинг будет низким и задачи перестанут приходить.Вы можете проверить это в своем профиле.

Яндекс Толока Аналоги

К сожалению, в системе слишком мало инструкций, и ждать их приходится очень долго. Не теряйте время, используйте другие системы с простыми задачами.

Многие из них были созданы, и их называют спонсорами кликов. Там вас могут попросить не только сравнить результаты поиска, фотографии, видео или высказать мнение о каких-либо компаниях.

На почтовиках тысячи задач, их можно выполнять круглосуточно, они никогда не закончатся.Сделать это тоже просто, после обычной регистрации вы переходите в раздел задач и выбираете подходящую вакансию:

Посредством таких систем рекламируются различные сайты и заказываются всевозможные наценки. В каждом заказе вас ждет подробное описание, а также в нем указано, что нужно отправить на проверку. Изучив требования, нажмите на кнопку для начала:

В этом примере требуется простая регистрация, а отчет должен содержать логин, указанный при создании профиля.С таким заказом справится даже новичок, и при нажатии на зеленую кнопку сразу появляется форма, где указан отчет (в нашем случае это логин):

Вы нажимаете «Отправить отчет» и в течение нескольких часов средства зачисляются на баланс. Все предельно просто, к тому же деньги выводятся в разные платежные системы. Если вас интересует подработка, воспользуйтесь этими проектами:

1. Wmmail — надежный и самый старый ящик, в который недавно добавили вывод в Яндекс.Деньги, Payeer и номер телефона.

Уже полтора года Яндекс использует платформу «Толока» для улучшения поисковых алгоритмов и технологий машинного интеллекта. Это может показаться удивительным, но все современные технологии машинного обучения в той или иной степени нуждаются в человеческой оценке.

Люди оценивают релевантность справочных документов поисковым запросам так, чтобы формулы ранжирования в поиске руководствовались ими; люди переписывают аудиозаписи в текст, чтобы алгоритм распознавания голоса был настроен на этих данных; люди классифицируют изображения так, чтобы нейронная сеть, обучившись на этих примерах, делала это без людей и лучше, чем люди.

Все это можно сделать в Толоке — краудсорсинговой платформе, которая помогает найти тех, кто решит вашу проблему. Сегодня он переходит в статус бета-версии и открыт для всех внешних клиентов. Так что пора подробно рассказать о самой платформе и о том, с какими неожиданными трудностями мы столкнулись в процессе работы над ней, поделиться своими наблюдениями и объяснить, чем Толока может вам помочь.

Задачи, которые мы обсуждали выше в Яндексе, традиционно решаются с помощью подготовленных специалистов — асессоров.Эксперты следят за тем, как результаты поиска соответствуют запросу, находят спам среди найденных веб-страниц, классифицируют его и решают аналогичные проблемы в других службах.

Ирония заключается в том, что чем больше новых технологий мы запускаем, тем сильнее возрастает потребность в человеческих оценках. Недостаточно просто определить релевантность страницы поисковому запросу. Важно понимать, не завалена ли страница вредоносной рекламой? На странице есть контент для взрослых? И если да, означает ли запрос пользователя, что он искал именно такой контент? Чтобы автоматически учесть все эти факторы, нужно собрать достаточное количество примеров для обучения поисковой системы.А поскольку все в Интернете постоянно меняется, обучающие наборы необходимо постоянно обновлять и поддерживать в актуальном состоянии. В целом только для поисковых задач потребность в человеческих оценках измерялась миллионами в месяц, и с каждым годом это число только растет.

Привлечь все больше и больше экспертов в каждую из стран присутствия Яндекса организационно сложно. Более того, не все новые задачи требуют специальной подготовки. Практически любой человек может справиться со многими задачами, и часто даже полезнее собирать мнения обычных пользователей, которые не обучены профессионально оценивать рейтинг.Такое разделение задач привело нас к выводу, что помимо оценщиков нам нужен еще один более гибкий и масштабируемый источник для получения человеческих оценок.

Краудсорсинг

Помимо сложных задач, выполняемых экспертами, нам нужно было научиться собирать миллионы простых оценок в любой интересующей нас стране. Большинство задач, о которых мы говорим, довольно простые и небольшие: они не занимают более 30 секунд. Но количество этих задач очень велико.Обычные биржи фрилансеров, на которых можно напрямую связаться с несколькими исполнителями и лично объяснить им суть задания, нам не подошли. Для промышленных масштабов нужно было привлечь тысячи исполнителей, оплачивать их работу без оформления документов и контролировать результат.

Ближайшим эквивалентом того, что нам действительно было нужно, были краудсорсинговые платформы Amazon Mechanical Turk, Clickworker и CrowdFlower. Именно с их помощью академические исследователи в области машинного обучения и крупные поисковые компании, например Bing, обычно собирают простые человеческие оценки.

Вот только все эти платформы не работали в интересующих нас странах. К тому же уже накопился некоторый опыт, чтобы решить проблему собственными силами.

Толока

В базовой логике работы любой краудсорсинговой площадки и, в частности, Толоки нет ничего сложного. С одной стороны, мы работаем с исполнителями, распределяем задачи, проводим выплаты, а с другой — помогаем клиентам получить результат с минимальными трудозатратами.

Кстати, что за слово «Толока»? Долго думали над названием, искали международные варианты, но в итоге вышло совсем наоборот. Идея позвонить в сервис Толокой родилась в нашем минском офисе, который, кстати, является стержнем развития платформы. Это слово (по-белорусски «талака») распространено в Беларуси примерно в 30 раз сильнее, чем в России, и означает совместную полезную работу над общим результатом, и это хорошо сочетается с краудсорсингом.Хотя выбор названия — далеко не самый сложный вопрос, с которым мы столкнулись при разработке сервиса.

Какие могут быть задачи? Потенциально они могут быть любыми по исходным данным, интерфейсу, ожидаемым ответам. Одному нужно загрузить изображения и попросить их классифицировать, другому нужно отобразить аудиоплеер и попросить записать то, что слышно на записи, а третьему нужно показать карту с местонахождением пользователя.

Несколько примеров

Поэтому был выбран путь максимальной гибкости: используя json для входных и выходных параметров и html / css / js для интерфейса, заказчик может создать практически любая задача.А для тех задач, которые требуют работы «в поле» (например, зайти по адресу и проверить актуальность информации об организации), мы подготовили мобильную версию Толоки для Android.

Гибкость в настройках имеет обратную сторону — высокий порог входа. Не каждый умеет набирать интерфейс. Мы решаем эту проблему с помощью готовых шаблонов, общее количество которых мы планируем увеличивать.

Как платить плательщикам? Успешное завершение кровного заработка — один из главных мотиваторов для человека вернуться и продолжить выполнять задания.Сложная и длительная процедура вывода может похоронить платформу. Поэтому мы построили систему, в которой достаточно добавить свой кошелек в PayPal или Яндекс.Деньги. На этапе отладки процессов со стороны Толоки вывод денег мог занимать до 30 дней, сейчас это пара дней, а то и минуты. При этом толокеры и клиенты освобождены от бумажной волокиты.

Как обеспечить качественное исполнение? Этот вопрос — основная головная боль любой краудсорсинговой платформы. В Толоке, как и в любом обществе, есть прилежные и внимательные люди, а есть ленивые, нечестные и при этом умеющие писать сценарии.Основная задача: удержать первых на вооружении и как можно раньше найти и ограничить вторые. Для этого мы научили Толоку анализировать поведение исполнителей. Теперь у клиентов есть возможность автоматически идентифицировать и ограничивать тех токеров, которые, например, отвечают слишком быстро или чьи ответы не согласуются с ответами других. Также мы добавили возможность использовать контрольные задания («ханипоты») и обязательный прием перед оплатой. Кроме того, приемка также может быть упрощена.Дайте задачи одному пользователю, а другим оценивайте их результаты.

Кстати, а что мы знаем о самих толкерах?

Толокеры

В Толоке регистрируются и выполняют задания самые разные люди. Большинство исполнителей (как и заданий) находятся в России, Украине и Турции. Большинство толокеров — молодые люди до 35 лет (обычно студенты технических вузов или матери в декретном отпуске). В основном исполнители рассматривают Толоку как дополнительный источник денег, хотя многие говорят, что им нравится делать полезную работу, делать Интернет чище.Вот, например, что они пишут о себе, обсуждая Толоку в Интернете: на мой кошелек уже упало

790,41 рубля. Если что, то в том районе, где я живу, зарплата, например, молодого учителя составляет 2800 рублей. Учтите, что это все набивается между делами, в свободное время, в промежутках между выполнением основной работы, когда вы хотели расслабиться и немного переключиться.

И вы совсем не чувствуете себя тупым щелкающим роботом. Есть некоторое ощущение полезности моей работы.

Толока в Яндексе

Толока сейчас — это почти 270 тысяч исполнителей из пяти стран, 80 тысяч выполненных заданий в день, 400 различных типов заданий уже протестированы, собрано 1 миллиард оценок.

На момент открытия мы начали с трех основных типов задач, и интересно, что они до сих пор остаются самыми любимыми задачами для большинства стрелков: оценка качества поиска изображений, разметка контента для взрослых и попарное сравнение объектов (например, , страницы с разным дизайном).

Использование краудсорсинга для сбора рейтингов в этих проектах позволило командам значительно сократить время ожидания рейтингов для построения показателей. Там, где оценщикам требуется несколько дней, чтобы оценить набор объектов, толокеры справляются за пару часов. За счет снижения стоимости оценки стало возможным значительно увеличить размер обучающих наборов и улучшить качество алгоритмов классификации. Например, после перехода на Толоку качество определения взрослого контента выросло на 30%.

Клиентами рейтингов в Толоке являются десятки разных команд Яндекса. С помощью этого сервиса собираются данные по технологиям компьютерного зрения и распознавания речи, совершенствуются рекомендательные технологии, обновляется справочник организаций, решаются многие другие внутренние задачи. Но их все равно недостаточно, чтобы предоставить задания всем толокерам. Нужно двигаться дальше.

Первые внешние клиенты

После согласования с несколькими внешними партнерами мы организовали закрытое альфа-тестирование, чтобы убедиться, что платформа соответствует внешним потребностям.Внешние клиенты приходили с типами задач, которые были нам знакомы, а также с новыми, специфичными для их бизнеса. В ходе тестирования были запущены задачи по расшифровке ценников товаров с фотографиями, аудиту торговых точек, категоризации товаров, поиску характеристик.

В заключение хотелось бы рассказать об основных рекомендациях, которые мы сформулировали на основе собственного опыта работы с токерами.

Мудрость толпы — это не философское, а полностью статистически подтвержденное явление.Даже если мнение одного человека недостаточно компетентно, а его оценка недостаточно точна, объединение оценок множества разных людей может дать более точные результаты, чем оценка одного профессионального эксперта. Здесь главное правильно организовать процесс сбора и агрегирования индивидуальных оценок.

1. Краудсорсинг — очень мощный инструмент, он отлично подходит для больших объемов и необходимости масштабирования и стандартизации процессов. Но если у вас есть разовая задача, которую решает один человек за пару часов, то так ее решить проще.
2. Неоднократно подтверждено, что любую сложную задачу можно и нужно разложить на набор небольших независимых подзадач. Это значительно улучшит качество конечных данных без увеличения стоимости общей разметки.
3. Большинство работ в краудсорсинге начинаются с дублирования (когда несколько художников выполняют одну и ту же работу). Распространенное заблуждение: чем больше совпадение, тем выше качество результатов. Обычно это не так. Точность достаточно быстро стабилизируется с увеличением перекрытия, и для некоторых задач не хватает более 5 человек, чтобы перекрыть задачу.
4. Не совсем интуитивный факт: цена задания в краудсорсинге практически не влияет на качество получаемых оценок. Часто завышение может даже навредить качеству, поскольку толокеры в погоне за деньгами перестают уделять задачам достаточно внимания.
5. Но главное, от чего действительно зависит качество оценок, — это организация задания. Чем понятнее написаны инструкции и разработан интерфейс, тем выше качество результата.И не забывайте о проверочных задачах («ханипотов»), которые помогут выявить недобросовестных токеров.
6. Большинство проектов в Толоке не требуют специальных знаний. Тем не менее, иногда необходимо «обучить» тренеров выполнять задачу именно так, как нужно заказчику. В этом случае следует создать специальные тренировочные пулы и использовать дополнительные настройки (например, разрешить только те токеры, которые успешно прошли обучение).
7. Правильная ориентация задач на определенных исполнителей часто помогает значительно улучшить результаты разметки.Например, если вам нужно оценить пантолеты для разметки каталога обуви, то лучше сразу передать это задание девушкам-артиллеристам.
8. Не все задания можно доверить мудрости толпы. Всегда найдется задача, требующая обучения и предельной осторожности. Но практически всегда в этих случаях использование предварительной фильтрации по толпе позволяет упростить жизнь профессиональным специалистам, существенно снизить затраты на получение сметы и повысить производительность вашего рабочего процесса.

Будем благодарны сообществу Хабрахабра за отзыв о работе бета-версии Толоки. Мы продолжаем работать над тем, чтобы любой заказчик мог получить результат высочайшего качества без необходимости писать код, а каждый ответственный исполнитель поощряется и имеет достаточное количество задач. И ваш отзыв поможет нашей команде в этой работе. Спасибо!

Добрый день уважаемые читатели моего блога! У меня есть друг, который постоянно ищет источники дополнительного дохода и берет на себя всевозможные подработки, потому что денег не так много.В частности, она пытается заработать через Интернет. Все бы хорошо, но с мошенничеством она уже не раз сталкивалась, когда работа была сделана, ее время и силы были потрачены, а оплата не поступила. Конечно, не все онлайн-работодатели обманщики, и не все соискатели так наивны, как моя девушка. Не хотите попасться на удочку? Есть безопасный способ заработать дополнительные деньги в Интернете! Читайте дальше, и вы узнаете, как и сколько можно заработать на Яндексе.

Из этой статьи вы узнаете:

В целом Яндекс.Толок существует уже довольно давно, и удивительно, что не все об этом знают. Для начала вам необходимо завести аккаунт в Яндекс. И тогда вы можете воспользоваться услугой с компьютера, ноутбука, телефона или планшета, потому что для этого есть специальное мобильное приложение, доступное для загрузки на iOS и Android. Забегая вперед, хочу сказать, что выполнение задач определенного типа возможно только в мобильном приложении.

Выберите занятие по душе

Суть работы заключается в том, что вам предлагают быстро выполнить несложные задачи, которые под силу каждому, будь то школьник, студент, домохозяйка, простой слесарь или топ-менеджер крупной компании.Вы можете выбрать работу по своему вкусу, пробовать разные вещи, экспериментировать, ведь под каждой задачей есть подробное описание того, что нужно сделать.

Для выполнения некоторых заданий необходимо сначала пройти короткое обучение, которое не займет более 15 минут.

Я бы условно разделил все задачи на два типа:

1. Задачи, которые можно выполнять, не вставая с дивана. Одним словом, для самых ленивых. То есть сидишь дома, щелкаешь мышкой и деньги текут тебе в карман, пусть не бурной рекой, а тонким ручейком, но об этом позже.
2. Задания, для выполнения которых вам нужно будет прогуляться по городу. Нет, покемонов ловить не будем. В основном вам придется ходить по магазинам и различным торговым точкам.

Попробую подробнее объяснить на примерах задач, которые выполнял я сам.

Задачи типа «диван»

Вы можете просматривать изображения и оценивать их качество по трем градациям — отличное качество, нормальное и плохое. Перед выполнением задания вы проходите обучение, за которое получаете определенный балл по 100-балльной шкале.Оплата проделанной работы будет отличаться от вашего рейтинга. Если у вас нет навыка, то вы получите 0,02 доллара, а если во время обучения набрали 89-100 баллов, то оплата будет 0,03 доллара за каждое задание. Заработанные деньги практически сразу поступают на ваш счет.

Ну, не зря мама сказала, что мне нужно хорошо учиться. Набрал 97 рейтинговых баллов. Оценивали картины группами по 33 штуки. Каждой группе дается 10 минут на оценку, но я справился в среднем за 2-3 минуты.Таким образом, за 10 минут я оценил 4 группы картинок и получил 12 центов. По сегодняшнему курсу это около 7 рублей. Давайте посчитаем, сколько денег я заработал бы в месяц, если бы выполнял аналогичные задачи 5 дней в неделю по 8 часов в день (как на постоянной работе). Я бы заработал 7600 рублей.

Эта сумма намного меньше той, которую я хотел бы получить. Казалось бы, работа не пыльная. Однако после 20 минут «втыкания» в монитор голова начинает кружиться, и картинки кажутся такими же.Может это просто не мое. Хочу попробовать? Тогда имейте в виду, что задачи этого типа могут содержать контент, относящийся к возрастной категории 18+.

Вывести полученное денежное вознаграждение можно через Яндекс.Деньги, PayPal, Skrill, Papara или на карту ПриватБанка.

Есть и другие способы заработать на картинках: оценить соответствие картинок описанию или заданной теме. Или наоборот, оцените качество описания картинок. Установите, подходит ли изображение для документа и т. Д.Итог один, вариаций на тему — масса. Стоимость примерно такая же — 2-3 цента за пару десятков картинок. Так что если вы любите перед сном листать Инстаграм и оставлять лайки на фото друзей, то не теряйте время зря. Приходите в Толоку и зарабатывайте на любимом занятии.

Самый высокооплачиваемый вид работы с картинками — создание коллекций. Здесь необходимо зарегистрироваться на сервисе по ссылке в задании и собрать картинки, объединенные общей темой, а также прикрепить ссылки на эти картинки.Например, по теме «Гаджеты» вам нужно будет найти в заданном количестве различные мобильные устройства, планшеты, телефоны, умные часы, очки виртуальной реальности и т. Д. К качеству и разнообразию собираемых изображений предъявляются строгие требования. Так что вам нужно включить фантазию.

Для любителей видео тоже найдется работа. Такие, как оценка качества видео, его релевантности (то есть соответствие запросу), соответствия видеоконтента правилам сайта. Оплата варьируется в зависимости от вашего рейтинга и навыков и колеблется от 0.01 — 0,08 доллара за задание. Иногда заказчик не ограничивается обучением, а предлагает сдать экзамен. Некоторые экзамены могут быть платными, но обычно их стоимость не превышает 0,3 доллара. Видео обычно короткие. Иногда даже не нужно смотреть их полностью, чтобы дать объективную оценку. Попадаются и видео для взрослых. Поэтому убедительная просьба — уберите детей с экрана компьютера!

Следующий тип задач — работа с текстами. Лично я пытался искать ошибки в заголовках новостей.И всего за 5 минут заработал 11 центов. В этой работе вам понадобится внимательность, элементарная грамотность, а иногда и гугл, если вы затрудняетесь написать то или иное слово или не знаете, ставить ли запятую. Кстати, инструкции к этим задачам довольно подробны и изобилуют примерами, которые, несомненно, вам помогут.

Также вы можете проводить модерацию контента различных сайтов, проверку соответствия комментариев правилам сайта, определение жанра, к которому относится тот или иной текст, определение конкретного контента на сайте.Здесь объем работы соответственно больше и оплата выше (15-20 центов за одно выполненное задание). Но вы потратите больше времени.

А лингвисты подойдут к классификации англо-русских и русско-английских переводов и определят их важность, если, конечно, вы не считаете, что 0,01 доллара — это достойная плата за 5 лет обучения в гуманитарном вузе. Возможно, на Яндекс.Толоке есть и такие высокооплачиваемые задачи, но я не встречал ни одного.

Задачи, требующие выхода из дома

Самая распространенная задача этого типа — «Обновление информации об организации». Для выполнения таких работ нужно отправиться по указанному адресу, сделать фотографии внутри или снаружи объекта, уточнить его расположение на карте и координаты.

Есть еще один интересный урок для наблюдателя. Вам нужно будет встать у входа в какой-нибудь магазин и посчитать количество людей, проходящих мимо вас за определенный период времени. Также можно рассмотреть проезжающие машины, сфотографировать чеки из касс.Здесь не обойтись без мобильного устройства, которое удобно брать с собой. И не забудьте его предварительно зарядить!

Для выполнения этих заданий не нужно ехать на другой конец города. Наверняка у вас рядом с домом есть Пятерочка или Магнит. Я уверен, что ты там почти каждый день. Так почему бы не воспользоваться возможностью и не совместить приятное с полезным? Просто откройте карту и найдите ближайший квест. Но будьте осторожны! Если вы живете в мегаполисе, забронируйте задание заранее , чтобы раньше у вас не было конкурентов.Да да! Такая функция тоже есть. После оформления бронирования у вас должно быть время для выполнения необходимых работ в течение 24 часов. Оплата таких работ происходит после проверки выполнения всех условий, проверка может занять до 21 дня.

Однажды я заказал сразу 4 одинаковых задания, и у меня появился настоящий Квест. Это потому, что я не нашла магазин спортивного питания. Непонятно, откуда он на карте, потому что я приставал ко всем прохожим и местным жителям, и никто не мог сказать мне, был ли когда-нибудь такой магазин по указанному адресу.И указанное в заказе Кафе перебралось в соседнее здание, и я обернул пару кругов по территории большого Бизнес-центра. Благо такие миссии оплачиваются лучше (в среднем 1-1,5 $), и примерно за час я заработал 5 $. Если сделать несложный расчет, то окажется, что за месяц я мог бы получить более 50 тысяч рублей. Согласитесь, это нечто!

Бонусная и штрафная система

Большинство клиентов Яндекс.Толока используют систему бонусов и штрафов.Что это значит? Например, если вы будете выполнять задания правильно и быстро, то ваш рейтинг повысится. . Когда ваш навык достигнет 95 баллов и выше, вы сможете получать задания с повышенной оплатой. Если постоянно «прищуриваться», то навык и уровень оплаты снижается. Некоторые задачи доступны только пользователям с определенным рейтингом. Если ваш рейтинг упадет ниже критического уровня, они могут заблокировать вас и больше не смогут выполнять задачи определенного типа.Однако если взяться за ум, можно пройти реабилитацию, и задания снова станут доступны. Чаще всего реабилитация является платной и стоит около 0,01 доллара за попытку. Если вам не удалось 5 попыток, то вы будете заблокированы навсегда, без возможности исправить ситуацию.

За качественную работу ваш заработок может удвоиться или даже утроиться. Как правило, такие «призы» разыгрываются раз в неделю и попадают в руки самых быстрых, активных или самых аккуратных сотрудников.

Если вы хотите повысить свою квалификацию и зарабатывать больше, вы можете пройти платный курс обучения или сдать платный экзамен.

А что говорит статистика?

Впервые я зашел на Сервисный Форум, когда спросил себя, как заработать в Яндекс.Толоке. Здесь вы можете найти ответы администраторов на самые популярные вопросы. Узнать больше о системе рейтингов, прочитать о последних сервисах, решить технические проблемы, обсудить клиентов, которые часто отказываются от проделанной работы, и причины отказа, просто флуд.

Мне было важно понять, сколько можно таким образом заработать? На форуме этому вопросу посвящен отдельный раздел. Пролистав десяток страниц с ответными постами, я подсчитал, что средний ежемесячный доход обычного Яндекс.Толока составляет 29,3 доллара. А максимальный ежемесячный заработок одного из участников обсуждения составлял 112 баксов, однако не все ему поверили.

Хотите верьте, хотите нет, это личное дело каждого. А вот мой хороший друг, который специально подсел на Толоку, за первые 2 недели заработал 50 долларов.В качестве подтверждения я могу отказаться от ее аккаунта. Вот результаты!

Кажется, это все, что я хотел вам сказать! Надеюсь, что помог вам открыть для себя новый вид заработка и выяснить, сколько вы могли бы заработать таким образом. Если вы уже в теме, поделитесь этой статьей с друзьями.