Директ яндекс мастер отчетов: Мастер отчетов — Директ. Справка

Отчет «Поисковые запросы» — Директ. Справка

Мастер отчётов в Яндекс.Директ: делаем самые важные отчёты

Рекламодатели, не отслеживающие эффективность запущенных кампаний, сливают до 90% бюджета в никуда. Без анализа результатов невозможно понять, какие креативы вызвали лучший отклик у потенциальных покупателей, по каким ключевым фразам стоит продвигаться и какие минус-фразы необходимо добавить в настройки РК.

Мастер отчётов в Директе: что это такое и как его использовать

Для оценки эффективности рекламы в сервисе Яндекс.Директ реализован удобный инструмент — Мастер отчётов. С его помощью рекламодатели могут получить подробную статистику и понять, куда уходят деньги и как было бы целесообразнее их использовать. Инструмент позволяет оценивать эффективность не только целых рекламных кампаний или групп объявлений, но и отдельных ключевых фраз.

Получайте до 18% от расходов на контекстную и таргетированную рекламу!

Рекомендуем: Click.ru – маркетплейс рекламных платформ:

• Более 2000 рекламных агентств и фрилансеров уже работают с сервисом.
• Подключиться можно самому за 1 день.
• Зарабатывайте с первого потраченного рубля, без начальных ограничений, без входного барьера.
• Выплаты на WebMoney, на карту физическому лицу, реинвестирование в рекламу.
• У вас остаются прямые доступы в рекламные кабинеты, рай для бухгалтерии по документообороту и оплатам.

Начать зарабатывать >>
Реклама

В Мастере отчётов формируются дашборды, которые компонуют данные, представляя их в виде графиков или гистограмм. Рекламодатели могут сравнивать периоды, добавлять в отчеты нужные параметры для анализа, например, средний объём трафика, клики, CTR, конверсию и т. д.

Данные легко фильтруются по полу и возрасту целевой аудитории, типам устройств, геолокации и другим показателям. Для каждого отчёта можно выбрать более 40 критериев фильтрации. Готовые отчёты можно экспортировать в виде XLS- или CSV-файлов. В таблицах существует ограничение по количеству строк — не более 75 000.

В отличие от Яндекс.Метрики, Мастер отчётов в Директ собирает больше данных для анализа. Метрика позволяет сформировать общие и детальные отчёты по расходам, площадкам, источникам перехода. Расширенных данных, например, изменения CTR в динамике по двум заданным периодам, сервис предоставить не сможет.

Читайте также: Как правильно настроить Яндекс.Директ

Счётчик Метрики и модели атрибуции

Чтобы сформировать отчёт в Директе, нужно выбрать интересующую кампанию в списке, кликнуть по кнопке «Действия» и выбрать пункт «Перейти в Мастер отчётов».

Сервис отобразит данные по объявлениям, которые набрали хоть какое-то количество показов. При отсутствии показов заданный период всплывает такая надпись.

В настройках отчёта рекламодателям нужно указать период. Его можно задать вручную или выбрать в списке предложенный вариант — сегодня, вчера, неделя, месяц, 3 месяца или год.

Благодаря отчётам в Директе вы сможете сравнить два периода, установив нужные временные интервалы. Чтобы ознакомиться с такими данными, кликните по кнопке «A/B Сравнить периоды» и задайте интервалы.

При формировании отчётов следует помнить, что потенциальные покупатели по-разному приходят на продвигаемый ресурс и не каждый визит приводит к конверсии. Чтобы понять, какие переходы по рекламе обернулись выполнением целевого действия, нужно применять модели атрибуции. Эта функция появилась в Директе в начале июня этого года.

В сервисе можно формировать отчёты по первому, последнему и последнему значимому переходу.

Выбрав модель атрибуции «Первый переход» в отчёте, рекламодатели смогут понять, какие рекламные кампании и объявления привели потенциальных покупателей на сайт. Такие данные позволяют проанализировать эффективность изображений и текстов, используемых в рекламных материалах.

При выборе атрибуции «Последний переход» в отчётах будут показаны визиты, при которых конверсия произошла сразу после посещения ресурса. Модель «Последний значимый переход» поможет определить решающий стимул к покупке.

Модели атрибуции в Директе и Метрике несколько отличаются. В Метрике этот параметр позволяет оценить и сравнить эффективность различных источников перехода, а в Директе — отдачу от рекламных кампаний.

При формировании отчётов в Яндекс.Директ атрибуция учитывает не визиты, а клики. Но есть одно исключение — показатель конверсий. При выборе этого пункта сервис использует данные о визитах из Метрики, учитывая отношение целевых визитов к количеству кликов.

Статья в тему: 5 кастомных отчётов в Google Analytics  

Примеры трёх самых важных отчётова в Яндекс.Директе

Мастер отчётов Директа позволяет формировать десятки графиков и гистограмм, оценивая рекламные кампания по разным параметрам. Однако существует три вида отчётов, с которыми придётся работать каждому рекламодателю вне зависимости от типа рекламируемого продукта или услуги. Это отчёты по эффективности всех рекламных кампаний, по поисковым запросам и по РСЯ. Рассмотрим каждый из них детальнее.

Отчёт по эффективности всех рекламных кампаний

Чтобы сформировать отчёт по эффективности всех рекламных кампаний, кликните по разделу «Все» в статистике по всем кампаниям.

В настройках задайте период формирования отчёта — сегодняшний или вчерашний день, неделя, месяц, три месяца или год, — определите группировку данных, поставьте галочки у пунктов «Тип кампании» и «Кампании» в столбце «Срезы».

После клика по кнопке «Показать» данные отобразятся в интерфейсе сервиса. Если вы хотите получить отчёт в виде XLS-файла, укажите кликните по одноимённому пункту при настройке параметров отчёта.

В готовом отчёте вы увидите кампании, количество показов и кликов, общие расходы, значения CTR и конверсий.

По этим данным можно будет определить эффективность рекламных кампаний. При анализе данных нужно учитывать количество показов и кликов по объявлениям, значения CTR и конверсий. Большое количество кликов и высокий CTR свидетельствуют о хорошем таргетинге объявлений. Если показатели невысокие, то, возможно, стоит переделать креатив — изменить текст или изображение. При анализе учитывайте данные в столбце «Цена цели», так как даже при высоких значениях конверсий и CTR затраты на привлечение одного лида могут быть слишком большими.

Эффективность рекламной кампании в целом можно оценить по пунктам «Конверсия (%)» и «Цена цели». В них указывается соотношение целевых визитов к кликам и стоимость конверсий соответственно. Если в первом столбце показатель низкий, как в строках avito и bolshoyvopros на скриншоте, а во втором — высокий, то это говорит о недостаточной эффективности показа объявлений на этих площадках и больших затратах на привлечение потенциальных покупателей.

Читайте также: Как сделать отчёт в Яндекс.Метрике

Отчёт по поисковым запросам

Для создания отчёта по поисковым запросам зайдите в статистику по всем кампаниям и кликните по разделу «Поисковые запросы».

Задайте группировку данных по интересующему периоду — за день, неделю, месяц, квартал или год, — установите модель атрибуции. В столбце «Срезы» сервис автоматически проставит галочки у пунктов «Кампании», «Группы», «Условие показа» и т. д.

При формировании отчёта можно дополнительно задать условия фильтрации по поисковым фразам. Их нужно ввести списком, разделяя переводом строки.

После клика по кнопке «Показать» сервис создаст отчёт с запросами, по которым показывались ваши объявления. В отчёте будут указаны точные поисковые запросы пользователей, ключевые фразы, которые задавали условия показа, количество кликов по объявлениям, CTR и другие данные. Обратите внимание на то, что сервис обрабатывает все запросы — даже те, по которым пока не было кликов.

Опираясь на данные отчёта по поисковым фразам, вы сможете повысить эффективность рекламных кампаний. Посмотрите, у каких запросов более высокий CTR и добавьте их в ключевые фразы для ваших объявлений. Обязательно найдите нерелевантные запросы, определите минус-фразы и укажите их в настройках кампании или группы объявлений.

Отчёт поможет найти возможные ошибки при настройке рекламной кампании — например, понять, что посадочная страница не отвечает запросам пользователей. Рекламодателям придётся заменить посадочную страницу или отминусовать нерелевантные запросы.

Отчёт по РСЯ

Чтобы сформировать отчёт по РСЯ, зайдите в раздел «Все» в статистике по всем кампаниям, укажите временной интервал, тип группировки данных, а в строке «Площадки» поставьте галочку у пункта «сети».

После клика по кнопке «Показать» сервис сформирует отчёт, в котором будут указаны все площадки РСЯ, на которых показывались ваши рекламные объявления. Чтобы оценить эффективность показа на каждой площадке, нужно создать более детальный отчёт. Зайдите в «Мастер отчётов», задайте временной интервал, выберите в разделе «Срезы» два пункта — «Тип площадки» и «Название площадки». В «Столбцах» укажите интересующие данные, например, клики, показы, CTR, конверсии и т. д.

Добавьте условия фильтрации, чтобы отчёт был не таким масштабным. Для оценки эффективности размещения на площадках РСЯ будет целесообразно указать количество кликов и значение «Конверсия (%)».

После клика по кнопке «Показать» сервис сформирует отчёт по всем площадкам РСЯ. Вам останется лишь найти те сайты, на которых показ объявлений не даёт конверсий или значения этого показателя неудовлетворительны.

Специалисты по Яндекс.Директу советуют отключать нерелевантные площадки, основываясь на данных 1000+ кликов и оценке стоимости цели. Чтобы отминусовать площадки списком, экспортируйте отчёт в XLS-формате, скопируйте столбец с площадками и добавьте его в настройки рекламной кампании «Запрещённые площадки». После таких манипуляций объявления на неэффективных площадках показываться не будут.

Это интересно: Как правильно настроить рекламу в РСЯ

Чего нет в мастере отчётов по Директу

Несколько лет назад в Мастере отчётов Директа невозможно было посмотреть статистику поисковых запросов, по которым показывались объявления. Для этого приходилось обращаться к сервису Яндекс.Метрика. Со временем список возможностей отчётов в Директе значительно расширился. Теперь рекламодатели могут получать детальную статистику по всем запущенным кампаниям, максимально эффективно используя рекламный бюджет.

11 полезных отчетов в Яндекс.Директе

Наши специалисты

всегда готовы ответить

на ваши вопросы
Спросить совет

×

Помните: для этого контента требуется JavaScript.

Не следить за показателями контекстной рекламы — значит упускать десятки возможностей для повышения ее эффективности. Благо, современные системы статистики позволяют отслеживать мельчайшие изменения.

Однако, чтобы оценить результативность отдельных фраз, объявлений и настроек, заходить в Яндекс.Метрику или Google Analytics необязательно. Расскажем о полезных и информативных отчетах, которые можно построить прямо в интерфейсе Директа.

«Мастер отчетов» — инструмент Яндекс.Директа для формирования отчетов. Функционал постоянно обновляется, сейчас в «Мастере отчетов» можно:

Новые функции «Мастера отчетов» позволяют получить необходимую статистику прямо в интерфейсе Директа. Для наглядности там же можно построить график. Теперь ее не нужно выгружать в файл, чтобы отсортировать, отфильтровать или сравнить.

Рассмотрим одиннадцать полезных отчетов, которые понадобятся при работе с рекламными кампаниями.

Какие параметры кампаний можно оценить с помощью «Мастера отчетов»

Сравниваем периоды

Одним из важных нововведений в «Мастере» стала возможность сравнивать периоды. Отчет полезен тем, кто хочет посмотреть статистику до изменений в кампании и после. А так же тем, кто хочет найти изменения за какой-либо период в разрезе кампании, группы, объявления и т.д.

Чтобы сформировать отчет:

«Столбцы» и «Срезы» позволяют отобразить только те показатели, которые нужно сравнить

На выходе получаем вот такой отчет.

Разница в относительных и абсолютных величинах позволяет объективно оценить изменения

В отчете будут показатели за два периода, а также разница в единицах и процентах. Чтобы узнать, по какому объявлению больше всего увеличилось количество кликов, достаточно отсортировать данные по соответствующему столбцу.

Проверяем позиции на поиске

Знать, на каких позициях показываются объявления, нужно как минимум, чтобы оценить корректность установленной стратегии или ставок. Для этого в «Мастере отчетов» используется показатель «Ср. позиция показа», но для большей достоверности рекомендуем формировать отчет в срезе позиций.

Если в аккаунте есть сетевые кампании, установите фильтр: «Площадки» → «Тип» → «Поиск».

Кампании для РСЯ тоже можно проанализировать в отдельном отчете

Вот как выглядит табличка с настройками, как на предыдущих двух скриншотах.

При необходимости добавьте срез по кампаниям, фразам, объявлениям и пр.

Сравниваем показатели по форматам и типам объявлений

В Директе несколько форматов и типов объявлений для показов в сетях: стандартные текстово-графические с картинкой и без, графические и с видеодополнением. Для оценки эффективности каждого формата выберите срезы: «Тип объявления» и «Форматы», и добавьте фильтр: «Площадки» → «Тип» → «Сети».

В меню «Столбцы» отметьте показатели, которые хотите сравнить

В результате получаем такой отчет.

Из отчета видно, что переходы с графических объявлений обходятся дешевле

Если нужно посмотреть статистику только графических объявлений, выберите один срез — «Тип объявления», если только видеодополнения — «Форматы». При необходимости добавьте срез по кампаниям.

Анализируем статистику по синонимам

Если нужно посмотреть статистику показов по синонимам, при формировании отчета выберите срез «Тип соответствия».

Чтобы посмотреть, по каким запросам-синонимам показывались объявления, перейдите на вкладку «Поисковые запросы» и установите фильтр «Тип соответствия» → «Синонимы».

В полученном отчете вы сможете оценить эффективность синонимов, чтобы в последствии добавить в минус-списки фразы с низким CTR или неоправданно высокой ценой клика.

Анализируем показы по условиям автотаргетинга

Чтобы посмотреть статистику показов по условиям автотаргетинга, выберите срез «Тип условия показа».

Эту же задачу можно решить, установив соответствующие фильтры.

Такие отчеты особенно пригодятся, если вы не уверены в целесообразности и эффективности автотаргетинга для ваших кампаний.

Оцениваем статистику по цели

Среза по целям в «Мастере отчетов» нет. Зато есть фильтр, который позволит увидеть статистику по отдельным целям. Например, вам нужно посмотреть, сколько человек оформили заказ.

Чтобы вычислить кампании, группы или фразы, которые не приносят конверсии по конкретной цели, добавьте соответствующие срезы. Правда, отобразить статистику по нескольким целям в одной таблице не получится — придется строить отдельные отчеты по каждой.

Анализируем площадки в сетях

Чтобы не тратить бюджет впустую, в сетевых кампаниях нужно анализировать площадки и отключать неэффективные. Для их поиска выберите срез «Название площадки» и отметьте показатели, по которым будет анализировать качество площадок.

Отмеченные показатели позволят сформировать наиболее информативный отчет

Обязательно установите фильтр по типу площадок, чтобы в отчет не попали поисковые кампании, и задайте условия, по которым планируете отключать площадки.

Соотношение кликов и конверсий — самый наглядный показатель качества площадки

Оцениваем ключевые фразы

Рекомендуем анализировать ключевые фразы хотя бы раз в квартал, чтобы корректировать ставки или отключать неэффективные.

Для такого анализа нужны срезы «Кампании» и «Условие показа».

Также нужно задать условия для анализа с помощью фильтров.

Сравнив количество кликов и конверсий, можно понять какие фразы съедают бюджет и не приносят результата

Анализируем регионы

Чтобы вычислить и отключить неэффективные регионы, нужно сравнить показатели. При формировании отчета выберите срез «Регион таргетинга».

В фильтрах установите условия для анализа — количество кликов и конверсий.

Формируем отчет по фразам со статусом «мало показов»

В Директе зачастую появляются группы со статусом «мало показов». Статистика по таким группам нужна, например, для сезонных ниш — чтобы посмотреть, сколько было показов поним в сезон в прошлом году. Сформируем такой отчет.

Перейдите в кампанию и с помощью поиска выберите активные группы со статусом «Мало показов».

По клику на кнопку «Найти» директ сформирует список групп

Добавьте к ним метку с любым названием. Для удобства можете так и назвать — «мало показов». Затем перейдите в «Мастер отчетов» и сформируйте отчет за длительный период, например, за год.

В фильтрах выберите «Метки» → «Мало показов», чтобы в отчет попали только нужные нам группы объявлений.

Если из отчета будет видно, что показы все же были, добавьте срез по фразам — возможно, по каким-то фразам объявления не показывались. Их можно сразу отключить.

Отчет по объявлениям с отдельной фразой в тексте, картинкой или ссылкой

Допустим, вы рекламируете несколько брендов и хотите посмотреть статистику по каждому отдельно. Проставьте метки с название бренда в интерфейсе или в XLS/XLSX файле. Затем постройте отчет, включив фильтра по меткам.

Как построить график

Сформируйте нужный отчет и нажмите кнопку «Показать график».

Затем выберите столбцы, по которым нужно построить график.

Чтобы сохранить результат в формате png, jpeg, svg или напечатать, нажмите кнопку «Экспорт».

Как сохранить отчет

Для тех, кому приходится часто просматривать одни и те же отчеты, есть функция сохранения. Чтобы ей воспользоваться, сформируйте нужную таблицу и нажмите кнопку «Сохранить отчет».

Введите название и кликните «Сохранить»

Введите название и кликните «Сохранить». Сохраненные отчеты можно найти в выпадающем списке, нажав на стрелочку возле заголовка «Новый отчет».

Выводы

Новый «Мастер отчетов» — мощный и функциональный инструмент, который позволяет сформировать несколько десятков различных отчетов. В статье мы продемонстрировали лишь часть его возможностей. По сути, вы можете отразить в отчете те показатели и срезы, которые нужны для оценки конкретных кампаний. Или сформировать и сохранить несколько разных отчетов, чтобы впоследствии быстро проводить периодический экспресс-аудит.

Мастер отчетов в Яндекс.Директе | medoed1.ru

Контекстная реклама

Если уметь правильно читать информацию, то о работе контекстной рекламы в Яндекс.Директе можно узнать очень многое. И до этого недостаточно просто смотреть дежурную статистику: сколько было переходов, сколько за них было заплачено и какой показатель CTR. В рекламе гораздо больше показателей, некоторые из которых являются не менее важными, чем самые основные. Чтобы их можно было изучить и посмотреть в удобном для восприятия виде, в Директе существует мастер отчетов.

Чтобы открыть мастер отчетов, перейдите в соответствующую вкладку на странице с общей статистикой.

Основное, что нужно сделать в отчете — это выбрать период, который будем анализировать, а также группировку. Например, если цель заключается в мониторинге показателя конверсии за долгий период, то можно группировать по неделям. Если же нужно посмотреть статистику по каждому ключевому слово, то можно выбрать группировку «За выбранный период».

Одна из наиболее полезных функций мастера отчетов — это сравнение данных за разные периоды. Вы подозреваете, что в сентябре у вас дела пошли хуже, чем в августе? Во-первых, проверьте, так ли это на самом деле, во-вторых убедитесь, не было ли такой же ситуации в прошлом году, и причина лишь в сезонности.

Теперь к основному. В мастере отчетов различные параметры объединены в две группы:

Первый означает, что мы будем измерять, второй — с помощью каких показателей.

Выбор, как видите, широкий, и с помощью разных комбинаций можно рассмотреть эффективность работы рекламы с разных сторон. Выставленные по умолчанию показатели покажут данные, которые видны в обычной совокупной статистике, а если же выбирать особые срезы и столбцы, то можно получить нестандартные, но полезные отчеты.

Например, один из отчетов, которым мы чаще всего пользуемся, это отчет, с помощью которого можно мониторить позиции объявлений. Выбрав срез «Позиция», можно увидеть, попадаете ли вы чаще в спецразмещение или в гарантированные показы (мастер отчетов приравнивает гарантию к динамике и относит их в категорию «Прочее»).

Подобную информацию можно получить, выбрав столбцы «Средняя позиция клика» и «Средняя позиция показа». Так вы можете лучше понять, стоит ли повышение ставки и продвижение по позициям объявлений вверх своей цены, либо даже размещение в гарантии может оказаться приемлемым результатом.

Обратите внимание, что в мастере отчетов есть фильтр, где можно выбрать кампании, которые вы будете анализировать, причем не только по названию, но по типу, стратегии или статусу. В наличии также множество других фильтров.

Раз уж заговорили о разных видах кампаний, то надо сказать, что в мастере отчетов есть масса возможностей для анализа рекламы в РСЯ. Например, можно проанализировать площадки, на который размещаются объявления: по цене клика, CTR, стоимости конверсии, проценту отказов и другим метрикам.

Углубимся еще дальше, и проанализируем, как работают наши объявления, ведь кампания в целом может показывать хорошие результаты, но в ней могут быть и слабые звенья. Особенно это актуально, если вы проводите А/Б-тесты разных текстов объявлений или заголовков. Делается это просто: в качестве среза выбираем номер объявления. В фильтре можно выбрать статус объявлений «активные», если в кампании есть остановленные. В отчете мы увидим, как работают разные объявления (кликнув на номер, можно увидеть, как объявление выглядит).

Разумеется, можно посмотреть и эффективность ключевых слов (срез «Условие показа»), а чтобы сразу узнать, какие фразы плохо работают, можно поэкспериментировать с фильтрами, чтобы мастер отчетов вам показал ключи, по которым редко кликают и совсем не совершают конверсионных действий. Например, так:

Помимо изучения результатов собственной работы, можно узнать больше о том, на что вы повлиять можете в меньшей степени — а именно на состав целевой аудитории. Разделение по возрасту и полу может также дать достаточно полезных данных.

Разумеется, количество подобны отчетов ограничено только вашей фантазией, и для каждой ниши можно найти свои показатели, которые играют наибольшую роль. Сравнивайте данные под разными углами и ищите способы улучшения своей рекламы!

Оптимизация контекстной рекламы в Яндекс Директ

Реклама должна работать, и работать хорошо. Иначе вы просто сливаете бюджет в черную дыру. Оно вам надо? Вот и я думаю, что нет. Поэтому после запуска контекста дополнительное внимание надо обратить на оптимизацию рекламных кампаний. В статье мы разберем простые способы оптимизации, которые позволяют не только снизить цену клика, но и повысить CTR объявлений.

Эти 8 простых действий помогут оптимизировать рекламную кампанию. Первые результаты после работы можно будет посмотреть через месяц. Если все сделали правильно, то у вас должны улучшиться основные показатели: CTR, цена клика, количество кликов и т. д.

Как распознать всплески и спады показов в Яндекс.Директе, и что с ними делать дальше

Выпускающий редактор SEOnews

Представляем новую шпаргалку по интернет-маркетингу в рамках совместного спецпроекта SEOnews и eLama. Сегодня ведущий специалист по работе с платным трафиком eLama Никита Кравченко и Светлана Смирнова из Службы Заботы расскажут, как распознать всплески и спады показов в Яндекс.Директе, а также почему возникают такие аномалии показов и что с ними делать рекламодателю.

Практически каждый рекламодатель, который запускает рекламу через Яндекс.Директ сталкивается с такой проблемой – всплеск или спад показов (показов вдруг становится больше или меньше). Зачастую рекламодатели не могут определить причину таких изменений и считают это какой-либо аномалией. Хотя на самом деле причину спадов и всплесков показов определить несложно. Об этом расскажем ниже.

Где смотреть информацию о всплесках/спадах

Сначала расскажем, какие отчеты на самом деле нужно смотреть, чтобы подтвердить всплеск/спад показов или определить их причину.

Мастер отчетов в Яндекс.Директе

Прежде всего нужно использовать «Мастер отчетов» в Яндекс.Директе. Этот отчет помогает сравнивать между собой два периода.

Выбираем в настройках нужный период, столбцы и срезы. 

Очень важно выбрать одинаковый период времени, за который вы смотрите статистику, иначе данные будут не точными. Например, если за период А вы берете одну неделю, то и за период В тоже должен быть равен одной неделе.

На этом скриншоте мы видим спад показов – в период В показов явно было меньше, чем в период А.

Отчеты Яндекс.Метрики

Также для данных процессов можно использовать отчеты Яндекс.Метрики, в случае если код счетчика установлен в параметры компании.

Используйте отчеты группы Директ. Это специальные отчеты, которые используются для оценки именно рекламного трафика из Яндекс.Директа. Эти отчеты полезны тем, что в них не входят показы и клики, которые были отфильтрованы системой Яндекс.Директа как недействительные, то есть в отчете будут только клики, за которые пользователь заплатил.

Для определения спадов и всплесков нам подойдет отчет «Директ, сводка» – здесь также можно сравнивать два периода.

Причины возникновения аномалий

1. Внесение изменений пользователем

Обычно 70-80% пользователей, которые обращались в Службу Заботы eLama по поводу спада/всплеска показов, вносили какие-либо изменения в настройки кампании, объявлений или групп объявлений. Это могут быть изменения в:

• Стратегии




• Корректировке ставок




• Дневном бюджете




• Ставках




• Регионе показов




• Расписании показов

Все это приводит к тому, что количество получаемого клиентом трафика меняется.

Отдельно отметим изменение ставки. На поисковых площадках объявления отбираются по комбинации CTR, ставки и коэффициента качества. Как только ставка уменьшается, вся комбинация также уменьшается, и, соответственно, показов становится меньше. В сетях ситуация похожа – на охват, в первую очередь, влияет именно стоимость клика. Если стоимость уменьшается, объявление показывается на меньшем количестве площадок, и показов становится меньше.

История изменений

Чтобы посмотреть, какие изменения вы вносили, например, две недели назад, можно воспользоваться функцией в Яндексе «История изменений».

Заходим в рекламный кабинет Яндекс.Директа, нажимаем на шестеренку напротив рекламной кампании и выбираем пункт «История изменений». Получаем список практически всех изменений, которые вы производили:

В истории не отобразятся изменения ставок, списка ключевых фраз или текста объявления.

Советуем вести свой файлик со всеми внесенными изменениями, чтобы в любой момент можно было посмотреть, что было сделано и в какую дату.

2. РСЯ отсекает неэффективные площадки

При запуске кампания имеет большое количество показов, потом со временем система накапливает эту статистику, обрабатывает ее и отсекает неэффективные площадки, либо неэффективных пользователей. Тем самым рекламодатель тратит меньше средств, количество показов снижается, но при этом реклама становится гораздо эффективнее. Поэтому в данном случае спад показов – это даже хорошо.

3. Нехватка средств на балансе аккаунта

Пользователь несвоевременно перевел средства, средства задержались в пути, или просто происходила долгая активизация аккаунта. Все это могло привести к уменьшению показов.

4. Отклоненные группы объявлений или группы с пометкой «Не показываются по интересам пользователей и условию подбора аудитории» 

Так бывает, что запущенные объявления через какое-то время получают статус «Мало показов». Когда группа генерирует прогнозное малое количество показов, Яндекс.Директ решает не показывать объявления из этих групп для того, чтобы оптимизировать использование своих мощностей. За такими группами объявлений нужно следить, например, используя Рекомендатор eLama.

5. Сезонность

Эта причина актуальна для сезонного бизнеса, когда популярность покупаемых товаров зависит от времени года. Например, зимние головные уборы весной и летом гораздо реже ищут в интернете, соответственно, и у объявлений с таким товаром показы будут падать. Если вы не уверены, является ли ваш товар сезонным, воспользуйтесь сервисом Яндекс.Wordstat и посмотрите в нем историю запросов пользователей:

6. Конкуренция

В Яндексе для снижения показов иногда достаточно, чтобы появился всего один конкурент с более высокой ставкой. Таким образом, необходимо постоянно проверять, хватает ли выставленной вами ставки для высокого процента охвата и вовремя ее актуализировать.

7. Скликивание (кликфрод)

Так же может быть причиной спада числа показов, но это происходит крайне редко.

Какие еще отчеты помогут выявить аномалии в показах

Отчет «Поисковые запросы» – в нем можно посмотреть, по какой конкретной фразе/поисковому запросу был всплеск/спад показов.

Также с этой задачей может помочь отчет «Фразы по дням»:

Отчет «По площадкам» – по нему можно определить, на какой площадке произошел всплеск/спад и оценить качество получаемого с площадки трафика.

Читайте предыдущие шпаргалки:

Как настроить отслеживание события на отправку формы в GA4

Как сделать рекламные баннеры за 5 минут

Яндекс Директ | Всё о контекстной рекламе

Вчера общался с человеком, который хочет заказать у меня рекламу. Долго объяснял ему особенности рекламы в Яндексе. Приводил доводы и рассуждал. В итоге удалось сформулировать несколько мыслей. Хочу поделиться в этом кратеньком посте с вами.

Область рекламы, наручные часы. Довольно конкурентная ниша, большой спрос и много предложений. Кроме того, что надо обязательно подтвердить в Яндекс наличие, разрешающих документов по поводу брендов продукции, еще есть несколько нюансов. Например, все, что касается приобретения товаров, если нет сильного превышения спроса над предложением, то 90% успеха это всегда ЦЕНА. Далее уже само посадочное место для трафика + конечно, УТП с ним неразрывно связано. Все это закручивается для начинающего рекламодателя в клубок вопросов. Настройка, доводка, ведение рекламных кампаний, это вложения. Страшно.

Сработает – не сработает?

Если цену, утп, лендинг заказчик сам может контролировать, то уровень конкуренции в нише, это за гранью его влияния. Поэтому здесь самый больной вопрос.

Как быть с конкурентами?

И я, как специалист по контекстной рекламе отвечу следующим образом.

1. Наличие конкуренции, это почти всегда хорошо. Много ниш, со средней или низкой конкуренцией – это вообще своего рода халява, для профи. Единственный минус, спрос может быть недостаточен и в целом процессы в нише будут протекать вяло. Есть также ниши с очень высокой конкуренцией (окна, натяжные потолки и пр.) В итоге большинство ниш, со средней и выше среднего конкуренцией.
2. Из первого пункта вытекает второй. Чем слабее конкуренция, тем больше в ней рекламодателей дилетантов. Понимаете, я как технический специалист, который ПРОФЕССИОНАЛЬНО, работает с Яндекс Директ, все равно обыграю любителя. Просто не оставлю шансов. А в нишах с высокой конкуренцией смогу сразу просчитать стратегию, как мне протиснуться и, по крайней мере, обмениваться ударами на более менее равных с соседями по цеху.
3. Основной вывод по конкуренции в Яндекс Директе, да и в других подобных системах, что любая конкуренция имеет свой доступ сложности. Всегда есть те, кого можно подвинуть. Также необходима стратегия, то есть осознанный план, последовательность шагов по вхождению в нишу. Пусть даже он будет в голове, просто, как понимание.

Я конечно же не хочу, сказать, что такой крутой. Просто если вы выбрали развиваться профессионально в одном направлении, то вы станете профессионалом через некоторое время, при любом раскладе. Просто произойдет накопление знаний и опыта и вуаля – вы спец! Если человек, работая еще где-то, сам настраивает, для себя Яндекс Директ, это лишь значит, что это пока прокатывает. Далее видно будет.

Я уверен, что могу зайти почти в любую нишу. В некоторые вход будет дороже/сложнее, в другие вход будет вообще открыт и легок. В этой статье, хочу просто выразить свое видение этого аспекта Конкуренция. Если конкуренция есть – это всегда скорее хорошо, чем плохо. А дальше, как всегда начинаются нюансы и тонкости )))

отчетов Яндекс.Директа — Яндекс.Метрика. Справка

Убедитесь, что этикетка сформирована правильно. Метка UTM имеет пять параметров, представленных в любом порядке, разделенных амперсандами (&):

  http://example.com/?utm_source=yandex&utm_medium=cpc&utm_campaign=campaign123&utm_content=ad456&utm_term=keyword Если страница  

уже содержит параметры, метка должна быть добавлена ​​после амперсанда (&):

  http://example.com/?uid=1234&utm_source=yandex&utm_medium=cpc&utm_campaign=campaign123&utm_content=ad456&utm_term=keyword  

Кроме того, ярлыки могут не учитываться. потому что:

• Яндекс.Тег Metrica не установлен на целевых страницах или установлен неправильно. Проверьте, как установлен тег.

• В объявлении указан URL-адрес, который ведет на страницу, на которой не установлен тег Яндекс.Метрики.

• В объявлении указан URL-адрес, который перенаправляет на другую страницу, и метки UTM теряются.

• В объявлении указан недопустимый URL-адрес, по которому не открывается страница.

Стандартный отчет по меткам UTM имеет иерархическую структуру: utm_source, utm_medium, utm_campaign, utm_content и utm_term.

Если вы используете все метки UTM, кроме utm_content, данные для utm_term не будут доступны в стандартном групповом отчете по меткам. Чтобы начать показ ярлыков, удалите utm_content из отчета.

Параметры метки имеют стандартизованные имена: utm_source, utm_medium, utm_campaign, utm_content и utm_term. Вы не можете изменить их или создать собственные имена (например, utm_keyword или utm_word), потому что они не будут частью меток UTM, и их данные не будут отражены в отчете «Метки UTM».

Например:

  http://example.com?utm_source=yandex&utm_medium=cpc&utm_campaign={campaign_id}&utm_keyword={keyword}  

, где utm_keyword — это настраиваемый параметр.

В отчете «Метки UTM» отображается информация для параметров utm_source, utm_medium и utm_campaign. Информация для параметра utm_keyword доступна только в отчете.

Отчет «Яндекс.Директ, сводка» — Яндекс.Метрика. Справка

Убедитесь, что этикетка сформирована правильно.Метка UTM имеет пять параметров, представленных в любом порядке, разделенных амперсандами (&):

  http://example.com/?utm_source=yandex&utm_medium=cpc&utm_campaign=campaign123&utm_content=ad456&utm_term=keyword Если страница  

уже содержит параметры, метка должна быть добавлена ​​после амперсанда (&):

  http://example.com/?uid=1234&utm_source=yandex&utm_medium=cpc&utm_campaign=campaign123&utm_content=ad456&utm_term=keyword  

Кроме того, ярлыки могут не учитываться. потому что:

• Яндекс.Тег Metrica не установлен на целевых страницах или установлен неправильно. Проверьте, как установлен тег.

• В объявлении указан URL-адрес, который ведет на страницу, на которой не установлен тег Яндекс.Метрики.

• В объявлении указан URL-адрес, который перенаправляет на другую страницу, и метки UTM теряются.

• В объявлении указан недопустимый URL-адрес, по которому не открывается страница.

Стандартный отчет по меткам UTM имеет иерархическую структуру: utm_source, utm_medium, utm_campaign, utm_content и utm_term.

Если вы используете все метки UTM, кроме utm_content, данные для utm_term не будут доступны в стандартном групповом отчете по меткам. Чтобы начать показ ярлыков, удалите utm_content из отчета.

Параметры метки имеют стандартизованные имена: utm_source, utm_medium, utm_campaign, utm_content и utm_term. Вы не можете изменить их или создать собственные имена (например, utm_keyword или utm_word), потому что они не будут частью меток UTM, и их данные не будут отражены в отчете «Метки UTM».

Например:

  http://example.com?utm_source=yandex&utm_medium=cpc&utm_campaign={campaign_id}&utm_keyword={keyword}  

, где utm_keyword — это настраиваемый параметр.

В отчете «Метки UTM» отображается информация для параметров utm_source, utm_medium и utm_campaign. Информация для параметра utm_keyword доступна только в отчете.

Master API — показатели привлечения пользователей через API — Справочный центр

KPI — это метрики, используемые для понимания поведения вашего приложения.Ключевые показатели эффективности сгруппированы по типу на следующих вкладках.

Общая ценность — совокупные события, сегментированные по дням установки до сегодняшнего дня.

Удержание — это показатель того, сколько существующих пользователей активно в вашем приложении.

Ограничение: Максимальное количество дней хранения составляет 30 дней после установки, где день 0 — это день установки. Это означает, что значение [x] не может превышать 30.

Действия в приложении за выбранный диапазон дат.

AppsFlyer Cohorts предоставляет рекламодателям возможность просматривать и сравнивать различные показатели для нескольких когорт за разные периоды времени.

Ограничения:

• Ошибки округления: Когорта для каждого пользователя KPI рассчитываются с использованием четырех десятичных знаков. Это означает, что если рассчитанное значение на пользователя <0,0001, то это отображается как 0. Например, количество пользователей составляет 100 000, общий доход составляет 9 долларов США. Доход на пользователя составляет 9/100000 = 0,00009. Поскольку 0,00009 <0,0001, отображается значение 0.
• Дней когорты : Максимальное количество дней когорты составляет 90 дней после установки, где день 0 — это день установки.Это означает, что значение [x] не может превышать 90.
• Master API и когортный API и панель мониторинга когорт: результаты могут отличаться из-за разной обработки переустановок и проблем со временем.

Сессий

Выручка

События

Расчетные КПЭ

В дополнение к описанным ранее ключевым показателям эффективности вы можете добавлять вычисленные ключевые показатели эффективности в свои главные отчеты API. Это позволяет вам включать собственные рассчитанные отчеты в отчеты Master API.

Вы можете вставить любое количество встроенных KPI в вычисляемые формулы KPI.

Поддерживаются стандартные арифметические операторы: сложение (+) с кодировкой% 2b, вычитание (-), умножение (*), деление (/) с кодировкой% 2f.

Имена вычисляемых полей KPI должны начинаться с с «calculate_kpi_», за которым следует любая допустимая строка, например, «calculate_kpi_purchaserate».

Пример

Комбинированное удержание первых трех дней

  kpis = установки, loyal_users_rate & calculate_kpi_3days_retention =
retention_day_1% 2Bretention_day_2% 2Bretention_day_3  

Средний доход от показа

  kpis = installs & loaded_kpi_rev_per_impression = доход% 2Fimpression  

Когорта, день 7 Рентабельность инвестиций

  kpis = установки, рентабельность инвестиций, arpu_ltv, стоимость, доход & рассчитываемый_kpi_roi_day_7 =
(cohort_day_7_total_revenue_per_user-average_ecpi)% 2Faverage_ecpi  

Как провести аудит эффективности контекстной рекламы с помощью мастера отчетов Яндекса 2.0

На этой неделе в интерфейсе Яндекс Директ произошло долгожданное изменение!

Новый Мастер отчетов 2.0 теперь доступен на уровне учетной записи и предлагает множество новых опций массовой отчетности по кампаниям. В настоящее время этот инструмент доступен в бета-версии и доступен на вкладке «Статистика для всех кампаний» внизу главной страницы.

До этой недели Яндекс Директ предлагал ограниченные возможности просмотра сводных данных по всем рекламным кампаниям, размещенным в одном аккаунте.Например, чтобы проверить наиболее эффективные ключевые слова по всему аккаунту, вам пришлось запустить несколько разных отчетов (по одному для каждой кампании). Как упоминалось в официальном уведомлении от Яндекса: «С помощью нового мастера отчетов статистику можно анализировать различными способами и фильтровать с использованием различных комбинаций критериев, таких как клики, показы, CTR, стратегии, статусы кампаний, группы, объявления, фразы и т. Д. и многое другое’. Чтобы прочитать официальное объявление, перейдите сюда: https://yandex.com/support/direct-news/n-2016-01-18.xml

Я испытал эту новую возможность на аккаунте одного из моих клиентов.

Во-первых, я хотел проверить, какое из всех моих ключевых слов из всех моих кампаний получило наибольшее количество конверсий за последние 3 месяца, и проанализировать их коэффициенты конверсии, а также цену за конверсию.

Для этого я просто выбрал требуемый диапазон дат, сгруппировал данные с помощью опции «за выбранный период», нажал «Кампании» и добавил «Конверсия», «Целевая стоимость» (это означает CPA на языке Яндекс. ) и «Конверсия (%)» из столбцов справа:

Как вы могли заметить выше, я также выбрал необычно звучащий термин «критерии впечатления».Яндекс разделяет показы по следующим критериям:

• Ключевые слова (в Яндексе они называются «фразами»)
• Критерии ретаргетинга (списки ретаргетинга)
• Цели динамической текстовой рекламы (динамические поисковые объявления)
• Автоматически добавляемые фразы (широкое соответствие)

Вы можете фильтровать данные, отображаемые по определенной категории.

Однако для целей этого отчета я рад видеть статистику по всем критериям показов. Вдобавок к этому я хотел бы отфильтровать свои данные по другим критериям.Поскольку я проверяю конверсии и у меня есть несколько целей, установленных в Метрике, я хотел бы видеть конверсии только от людей, которые выполнили определенное действие на моем веб-сайте. Для этого я выбираю опцию «Цель» в меню «Фильтры», а затем выбираю цель, которая меня интересует, как в примере ниже:

В отчете, который отображал Яндекс Директ, я щелкнул столбец «Конверсии», чтобы отсортировать их по убыванию:

На основании приведенной выше таблицы я могу сказать, что, несмотря на то, что ключевое слово A имело наибольшее количество конверсий, цена за конверсию была почти на 70% выше, чем у ключевого слова E.Вдобавок ко всему, коэффициент конверсии последнего ключевого слова был на гораздо более высоком уровне (42,77%) по сравнению с 16,62%. Благодаря такому пониманию я могу рассмотреть возможность изменения бюджета таким образом, чтобы учесть большие расходы по ключевому слову с более низкой ценой за конверсию и более высоким коэффициентом конверсии.

Если вы не хотите просматривать сразу все ключевые слова, вы можете просто отфильтровать их по тем, которые достигли определенной стоимости за цель, применив дополнительный параметр фильтрации:

Анализ конверсий по ключевым словам — один из самых очевидных отчетов и первое, что я бы посоветовал проверить при запуске нового мастера отчетов.Однако возможности анализа данных на разных уровнях сейчас практически безграничны. Ниже я привел несколько примеров для других отчетов, которые могут оказаться полезными при аудите вашей учетной записи:

• Самые эффективные рекламные платформы (то есть веб-сайты поисковой сети и сети контекстной рекламы, на которых появлялись ваши объявления). Этот отчет может оказаться действительно полезным при создании основного списка всех неэффективных сайтов, на которых вы не хотели бы появляться. Затем вы можете использовать Yandex Commander, чтобы применить этот список ко всем своим кампаниям, используя опцию «Заблокированные сайты».
• Возраст и пол вашего общего трафика по всем кампаниям — если вы видите, что, например, мужчины в возрасте 25-34 лет лучше всего конвертируются во всех ваших кампаниях, вы можете изменить свои рекламные копии, чтобы сделать их еще более привлекательными для эта целевая аудитория. В дополнение к этому вы можете начать планировать медийную кампанию Яндекса и выбрать эту аудиторию в качестве категории таргетинга.
• I определение наиболее эффективных регионов по всем вашим брендированным и небрендированным кампаниям — этот отчет может предоставить бесценную информацию о том, как ваши брендовые и небрендовые термины ведут себя в разных частях страны.
• Конверсий на каждое устройство и общий трафик с мобильных устройств — со всеми новыми вариантами мобильной рекламы, предлагаемыми Яндексом, вы должны использовать данные, собранные с помощью этого отчета, чтобы, возможно, начать планирование таргетинга на эту аудиторию, особенно если вы видите, что она конвертирует хорошо на вашем сайте. Создайте этот отчет для всех кампаний и определите термины, наиболее эффективные для мобильных устройств. А для тех, кто это делает, подумайте о создании предпочтительной мобильной рекламы (см. Эту статью здесь: https: // yandex.ru / support / direct / mobile / mobile-ads.xml)
• Поскольку новый мастер отчетов также дает вам возможность запускать эпорты r по типу операционной системы и типу подключения (мобильное соединение или Wi-Fi), я настоятельно рекомендую изучить эффективность этих сегментов таргетинга в ваших кампаниях. Это может помочь вам определить кампании, в которых используются целевые страницы, которые могут не подходить для аудитории, использующей определенную ОС или тип подключения.

Шаблоны

Новый мастер отчетов 2.0 позволяет создавать шаблоны для отчетов с заранее заданными критериями, разделами и столбцами. Если вам понадобится отчет с такими же параметрами за новый период, вы можете просто выбрать сохраненный шаблон. Эта опция не нова, но теперь она немного отличается от предыдущей версии.

В каждом отчете есть опция «Сохранить отчет», где вы можете дать ему имя.

Затем это имя можно найти в раскрывающемся списке под меню «Новый отчет» в верхней части мастера отчетов 2.0 стр .:

Все данные, отображаемые в мастере отчетов 2.0, можно экспортировать в форматы XLS / XLSX и CSV, что позволяет выполнять дальнейшую сортировку и фильтрацию в соответствии с вашими требованиями.

Яндекс обещает дальнейшие обновления этого инструмента, поэтому следите за этой страницей. А пока удачной оптимизации!

Следующие две вкладки изменяют содержимое ниже.

Юстина — директор по обучению и развитию в WebSet, сертифицированный эксперт и мастер-тренер Яндекса.Она имеет более чем 5-летний опыт управления международными и многоязычными рекламными кампаниями в различных отраслях, включая B2B, электронную коммерцию и некоммерческие секторы. Она является официальным экспертом и мастером-тренером Яндекс. За последние 3 года она обучила сотни специалистов по маркетингу всемирно известных брендов, таких как Adidas, booking.com, SAP и Airbnb, методам проведения эффективных международных кампаний. Она выступала на конференциях по цифровому маркетингу по всему миру и является сертифицированным специалистом по Яндекс, Google AdWords и Bing PPC.Юстина родом из Польши и в настоящее время живет в Великобритании.

ДА: Яндекс Эксперт Саммит 2016

На прошлой неделе Яндекс провел свой первый ежегодный Саммит экспертов Яндекса (YES) в Берлине, Германия. Саммит собрал сертифицированных цифровых рекламодателей Яндекс.Директа со всего мира, чтобы поучиться у ведущих специалистов Яндекса. Эта обширная двухдневная программа включала полезные беседы, мастер-классы, тренинги и нетворкинг, посвященные новым возможностям эффективного использования Яндекс.Директ и Рекламная сеть Яндекса, Яндекс.Маркет, Яндекс.Метрика и AppMetrica.

Яндекс создал Саммит экспертов Яндекса, чтобы предложить рекламодателям, прошедшим профессиональную подготовку, возможность повышения квалификации по продуктам и услугам Яндекса. Саммит призван помочь участникам улучшить кампании и быть в курсе последних запусков и обновлений от тех, кто их создает!

Яндекс регулярно проводит курсы экспертов Яндекс.Директа в Лондоне, Барселоне и Шанхае, а также ежегодные курсы в Нью-Йорке и Сан-Франциско.В ходе курса рекламодатели узнают о платформе Яндекс PPC, Яндекс.Директ, а также о Яндекс.Метрике, инструменте веб-аналитики, инструменте исследования ключевых слов Wordstat и других продуктах. Курсы проводит эксперт-тренер Яндекса Юстина Вильнер из Websent, которая прошла обучение в Яндексе и продолжает тесно сотрудничать с персоналом Яндекса на учебных мероприятиях и в течение года. По окончании этого двухдневного курса Яндекса участники проходят сертификационный тест Яндекс Эксперта, чтобы проверить свой уровень знаний и стать официальными экспертами Яндекса.

Конференция YES приветствовала этих экспертов и рекламодателей, включая 150 участников, представляющих 96 компаний из десяти стран, чтобы расширить свои знания о Яндексе и установить контакты с другими рекламодателями. Помимо Яндекса, мероприятие, которое проходит в Haubentaucher Berlin, спонсируют Hurra, Searchmetrics, Lenovo и Kenshoo.

Спикеры Yandex Expert Summit

Яндекс пригласил своих специалистов поучиться у топ-менеджеров компании из ряда отделов.Бернар Люки, исполнительный директор Yandex Europe AG, открыл мероприятие, представив аудитории менеджеров по продуктам Яндекса и партнера по обучению экспертов Яндекса WebSet.

YES В спикерах Яндекса выступили топ-менеджеры всех продуктов Яндекса, актуальных для международных маркетологов Яндекса: Директ, Медийная реклама, API, Метрика, Мобайл и Деньги. Эти спикеры поделились своими знаниями, но также попросили аудиторию поделиться своими отзывами и опытом работы с продуктами Яндекса.

Помимо презентаций, представители Яндекса общались с рекламодателями во время еды, а также в специально отведенных местах, где они размещались, чтобы быть доступными для обсуждения.Спикеры Яндекса и члены команд из Яндекс.Маркета, Яндекс.Директа, медийной рекламы и специальных проектов вместе с рекламодателями Яндекса задавали вопросы, принимали запросы и изучали, что они могут сделать лучше для клиентов, как показано ниже.

Темы саммита экспертов Яндекса

Спикеры YES в течение дня затронули ряд тем, призванных информировать экспертов о текущем состоянии российского рынка Интернета и рекламы, а также обо всех новых функциях, запусках и разработках продуктов, чтобы помочь рекламодателям.Ниже приведены основные моменты, основанные на некоторых из лучших вопросов, реакций и отзывов аудитории во время презентаций.

Андрей Себрант, директор по маркетингу продуктов, открыл день первый с вертолетного обзора цифровой сцены в России. Себрант взглянул на текущее состояние российского интернет-рынка с некоторыми примечательными особенностями.

• Мобильная реклама как естественный фильтр: Из-за специфического поведения и более молодой демографии мобильных пользователей в России эта платформа предлагает рекламодателям возможность легко фильтровать свою аудиторию и таргетинг.Использование мобильного Интернета наиболее популярно среди пользователей в возрасте от 18 до 24 лет, составляющих 22% всех пользователей мобильного Интернета. Возрастной диапазон от 25 до 34 лет составляет большую часть общей аудитории Рунета и составляет 32% населения российского мобильного Интнернета.
• Местные ценности пользователей: В отличие от многих других стран, российские пользователи больше полагаются на местные услуги, что делает их уникальным рынком для цифровых рекламодателей и веб-мастеров. Пользователи обращаются к Яндекс и Google за поиском, ВКонтакте, Одноклассники и Facebook за социальными сетями, а также к сервисам Яндекса для решения большинства повседневных задач, таких как новости и такси.
• MatrixNet: Машинное обучение, на котором работает 70% продуктов и услуг Яндекса, от поиска до речевого набора. Как компания, занимающаяся искусственным интеллектом, Яндекс использует сигналы, генерируемые людьми, для улучшения своего бизнеса и обслуживания клиентов. Благодаря этому Яндекс узнает много нового о российской аудитории, используя персонализацию Яндекса для рекомендаций по продуктам и рекламы. Яндекс может предугадывать и предлагать россиянам то, что им нужно и что они хотят.

Вслед за Себрантом, Максим Гришаков, Директор по работе с клиентами, осветил тенденции российского рекламного рынка.В целом Гришаков обозначил возможности для рекламодателей, исходя из меняющихся моделей пользователей, и показал успех рекламы в Рунете за последний год. Ниже приведены несколько ключевых выводов из его выступления:

• Изменения в покупательском поведении: Объем электронной коммерции в России вырос на 16%, поскольку все больше пользователей находят простоту, продвижение и развитие электронной коммерции более привлекательными и заслуживающими доверия.
• Увеличение охоты за продвижением и продажами: По большей части, российские пользователи по-прежнему тратят ту же сумму денег, что и до падения рубля, но теперь они обычно занимаются более длительным планированием и онлайн-исследованиями.За последний год количество запросов на акции в Яндексе увеличилось на 37%.
• Уменьшение беспорядка в цифровой рекламе и более эффективная реклама: В опросе 2014 года 15% россиян ответили, что им в целом нравится цифровая реклама. В 2016 году этот показатель вырос до 21%, поскольку реклама становилась все более актуальной для пользователей.

Евгений Ломизе, на протяжении многих лет отвечавший за запуск нескольких продуктов Яндекса, представил: «Новые возможности и рекламные инструменты для вашего бизнеса.Во время его выступления аудитория задала несколько вопросов и предложила то, что они хотели бы увидеть. Вот несколько моментов, которые взволновали публику:

• Пока не на мобильных устройствах: Аудитория мобильного Интернета в России выросла на 20% по сравнению с аналогичным периодом прошлого года, но только 31% запросов поступает с мобильных устройств. Отрасли, как правило, влияют на объем мобильного поиска, немного различаясь в зависимости от тематики поиска. После изменений в SEO в Яндексе все больше веб-сайтов будут адаптированы для мобильных устройств, чтобы подготовиться к этой меняющейся среде.
• Июнь Запуск собственных сегментов: Обсуждая способы использования Яндекс.Метрики для развития сегментов аудитории, Ломизе анонсировал новые собственные сегменты, которые позволяют таргетинг по номерам телефонов и электронной почте из CRM-систем рекламодателей.
• Сосредоточьтесь на персонализации: Смарт-баннерные объявления Яндекса (динамические объявления), которые автоматически генерируются из фида рекламодателя и включают рекламный дизайн, ориентированный на контент, увеличивают CTR на 9%. По словам Ломизе, объявления, которые были запущены в феврале 2016 года, недостаточно используются рекламодателями, и он призвал аудиторию воспользоваться этой функцией.
• Новая целевая аудитория: Рекламодатели скоро смогут находить похожих людей за пределами своей аудитории «крипта» с похожим сегментом. В отличие от стандартного ретаргетинга, это предлагает рекламодателям отличный способ найти новых клиентов, которые демонстрируют качества, которые делают их похожими на аудиторию, на которую рекламодатель хочет ориентироваться.
• Запуск ретаргетинга в поиске : Яндекс запустит ретаргетинг в поиске в июле 2016 года.

Андрей Кашин, руководитель Яндекс API, представил продукт Яндекс и ответил на несколько вопросов аудитории по теме.Ниже приведены три основных момента, которые интересовали аудиторию:

• Различия в API Яндекса: В качестве обновления предыдущей версии 4.0 Яндекс API 5.0 позволяет пользователям обновлять текст при создании объявления.
• Скрипты для аккаунтов агентства: Нет разницы при написании скрипта для одного клиента или агентства. Яндекс API 5.0 имеет баллы только на уровне клиента, которые используются для каждого клиента каждый день. Начисление баллов основано на параметрах клиента, и алгоритм может работать как с большим, так и с меньшим количеством баллов.
• Креативные ставки: Помимо обсуждения API, в ходе беседы были затронуты несколько моментов о творческом использовании данных для корректировки ставок. Например, написание сценария в соответствии с погодой, когда продажи увеличиваются с более дождливой погодой. Написав этот сценарий один раз, рекламодатели могут воспользоваться этим методом для достижения своих рекламных целей.

Александра Кулачикова из Яндекс.Метрики рассказала аудитории, как использовать Яндекс.Метрике, чтобы лучше знать свою аудиторию, чтобы быть более клиентоориентированными. Александра представила несколько новых функций Metrica, которые помогут рекламодателям:

• Новый сегмент, ориентированный на пользователя: Новый сегмент в Яндекс.Метрике основан на характеристиках пользователей, которые помогают веб-мастерам и рекламодателям более детально определять сегменты. Как показано ниже, можно включить несколько функций от целевой страницы, URL до возрастной группы.

• Новое использование данных для полного представления о клиентах: Кулачикова объяснила, как использовать данные о клиентах из CRM-системы с Яндекс.Данные метрики, чтобы лучше видеть, что происходит с клиентами. Она дала простой обзор того, как это работает: отправить userParams в коде веб-сайта, добавить файл CVS / TSV в раздел импорта данных и отправить через API.
• Использование Webvisor для понимания поведения и потребностей клиентов: Используя реальный пример путешествия клиента в поисках пары обуви, Кулачикова показала отличный пример того, как рекламодатели могут использовать Webvisor, чтобы наблюдать за поведением клиентов и узнавать о способах повышения конверсии. .В ее примере покупатель отказался от товара в корзине, когда его заставили зарегистрироваться на веб-сайте, чтобы совершить покупку. Веб-мастера и рекламодатели должны работать вместе, чтобы использовать свои данные для улучшения впечатлений своей аудитории и увеличения конверсии.

Помимо выделенных презентаций, аудитория услышала о Яндекс.Мобиле, Яндекс.Деньгах, медийной рекламе Яндекса на programmatic и была представлена ​​двумя новыми кейсами. Рекламодатели узнали новые советы и рекомендации, разговаривая с разработчиками продуктов и другими рекламодателями.Яндекс поблагодарил рекламодателей за то, что это уникальное мероприятие понравилось! Яндекс с нетерпением ждет возможности реализовать обратную связь с клиентами и снова принять ДА!

Яндекс работник украл исходный код поисковой системы, попытался продать всего за 28 тысяч долларов

Сотрудник российского интернет-гиганта «Яндекс» Дмитрий Коробов украл исходный код его поисковой системы и попытался продать его на черном рынке, чтобы профинансировать собственный стартап, согласно сообщению российской газеты «Коммерсантъ ».Российский суд признал Коробова виновным и приговорил его к двум годам лишения свободы условно.

Расследование «Коммерсантъ » показало, что Коробов скачал с серверов Яндекса программу под кодовым названием «Аркадия», которая содержала исходный код и алгоритмы поисковой системы компании. Позже он попытался продать его продавцу электроники NIX, где якобы работал его друг. Коробов также прочесал даркнет в поисках потенциальных покупателей.

Коробов назначил удивительно низкую цену за код и алгоритмы, потребовав всего 25 000 и 250 000 российских рублей, или около 19 000 фунтов стерлингов в сумме. Информации о положении Коробова в компании нет, но, похоже, он не знал, что данные, которыми он располагал, могут стоить гораздо больше.

Реклама

По мнению местных отраслевых экспертов, маловероятно, что прямые конкуренты «Яндекса», такие как Google или другая российская интернет-компания «Рамблер», заинтересуются исходным кодом.

«Рынок небольшой, и можно было бы легко выделить вора», — сказал Алексей Лукацкий, аналитик по интернет-безопасности в Cisco. Однако эти алгоритмы можно было использовать для расширенной поисковой оптимизации.

Источники «Коммерсанта » сообщили, что Яндекс оценил стоимость кода и алгоритмов в «миллиарды рублей», или к северу от 10 миллионов фунтов стерлингов. В суде представитель «Яндекса» заявил, что данное программное обеспечение «является ключевой частью нашей компании, оно имеет прямое отношение к поисковой системе Яндекса, которая является основным источником доходов компании.«

«Наше руководство очень серьезно отнеслось к этому инциденту», — добавила она.

Другой источник «Ъ» сообщил, что Коробов планировал потратить деньги на запуск собственного стартапа. В поисках покупателя он зашел на форумы хакеров даркнета и привлек внимание ФСБ. Коробова задержали, когда он пришел на встречу с потенциальным покупателем.

Яндекс — самая популярная поисковая система в России, где ее рыночная доля в ноябре достигла 57.2 процента по сравнению с 35,2 процента Google. В течение последних нескольких лет компания пыталась выйти на турецкий поисковый рынок, где по состоянию на октябрь ее доля составляла 7%.

Исправление: история была обновлена ​​для исправления ошибки конвертации валюты. В оригинальной истории общая сумма, запрошенная Коробовым, составляла 27 000 фунтов стерлингов, но на самом деле это всего лишь 19 000 фунтов стерлингов.

Эволюция структур данных в Яндекс.Метрике

Яндекс.Метрика — вторая по величине система веб-аналитики в мире. Метрика принимает поток данных, представляющих события, которые произошли на сайтах или в приложениях. Наша задача — обработать эти данные и представить их в анализируемой форме.

Обработка данных сама по себе не проблема. Настоящая трудность заключается в попытке определить, в какой форме следует сохранять обработанные результаты, чтобы с ними было легко работать. В процессе разработки нам несколько раз приходилось полностью менять подход к организации хранения данных.Мы начали с таблиц MyISAM, затем использовали LSM-деревья и в итоге пришли к базе данных, ориентированной на столбцы, ClickHouse. В этой статье я объясню, что заставило нас остановиться на последнем варианте.

Яндекс.Метрика была запущена в 2008 году и работает уже более девяти лет. Каждый раз, когда мы меняли подход к хранению данных в прошлом, это происходило из-за того, что конкретное решение оказалось неэффективным: либо был недостаточный резерв производительности, либо решение было ненадежным, либо оно использовало слишком много вычислительных ресурсов, либо просто не позволяло нам реализовать то, что нам нужно.

Старая Яндекс.Метрика для веб-сайтов имеет более 40 «фиксированных» типов отчетов (например, отчет по географии посетителей), несколько инструментов внутристраничной аналитики (например, карты кликов), Webvisor (который позволяет изучать действия отдельных пользователей в большая деталь), а также отдельный конструктор отчетов.

С помощью новых Metrica и Appmetrica вы можете настраивать каждый отчет вместо того, чтобы иметь дело с «фиксированными» типами. Вы можете добавлять новые параметры (например, в отчете по поисковым запросам вы можете разбить данные по целевым страницам), сегментировать и сравнивать (например, между источниками трафика для всех посетителей ипосетителей из Сан-Франциско), измените свой набор показателей и т. д. Новая система, таким образом, требует совершенно другого подхода к хранению данных, чем тот, который мы использовали ранее.

MyISAM

Метрика была создана как ответвление службы поисковой рекламы Яндекс.Директ. Таблицы MySQL с движком MyISAM использовались в Direct для хранения статистики, и именно с этого мы начали в Метрике. Мы использовали MyISAM для хранения «фиксированных» отчетов с 2008 по 2011 год.

Позвольте мне немного пояснить, какую структуру следует использовать в таблицах отчетов, например, при работе с географией.Отчет составляется по конкретному сайту (точнее, конкретному идентификатору счетчика Метрики). Это означает, что первичный ключ должен содержать CounterID. Пользователь может выбрать произвольный отчетный период. Хранить данные для каждой пары дат не имеет смысла, поэтому данные сохраняются для каждой даты, а затем накапливаются по запросу для выбранного интервала. Следовательно, первичный ключ содержит дату.

Данные в отчете отображаются для регионов либо в виде списка, либо в виде дерева, состоящего из стран, регионов и городов.Таким образом, имеет смысл поместить RegionID в первичный ключ таблицы и собрать данные в дерево на стороне кода приложения, а не на стороне базы данных.

Допустим, мы также хотим учитывать среднюю продолжительность сеанса. Это означает, что столбцы таблицы должны содержать количество сеансов и общую продолжительность сеанса.

Итак, итоговая таблица будет иметь следующую структуру: CounterID, Date, RegionID -> Visits, SumVisitTime,… Теперь посмотрим, что происходит, когда мы запрашиваем отчет.Запрос SELECT выполняется с условиями WHERE CounterID = AND Date BETWEEN min_date AND max_date. Другими словами, считывается диапазон первичного ключа.

Как данные на самом деле хранятся на диске?

Таблица MyISAM состоит из файла данных и индексного файла. Если ничего не было удалено из таблицы и строки не изменились по длине во время обновления, файл данных будет состоять из сериализованных строк, расположенных последовательно в том порядке, в котором они были вставлены. Индекс (включая первичный ключ) представляет собой B-дерево, где листья содержат смещения в файле данных.Когда мы читаем данные диапазона индекса, набор смещений в файле данных извлекается из индекса. Затем файл данных считывается этим набором смещений.

Давайте посмотрим на реальную ситуацию, когда индекс находится в ОЗУ (ключевой кеш в MySQL или системный кеш страниц), но данные в нем не кэшируются. Предположим, что мы используем жесткие диски. Время, необходимое для чтения данных, зависит от объема данных, которые необходимо прочитать, и от количества операций поиска, которые необходимо выполнить. Количество поисков определяется местонахождением данных на диске.

События Метрики принимаются почти в том же порядке, в котором они действительно имели место. В этом входящем потоке данные с разных счетчиков разбросаны совершенно случайным образом. Другими словами, входящие данные являются локальными по времени, но не локальными по номеру счетчика. При записи в таблицу MyISAM данные с разных счетчиков также размещаются довольно случайно. Это означает, что для чтения отчета с данными вам нужно будет выполнить примерно столько произвольных чтений, сколько строк в таблице нам нужно.

Типичный жесткий диск со скоростью 7200 об / мин может выполнять от 100 до 200 произвольных операций чтения в секунду. RAID-массив при правильном использовании может пропорционально выполнять гораздо больше. Один SSD-накопитель семилетней давности может выполнять 30 000 произвольных операций чтения в секунду, но мы не можем позволить себе хранить наши данные на SSD. В этой системе, если бы нам нужно было прочитать 10 000 строк для отчета, это заняло бы более 10 секунд, что было бы совершенно неприемлемо.

InnoDB намного лучше подходит для чтения диапазонов первичных ключей, поскольку он использует кластеризованный первичный ключ (т.е. данные хранятся упорядоченным образом на первичном ключе). Но InnoDB было невозможно использовать из-за его низкой скорости записи. Если это напоминает вам TokuDB, читайте дальше.

Мы применили несколько приемов, чтобы MyISAM работал быстрее при выборе диапазона первичного ключа.

Стол сортировочный. Поскольку данные должны обновляться постепенно, недостаточно один раз отсортировать таблицу, но сортировать ее каждый раз невозможно. Тем не менее, это можно делать периодически для старых данных.

Разбиение на разделы.Таблица разделена на несколько меньших диапазонов первичных ключей. Это делается в надежде, что данные из одного раздела будут храниться более или менее локально, а запросы для диапазона первичных ключей будут обрабатываться быстрее. Этот метод можно отнести к ручной реализации кластеризованного первичного ключа. Это немного замедляет вставку данных. Однако при выборе количества разделов обычно достигается компромисс между скоростью вставки и скоростью чтения.

Разделение данных по поколениям.При одной схеме разбиения выборки могут сильно замедляться, при другой — скорость вставки. И оба тормозят при использовании промежуточного варианта. Решение этой проблемы — разделить данные на несколько отдельных поколений. Например, первое поколение мы назовем оперативными данными; здесь разбиение либо происходит по мере вставки данных (по времени), либо не происходит вообще. Мы будем называть данные архива второго поколения; здесь происходит разбиение по мере считывания данных (по номеру счетчика).Данные передаются из поколения в поколение с помощью скрипта, но не слишком часто (например, один раз в день) и сразу же считываются из всех поколений. Это помогает, но также создает массу трудностей.

Эти (и другие) уловки какое-то время использовались в Яндекс.Метрике, чтобы все заработало.

Подведем итог недостаткам предыдущей системы:

• расположение данных на диске очень сложно поддерживать

Таблицы

• заблокированы во время INSERT
• репликация медленная; реплики часто лагают
• Согласованность данных после аппаратного сбоя не гарантируется

Агрегаты

• , такие как количество уникальных пользователей, очень сложно подсчитать и сохранить

Сжатие данных

• сложно использовать и работает неэффективно

Индексы

• занимают много места и не помещаются в ОЗУ полностью
• данные должны быть сегментированы вручную
• многие вычисления должны выполняться на стороне кода приложения после SELECT
• сложный в обслуживании и эксплуатации

Изображение: расположение данных на диске (художественная визуализация)

В общем, MyISAM было крайне неудобно использовать.Днем серверы работали со 100% загрузкой дисковых массивов (постоянное движение головы). В этих условиях диски выходят из строя чаще, чем обычно. Мы использовали дисковые полки на серверах. Другими словами, восстанавливать RAID-массивы приходилось довольно часто. Иногда реплики отставали настолько, что нам приходилось отбрасывать и воссоздавать их. Переключение мастера репликации действительно неудобно.

Несмотря на его недостатки, по состоянию на 2011 год мы хранили более 580 миллиардов строк в таблицах MyISAM. Затем все было переконвертировано в Metrage, удалено, и в конце концов освободилось много серверов.

Metrage и OLAPServer

Мы используем Metrage для хранения фиксированных отчетов с 2010 года. Предположим, у вас есть следующий сценарий:

• данные постоянно записываются в базу мелкими партиями
• поток записи относительно велик (не менее нескольких сотен тысяч строк в секунду)
• сравнительно мало запросов на чтение (несколько тысяч запросов в секунду)
• все чтения диапазона первичного ключа (до миллионов строк на запрос)
• строк довольно короткие (около 100 байт без сжатия)

Для этого хорошо подходит довольно распространенная структура данных, LSM Tree.Эта структура состоит из сравнительно небольшой группы «блоков» данных на диске, каждый из которых содержит данные, отсортированные по первичному ключу. Новые данные изначально помещаются в какую-либо структуру данных RAM (MemTable), а затем записываются на диск в новом отсортированном фрагменте. Периодически несколько отсортированных кусков в фоновом режиме уплотняются в один более крупный. Таким образом сохраняется относительно небольшой набор фрагментов.

Этот вид структур данных используется в HBase и Cassandra. Среди встроенных структур данных LSM-Tree реализованы LevelDB и RocksDB.Впоследствии RocksDB используется в MyRocks, MongoRocks, TiDB, CockroachDB и многих других.

Metrage также является LSM-деревом. Произвольные структуры данных (фиксированные во время компиляции) могут использоваться в нем как «строки». Каждая строка — это пара ключ-значение. Ключ — это структура с операциями сравнения на равенство и неравенство. Значение представляет собой произвольную структуру с операциями по обновлению (добавлению чего-либо) и слиянию (агрегированию или объединению с другим значением). Короче говоря, это CRDT.

В качестве значений могут использоваться как простые структуры (целочисленные кортежи), так и более сложные (например, хеш-таблицы для расчета количества уникальных посетителей или структуры карты кликов).Используя операции обновления и слияния, инкрементная агрегация данных постоянно выполняется в следующих точках:

• при вставке данных при формировании новых пакетов в RAM
• во время фонового слияния
• во время запросов на чтение

Metrage также содержит нужную нам предметно-зависимую логику, которая выполняется во время запросов. Например, для отчетов по регионам ключ в таблице будет содержать идентификатор самого низкого региона (города, деревни), и, если нам нужен отчет по стране, данные страны завершат агрегирование на стороне сервера базы данных.

Вот основные преимущества этой структуры данных:

• Данные расположены довольно локально на жестком диске; чтение диапазона первичного ключа происходит быстро.
• Данные сжимаются блоками. Поскольку данные хранятся упорядоченно, сжатие очень хорошо работает при использовании алгоритмов быстрого сжатия (в 2010 году мы использовали QuickLZ, с 2011 года — LZ4).
• Хранение данных, отсортированных по первичному ключу, позволяет нам использовать разреженный индекс. Разреженный индекс — это массив значений первичного ключа для каждой N-й строки (порядка N тысяч).Этот индекс максимально компактен и всегда умещается в оперативной памяти.

Поскольку чтение выполняется не очень часто (даже если при этом читается много строк), увеличение задержки из-за наличия большого количества фрагментов и распаковки блоков данных не имеет значения. Чтение дополнительных строк из-за разреженности индекса также не имеет значения.

Записанные блоки данных не изменяются. Это позволяет читать и писать без блокировки — для чтения берется моментальный снимок данных.Используется простой и единообразный код, но мы можем легко реализовать всю необходимую логику для конкретной предметной области.

Нам пришлось написать Metrage вместо того, чтобы вносить поправки в существующее решение, потому что на самом деле его не было. LevelDB не существовал в 2010 году, и TokuDB в то время был проприетарным.

Все системы, реализующие LSM-Tree, подходили для хранения неструктурированных данных и преобразования BLOB в BLOB с небольшими вариациями. Но адаптация этого типа системы для работы с произвольным CRDT заняла бы гораздо больше времени, чем разработка Metrage.

Преобразование данных из MySQL в Metrage было довольно трудоемким: программа преобразования работала всего за неделю, а основная часть работала около двух месяцев.

После передачи отчетов в Metrage мы сразу увидели увеличение скорости интерфейса Metrica. Мы используем Metrage пять лет, и это оказалось надежным решением. За это время было всего несколько мелких сбоев. Его преимущества заключаются в простоте и эффективности, что сделало его гораздо лучшим выбором для хранения данных, чем MyISAM.

По состоянию на 2015 год мы хранили 3,37 триллиона строк в Metrage и использовали для этого 39 * 2 серверов. Затем мы отошли от хранения данных в Metrage и удалили большую часть таблиц. У системы есть свои недостатки; он действительно эффективно работает только с фиксированными отчетами. Metrage агрегирует данные и сохраняет агрегированные данные. Но для этого вы должны заранее перечислить все способы, которыми вы хотите агрегировать данные. Так что если мы сделаем это 40 различными способами, это означает, что Метрика будет содержать 40 типов отчетов и не более.

Чтобы смягчить это, нам пришлось на время сохранить отдельное хранилище для мастера настраиваемых отчетов под названием OLAPServer. Это простая и очень ограниченная реализация базы данных, ориентированной на столбцы. Он поддерживает только одну таблицу, установленную во время компиляции — сеансовую таблицу. В отличие от Metrage, данные обновляются не в реальном времени, а несколько раз в день. Единственный поддерживаемый тип данных — это числа фиксированной длины от 1 до 8 байтов, поэтому он не подходил для отчетов с другими типами данных, например URL-адресами.

ClickHouse

Используя OLAPServer, мы разработали понимание того, насколько хорошо ориентированные на столбцы СУБД справляются с задачами специальной аналитики с неагрегированными данными.Если вы можете получить какой-либо отчет из неагрегированных данных, тогда возникает вопрос, нужно ли вообще агрегировать данные заранее, как мы это сделали с Metrage.

Изображение: обработка запросов в базе данных, ориентированной на столбцы

С одной стороны, предварительная агрегация данных может уменьшить объем данных, которые используются в момент загрузки страницы отчета. С другой стороны, агрегированные данные не решают всего. Вот причины, почему:

• Вам необходимо иметь список отчетов, которые потребуются вашим пользователям заранее
• другими словами, пользователь не может составить собственный отчет
• при агрегировании большого количества ключей объем данных не уменьшается и агрегирование бесполезно
• при большом количестве отчетов слишком много вариантов агрегирования (комбинаторное разнесение)
• при агрегировании ключей с высокой мощностью (например, URL-адресов) объем данных не уменьшается значительно (менее чем наполовину)
• из-за этого объем данных может не уменьшаться, а фактически увеличиваться при агрегации

Пользователи

• не будут просматривать все отчеты, которые мы для них рассчитываем (другими словами, многие расчеты оказываются бесполезными)
• трудно поддерживать логическую последовательность при хранении большого количества различных агрегатов

Как видите, если ничего не агрегируется и мы работаем с неагрегированными данными, то возможно даже сокращение объема вычислений.Но только работа с неагрегированными данными предъявляет очень высокие требования к эффективности системы, выполняющей запросы.

Итак, если мы агрегируем данные заранее, мы должны делать это постоянно (в реальном времени), но асинхронно по отношению к запросам пользователей. Нам действительно нужно просто агрегировать данные в реальном времени; большая часть получаемого отчета должна состоять из подготовленных данных.

Если данные не агрегированы заранее, вся работа должна выполняться в тот момент, когда пользователь запрашивает их (т.е. пока они ждут загрузки страницы отчета). Это означает, что в ответ на запрос пользователя необходимо обработать многие миллиарды строк; чем быстрее это можно будет сделать, тем лучше.

Для этого вам понадобится хорошая колоночная СУБД. На рынке не было СУБД, ориентированных на столбцы, которая бы достаточно хорошо справлялась с задачами интернет-аналитики в масштабе Рунета (российского Интернета) и не была бы слишком дорогой для лицензирования.

В последнее время в качестве альтернативы коммерческим СУБД, ориентированной на столбцы, начали появляться решения для эффективной специальной аналитики данных в распределенных вычислительных системах: Cloudera Impala, Spark SQL, Presto и Apache Drill.Хотя такие системы могут эффективно работать с запросами для внутренних аналитических задач, их сложно представить в качестве серверной части веб-интерфейса аналитической системы, доступной для внешних пользователей.

В Яндексе мы разработали, а затем открыли исходный код собственной колоночной СУБД — ClickHouse. Давайте рассмотрим основные требования, которые мы имели в виду, прежде чем приступить к разработке.

Умение работать с большими наборами данных. В нынешней Яндекс.Метрике для веб-сайтов ClickHouse используется для хранения всех данных для отчетов.По состоянию на сентябрь 2017 года база данных состоит из 25,1 трлн строк. Он состоит из неагрегированных данных, которые используются для получения отчетов в режиме реального времени. Каждая строка в самой большой таблице содержит более 500 столбцов.

Система должна масштабироваться линейно. ClickHouse позволяет увеличивать размер кластера, добавляя новые серверы по мере необходимости. Например, основной кластер Яндекс.Метрики за три года увеличился с 60 до 426 серверов. В целях отказоустойчивости наши серверы распределены по разным центрам обработки данных.ClickHouse может использовать все аппаратные ресурсы для обработки одного запроса. Таким образом можно обрабатывать более 2 терабайт в секунду.

Высокая эффективность. Мы действительно делаем упор на высокую производительность нашей базы данных. По результатам внутренних тестов ClickHouse обрабатывает запросы быстрее, чем любая другая система, которую мы могли бы приобрести. Например, ClickHouse обрабатывает запросы веб-аналитики в среднем в 2,8–3,4 раза быстрее, чем одна из самых эффективных коммерческих СУБД, ориентированных на столбцы (назовем ее DBMS-V).

Функциональности должно хватить для инструментов веб-аналитики.База данных поддерживает диалект языка SQL, подзапросы и СОЕДИНЕНИЯ (локальные и распределенные). Существует множество расширений SQL: функции для веб-аналитики, массивы и вложенные структуры данных, функции высшего порядка, агрегатные функции для приближенных вычислений с использованием эскизов и т. Д.

ClickHouse изначально был разработан командой Яндекс.Метрики. Кроме того, нам удалось сделать систему достаточно гибкой и расширяемой, чтобы ее можно было успешно использовать для решения различных задач. Хотя база данных может работать на больших кластерах, ее можно установить на одном сервере или даже на виртуальной машине.

ClickHouse хорошо оборудован для создания всевозможных аналитических инструментов. Только подумайте: если система справится с задачами Яндекс.Метрики, вы можете быть уверены, что ClickHouse справится с другими задачами с большим запасом производительности.

ClickHouse хорошо работает как база данных временных рядов; в Яндексе он обычно используется как бэкэнд для Graphite вместо Ceres / Whisper. Это позволяет нам работать с более чем триллионом метрик на одном сервере.

ClickHouse используется аналитикой для внутренних задач.Исходя из нашего опыта в Яндексе, ClickHouse работает примерно на три порядка выше, чем древние методы обработки данных (скрипты на MapReduce). Но это не простая количественная разница. Дело в том, что обладая такой высокой скоростью вычислений, вы можете позволить себе использовать радикально другие методы решения задач.

Если аналитик должен составить отчет, и он компетентен в своей работе, он не будет просто строить один отчет. Скорее, они начнут с получения десятков других отчетов, чтобы лучше понять природу данных и проверить различные гипотезы.Часто бывает полезно взглянуть на данные с разных сторон, чтобы сформулировать и проверить новые гипотезы, даже если у вас нет четкой цели.

Это возможно только в том случае, если скорость анализа данных позволяет проводить мгновенное исследование. Чем быстрее выполняются запросы, тем больше гипотез вы сможете проверить. Работая с ClickHouse, даже возникает ощущение, что они могут думать быстрее.

В традиционных системах данные, образно говоря, подобны мертвому грузу. Вы можете манипулировать им, но это занимает много времени и неудобно.Однако, если ваши данные находятся в ClickHouse, они гораздо более податливы: вы можете изучать их в разных сечениях и переходить к отдельным строкам данных.

После года использования открытого исходного кода ClickHouse теперь используется сотнями компаний по всему миру. Например, CloudFlare использует ClickHouse для анализа трафика DNS, обрабатывая около 75 миллиардов событий каждый день. Другой пример — Vertamedia (платформа SSP для видео), которая ежедневно обрабатывает 200 миллиардов событий в ClickHouse со скоростью загрузки около 3 миллионов строк в секунду.

Выводы

Яндекс.Метрика стала второй по величине системой веб-аналитики в мире. Объем данных, которые принимает Метрика, вырос с 200 миллионов событий в день в 2009 году до более чем 25 миллиардов в 2017 году. Чтобы предоставить пользователям широкий спектр возможностей, при этом не отставая от растущей рабочей нагрузки, нам пришлось постоянно меняем наш подход к хранению данных.

Для нас очень важно эффективное использование оборудования. По нашему опыту, когда у вас большой объем данных, лучше не беспокоиться о том, насколько хорошо масштабируется система, и вместо этого сосредоточиться на том, насколько эффективно используется каждая единица оборудования: каждое ядро ​​процессора, диск и SSD, RAM и сеть.В конце концов, если ваша система уже использует сотни серверов, и вам нужно работать в десять раз эффективнее, маловероятно, что вы сможете просто приступить к установке тысяч серверов, независимо от того, насколько масштабируема ваша система.

Чтобы добиться максимальной эффективности, важно настроить решение в соответствии с потребностями конкретного типа рабочей нагрузки. Нет такой структуры данных, которая бы хорошо справлялась с совершенно разными сценариями. Например, очевидно, что базы данных «ключ-значение» не работают для аналитических запросов.