Что такое ИКС?
Неделю назад Яндекс выкатил новую пузомерку - ИКС.
Попробуем разобраться, что такое ИКС и с чем его едят он связан. Для начала - заявление Яндекса:
Под ИКС, то есть под качеством сайта, мы понимаем в первую очередь востребованность сайта аудиторией. Чем больше пользователей смогли с помощью сайта удовлетворить свои потребности, чем больше задач они решили, тем он полезней. При этом важно не просто количество пользователей, но и степень их удовлетворённости, общий уровень доверия к сайту. Похожие принципы используются нами для нашей основной метрики качества поиска.
То есть, поиск утверждает, что чем больше доверяют пользователи сайту, чем больше им удовлетворены, тем больше ИКС. Ну что же, проверим это утверждение. Для проверки нам потребуется много данных. Потому как...
Without data you're just another person with an opinion.
Выборка для анализа.
Анализ произведён на выборке в ~2500 доменов, отобранных по следующим критериям:
- У домена определён ИКС
- ИКС соответствует именно этому домену
- Общий трафик сайта составляет не менее 10 000 визитов в месяц
- Домен присутствовал в ЯК
Почему именно такой набор критериев? Первые два очевидны - есть множество случаев по каким-то причинам не рассчитанного ИКС, а также неверной заклейки. Например, когда ИКС сайта показывается для субдомена другого сайта.
Третий критерий нужен как порог для оценки поведенческих метрик.
Четвертый - для корректного сравнения с ТИц.
Итак, поехали.
Хотя нет, сперва скучный дисклеймер:
Correlation doesn't imply causation
В этой статье я буду рассматривать только наличие корреляций, а не причинно-следственные связи. Связь может быть, а может не быть, это тема отдельного исследования.
Round 1. ТИЦ vs ИКС.
Первое что нам интересно, это конечно же сравнение с ТИц. Давайте посмотрим:
На этом графике и далее:
ИКС - по оси абсцисс
Обе оси в логарифмическом масштабе
Каждая точка - отдельный сайт
Что мы видим? Безусловно, некоторая корреляция между ТИц и ИКС имеет место быть. Но, виден также существенный разброс значений. Ясно что метрики очень разные, хотя и имеют корреляцию.
Перейдём теперь к оценке внутрихостовых ПФ.
Round 2. Внутрихостовые ПФ vs ИКС.
Дисклеймер: мы не можем вытащить такие важные факторы как lastclick. И даже длинные клики посчитать возможности нет. Поэтому будем ориентироваться на то, что нам доступно - Время на сайте, pageviews, bounce rate. Нехорошо конечно, но... за неимением гербовой пишем на простой.
Какие нам доступны метрики? Это среднее время на сайте, среднее число просмотренных страниц и показатель отказов. Хоть что нибудь, да должно показать хорошую корреляцию, если ИКС действительно связан с удовлетворённостью пользователя.
Итак, время на сайте:
Хм... корреляция есть, но очень слабая. С ТИЦ у ИКС корреляция была гораздо лучше.
Но, быть может, она найдётся в количестве просмотренных страниц?
Нет. Тоже очень слабо. Может, в BounceRate?
Тоже слишком слабо.
Итого, несмотря на заявления Яндекса об ИКС, как о метрике удовлетворённости пользователя, не наблюдается сильной корреляции с общедоступными внутренними поведенческими метриками. Может быть метрики рассмотрены плохие, а может ИКС не с внутрихостовыми ПФ связан. Ну что же, давайте тогда взглянем на внешние метрики.
Round 3. Переходы на сайт vs ИКС.
Первое что стоит проверить - это объём type-in, или прямого трафика. И тут ИКС показывает впечатляющую корреляцию:
Стоит отметить, что ТИц тоже немного коррелировал с тайп-ином, но, конечно же, не настолько здорово:
Казалось бы вот - нужная нам метрика. Type-in отлично коррелирует с ИКСом, и он же тесно связан с удовлетворённостью пользователя сайтом. Всё просто? Нет. Если Type-in первостепенен, то сильную корреляция должна быть видна не только на абсолютном тайп-ине, но и на относительном. То есть - на доле тайп-ина. Посмотрим, так ли это:
Увы, но никакой существенной корреляции мы не видим. Для сравнения, давайте посмотрим на корреляцию между долей прямого трафика и проведённым на сайте временем.
Здесь всё довольно ожидаемо. Разброс большой (ведь сайты очень разные), но явно прослеживается корреляция между долей тайп-ина и временем на сайте.
Итого, если ИКС отлично коррелирует с прямым трафиком (type-in) и плохо - с его долей. Может быть... он просто связан с общим трафиком на сайт? Смотрим...
Бинго! Действительно, великолепная устойчивая корреляция. Более того - такая же хорошая корреляция наблюдается и между ИКСом и органическим трафиком:
Что тут яйцо, а что курица - неясно. Ведь общий трафик, тайп-ин, органика и даже реферрал отлично скоррелированы между собой. Мы можем лишь попытаться сделать оценку, посмотрев корреляцию между ИКС и общим трафиком для сайтов, чей type-in менее 10% и не должен оказывать сильного влияния на результат. Смотрим:
Оп! Таких сайтов немного, но корреляция хорошо видна. А это означает, что с большой степенью вероятности ИКС скоррелирован в первую очередь с общим трафиком, а лишь во вторую - с type-in.
Что в итоге?
Подведём краткий итог. Корреляции показываемые ИКС расходятся с заявлениями Яндекса:
При этом важно не просто количество пользователей, но и степень их удовлетворённости, общий уровень доверия к сайту.
По факту мы видим очень сильную корреляцию с объёмом трафика на сайт. И очень слабую - с внутрихостовыми ПФ. Серьёзно, даже с ТИЦ корреляция больше. Может быть Яндекс нам говорит не всю правду, а может быть реально сильную взаимосвязь ИКС имеет лишь с общим трафиком на сайт. Будем анализировать дальше.
