Фильтры Яндекса в 2017 году: что происходит и как быть

Webmastering
40
25 ноября 2017

Месяц назад во всех вебмастерских чатах и на Серчах начался вой: Яндекс запустил новую волну фильтров, «мой супер-СДЛ» зафильтровали. В вебмастере сайты были помечены красными треугольниками, в дайджесте ошибок — малополезный контент, спам, избыток рекламы. Обсуждение в блоге Яндекса (тред на Серчах читать нет смысла, его объем и раздутость выходят за рамки разумного).

Сейчас у большинства эти треугольники исчезли, Яндекс откатил наложенные фильтры. Но какие выводы мы можем сделать и к чему нам готовиться?

У некоторых треугольники исчезли в процессе различных экспериментов, у некоторых — просто после нажатия кнопки «я все исправил» или письма Платонам. Ну и у совсем везучих — фильтр просто сняли вчера днем и сегодня ночью.

Ребята, сразу предупреждаю. Любителям больших выборок и анализа цифровых метрик — не в эту статью. Здесь мы основываемся сугубо на логике и экспертном мнении (думаю, Алексей Трудов выкатит со временем и цифровую аналитику — я же попробую подкинуть ему гипотез для проверки).

...

Оглавление:

О том, как работают хостовые фильтры Яндекса я рассказывал еще весной в своей статье про Баден-Баден, продублирую, чтобы не искать:

Мы уже несколько лет считаем, что все хостовые фильтры Яндекса работают по скоринговой схеме.

Условно, есть хорошие факторы и есть плохие:

  • Домену больше 10 лет? +30 баллов.
  • Слишком много исходящих ссылок? -50 баллов.
  • Жесткая зарекламленность? -30 баллов.
  • Большой трафик и отличные ПФ? +100 баллов.
  • Быстрая загрузка? +10 баллов.
  • Мобильная версия? +3 балла.

Поисковая система в момент очередного апдейта подсчитывает сумму баллов, если сайт упал скажем на -50 — пора понижать его в выдаче.

Самая интересная штука в том, что чтобы вернуться обратно сайт должен не вернуться на -49, а вылезти на +30. Конечно, точные цифры мы не знаем, но факт есть факт: чтобы сайту выйти из-под фильтра недостаточно снять нарушение, приведшее к фильтру (это как раз та самая соломинка, переламывающая горб верблюду). Чтобы выйти из-под фильтра нужно стать значительно лучше по сумме баллов, чем до наложения фильтра.

Конечно же, точные факторы и список очков за каждый мы не знаем. Мы не знаем даже, прямая эта оценка баллов или древовидная (если домену 10 лет, то вот этот фактор будет важнее в 2 раза а вот этот и вот этот в расчет брать не надо). Но весь опыт говорит о работоспособности этой модели.

Попал под фильтр — улучшай все, что только возможно — и тогда фильтр снимут. Если ты точно знаешь из-за чего попал под фильтр и исправил один этот фактор — фильтр скорее всего не снимут.

Кто угодил под фильтр?

Мы просмотрели несколько десятков пострадавших сайтов. Да что говорить, у самих ушло под красные треугольники три ГС (давно пора) и 3 нормальных сайта.

Под фильтр уходили и новички и старожилы, сайты и с рекламой и без, с трафиком и без. Попробую объединить их в несколько групп:

  • Заспамленные ГС с плохими текстами. Тут все понятно, комментариев нет.
  • Сайты-новички, достаточно быстро набирающие трафик.
  • Сайты с большим количеством трафика и достаточно большим количеством рекламы (ушедших под фильтр сайтов с трафом и без рекламы мы не видели).
  • Сайты-заглушки, недоделанные проекты с небольшим количеством статей и\или отсутствием дизайна, перелинковки и навигации.

По нашим наблюдениям, практически все сайты четко входят в одну или несколько перечисленных групп. Конечно, есть и явно плохие сайты, не попавшие под фильтр. Но это не заслуга вебмастеров, а временная недоработка Яндекса.

Гипотезы и их обоснование

Мы предположили, что в алгоритме наложения фильтров поменялись веса различных факторов. Что-то, что раньше не могли оценить или оценивали плохо — стали оценивать хорошо.

Подумаем, что и как Яндекс мог начать учитывать качественно лучше?

Наши гипотезы такие:

1. Яндекс начал еще лучше видеть переспам и спорные текстовые элементы.

На всех пострадавших сайтах были попытки манипулировать запросами — где-то просто текст был переспамлен, где-то достаточно спамные заголовки и подзаголовки.

На двух из трех наших «хороших» сайтов был переспам, на двух из трех сайтов большое количество комментариев — и, скорее всего, именно это не понравилось анализирующему текст алгоритму.

2. Яндекс начал давать бОльший вес ручным оценкам своих асессоров с биржи «Толока».

Видит проверяющий с биржи зарекламленный сайт? Минус в карму. На очень большой доле зафильтрованных сайтов была агрессивная реклама в первом экране, а на бирже Толока есть задание «оценить количество рекламы на сайте» — то есть, вполне похоже на правду. (А если еще и Адсенс показал стояки или смерть Билана? =) )

Видит толокер сайт, явно заточенный под ключи (с заголовками типа «Краснуха у детей симптомы») — и еще один минус в карму.

Видит асессор сайт без перелинковки, меню, дизайна? И снова минус.

3. Яндекс начал бОльший вес предавать ПФ.

Умные роботы начали лучше видеть аномалии в поведении пользователей. Видит автоматика сайт с плохой относительно конкурентов глубиной просмотра и большим процентом отказов. Отдаем сайт на проверку толокерам, по результатам проверки принимаем решение.

Хозяйке на заметку: зачастую, плохие ПФ — это следствие отсутствия перелинковки, малого количества статей (нечем раскрыть тему, увлечь пользователя) и сильной зарекламленности (ну какие ПФ, если мы 15-20% посетителей сливаем по рекламе?).

4. Яндекс начал видеть больше аномалий (метрик, сильно отличающихся от средних у конкурентов).

Позавчера в вебмастере выкатили «сравнение с конкурентами» — Яндекс четко может понять, как ведет себя наш сайт относительно конкурентов.

Слишком быстро растет трафик? Присмотримся поближе, отошлем на проверку толокерам, а дальше примем решение с учетом их оценок.

Есть супер-точки входа (статьи, генерирующие большой трафик относительно конкурентов)? Проверим и их!

5. Яндекс накопил мощности оценщиков — и под оценку стало попадать больше сайтов.

Практически на всех наших крупных сайтах есть визиты с Толоки (смотреть переходы с подозрительных адресов со словом «toloka» в Метрике). Данных становится больше, нейросети обучаются лучше.

Как жить дальше?

Ответ универсальный: делать хорошие сайты для людей. Что конкретно это значит сейчас, в 2017 году?

Снижать количество рекламы. Не нужно превращать сайт в рекламную помойку — нам придется оставлять только действительно эффективные блоки. Ну и, конечно, никакой рекламы в первом экране (проявим немного уважения к пользователям, если вы понимаете о чем я). Хороший вариант: различные блоки нативной рекламы, где реклама подмешивается в рекомендуемый контент.

Делать нормальные дизайны, которые получат положительную оценку у модератора-человека. Это как надеть хороший костюм на собеседование.

Думать про поведенческие факторы и увлечение пользователей. Первая цель — пользователь не должен вернуться в выдачу и продолжить поисковую сессию. Вторая цель — нужно увлечь пользователя и получить второй-третий клик. Соответственно, нам нужна нормальная контекстная перелинковка и продуманная навигация.

Конечно же вы в курсе, что мобильных пользователей в Рунете уже больше, чем десктопных? Все сказанное касается в первую очередь мобильной версии и во вторую — десктопной.

У меня есть интуитивное ощущение, что умные роботы увидят наши старания — и на среднесроке мы окупим снижение монетизации и увеличение работы дополнительным трафиком.

А какие выводы у вас, коллеги?

Комментариев: 40
  1. Алексей

    С 4 сайтов фильтр так и не сняли. Сняли с одного унылого ГС, заброшенного еще 2 года назад.
    Если говорить о качестве статей, то под фильтром остались сайты лучшего качества, чем те, с которых фильтр сняли.
    С рекламой тоже разброс. Попали сайты на которых не было рекламы совсем и сайт, монетизируемый прямым реклом (там 3 блока на всю страницу).

    • Rooter

      А у меня есть ощущение, что отметки о фильтрах поснимали, но сам фильтр сняли не у всех…

      • Smart

        Ну у нас везде вернулось. На ГС уровень меньше, чем до фильтра. На норм сайтах — ровно вровень с уровнем до фильтра.

  2. Алексей

    «смотреть переходы с подозрительных адресов со словом «toloka» в Метрике»

    Добрый день. Не совсем понял где это смотреть в метрике, подскажите пожалуйста

  3. Nekto

    >На двух из трех наших «хороших» сайтов был переспам,
    >на двух из трех сайтов большое количество комментариев —
    >и, скорее всего, именно это не понравилось анализирующему текст алгоритму.

    А какая мотивация у яндекса понижать страницы с комментариями?

    • Smart

      Так он особо не анализирует, комментарии это или нет. Просто там в комментариях был (и есть) ад с точки зрения вхождений ключевых слов. Яндекс принял это за манипуляцию, имхо.

      • Виктор

        Алексей, а почему ты считаешь, что поисковики не анализируют «комментарии это или нет». Мне кажется, логично было бы предположить обратное.
        С одной стороны их наличие, это положительный сигнал. С другой стороны, он легко может определить манипуляции. Например, слишком большое их количество по сравнению с конкурентами…
        Недавно ты выкладывал кейс про сайт, на который вы последний год только комментарии заливали по 1000 в месяц. При этом трафик там вроде не более 10 тыс в сутки. ИМХО, при таком трафике комментариев «естественных» должно быть примерно на порядок меньше… вот и зацепка для алгоритма яндекса )))

        • Smart

          Считаю, что поисковики конечно анализируют и отделяют комментарии от некоменнтариев. Штука в том, что на зафильтрованном сайте они реально такие спамненькие получились =) Так то на масштабе от комментариев везде только польза, я это давно твержу и пока в этом убеждении крепок =)

      • Rooter

        А что там с ключами? Намеренно вписывали ключи в комменты? Или все естественно?
        Если естественные вхождения считать «адом», то это уже не парадоксально как-то…

        • Smart

          Естественные. Но как-то вышло, что там реально вхождений много.

  4. Злой

    Самое удивительное, что сумма баллов, о которых ты пишешь, для любого сайта даже видна на странице: https://xml.yandex.ru/limits/?order=limit_desc&host=
    Не замечали падения показателя качества после наложения фильтра? У меня вот первая мысль логировать ежедневно этот показатель и сравнить динамику изменения после наложения какого либо фильтра или наоборот в момент роста позиций. Надо в понедельник стартануть эту работу.

    • Smart

      Мы не следим за лимитами. Ну и не думаю, что все прямо так прямолинейно.

    • Anton

      Не прокатит по-моему. Сейчас проверил. Мой сайт, который сейчас Яша недолюбливает, сейчас имеет 1000 баллов. Хотя когда Яша давал ему трафа втрое больше год назад — было меньше.
      Но может быть я не так хорошо помню… 🙂

  5. Андрей Гринь

    Кстати, сравнение с конкурентами у себя в Я.вебмастер не нашел. Может не всем включили еще…

    • Марк

      История запросов -> Тренд

  6. Андрей Гринь

    Нужно создать свою Толоку для оценки сайтов. Идея для сервиса! Кто возьмется?

    • Classico

      Вторую толоку?))))
      Толока это сервис Яндекса созданный специально для самого себя, как помощник. Толока берет сайты из базы Яндекса, обрабатывает и результаты выплевывает обратно в базу Яндекса.
      Толока это не самостоятельный сервис, это звено в работе самого Яндекса. Яндекс сам для себя сделал толоку, когда стало не хватать асессоров (об этом по-моему даже было упомянуто на конференции про Королев).
      А ваша толока будет для чего и для кого, для вас самих?)) Что вы будете обрабатывать и кому нужны ваши результаты? У вас есть собственный Яндекс?)))

      • Smart

        Ну идея то на самом деле неплохая — показать свой сайт большому числу независимых респондентов и спросить — а не говносайт ли у нас получился? Если скажут что все плохо — спросить, что переделать, чтобы было хорошо и удобно.

    • Smart

      Идея годная, мы ее изо всех сил обдумываем — но пока что-то вариантов реализации не видим нормальных. Просто на самом деле когда все плохо — нужно просто быть честным с собой и сразу все видно ))))

  7. Rooter

    Я думал грешить на толокеров, но на самом деле они только на одном сайте были, а падение — не на одном… С 13-го.

    • Smart

      Значит, по остальным все настолько плохо, что проверки толокеров не понадобились.

      • Rooter

        Я бы даже согласился, но в статьях у меня прям как на ваших сайтах — даются ответы на вопросы, без дураков и воды! И самый пострадавший сайт — самый любимый гуглом… Хотя… нет предела совершенству… и с точки зрения Яши может быть «все плохо»… да даже однозначно — плохо, не наоборот же! Вот только понять бы — что именно… Экспериментирую. С одного сайта снял половину рекламы, отправил на переиндекс… Все… вот следующий сайт буду делать как 9-seo завещал — без ключей вообще… ну т.е. только для плана статьи, для заголовочков. Потому что это вроде как единственный сурьезный веб-мастер, у кого в этом году ни одного фильтра сайты не поймали 🙂 И это вроде как единственное глобальное отличие в технологиях.

  8. seoonly.ru

    Нет пределов совершенству короче((

  9. Марк

    Резкость снятия фильтра наводит на мысль, что это было либо признание яндексоидами ошибок алгоритма (менее вероятно), либо тестовое включение фильтра (более вероятно), например для анализа того, как вебмастера будут менять свои сайты. Ну и что фильтр отключили временно для дальнейшей донастройки.
    Что удивительно, ошибка «малополезный контент» в я.вебмастере у меня снялась даже с унылых ГС не-информационников, на которых она висела не менее последних пары лет. Т.е. снялся этот фильтр не только с сайтов, зафильтрованных Баденом.

    «Ну и, конечно, никакой рекламы в первом экране»
    Имеется в виду, блоки контекста под тоже?

    Полностью согласен с выводами про поведенческие факторы. Доля возвратов в выдачу — имхо, одна из самых сильных метрик, которые могут выделить ваш сайт на фоне конкурентов

    • Марк

      *блоки контекста под h1

      • Smart

        Да, имеются в виду блоки под h1 или в шапке.

        И да, мы тоже думаем что фильтр донастроют.

  10. Classico

    На серче все-таки есть полезное зерно _https://searchengines.guru/showpost.php?p=15292109&postcount=6

  11. Rooter

    Гы. У меня вчера Яндекс снял фильтр с говносайта, зафильтрованного еще года 3 назад. Сайт для продажи ссылок откровенный, со статьями по 2000 символов… откровенно бесполезных. Там ссылок продано больше чем статей…

    Зато в этом месяце — 13-го числа по многим сайтам пошел спад трафа без всяких фильтров в вебмастере. Мой новенький сайт только начал к 5000 уников в день подходить и… опять 4000 уже почти, и падает потихоньку 🙁
    Зато Гугл вот не пляшет — его хоть не много на большинстве сайтов, но если уж он есть, то стабилен, и обычно — стабильно потихоньку растет.

    • Роман

      Аналогичная ситуация. Тоже с 13го числа началось падение без фильтров на молодом сайтике. Статья, которая только росла и давала основной траф потихоньку начала терять позиции в поиске по основным запросам.

      • Rooter

        Посчитал… У меня на 4-х сайтах существенное падение с 13-го. В большинстве случаев — 10 — 30%. Пока с тенденцией к ухудшению. Но один сайт — наоборот, подрос.
        Не слышали ли ничего больше про это? На форумах не видал, чтобы жаловались….

  12. jray

    Еще интересен такой момент: 1 сайт смотрит только 1 толокер или несколько толокеров, а потом считается оценка, как среднее арифметическое, чтобы нивелировать человеческий фактор?

    • Smart

      Я думаю точно несколько и потом оценки делают статистически достоверными.

    • Rooter

      Поглядел стату… толокеров детектед целый десяток за месяц!
      Толокер не приходит один!

      Есть идея: автоматически отлавливать толокеров, и как только один толокер на новом сайте попадается, быстро снимать с него половину рекламы на пару недель! Только надо как-то отслеживать этих толокеров…

      • некто

        Может можно какой-то скрипт придумать, который смотрит url с которого пришёл пользователь, и если там есть слово toloka, то

        Вариант 1: автоматически напрочь отрубать этому пользователю рекламу.
        Вариант 2: на полчаса отрубать всю рекламу на сайте.

        Как вам идея?

        • Smart

          А как вам идея просто не спамить рекламой и сделать реально удобный сайт для людей? =))

          • Rooter

            Так граница между спамом и нормальным размещением рекламы — зыбкая… Например — реклама в первом экране есть даже у Яндекса и у других уважаемых сайтов, которые явно СДЛ.

            • Smart

              Зыбкая, да. Имхо, нужно ставить себя на место ассесоров и пытаться оценить сайт с «независимой» точки зрения. Лично меня, как пользователя, реклама в первом экране раздражает безмерно — так почему не сделать продукт, который будет нравиться самому? Пусть я заработаю меньше, но гордиться продуктом буду больше =)

    • Classico

      Несколько конечно

  13. Mosquito

    Все правильно, нехер трепонему у себя на сайтах разводить. Если человек пришел за инфой, надо ему инфу давать, а не дешевый рекламный концентрат.

    • Валерий

      Сайты создаются для заработка, поэтому без рекламного концентрата не обойтись.
      Поэтому нужно найти «золотую середину».

Добавить комментарий