Что делать, если Google перестанет поддерживать оператор "cache:"?

Отступление от темы.
Я планировал продолжить тему текстовых факторов ранжирования, хотел написать пост про интент, но при проверке топа, оказалось, что все совсем не так работает, как я всегда считал и как все об этом пишут))
Поэтому провожу анализ топов и делаю новые выводы, опубликую их позже.
Вот еще один плюс ведения своего телеграм-канала.
А пока напишу коротки пост на другую тему.


Анализ кеша страницы, обязательный этап аудита любого сайта, т.к. иногда исходный код страницы сильно отличается от того, как видит его Google, и как он отображается в браузере пользователя.

Понятное дело, если у вас есть доступ к Google Search Console, то в нем полная информация, но иногда бывают задачи, а доступа нет, например, при быстром аудите сайта, при проверке вебмастеров торгующими ссылками (некоторые недобросовестные вебмастера скрываю (клоачат) ссылки от Google) и др.

Как уже все заметили, Google удалил из выдачи ссылку на кеш страницы, но пока можно воспользоваться в поиске оператором "cache:" и увидеть исходный код страницы так, как его видит Google, например, "cache:https://domain.ua/page.html".

Лично я пользуюсь букмарклетом от Devaka, так удобнее и быстрее - https://news.1rj.ru/str/devakatalk/4276
На открытой вкладке, выбираю из закладок букмарклет и попадаю на страницу кеша.

Как проверить страницу, если в будущем отключат оператор "cache" или нужно посмотреть текущую версию страницы, например, после внесения правок?
Использовать сервис проверки расширенных результатов (микроразметки) - https://search.google.com/test/rich-results

Единственное, что стоит учесть - это отличие User-Agent, в данном сервисе он будет "Google-InspectionTool", а поисковые другие, но в 99% случаев это не имеет значения.

Вот список основных User-Agent'ов Google - https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ru

#Полезное

Про микроразметку.

Везде пишут, что микроразметка напрямую не влияет на позиции сайта, но ведь мы добавляем ее как раз для Google, пользователи ее не видят, тогда зачем добавлять?

Если объяснить кратко, то добавляя микроразметку, мы увеличиваем релевантность страниц и сайта, делаем их более ранжируемыми.
Мы объясняем алгоритмам Google, как необходимо понимать страницу или сайт.

Если же Google и так все было понятно, то добавление микроразметки не повлияет, например, статейный сайт и мы добавляем разметку "Article".
Но если на статейном сайте добавить анонс мероприятия, то не факт, что Google сможет это понять, поэтому нужно делать разметку.

Другие, очевидные преимущества:
• Расширенные сниппеты (rich snippets): Использование микроразметки позволяет создавать более информативные и привлекательные сниппеты в поисковой выдаче. Например, для товаров это могут быть рейтинги, цены и наличие; для рецептов — время приготовления, калорийность и рейтинги. Эти дополнительные данные могут привлекать больше кликов от пользователей.

• Повышение CTR (коэффициента кликабельности): Благодаря более детализированным и привлекательным сниппетам в поисковой выдаче, сайты с микроразметкой часто наслаждаются более высоким CTR. Больше кликов может переводиться в больше трафика на сайт.

• Повышение доверия Google: Использование микроразметки показывает Google, что вы заботитесь о качестве данных и удобстве пользователей. Это может положительно сказаться на общем отношении поисковой системы к вашему сайту.


Несколько советов:
• У меня были и есть сайты на продвижении, у которых по техническим причинам невозможно добавить микроразметку, все прекрасно ранжируется и растет.
Микроразметку начинаю внедрять на сайт где-то на 3-4 месяц продвижения, когда все основные работы сделаны.

• Не пытайтесь обмануть Google, может получится обратный эффект.
Google заявляет, что если сайт недобросовестно манипулирует микроразметкой, то он перестает ее учитывать для текущего сайта.
Несколько лет назад читал, что к сайту могут примениться ручные санкции (отображается в панели вебмастера), но сам никогда не встречал.

• Если не понимаете, какую микроразметку добавить или для чего нужна, то лучше не добавляйте, можете сделать только хуже.

• Проверяйте существующую микроразметку.
Часто сталкиваюсь, что некоторые сеошники добавляют совершенно неподходящую микроразметку (наверное одну для всех сайтов), еще бывает неправильная микроразметка в шаблоне сайта или в плагинах.
Например, вот список типов для "LocalBusiness" - https://prnt.sc/nnhilSJtpHw8, а все по умолчанию в лучшем случае ставят "Organization".

• Анализируйте конкурентов в топе.
Обычно на сайты добавляю микроразметку, которую официально поддерживает Google, но для некоторых тематик находил очень интересную микроразметку у конкурентов.
Не проверял, насколько неподдерживаемая официально микроразметка влияет на позиции, т.к. работы проводил в комплексе, но раз сайты с ней в топе, то по возможности лучше добавить.

Хотел поделиться ссылкой на сервис для массового анализа микроразметки по топу, которым несколько лет пользовался, но обнаружил, что он стал платным((
Все равно, вот ссылка, вдруг кому-то пригодится - https://neuraltext.com/schema-serp
Попробую найти бесплатные альтернативы или напишу свой скрипт.


Еще популярный вопрос, о котором все время спорят сеошники - должна ли микроразметка выводится на всех страницах или только на одной, например, "LocalBusiness" только на странице контактов?

Я вам точно не отвечу, но для себя сделал вывод, что если Google зайдет на любую страницу, то он должен понять, что за сайт перед ним.
Естественно микроразметка для товаров, должна выводится на странице товаров, а не на всех страницах, для статей в статьях, для событий в мероприятиях и т.д.
Но для местной организации, поиску по сайту, хлебных крошек нужно делать сквозные.

Продолжение предыдущего поста - https://news.1rj.ru/str/google_pf/80

Очень интересный пример микроразметки для определения сущностей увидел в этой статье - https://www.searchenginejournal.com/entity-seo/492947/

<noscript type="application/ld+json"> {
  "@context": "https://schema.org",
  "@type": "WebPage",
  "@id": "https://www.yoursite.com/yourURL#ContentSchema",
  "headline": "Restaurants a small distance from the Eiffel Tower",
  "url": "https://www.yoursite.com/yourURL",
  "about": [
     {"@type": "Thing", "name": "Restaurant", "sameAs": "https://en.wikipedia.org/wiki/Restaurant"},
     {"@type": "Place", "name": "Eiffel Tower", "sameAs": "https://en.wikipedia.org/wiki/Eiffel_Tower"}
  ],
  "mentions": [
     {"@type": "Thing", "name": "distance", "sameAs": "https://en.wikipedia.org/wiki/Distance"},
     {"@type": "Place", "name": "Paris", "sameAs": "https://en.wikipedia.org/wiki/Paris"}
  ]
} </noscript>

Автор использует ее для "устранении неоднозначности", чтобы Google точнее понял, что речь идет про ресторан, который находится недалеко от Эйфелевой башни.

Речь идет про:
"Вещь" с название "Ресторан", как тоже самое, что статья про ресторан в Википедии.
"Место" с названием "Эйфелева башня", как тоже самое в Википедии про Эйфелеву башню.
Упоминает про:
"Вещь" с название "Дистанция", как тоже самое в Википедии.
"Место" с названием "Париж", как тоже самое в Википедии.

Очень хочу провести подобные эксперименты, когда найду свободное время и вдохновение, результатом поделюсь.

Удобнее всего составлять подобную микроразметку в бесплатный сервисе - https://schemantra.com/

#Полезное

Продолжение темы про именованные сущности и микроразметку.

Вчера посмотрел суперинтересный вебинар Артема Паклонского у Михаила Шакина.
Хоть тема доклада и была про Google Discover, но большая часть была посвящена сущностям, как их находить и внедрять, а как раз это я планировал сделать в будущих экспериментах.
Вот основные тезисы доклада - https://news.1rj.ru/str/notjohnmu/1279

Вдохновленный новой информацией, запустил новый эксперимент на 5 сайтах, как обычно, результатами поделюсь через месяц.

Вот сервисы, которые пригодятся для этой задачи:
Google Trends - для поиска сущностей
Google Knowledge Graph API - поиск сущностей в графе знаний Google
https://entitieschecker.com/ - поиск сущностей по url адресу
https://www.textrazor.com/demo - анализ текста, поиск сущностей в тексте
Еще неплохо справлялись GTP4o и Gemini, в Llama3 и Claude плохие результаты.

Напомню, что цель добавления этой микроразметки - "устранение неоднозначности", объяснить Google, о чем конкретно страница сайта, указав ему ссылки на Википедию, и на его граф знаний.

Алгоритм работы (пока не обкатанный, если будут результаты, буду автоматизировать):
• В Google Trends находим название нашей основной сущности, чаще всего, это будет H1 страницы, например, "смартфоны Xiaomi".
Для непопулярных тем, скорее всего это будут 2 разные сущности, например, "смартфон" и "Xiaomi".
Еще причина поиска в Трендах, т.к. сущность может быть в разных словоформах или синоним, через API не удастся найти.
Обратите внимание, что url уже содержит id из Knowledge Graph - https://trends.google.com/trends/explore?q=/g/11gbf90gnr&hl=ru

• Если удается найти ссылку на Википедию, то я добавляю 2 ссылки.
Лучше всего искать через API по имени или id сущности, т.к. там указан тип сущности, например, Thing, Organization, Place, ProductModel и т.д. - https://prnt.sc/smlUMHW6MwOr
В данном случае нет общей статьи про "смартфоны Xiaomi", поэтому нужно прописать отдельно для каждой сущности.

• Далее нужно собрать дополнительные сущности для "mentions", которые помогут объяснить Google, о чем еще наша страница, этакие LSI-сущности.
Для этого нужно воспользоваться указанными сервисами или нейросетями.
Примеры: https://prnt.sc/HZtCyHb0Zq8Q, https://prnt.sc/DQE9KSiu6oxw, https://prnt.sc/RyrPt2ilq-FB
Здесь пока нет четкого понимая, какое количество сущностей должно быть, нужно проводить тесты, для пример возьмем 2 разных типа сущностей.

• Ссылку на Google составляем таким образом - https://www.google.com/search?q=&kgmid=
q - название сущности
kgmid - id сущности
Пример - https://www.google.com/search?q=Смартфон&kgmid=/m/0169zh

В итоге получаем следующую микроразметку:

<noscript type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "WebPage",
  "@id": "https://example.com/xiaomi/",
  "headline": "Смартфоны Xiaomi",
  "url": "https://example.com/xiaomi/",
  "about": [
    {
      "@type": "Thing",
      "name": "Смартфоны Xiaomi",
      "sameAs": "https://www.google.com/search?q=смартфоны+Xiaomi&kgmid=/g/11gbf90gnr"
    },
    {
      "@type": "Thing",
      "name": "Смартфон",
      "sameAs": ["https://ru.wikipedia.org/wiki/Смартфон", "https://www.google.com/search?q=Смартфон&kgmid=/m/0169zh"]
    },
    {
      "@type": "Organization",
      "name": "Xiaomi",
      "sameAs": ["https://ru.wikipedia.org/wiki/Xiaomi", "https://www.google.com/search?q=Xiaomi&kgmid=/m/0h6955b"]
    }
  ],
  "mentions": [
    {
      "@type": "SoftwareApplication",
      "name": "MIUI",
      "sameAs": ["https://ru.wikipedia.org/wiki/MIUI", "https://www.google.com/search?q=MIUI&kgmid=/m/0h3ly_c"]
    },
    {
      "@type": "SoftwareApplication",
      "name": "Android",
      "sameAs": ["https://ru.wikipedia.org/wiki/Android", "https://www.google.com/search?q=Android&kgmid=/m/02wxtgw"]
    }
  ]
}
</noscript>

Проверяем валидатором - https://validator.schema.org/
И добавляем в исходный код описаний категорий через админ панель.
Для OpenCart, Webasyst и ImageCMS4 добавилось без проблем, а Wordpress вырезал часть данных, нейросеть написала шорткод, добавил через него.

К сожалению, услуга по накрутке поведенческих факторов в Google полностью остановлена.

С конца апреля, положительные результаты только на 3-х сайтах.
Всем заказавшим у меня услугу, но не получивших результаты, я уже вернул деньги.

Несколько предположений, я описывал, но недавно попалась статья Marie Haynes про поведенческие - https://www.mariehaynes.com/navboost/
Она подозревает, что Google в марте 2024 года подключил нейросеть Gemini для более эффективной работы поведенческих, по срокам как раз сходится (до конца апреля еще работали накопленные поведенческие).

Вполне возможно, что Google инициировал существенные изменения в своих алгоритмах ранжирования в результатах поиска, начиная с марта 2024 года. Это обновление включало изменения в архитектуре и ввело новые сигналы в системы ранжирования Google. Обновление появилось сразу после объявления Google в феврале 2024 года о прорыве в машинном обучении с архитектурой Gemini 1.5 — новым типом модели Mixture of Experts, которая делает их системы машинного обучения гораздо более эффективными и способными обрабатывать гораздо больше данных. Незадолго до этого объявления, в ноябре 2023 года, Google добилась прорыва в разработке своих тензорных процессоров — аппаратного обеспечения этих систем.

Я руки не опускаю, оборудование не продаю, новый алгоритм, значит нужны тесты и новый подход.

На данный момент внес несколько изменений в работу скрипта:
переписал клик в выдаче Google с центральной клавиши мыши на левую;
• улучшил подмену JA3 Fingerprint;
• добавил несколько новых моделей поведений;
• тестирую в разных браузерах, с разными профилями;
• и еще много всего по мелочам.

Если будут положительные результаты, сообщу в этом телеграм-канале.
А пока, я удаляю всю информацию про поведенческие, канал переименовываю и постараюсь более активно его вести на классические SEO темы.

Возможно, у вас будет вопрос, почему такое название канала?))

Я абсолютно не творческая личность, мне такие вещи даются оочень сложно.

Сначала думал назвать канал «Pro SEO» или «Просто SEO», но такие телеграм-каналы уже существуют, затем подумал, что я много пишу про именованные сущности, почему бы не назвать канала «Сущность SEO»?))

Тем более, что это название можно понимать по-разному, например, кто-то подумает про сущность, типа страшного монстра))
Кто-то подумаем про «смысл SEO», типа как «сущность бытия» (смысл жизни).
Ну а кто-то подумает про именованные сущности в SEO.

Почему я много пишу про именованные сущности и еще буду писать?)
Эта тема, почему-то прошла мимо меня, поэтому я приступил к изучению, тестам и делюсь этой информацией.

Хотя Bill Slawski начал писать про сущности еще в 2013 году - https://www.seobythesea.com/2013/12/named-entity-strategy/

Нужно ее полностью изучить и «разобрать на молекулы» (например, как уже изучены темы про ссылки, дропы, другие текстовые факторы и др.), понять какой эффект она дает, как это использовать в работе, а затем как автоматизировать.

P.S. Логотип создал за 2 минуты этой нейросетью - https://logogalleria.com/ru/app
Если получится что-то интереснее сгенерировать, то буду его менять.

Модуль для бесплатного решения Google reCAPTCHA.

В Github случайно наткнулся на этот модуль - https://github.com/Binit-Dhakal/Google-reCAPTCHA-v2-solver-using-playwright-python/tree/main
Он позволяет бесплатно решать голосовую капчу Google.

Принцип работы:
при обнаружении капчи, нажимает на иконку наушников и воспроизводит звук, который записывается на устройство;
затем модуль SpeechRecognition распознает текст из аудиофайла - https://github.com/Uberi/speech_recognition;
готовый текст вводится в окно капчи.
Для работы с аудио, еще нужна библиотека «ffmpeg» - https://github.com/BtbN/FFmpeg-Builds/releases

До блокировки ip-адреса можно собрать результаты примерно для 500 ключевых фраз, далее скрипт менее чем за 1 минуту меняет ip-адрес (в роутере переключает режим с 4G на 3G, а затем обратно).

У меня же очень много 4G роутеров, может запустить свой онлайн сервис сбора позиций или кластеризации?))

Результаты для разных регионов получаю через дополнительный GET-параметр «uule», вот пример url для Киева - https://www.google.com.ua/search?q=iphone&uule=w+CAIQICIbS3lpdixLeWl2LEt5aXYgY2l0eSxVa3JhaW5l

Сервис генерации «uule» параметра - https://padavvan.github.io/

Скрипт авторизован в Google и в настройках профиля выставлено 100 результатов в поиске.

Скорость сбора с записыванием топ-100 результатов в базу данных – 7-8 секунд.
Да, очень медленно, но под текущие задачи хватает, если же расширять функционал, то нужно делать скрипт многопоточным, подключать дополнительные роутеры.

Структуру базы данных и написание всех функций – все делал Claude 3.5, я от него в восторге, в последнее время полностью перестал пользоваться другими нейросетями.
Конечно же он часто выдавал неправильные результаты, например, предлагал все результаты записать в одну таблицу, т.е. без необходимых знаний не получится написать качественный код.

Решил не тратить время на вывод результатов в браузер, вывожу сразу в терминал в виде таблице, результат на скриншоте.

#Полезное
#Google