Статья пропала с Хабра и осталась в кэше Гугла, я побоялся потери этого туториала и сделал бэкап к себе на сайтик. Отличная статья.
Борьба за трафик. Как вывести сайт из-под спам-фильтра Google (Первая Часть) tutorial
В письме говорилось, что некоторые ссылки, ведущие на наш сайт rusonyx.ru, не соответствуют рекомендациям по обеспечению качества. Поэтому, к нашему сайту были применены меры, которые в последствие повлияли на входящий бесплатный трафик с поиска Google. Он резко снизился, а точнее, упал ниже плинтуса.
Мы с грустью смотрели на эту картину. Но делать нечего – нужно было срочно что-то предпринимать. Спустя год, потратив 300 человеко-часов, нам удалось вытащить сайт из бана. В этой статье я постараюсь подробно описать, как нам это удалось, каких это стоило усилий и какие шаги нужно предпринимать в такой ситуации.
Изучение проблемы
Сначала я решила изучить все форумы по этой проблеме и хелпы Гугла. Но в итоге поняла, что четких и структурированных рекомендаций по этой теме нет. Проще говоря, никто толком не мог конкретно сказать, что нужно сделать, чтобы Google снял с сайта фильтры.
Тогда я стала искать хоть какую-то литературу с успешными кейсами. И наткнулась на англоязычную книгу «The complete guide to unnatural links recovery». Книга платная и стоит $90, но я все же ее купила и прочитала от корки до корки. После прочтения появилось понимание того, что нужно делать.
В этой статье я постараюсь описать весь алгоритм действий, который нужно проделать для отмены санкций Google. Это не просто изложение прочитанного. Здесь описан мой опыт вытаскивания сайта из под спам-фильтров Google.
Чего делать точно не стоит
Не рекомендую писать гневные письма в Google, тем более что это не решит проблему. В Гугле работают такие же люди, как и мы с вами, которые просто выполняют свою работу. Не надо халтурить и отправлять запросы в Google на пересмотр, не поработав с внешними ссылками на ваш сайт. Сотрудники Google должны видеть ваши страдания :) Фильтр – это наказание и вы должны сильно попотеть, вытаскивая сайт из бана. Это часть плана и вы либо принимаете правила игры, либо остаетесь без натурального трафика из поисковой системы.
Нельзя просто так взять и выйти из-под бана Google. Нам потребовалось на это полгода усердной работы. По самым скромным подсчетам на это ушло около 300 человеко-часов. Надеюсь, что вам удастся решить проблему быстрее, благодаря этой статье.
Итак, вы обнаружили резкое снижение трафика с Google. Как понять, что это именно из-за санкций, которые поисковик применил к вашему сайту?
Ваш сайт попал под спам-фильтры?
Это можно выяснить, если зайти в панель для веб-мастеров Google Webmaster Tools. В меню слева выберите «Поисковый трафик», далее «Меры, принятые вручную».Если к вашему сайту применялись фильтры, то вы увидите сообщение об этом. Наглядно показать вам не могу, так как с нас эти меры Google снял до того, как я догадалась сделать скриншот.
Если меры не применялись, то сообщение будет таким:
Первый шаг: ищем причину
Прежде всего я выяснила, что это за ссылки, которые не соответствуют рекомендациям по обеспечению качества Google. В руководстве для веб-мастеров Google подробно описаны методы работы со ссылками, которые использовать не рекомендуется. Подумайте, что могло стать причиной. Может быть, вы нанимали агентство по SEO – продвижению или сами закупали ссылки и статьи через биржи ссылок. Или, может, вы используете схемы обмена ссылками.
Мы в 2011 году работали с агентством, которое продвигало наш сайт за счет покупки вечных ссылок и SEO-статей. И несмотря на то, что в январе 2012 года мы расторгли с ними договор и целый год не продвигали сайт при помощи SEO-методов, в марте 2013 Гугл прислал нам письмо «счастья».
Изучив рекомендации Google, я выявила несколько основных причин, из-за которых, скорее всего, наш сайт мог отправиться в бан:
- SEO-статьи и вечные ссылки
- Ссылки в SEO –каталогах и SEO-закладки
- Большое количество сквозных ссылок на сторонних не тематических ресурсах
- Спам-ссылки, в т.ч. форум-спам
- Дорвеи
Второй шаг: Выгружаем внешние ссылки
Для того, чтобы начать работу по выявлению некачественных ссылок и их устранению, нужно создать файл и выгрузить все внешние ссылки, ведущие на ваш сайт. Обратите внимание, что файлы, лучше всего создавать в GoogleDocs. Основная причина этого требования Гугла в том, что в других файлах могут содержаться вирусы и вредоносные программы. Поэтому, MS Ecxel файлы сотрудники Гугл проигнорируют, а вот в таблицах Google Docs примут.
Где взять эти внешние ссылки? Для этого используйте инструменты GoogleWebmasterTools
Как выгрузить ссылки. Заходим в панель WebmasterTools слева в основном меню, выбираем «Поисковый трафик», далее «Ссылки на ваш сайт». Нас интересует раздел «Наиболее часто ссылаются». Нажимаем «Дополнительно» и загружаем последние ссылки. Напомню, что при выгрузке ссылок выбирайте вариант «Документы Google».
У вас должна получиться таблица со списком ссылок. Для удобства работы, отсортируйте ссылки в алфавитном порядке.
Третий шаг: Создание таблицы ссылок
Откройте созданную Google таблицу с выгруженными ссылками. В столбце «В» указана дата, когда Google обнаружил эту ссылку. Назовите его «First Discovered» («Дата обнаружения ссылки»).
Создадим еще несколько столбцов, которые нам понадобятся (далее я объясню):
- C – Needs to be removed? (Нужно удалить?)
- D – Disavow? (Отклонить?)
- E — Contact e-mail found on site (Контактный e-mail, найденный на сайте)
- F – First name of contact (Контактное лицо)
- G – Whois e-mail (e-mail, найденный в whois)
- H — First name of Whois contact (Имя владельца e-mail, найденного в whois)
- I – E-mail reference # (порядковый №, указывающий на отправленный e-mail)
- J – Url of contact form (Ссылка на контактную форму, найденную на сайте)
- K – Contact form reference # (порядковый №, указывающий на отправленное письмо через контактную форму)
- L – Comments (Комментарии).
В итоге у вас должна получиться такая таблица:
Четвертый шаг: Создание списка статусов
У меня получилась таблица с огромным списком ссылок – порядка 12000. Задача состояла в том, чтобы проверить каждую ссылку из выгруженного списка и присвоить ей тот или иной статус. Цель – определить, какие из ссылок, в последствие, нужно удалять, а какие оставить. В процессе работы со ссылками, каждой из них в столбце «С» — «Needs to be removed» нужно присвоить один из следующих статусов:
- YES – SEO article (ДА – SEO статья)
- YES – SEO directory (ДА – SEO каталог)
- YES – SEO bookmark (ДА – SEO закладка)
- YES – Forum spam (ДА – Форум-спам)
- YES – Spam (ДА – Спам)
- YES – Link made for SEO purposes (Ссылка созданная для целей SEO)
- NO – Nofollowed (НЕТ – не индексируемая)
- NO – Page not found (НЕТ – Страница не найдена)
- NO – Link not found (НЕТ – ссылка не найдена)
- NO – Site not visited due to malware warning (Не удалось зайти на сайт из-за предупреждения о вредоносных программах)
- NO – Valid directory (НЕТ – Полноценный каталог)
- NO – Natural link (НЕТ – Естественная ссылка)
Следующему столбцу «D» — «Disavow?» («Отклонить?») мы тоже в процессе работы над ссылками присвоим статусы:
- YES (ДА) – если хотим отклонить весь домен целиком
- NO (НЕТ) – отклонять не нужно
- YES – url (ДА – url) – если не хотим отклонять весь домен, а только отдельную ссылку или ссылки на этом домене.
О Disavow. Это инструмент Google, с помощью которого можно отклонить ссылки. По сути вы просите Google не принимать во внимание некоторые ссылки при оценке вашего сайта – сделать их неиндексируемыми. Инструмент находится в панели для веб-мастеров Google (Webmaster Tools). На первом этапе достаточно просто понять, для чего этот инструмент нужен. Во второй части я расскажу как им воспользоваться.
Шаг пятый: Подготовка браузера
Перед тем как начать работу со ссылками, нужно подготовить браузер. Я пользовалась Google Chrome. Мне он показался самым удобным в плане поиска ссылок.
Для быстрого поиска Nofollow ссылок, можете установить приложение MozBar. Приложение позволяет выделять цветом индексируемые /неиндексируемые ссылки. Также можно настроить отображение Page Rank, Domain Authority и прочие полезные штуки.
Также рекомендую установить приложение Web Developer Toolbar, для того, чтобы отключать Java Script, куки и все такое. Поверьте, сайты вам будут попадаться разные: с навязчивым контентом, всплывающими окнами, редиректами и прочей гадостью.
Шаг шестой. Работа со ссылками
Это основной шаг, он же и самый трудоемкий. Задача этого шага состоит в том, чтобы открыть и проверить каждую ссылку из списка, найти на странице ссылки на ваш сайт, определить к какому статусу они относятся, и отразить статус в Google таблице.
Итак, открываем первую ссылку.
Как искать ваши ссылки на странице
Иногда ссылку на странице трудно найти. Для этого используйте исходный код страницы. Открываете исходный код, задаете в поиске ваш домен (Ctrl+F) и если ссылки на ваш сайт есть, то они будут выделены цветом. В Google Chrome искать ссылки удобнее всего, если ссылок на странице много.
Если ссылок на ваш сайт на странице найти не удалось, то смело ставьте статус «NO – Link not found» (НЕТ – ссылка не найдена) в столбце «С» — «Needs to be removed». А в столбце «D» — «Disavow?» («Отклонить?») – определите статус по ситуации (Да, нет или да – url).
Также может быть, что к ссылке применен тег «Nofollow». Это означает, что ссылка не индексируется поисковыми системами и удалять/отклонять ее нет смысла. Поэтому, смело ставьте в столбце «С» статус «NO – Nofollowed» (НЕТ – не индексируемая) и в соседнем столбце «D» — NO (НЕТ).
Если вы сомневаетесь, стоит ли удалять ссылку, то отложите ее, указав в комментариях «Возможно», чтобы потом снова к ней вернуться или быстро найти все такие ссылки и пересмотреть, если вдруг после отправленного вами запроса на пересмотр, Google пришлет отказ.
Если страница не найдена
Если перейдя по ссылке, страница не отображается, то напротив этой ссылки в столбце «С» — «Needs to be removed» ставьте NO – Page not found (НЕТ – ссылка не найдена), а в столбце «Disavow?» («Отклонить?») укажите YES (ДА) или YES – url (ДА – url).
Зачем такие ссылки отклонять? У меня был случай, когда Гугл отказал в снятии мер, в том числе, и из-за того, что обнаружил неестественные ссылки на страницах, которые не открывались ранее, но вскоре заработали снова и ссылки на наш сайт стали активны.
Найдена неестественная ссылка
Если вы нашли на странице неестественную ссылку, к которой присвоили один из следующих статусов в столбце «С»,
- YES – SEO article (ДА – SEO статья)
- YES – SEO directory (ДА – SEO каталог)
- YES – SEO bookmark (ДА – SEO закладка)
- YES – Forum spam (ДА – Форум-спам)
- YES – Spam (ДА – Спам)
- YES – Link made for SEO purposes (Ссылка созданная для целей SEO)
ищите контакты веб-мастера или владельца домена на котором размещена такая ссылка. Это может быть e-mail или контактная форма для связи. Заносите контактные данные в таблицу в соответствующие колонки (столбец «Е», «F» или «J»).
Если на сайте нет контактов, то вы можете найти e-mail владельца домена в базе Whois. Я пользовалась этим ресурсом whois-service.ru.
Если контактные данные скрыты, то всегда есть возможность отправить запрос владельцу через регистратора данного домена (строка «admin — contact»).
Заносите контактные данные, найденные через Whois, в таблицу в соответствующие колонки (столбец «G», «H» или «J»)Столбец «D» — «Disavow», пока оставьте. Статусы в этом столбце к таким ссылкам, вы будете проставлять позднее – после связи с веб-мастером или владельцем сайта. А пока пусть эти ячейки останутся пустыми.
Шаг седьмой: письма веб-мастерам
Если у вас не так много ссылок, которые нужно проверить, то пишите письма веб-мастерам после того, как работа над всем списком ссылок проделана (Шестой шаг).
Так как у меня был огромный список ссылок (12000), то я отправляла письма сразу, как только находила ссылки, подлежащие удалению.
Важная деталь. Отправлять письма веб-мастерам нужно с почтового ящика на gmail. Рекомендую заранее создать отдельный ящик. Вы можете использовать и существующий, но, на мой взгляд, с отдельным работать проще. Я, например, отправляла по нескольку писем веб-мастерам в день и получала по нескольку ответов, соответственно. Поэтому создала отдельный ящик.
Итак, у вас есть почтовый адрес на gmail, с которого вы будете отправлять письма веб-мастерам, владельцам доменов и т.д.
Ниже текст письма с обращением, которое я отправляла. Вы можете взять его за основу.
Здравствуйте!
Меня зовут Анна, я представляю компанию Русоникс, которая является владельцем домена www.rusonyx.ru
Дело в том, что некоторое время назад мы получили уведомление от Google о том, что наш сайт попал в бан-списки из-за некоторого ряда ссылок.
На данный момент мы проводим работу по выявлению таких ссылок и их устранению.У меня большая к вам просьба.
Пожалуйста, поставьте тег «nofollow» или удалите ссылки на вашем сайте, которые ссылаются на наш (www.rusonyx.ru ).Вот страницы с вашего сайта, где есть ссылки на нас:
………
Заранее спасибо!
Пожалуйста, как только вы это сделаете, сообщите нам ответным письмом.
Будем вам очень благодарны и признательны за оказанную помощь!С уважением,
Мой e-mail на домене rusonyx.ru:
————————————-
Как задокументировать доказательство отправки писем
Все просто. Создайте 2 новых документа в Google Docs:
- Первый назовите «Оригинальные коды отправленных писем»
- Второй — «Скриншоты запросов, отправленных с контактных форм»
В первый документ вы будете переносить оригинальные коды отправленных писем, и присваивать им номера, которые будут отражены в Google таблице в столбце «I» — «E-mail reference #» (№ Ссылки на отправленный e-mail). Выглядеть это будет так:
В документе «Оригинальные коды, отправленных писем»
В Google таблице
Не нужно копировать весь код письма, достаточно той части, где указан отправитель, получатель, дата отправки и тема письма. Как открыть код письма. Откройте отправленное письмо, и справа в выпадающем списке выберите «Показать оригинал».
Второй текстовый документ «Скриншоты запросов, отправленных с контактных форм». Сюда нужно заносить скриншоты (по аналогии с кодами писем) и присваивать им номер, который будет отражен в основной таблице в столбце «Contact form reference #» (№ Ссылки на отправленное письмо через контактную форму). Выглядеть это будет так:
В документе «Скриншоты запросов, отправленных с контактных форм»
В Google таблице
Шаг восьмой: Работа с ответами на запросы
Есть 3 варианта развития событий, после того, как письма с запросами отправлены:
Первый вариант. Вам ответили на запрос и сообщили, что ссылка удалена или к ней применен тег nofollow. В этом случае:
- В основной таблице в столбце «L» с комментариями укажите, что ссылка удалена/применен тег nofollow и поставьте дату;
- помечаете строку зеленым цветом;
- в столбце «D» — Disavow ставьте статус «NO».
Вот так это выглядит в таблице
Второй вариант. Вам пришло письмо с отказом удалить ссылку.
- Помечаете в комментариях к таблице в столбце «L» факт отказа;
- копируете исходный код ответа в файл «Оригинальные коды, отправленных писем»;
- даете № ссылки на этот исходный код в Google таблице в столбце «L» с комментариями;
- Всю строку помечаете красным цветом;
- в столбце «D» — Disavow ставьте статус YES (ДА) или YES-url (ДА-url ссылка).
Третий вариант. Вы не получили ответа.
- В комментариях к таблице в столбце «L» укажите этот факт;
- В столбце «D» — Disavow ставьте статус YES или YES – url;
- Всю строку помечаете красным цветом.
Ну вот, это все, что нужно сделать на первом этапе. Второй этап работы касается подготовки и отправки отчета на пересмотр в Google. Но этот этап требует отдельной статьи, которую я буду писать, пока вы работаете над первым.
