Что такое поисковый спам (спамдексинг)?

Поисковым спамом называются преднамеренные попытки влияния на индексирование и ранжирование сайтов поисковыми системами. Также может встречаться в специализированной литературе под названиями спамдексинг, веб-спам или отравление поисковых систем. Включает в себя ряд методов, целью которых является воздействие на релевантность и повышение значимости, как отдельных страниц, так и целых веб-сайтов.

Часто используется как прием «черного» SEO, что идет в разрез деятельности алгоритмов поисковых систем (Яндекс, Google, Bing), отслеживается и наказывается системой фильтров и банов.

Суть явления и немного истории

Для определения релевантности того или иного документа поисковые системы используют алгоритмы. В том числе они оценивают вхождения ключевых фраз и слов в тексте веб-страницы и URL-адреса. Сейчас поисковики отслеживают случаи спамдексинга и блокируют подозрительные сайты в результатах выдачи. В том числе блокировка производится и по факту жалоб со стороны пользователей.

В середине 90-х прошлого столетия спам и спамдексинг достигли небывалого роста, что ведущие поисковики того времени потеряли часть своей полезности и доверия со стороны пользователей. Как уже говорилось выше, метод спамдексинга представляет собой один из приемов «черного» SEO. Конечной целью таких действий является желание искусственно повысить позиции собственного сайта в результатах выдачи, что представляет собой прямое нарушение правил и рекомендаций поисковиков. Также данные методы сопряжены с риском подвергнуться серьезному наказанию со стороны Яндекса, Google и др.

Предположительно, первое высказывание про поисковый спам датируется 22 мая 1996 и принадлежит Эрику Конви. В статье «Порно пробирается обратно в веб» в ежедневной американской газете The Boston Herald он сказал:

The problem arises when site operators load their Web pages with hundreds of extraneous terms so search engines will list them among legitimate addresses. The process is called «spamdexing,» a combination of spamming—the Internet term for sending users unsolicited information—and «indexing.»

Основные виды поискового спама

Поисковый спам делится на два больших класса – текстовый (контент) и ссылочный.

Текстовый спам

Текстовый спам напрямую связан с попыткой изменения логического представления поисковой системы о содержимом страницы. Такие способы работают в поле векторной модели информационного поиска.

Переспам ключевых слов

Такой способ подразумевает размещение на странице ключевых слов согласно расчету, произведенному на основе анализа конкурентов или поведения робота поисковой системы. Цель – увеличение плотности ключевой фразы в документе и, как следствие, повышение релевантности веб-страницы.

Старые поисковые алгоритмы действовали по принципу простого подсчета слов и фраз, на основе чего делали вывод об общей релевантности документа. Сегодня поисковики научились распознавать факты искусственного повышения плотности текста и определять страницы, созданные исключительно с целью привлечения трафика. Также, слишком большие текст усекается краулером, поэтому невозможно размещение, например, огромных списков словарей в рамках одной страницы.

Скрытие текста

На сайте размещается скрытый текст, чаще всего набор бессвязных слов и фраз. Маскировка спама происходит разными способами: посредством придания шрифту того же цвета, что и фон страницы; установка очень мелкого шрифта; скрытие средствами HTML (помещение текста в атрибут alt, div нулевого размера, hidden). Но тут важно понимать, что не всякий скрытый текст является признаком спама, возможно, таким способом вебмастер пытается улучшить юзабилити сайта. Поэтому подобные ситуации оцениваются дополнительно асессорами поисковых систем.

Переспам мета-тегов

Такие приемы подразумевают частое повторение ключевых фраз в мета-тегах title, description и keywords. А также использование слов, не имеющих отношение к содержимому страницы. Данный вид спама потерял эффективность еще в 2005 году.

Дорвеи

«Проходные» страницы или дорвеи – низкокачественные документы, наполненные преимущественно бессвязным текстом, содержащим большое количество вхождений ключевых слов. Механизм работы страницы выглядит следующим образом: пользователь попадает на сайт через поисковые системы, не находит ничего полезного, но при этом видит кнопку или гиперссылку в надписи «нажмите здесь, чтобы попасть» туда-то либо срабатывает автопереадресация. Пример подобного спама — скандал в 2006 году разразившийся вокруг компании-производителя автомобилей BMW, когда Google пессимизировал немецкий сайт BMW.de за использование технологии дорвея.

Скреперские сайты (парсинг)

Создание скреперских (от слова scraper – скребок) сайтов, путем сбора информации с других интернет-ресурсов, например, результатов поисковой выдачи. Как правило, контент собирается с помощью специального софта. В итоге сайт имеет уникальное наполнение, но, по сути, представляет собой всего лишь «сплав» контента, взятого с различных ресурсов. Спам такого рода имеет своей целью привлечение пользователей и предложение им просмотра рекламы или перенаправление их на другие сайты.

Рерайт статей

Поскольку поисковые системы наказывают сайты за низкую уникальность контента, целью рерайта является переписание существующих текстов, чтобы повысить этот показатель. Контент, как правило, берется с других интернет-ресурсов и перписывается наемными авторами. В современных реалиях к этому процессу привлекаются различные онлайн-сервисы с использованием нейронной сети.

Машинный перевод

Данный спам похож на рерайт статей, только в случае машинного перевода тексты берутся на иностранных сайтах и размножаются путем перевода с помощью онлайн-сервисов или программных приложений без участия человека. Текст в итоге получается «корявым», не всегда понятным и логичным для пользователя, но робот-поисковик не видит особой разницы и продолжает его индексировать.

Виды ссылочного поискового спама

Ссылочный спам представляет собой различные запрещенные способы размещения гиперссылок не связанных с содержимым сайта. Целью этих приемов является наращивание ссылочной массы для придания более высокого рейтинга определенным сайтам.

Линкофермы

Линкофермы или ссылочные фермы — сеть сайтов, ссылающих друг на друга; фермы для «разведения» ссылок. Чаще всего, не имеют полезного контента, и предназначены только для накрутки показателей ранжирования третьего сайта. После введения Google первого обновления алгоритма Panda, а поисковиком Яндекс – алгоритма Минусинск, в такого рода спаме практически отпала необходимость, использование линкоферм существенно снизилось.

Скрытые ссылки

Повышение ссылочной популярности подопечного сайта за счет размещения скрытых гиперссылок на других сайтах в местах, где пользователи их не увидят. По сути, поисковая махинация, потому что зачастую, скрытые ссылки помещаются на сайте без ведома его хозяина, путем взлома кода или за счет использования специализированного софта.

Сплоги

Спамдексинг в виде создания и ведения блогов, которые предназначены исключительно для размещения внешних ссылок на целевые сайты. На первый взгляд, особенно неискушенного пользователя, сплог мало чем отличается от обычного блога. Но при более детальном рассмотрении замечаются несостыковки в виде низкого качества контента (машинный перевод, некачественный рерайт) и большого количества ссылок.

Использование общедоступных страниц

Наличие в интернете страниц, которые могут редактироваться непосредственно пользователями, дает возможность использовать такие страницы в качестве спам-индексаторов, т.е. страниц для вставки внешних ссылок. К таким страницам можно отнести личные профиля пользователей, форумы, гостевые книги, чаты, комментарии другие страницы, доступные для поискового робота. Как правило, размещением ссылок на подобных ресурсах занимаются автоматизированные боты.

Меры противодействия со стороны поисковых систем

Существуют и другие виды спамной деятельности. К таким относятся создание зеркальных сайтов, клоакинг, перенаправление URL, покупка просроченных доменов и мн.др. Но поисковые системы, например, Яндекс или Google, регулярно разрабатывает меры противодействия, совершенствуют алгоритмы ранжирования, в целях пресечения подобных манипуляций.

Борьба с поисковым спамом – одно из приоритетных направлений развития алгоритмов ранжирования. Новые фильтры, призванные наказывать «нечестные» сайты появляются с завидной регулярностью. Степень наказания определяется в зависимости от типа нарушения, объема причиненного вреда. Так переспам текста по ключевым фразам может привести к искусственному снижению позиций со стороны Яндекса всего сайта или его отдельных страниц. Тогда как запуск дорвея может повлечь за собой блокировку не только сайта-нарушителя, но и всех связанных саттелитов и даже основного ресурса. В поисковых системах не скрывают этого и активно пропагандируют для вебмастеров политику создания сайтов для людей.