Реф спам или веб спам. Что это такое и как боротся с реф спамом?
01.09.2018
Реф-спам (реферер-спам или веб-спам) это очень не приятная штука, которая наносит определенный вред, для ваших сайтов, тем самым причиняя вам различные проблемы. Для тех, кто впервые слышит понятие реф-спам, немного ниже в статье я расскажу, что такое реф-спам, что он делает и так далее, чтобы вы могли представлять себе, о чем вообще идет речь. В наше время большая часть сайтов подвержена реферер-спаму (веб-спаму), и от него нужно избавиться обязательно, тем более, для того чтобы избавиться от реф-спама не нужно быть профессионалом.
Что такое РЕФЕРАЛЬНЫЙ СПАМ?
[contents]
Если вы внимательно смотрели статистику своего сайта, то наверняка могли видеть переходы на ваш сайт с различных сайтов с адресами такого типа:
semalt.com website-errors-scanner.com buttons-for-your-website.com buttons-for-websites.com best-seo-solution.com simple-share-buttons.com social-buttons.com и так далее.Но, к сожалению многие этого не замечают, потому что не всегда смотрят внимательно статистику посещаемости сайта или на ваш сайт слишком много переходов с различных сайтов и вы просто этого не замечали. В моем случае очень часто бывали случае, когда представленные выше сайты были в топе по переходам и по статистике мои сайты получали большое количество переходов именно с этих сайтов.
ТОП 5 способов, как привлечь рефералов (партнеров) в свой проект или бизнес
Мне было интересно, почему с этих сайтов переходят ко мне. При переходе по ссылке срабатывал редирект, и меня перенаправляло на какой-либо сайт с товарами, виджетами, услугами, кнопками соц. сетей и так далее.
Это тоже своего рода реклама и привлечение трафика на различные партнерские продукты. Не знаю, случалось ли кому-либо попадать на такие страницы только не с товарами, а с мобильными подписками не знаю, в моей практике такого ее не было. Но, думаю, и это вполне может быть.
Как вы уже поняли, такими действиями мошенники получают либо трафик на свои сайты с партнерскими продуктами, либо получают обратные ссылки, если в статистике посещаемости отображается их ссылка и статистика сайта индексируется, тем самым ссылки на спамные сайты получает дополнительный вес. (В последнем пункте не уверен, так как подобной информации не нашел в сети интернет в тот момент когда разбирался с данной проблемой).
А ваши сайты подвержены реф-спаму (веб-спаму)?
Это явление началось в буржунете еще в 2012 – 2013 году, на данный момент она приобретает все больше и больше популярности. Сейчас сложно найти сайт, на который не было выполнено не одного веб-спама. На форумах очень много тем посвященных вопросам связанных, с переходами с этих сайтов, что это такое и как вообще с этим бороться. Реф-спам успел достаточно навредить сайтам не только в Рунете, но и в других странах.
При этом, если проанализировать десяток сайтов, то можно заметить, что переходы выполняются так же и на сайты находящиеся под фильтром АГС . А как вы знаете, если сайт находиться под фильтром АГС страницы вылетают из индекса. Поэтому можно предположить, что для веб-спама подбираются сайты не только из поиска, но, и, например, из какого-нибудь каталога или рейтинга сайтов.
Поэтому не стоит надеяться, что ваш сайт не подвержен реф-спаму, лучше принять меры и оборвать поток веб-спама на ваши сайты.
Почему реф-спам представляет серьезную проблему?
Одним из первых пунктов, это, конечно же, искажение статистики сайта. Так же из-за постоянного реферер-спама забиваются логи сервера различной ненужной информацией. Особенно если вы занимаетесь продвижением клиентских сайтов, то очень часто приходиться объяснять, почему на сайты типа semalt не нужно обращать внимание и учитывать эти переходы. Это занимает у меня очень много времени каждый месяц. Так как клиенты, с которыми я начинаю работать, не имеют защиту сайтов от веб-спама. Приходится в ходе работы принимать меры по избавлению от реф-спама. Но если они смотрят статистику за год, то очень часто говорят что-то вроде такого:
У нас раньше было больше трафика на сайтах, мы получали много переходов с различных сайтов, а теперь этих переходов нет. В чем причина? И мне каждый раз каждому клиенту приходится подробно рассказывать и показывать что это за сайты, какого качества эти переходы и так далее. В общем, каждый раз нужно довести клиента до понимания того, что этот трафик не приносит им пользы, а только наносит вред.
Так же стоит учесть и тот факт, что при реф-спаме статистика ваших сайтов будет показывать высокий показатель отказов и очень короткие сессии. Потому что при веб-спаме время пребывания пользователя на сайте будет примерно 1 – 3 секунды. Из-за этого вы будете видеть постоянно, что у вас все время падает этот показатель в той же Яндекс Метрике.
Конечно, для тех, кто использует на своих сайтах Google Analytics, может создать специальные фильтры, которые будут фильтровать и исключать веб-спаммеров (реф-спам) типа того же самого semalt. Однако, такое действие не поможет решить проблему, так как вы все равно будете получать веб-спам на свои сайты и нагружать лишний раз свой сервер фейковыми переходами.
Различные фильтры в статистике это отлично, но не является решением проблемы. Поэтому сейчас я расскажу вам, как избавиться от этой заразы на стороне сервера и отрубить веб-спам еще на подходе.
Останавливаем веб-спам (реф-спам)
Самый основной момент во всей борьбе с реф-спамом это заблокировать запрос спамера обращенный к вашему серверу еще до того момента как он зарегистрируется в логах со своим фейковым реферером. Для этого есть самый простой метод борьбы, который реализуется благодаря использованию файла .htaccess.
Для этого пропишите в файле .htaccess следующий код:
## SITE REFERRER BANNING RewriteCond %{HTTP_REFERER} semalt.com [NC,OR] RewriteCond %{HTTP_REFERER} buttons-for-website.com [NC,OR] RewriteCond %{HTTP_REFERER} seoanalyses.com [NC] RewriteRule .* - [F]Перенаправление веб-спама
Еще один отличный вариант борьбы с реферер-спамом это использование перенаправления (редиректа веб-спама). Благодаря редиректу веб-спам будет перенаправляться туда, откуда он пришел на ваш сайт. Делается это с помощью специального файла deflector.map и прописываем в данном документе следующий код:
# ## deflector.map ## ##referer --> redirect target http://semalt.com http://semalt.com http://seoanalyses.com http://seoanalysis.com http://buttons-for-website.com http://buttons-for-website.comПосле того как файл создан добавляем в файл .htaccess ниже приведенный код:
RewriteMap deflector txt:/path/to/deflector.map RewriteCond %{HTTP_REFERER} !="" RewriteCond ${deflector:%{HTTP_REFERER}} =- RewriteRule ^ %{HTTP_REFERER} [R,L]Плагин для WordPress от реф-спама
Для тех владельцев кто не имеет доступ к файлу .htaccess или нет желания копаться в файлах, можно установить плагин, который сделает все необходимое и будет блокировать реф-спам. Но тут опять же есть свои минусы. Плагин для вордпресс от веб-спама не блокирует все рефереры, а только semalt, но кроме него есть еще достаточно много других адресов, которые будут благополучно спамить ваш сайт и статистику , как и прежде. Поэтому в любом случае придется поработать руками либо собственными силами избавиться от веб-спама, либо нанять специалиста, на фрилансе вам это сделают за символическую плату.
В принципе, присмотритесь к этому плагину. Я им пользовался, очень давно, и возможно, что сейчас, в обновленных версиях плагина включен большой список рефер-спамеров. Возможно, там появилась возможность, самому, вручную вписывать такие сайты. В общем, проверьте, может что-то в плагине изменилось.
Оптимальная блокировка реф-спама на уровне .htaccess
Кроме всего выше описанного так же можно использовать блокирующий реф-спам код в файле .htaccess одновременно для всех своих сайтов. Для этого нужно поместить файл .htaccess не в корневую папку сайта, а в верхнюю папку, в которой хранятся все ваши сайты. Такой способ применим, в том случае если все ваши сайты расположены в рамках одного аккаунта на хостинге.
Сервер, на котором хранятся все ваши сайты, будет отдавать приоритет именно этому файлу, так как он расположен выше остальных файлов .htaccess, которые располагаются в папке с каждым сайтом, так как у них будет уровень вложенности ниже. Сервер будет в первую очередь встречать ваш верхний файл .htaccess и выполнять его код, тем самым все ваши сайты будут блокировать реф-спам.
Ну и в конце данной статьи хотел бы предоставить вам небольшой список сайтов, которые рассылают на сайты веб-спам. Заблокируйте их одним из представленных мной способов и ваши сайты не будут получать реф-спам, а статистика сайтов будет чистая и не искаженная.
[aspan] Скачать список веб-спам сайтов [/aspan]
Заключение
Надеюсь, что вам пригодилась информация в этой статье, и вы наконец-то избавились от реф-спама, который искажал статистику посещаемости вашего сайта. Так же очень распространенной проблемой для вебмастеров является немного иное явление. Зачастую бывает так, что на ваш сайт выполняются переходы по ложным ключевым словам.
Для борьбы с накруткой посещаемости и искажения поисковых запросов, которые получают трафик так же нужно применить вышеуказанные методы, и внимательно смотреть с каких сайтов выполняются переходы. Если на ваш сайт, идет большое количество трафика по ключевым словам, которые не могут давать трафика, так как ваш сайт находится далеко за ТОП 20, то это говорит о том, что это веб-спам либо кто-то из конкурентов накручивает ваши показатели через различные сервисы или те же самые буксы или почтовики.
На данный момент такую проблему могут испытывать многие, но реальной защиты от этого пока нет. Так как блокировать их не возможно. Каждый день, к вам на сайт, будут заходить люди с разными IP. Адресов сайтов не будет как в случае, с веб-спамом, который выполняет входы с определенных адресов.
На этом у меня все, буду заканчивать данный пост, уже в ближайшие несколько дней будет опубликован мой отчет по первой неделе работы в рамках марафона 30 000 рублей в месяц до 1 сентября 2017 года , не пропустите, если вам интересно, и вы следите за ходом марафона! Пока! Пока!