---

Каждый день наши сайты обходят десятки разнообразных роботов, не принося никакой пользы и создавая дополнительную нагрузку на сервер. Многим из администраторов и веб мастеров приходилось сталкиваться с ситуацией, когда хостер блокировал сайт из-за большой нагрузки, оказываемой на сервер. Такая ситуация может возникнуть при неконтролируемом посещении страниц вашего сайта разнообразными роботами. Если вы используете выделенный сервер, вы можете дополнительно оплачивать расходы на трафик и другие серверные ресурсы — процессор или память.

Нужно четко понимать что для наших сайтов будут полезны только пауки основных поисковых систем, таких как Yandex и Google. Существует более 300-т зарегистрированых роботов-пауков. Еще больше не зарегистрированных. Каждый из них выполняет собственные задачи, на халяву используя ресурсы наших проектов. Например, это может быть сбор email адресов, отслеживание репутации компаний, сканирование на наличие файлов, доступных для загрузки и т.п. А китайских и азиатских пауков стоит блокировать не задумываясь. Не редки случаи, когда китайские роботы сканируют изображения и публикуют прямые ссылки на своих ресурсах. В этом случае поток левого трафика на ваш сайт будет обеспечен!

Как мы с ними боремся?

Чтобы избежать ситуации описаной выше, в первую чередь, мы установливаем статистику посещений на ваш сайт. Далее принимаем технические меры для блокировки нежелательных роботов. Наш сервер на котором размещены сайты клиентов позволяет блокировать ip ботов на серверном уровне. Да, многие CMS дают возможность самим вписать нехороший ip и закрыть доступ к сайту. Хорошая штука если вы блокируете одного робота. Давайте немного поподробней...

Итак, давайте разберемся как работает бан по ip во всех CMS: первым делом Вы заносите в базу данных нежелательный ip. Когда кто-то заходит к вам на сайт, программа берет ip посетителя и начинает сравнивать его с теми, которые находятся в базе данных. Если ip пользователя нет в базе данных, то сайт открывается. Если же айпи совпадает с блокированным айпи то доступ будет закрыт. Все просто на первый взгляд.

Теперь давайте углубимся. К примеру у нас 1.000 заблокированых ненужных роботов. Когда пользователь к нам зайдет, его ip будет сверятся уже не с одним, а целой тысячей заблокированных роботов. На это уйдет масса времени и ресурсов сервера. А если у нас в день больше 100 посетителей? Программке надо каждого человека сверить с большой базой. Это может занять хорошую долю времени, а значит страница вашего сайта откроется с большой задержкой. Вам нравится посещать сайты которые долго грузятся? Помоему это не нравится никому и люди уйдут от вас на сайт конкурентов потому что он работает шустрее. Это то, что касается посетителей.Давольно таки неприятный факт, но это еще не все. Теперь что касается вас. Любое действие программы тратит ресурсы сервера. Это значит что с такой системой бана вам потребуется выбирать сервер который сможет быстро обработать запросы этой программы и как следсвие платить больше.

Мы используем другой метод блокировки. Наш метод тратит в десятки раз меньше ресурсов и совсем не нагружает сервер вне зависимости от количества забаненых ip-адресов. К тому же вам ненужно выслеживать роботов, мы это делаем за вас и совершенно бесплатно!