Атака Ботов. Повышение нагрузки из за ботов на сайт Битрикс и борьба с ними

Суть вопроса

Сайт на Биртиксе стал перегружать хостинг (хостинг http://1gb.ua)
Нужно было решить вопрос, чтобы сайт не закрыли

Задача:
Определить причину перегрузки сайта на Битриксе и устранить её.

1.Определение причины
 Как определил, что перегружают боты
Поддержка хостинга посоветовала посмотреть статистику нагрузки по IP адресам
Статистика процессорной нагрузки/Детализация по страницам, IP адресам

На этой странице видно было что пиковую нагрузку создавал msnbot

После выяснения того что в нагрузке на сайт виновны боты, появился уточненный вариант задачи

Задача уточненная
Уменьшить нагрузку на сайт от поисковых ботов


2. Решение проблемы.
Замедление ботов

Опять же поддержка посоветовала править robots.txt
(тут идея такая: в корне сайта нужно создать файл robots.txt в котором можно настроить ограничения для поисковиков
подробнее про файл robots.txt в ссылках ниже
(также в ссылках ниже есть информация про параметр Crawl-delay, который замедляет боты)

по сути я вставил несколько строк, чтобы замедлить боты


# замедляем боты
User-agent: msnbot
User-agent: bingbot
User-agent: MSNBOT/0.1
Crawl-delay: 30

Доп информация по теме

инфо про файл robots.txt
http://robotstxt.org.ru/
http://dataword.info/robots.php

http://lermont.ru/blog/msg.php?msg=7 (тут есть инфо про замедление ботов)
http://webartsolutions.com/articles/doklad-robotstxt.html (тут есть примеры замедления ботов)


несколько ссылок с именами ботов
http://forum.searchengines.ru/showthread.php?t=12731
http://www.jafsoft.com/searchengines/webbots.html
http://mastertalk.ru/discussion/119161/podskazhite-imena-botov-poiskovyh-sistem/#Item_5


История общения с поддержкой



2013-01-22 11:02 Вы: Добрый день!
проблемы с магазином на битриксе
vavilon-shop.com.ua
: после переноса на новый сервер с PHP 5.3 он вызывает перегрузку оборудования
на старом сервере такого не было (был установлен акселлератор).

на виртуальный выделенный сервер переводить ресурс не хочу, т.к. дороже и больше хлопот с администрированием.

вопрос: появился ли у вас сервер с PHP 5.3 на Fast/CGI ?

2013-01-22 11:02 1Gb.ua: Дежурит специалист(ов): 5
Задавайте вопрос (если есть) - свободный специалист ответит вам.
(если вы уже задали вопрос - ожидайте ответа)

2013-01-22 11:03 1Gb.ua: Здравствуйте

2013-01-22 11:03 Вы: у вас заявлено соответсвие параметрам битрикса начиная с тарифного плана основной+,
а у нас сайт не может нормально работать на плане Максимальный
http://www.1gb.ua/price_bitrix.php#p2

2013-01-22 11:04 1Gb.ua: PHP 5.3 на Fast/CGI пока нет

2013-01-22 11:04 Вы: что с ресурсом делать? каждый день приходят письма о больших перегрузсках с угрозой отключить ресурс

2013-01-22 11:07 1Gb.ua: это не угроза, просто предупреждение. Нагрузка никак не связана с переходом на другой тип сервера

2013-01-22 11:07 1Gb.ua: судя из логов большую часть нагрузки создает msnbot

2013-01-22 11:08 Вы: а что это? есть где почитать

2013-01-22 11:08 Вы: просто раньше таких проблем в принципе не было

2013-01-22 11:09 Вы: а при переносе на сервер с пхп 5.3 с отключенным акселлератором производительность битрикса упала с 30-ти до 7-ми пунктов

2013-01-22 11:09 1Gb.ua: Настроить скорость проходения поисковых ботов можно в файле robots.txt
Так же в нем можно вообще запретить к индексации msn ботом Ваш сайт

2013-01-22 11:10 1Gb.ua: детальнее http://robotstxt.org.ru/

2013-01-22 11:10 Вы: ок, это может помочь.
посдскажете ссылки где почитать про скорость прохождения ботами?

2013-01-22 11:10 Вы: ок, спсб

2013-01-22 11:11 1Gb.ua: смотрите так же статистику https://www.1gb.ua/c/cpustat

2013-01-22 11:11 Вы: подскажите пож как вы статистику смотрели?
(чтобы я в след раз сам идентифицировал проблему)

2013-01-22 11:11 1Gb.ua: "Детализация по страницам, IP адресам"

2013-01-22 11:12 1Gb.ua: на крайний случай, можно просто напрямую заблокировать ip которые создают нагрузку, их там не много

2013-01-22 11:14 Вы: читаю http://robotstxt.org.ru/
не вижу раздела про скорость прохождения.
может подскажете?

2013-01-22 11:16 1Gb.ua: там довольно много информации смотрите, так же можете посмотреть и на других ресурсах, msnbot можно вообще заблокировать. Ваша целевая аудитория им точно не польщуется

2013-01-22 11:27 Вы: здесь
http://dataword.info/robots.php
нашел про Crawl-delay,
спасибо, буду пробовать

2013-01-22 11:27 1Gb.ua: пожалуйста

2013-01-22 11:27 1Gb.ua: Всего доброго

Оптимизация Битрикса на виртуальной машине на примере хостинга 1gb.ua

Ситуация

Готовлю 2 сайта на Битриксе в режиме мультисайтовости.  Хостинг-провайдер http://1gb.ua. Для нормальной работы мультисайтовости виртуальный хостинг не подходит, поэтому покупаю виртуальный сервер. Тариф "VZ-профи". Сам я не большой специалист по linux и apache.

Проблема

Апач работает нестабильно, даже при 2-х запросах: при попытке одновременного открытия сайтов из разных вкладок. вываливает или 

"Service Temporarily Unavailable

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later."

Или ответ выдется, но разметка сайтов сбита.

Решение

(помогла служба поддержки 1gb.ua)

увеличить директиву MaxProcessors до 100, в файле /etc/apache2/modules.d/00_mpm.conf. 

Это решение помогло. Вопрос на текущий момент закрыт.

правда замер производительности Битрикса тестами Битрикса не очень хороший: 7.82

На будущее поддержка посоветовала смотреть такие материалы

pinba

http://habrahabr.ru/post/129042/ 

http://pinba.org/wiki/Main_Page 

atop

Используйте утилиту atop. В режиме сбора статистики atop запускается как демон и раз в N времени (обычно 10 мин) скидывает состояние в двоичный журнал. Потом по этому журналу atop'ом же (ключ -r и имя лог-файла) можно бегать вперёд-назад кнопками T и t, наблюдая показания atop'а с усреднением за 10 минут в любой интересный момент времени. 

2012-12-11 16:59 1Gb.ua: Ставите так: emerge atop, его мануал http://www.opennet.ru/man.shtml?topic=atop&category=1&russian=2