Суть вопроса
Сайт на Биртиксе стал перегружать хостинг (хостинг http://1gb.ua)
Нужно было решить вопрос, чтобы сайт не закрыли
Задача:
Определить причину перегрузки сайта на Битриксе и устранить её.
1.Определение причины
Как определил, что перегружают боты
Поддержка хостинга посоветовала посмотреть статистику нагрузки по IP адресам
Статистика процессорной нагрузки/Детализация по страницам, IP адресам
На этой странице видно было что пиковую нагрузку создавал msnbot
После выяснения того что в нагрузке на сайт виновны боты, появился уточненный вариант задачи
Задача уточненная
Уменьшить нагрузку на сайт от поисковых ботов
2. Решение проблемы.
Замедление ботов
Опять же поддержка посоветовала править robots.txt
(тут идея такая: в корне сайта нужно создать файл robots.txt в котором можно настроить ограничения для поисковиков
подробнее про файл robots.txt в ссылках ниже
(также в ссылках ниже есть информация про параметр Crawl-delay, который замедляет боты)
по сути я вставил несколько строк, чтобы замедлить боты
# замедляем боты
User-agent: msnbot
User-agent: bingbot
User-agent: MSNBOT/0.1
Crawl-delay: 30
Доп информация по теме
инфо про файл robots.txt
http://robotstxt.org.ru/
http://dataword.info/robots.php
http://lermont.ru/blog/msg.php?msg=7 (тут есть инфо про замедление ботов)
http://webartsolutions.com/articles/doklad-robotstxt.html (тут есть примеры замедления ботов)
несколько ссылок с именами ботов
http://forum.searchengines.ru/showthread.php?t=12731
http://www.jafsoft.com/searchengines/webbots.html
http://mastertalk.ru/discussion/119161/podskazhite-imena-botov-poiskovyh-sistem/#Item_5
История общения с поддержкой
2013-01-22 11:02 Вы: Добрый день!
проблемы с магазином на битриксе
vavilon-shop.com.ua
: после переноса на новый сервер с PHP 5.3 он вызывает перегрузку оборудования
на старом сервере такого не было (был установлен акселлератор).
на виртуальный выделенный сервер переводить ресурс не хочу, т.к. дороже и больше хлопот с администрированием.
вопрос: появился ли у вас сервер с PHP 5.3 на Fast/CGI ?
2013-01-22 11:02 1Gb.ua: Дежурит специалист(ов): 5
Задавайте вопрос (если есть) - свободный специалист ответит вам.
(если вы уже задали вопрос - ожидайте ответа)
2013-01-22 11:03 1Gb.ua: Здравствуйте
2013-01-22 11:03 Вы: у вас заявлено соответсвие параметрам битрикса начиная с тарифного плана основной+,
а у нас сайт не может нормально работать на плане Максимальный
http://www.1gb.ua/price_bitrix.php#p2
2013-01-22 11:04 1Gb.ua: PHP 5.3 на Fast/CGI пока нет
2013-01-22 11:04 Вы: что с ресурсом делать? каждый день приходят письма о больших перегрузсках с угрозой отключить ресурс
2013-01-22 11:07 1Gb.ua: это не угроза, просто предупреждение. Нагрузка никак не связана с переходом на другой тип сервера
2013-01-22 11:07 1Gb.ua: судя из логов большую часть нагрузки создает msnbot
2013-01-22 11:08 Вы: а что это? есть где почитать
2013-01-22 11:08 Вы: просто раньше таких проблем в принципе не было
2013-01-22 11:09 Вы: а при переносе на сервер с пхп 5.3 с отключенным акселлератором производительность битрикса упала с 30-ти до 7-ми пунктов
2013-01-22 11:09 1Gb.ua: Настроить скорость проходения поисковых ботов можно в файле robots.txt
Так же в нем можно вообще запретить к индексации msn ботом Ваш сайт
2013-01-22 11:10 1Gb.ua: детальнее http://robotstxt.org.ru/
2013-01-22 11:10 Вы: ок, это может помочь.
посдскажете ссылки где почитать про скорость прохождения ботами?
2013-01-22 11:10 Вы: ок, спсб
2013-01-22 11:11 1Gb.ua: смотрите так же статистику https://www.1gb.ua/c/cpustat
2013-01-22 11:11 Вы: подскажите пож как вы статистику смотрели?
(чтобы я в след раз сам идентифицировал проблему)
2013-01-22 11:11 1Gb.ua: "Детализация по страницам, IP адресам"
2013-01-22 11:12 1Gb.ua: на крайний случай, можно просто напрямую заблокировать ip которые создают нагрузку, их там не много
2013-01-22 11:14 Вы: читаю http://robotstxt.org.ru/
не вижу раздела про скорость прохождения.
может подскажете?
2013-01-22 11:16 1Gb.ua: там довольно много информации смотрите, так же можете посмотреть и на других ресурсах, msnbot можно вообще заблокировать. Ваша целевая аудитория им точно не польщуется
2013-01-22 11:27 Вы: здесь
http://dataword.info/robots.php
нашел про Crawl-delay,
спасибо, буду пробовать
2013-01-22 11:27 1Gb.ua: пожалуйста
2013-01-22 11:27 1Gb.ua: Всего доброго
Сайт на Биртиксе стал перегружать хостинг (хостинг http://1gb.ua)
Нужно было решить вопрос, чтобы сайт не закрыли
Задача:
Определить причину перегрузки сайта на Битриксе и устранить её.
1.Определение причины
Как определил, что перегружают боты
Поддержка хостинга посоветовала посмотреть статистику нагрузки по IP адресам
Статистика процессорной нагрузки/Детализация по страницам, IP адресам
На этой странице видно было что пиковую нагрузку создавал msnbot
После выяснения того что в нагрузке на сайт виновны боты, появился уточненный вариант задачи
Задача уточненная
Уменьшить нагрузку на сайт от поисковых ботов
2. Решение проблемы.
Замедление ботов
Опять же поддержка посоветовала править robots.txt
(тут идея такая: в корне сайта нужно создать файл robots.txt в котором можно настроить ограничения для поисковиков
подробнее про файл robots.txt в ссылках ниже
(также в ссылках ниже есть информация про параметр Crawl-delay, который замедляет боты)
по сути я вставил несколько строк, чтобы замедлить боты
# замедляем боты
User-agent: msnbot
User-agent: bingbot
User-agent: MSNBOT/0.1
Crawl-delay: 30
Доп информация по теме
инфо про файл robots.txt
http://robotstxt.org.ru/
http://dataword.info/robots.php
http://lermont.ru/blog/msg.php?msg=7 (тут есть инфо про замедление ботов)
http://webartsolutions.com/articles/doklad-robotstxt.html (тут есть примеры замедления ботов)
несколько ссылок с именами ботов
http://forum.searchengines.ru/showthread.php?t=12731
http://www.jafsoft.com/searchengines/webbots.html
http://mastertalk.ru/discussion/119161/podskazhite-imena-botov-poiskovyh-sistem/#Item_5
История общения с поддержкой
2013-01-22 11:02 Вы: Добрый день!
проблемы с магазином на битриксе
vavilon-shop.com.ua
: после переноса на новый сервер с PHP 5.3 он вызывает перегрузку оборудования
на старом сервере такого не было (был установлен акселлератор).
на виртуальный выделенный сервер переводить ресурс не хочу, т.к. дороже и больше хлопот с администрированием.
вопрос: появился ли у вас сервер с PHP 5.3 на Fast/CGI ?
2013-01-22 11:02 1Gb.ua: Дежурит специалист(ов): 5
Задавайте вопрос (если есть) - свободный специалист ответит вам.
(если вы уже задали вопрос - ожидайте ответа)
2013-01-22 11:03 1Gb.ua: Здравствуйте
2013-01-22 11:03 Вы: у вас заявлено соответсвие параметрам битрикса начиная с тарифного плана основной+,
а у нас сайт не может нормально работать на плане Максимальный
http://www.1gb.ua/price_bitrix.php#p2
2013-01-22 11:04 1Gb.ua: PHP 5.3 на Fast/CGI пока нет
2013-01-22 11:04 Вы: что с ресурсом делать? каждый день приходят письма о больших перегрузсках с угрозой отключить ресурс
2013-01-22 11:07 1Gb.ua: это не угроза, просто предупреждение. Нагрузка никак не связана с переходом на другой тип сервера
2013-01-22 11:07 1Gb.ua: судя из логов большую часть нагрузки создает msnbot
2013-01-22 11:08 Вы: а что это? есть где почитать
2013-01-22 11:08 Вы: просто раньше таких проблем в принципе не было
2013-01-22 11:09 Вы: а при переносе на сервер с пхп 5.3 с отключенным акселлератором производительность битрикса упала с 30-ти до 7-ми пунктов
2013-01-22 11:09 1Gb.ua: Настроить скорость проходения поисковых ботов можно в файле robots.txt
Так же в нем можно вообще запретить к индексации msn ботом Ваш сайт
2013-01-22 11:10 1Gb.ua: детальнее http://robotstxt.org.ru/
2013-01-22 11:10 Вы: ок, это может помочь.
посдскажете ссылки где почитать про скорость прохождения ботами?
2013-01-22 11:10 Вы: ок, спсб
2013-01-22 11:11 1Gb.ua: смотрите так же статистику https://www.1gb.ua/c/cpustat
2013-01-22 11:11 Вы: подскажите пож как вы статистику смотрели?
(чтобы я в след раз сам идентифицировал проблему)
2013-01-22 11:11 1Gb.ua: "Детализация по страницам, IP адресам"
2013-01-22 11:12 1Gb.ua: на крайний случай, можно просто напрямую заблокировать ip которые создают нагрузку, их там не много
2013-01-22 11:14 Вы: читаю http://robotstxt.org.ru/
не вижу раздела про скорость прохождения.
может подскажете?
2013-01-22 11:16 1Gb.ua: там довольно много информации смотрите, так же можете посмотреть и на других ресурсах, msnbot можно вообще заблокировать. Ваша целевая аудитория им точно не польщуется
2013-01-22 11:27 Вы: здесь
http://dataword.info/robots.php
нашел про Crawl-delay,
спасибо, буду пробовать
2013-01-22 11:27 1Gb.ua: пожалуйста
2013-01-22 11:27 1Gb.ua: Всего доброго
Комментариев нет:
Отправить комментарий