Для вступления в общество новичков и профессионалов домен-индустрии, пожалуйста нажмите здесь ...

   
 Купля-продажа и обсуждение доменных имён
        

  
Вернуться   Форум о доменах > Дизайн и развитие проектов > Начинающему веб-мастеру
Регистрация Реноме Правила форума Справка Пользователи Социальные группы Все разделы прочитаны
Начинающему веб-мастеру Инструкции, часто задаваемые вопросы и программы обучения.

Ответ
 
Опции темы
Сегодня
от 149р за .RU
Аренда сервера
2x Intel Hexa-Core Xeon E5-2420
Всего 79 евро!

с видеокартой GeForce GTX 1080 Ti
всего 99 евро!

от 149р за .РФ Реклама на DomenForum.net
Старый 29.07.2019, 10:52   #1
 
Аватар для idnex
 
Регистрация: 06.04.2012
Адрес: Одесса
Сообщений: 1,125
Доменные сделки: 0
Реноме: 467
Одобрения
Спасибо (Отдано): 1714
Спасибо (Получено): 618
Чёртов bingbot/2.0

На моём сайте очень много страниц и бывают моменты, когда набегает куча ботов и нагружает сайт больше, чем нужно.
Естественно, плохих ботов я сразу блокирую, поэтому пришлось немного посидеть и подумать, что-бы ещё такого сделать:



В итоге решил заблокировать bingbot/2.0. Трафика Бинг не даёт совершенно, хотя я думал, может чего выжму из него.

Действительно, запросов от bingbot/2.0 было очень много:



После блокировки нагрузка на сайт очень существенно снизилась:



Ну вот теперь можно и заслуженно отдохнуть:



idnex вне форума   Ответить с цитированием
Старый 29.07.2019, 22:12   #2
 
Аватар для pegs
 
Регистрация: 07.02.2008
Адрес: Лимпопо
Сообщений: 5,352
Доменные сделки: 17
Реноме: 1904
Одобрения
Спасибо (Отдано): 444
Спасибо (Получено): 1671
На чём у Вас сайтец, если боты сайт нагружают?
__________________
«Палата номер 6» ищет своего Главврача
pegs вне форума   Ответить с цитированием
Старый 29.07.2019, 22:30   #3
 
Аватар для idnex
 
Регистрация: 06.04.2012
Адрес: Одесса
Сообщений: 1,125
Доменные сделки: 0
Реноме: 467
Одобрения
Спасибо (Отдано): 1714
Спасибо (Получено): 618
pegs, там парсеры на php+mySQL
idnex вне форума   Ответить с цитированием
Старый 30.07.2019, 01:49   #4
 
Аватар для ProCoder
 
Регистрация: 21.06.2019
Сообщений: 12
Доменные сделки: 0
Реноме: 38
Одобрения
Спасибо (Отдано): 1
Спасибо (Получено): 5
А bingbot не понимает директиву crawl-delay?
ProCoder вне форума   Ответить с цитированием
Старый 30.07.2019, 09:14   #5
 
Аватар для idnex
 
Регистрация: 06.04.2012
Адрес: Одесса
Сообщений: 1,125
Доменные сделки: 0
Реноме: 467
Одобрения
Спасибо (Отдано): 1714
Спасибо (Получено): 618
Сообщение от ProCoder Посмотреть сообщение
А bingbot не понимает директиву crawl-delay?
Нет, у меня стоит Crawl-delay: 5
idnex вне форума   Ответить с цитированием
Ответ



Реклама

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Закладки Добавить Тема в закладки

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 21:53. Часовой пояс GMT +4.