До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.
За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше
1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии).
Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет.
Итого получилось:
Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем)
Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20%
Для многостраничных сайтов и для дорвеев - ботов до 95%
Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса.
60% ботов прикидывающихся людьми не поддерживали JS.
Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа
) и прочие данные с сайтов (делающие GET обращения к реальным страницам) и (в особенности на дорвеях) присутствует большой процент "россиян", которые являются хитроботами Яндекса и несущими бан и страдания вебмастерам и дорвейщикам. Чекеров уязвимостей (xss) и спамилок (делающих POST в формы) в общем массе исчезающе мало.
Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы.
Прочие мысли:
+ Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip.
+ Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей.
Ну и кто еще не купил антибота:
всего за 9.95$ с бесплатными обновлениями.