DomenForum.net

DomenForum.net (https://domenforum.net/index.php)
-   Барахолка (https://domenforum.net/forumdisplay.php?f=121)
-   -   AntiBot - скрипт защиты сайта от плохих ботов и хитроботов. (https://domenforum.net/showthread.php?t=214361)

vipraskrutka 14.07.2018 19:59

До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.
За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше 1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии).
Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет.

Итого получилось:

Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем)
Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20%
Для многостраничных сайтов и для дорвеев - ботов до 95%

Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса.

60% ботов прикидывающихся людьми не поддерживали JS.

Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа вмсн доргена) и прочие данные с сайтов (делающие GET обращения к реальным страницам) и (в особенности на дорвеях) присутствует большой процент "россиян", которые являются хитроботами Яндекса и несущими бан и страдания вебмастерам и дорвейщикам. Чекеров уязвимостей (xss) и спамилок (делающих POST в формы) в общем массе исчезающе мало.

Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы.

Прочие мысли:

+ Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip.
+ Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей.

Ну и кто еще не купил антибота: https://antibot.tdsse.com/ всего за 9.95$ с бесплатными обновлениями.

vipraskrutka 16.07.2018 21:51

Новая версия Антибота доступна для загрузки :) Скачать можно на oplata.info. У антибота теперь новый красивый домен: AntiBot.Cloud и новый - облачный вид защиты, который уже сейчас лучше, чем было раньше, а дальше по мере роста числа пользователей будет еще лучше.

Лог изменеий: v. 4.01 (Beta) от 16 июля 2018:

Скрипт переехал с http://antibot.tdsse.com/ на новый домен: https://antibot.cloud/
Скрипт полностью переписан, для обновления - заменить всю папку antibot изучив новый конфиг.
Если папка whitebot не имела ваших собственных файлов, а только автонаполнялась,
то ее можно полностью очистить, в этой версии в ней будет намного меньше файлов.

Из конфига и функционала убраны некоторые пункты:
- срок жизни куки (теперь они всегда сутки).
- секунды времени тестирования браузера (оно теперь мгновенное, если повезет).
- код ответа сервера для страницы загрузки (теперь всегда 403, это оптимально).
- соль (в ней нету практической пользы).
- добавление get переменных - utm меток (практической пользы в них нету).
- JS проверка ab.php из внешнего локального файла (теперь идет запрос к облаку).

Добавлено:
+ Возможность оперировать маской ipv4 /24, т.е. 123.123.123.*
+ Проверка юзеров на поддержку http/2.0 (+100500% с отсечению ботов).
+ Облачная проверка юзера.
+ Включение/отключение отдельных логов.
+ Шаблон в стиле Cloudflare добавлен по умолчанию (он привычен и не пугает юзеров).
+ Счетчики LiveInternet и Metrika теперь еще больше защищены от накрутки ботами.
+ Юзеру теперь не надо ждать секунды наблюдая заглушку, проверка мгновенна.
+ Расширен список белых ботов, основные, которые могут понадобиться большинству.

https://wmsn.biz/img/shop/3.jpeg

vipraskrutka 23.07.2018 15:08

Обновил Антибота. Версия 4.02. Добавил ab.php, полный лог изменений: changelog.txt, скачать обновление можно в магазине скриптов или на oplata.info, в зависимости от того, где покупался скрипт.

vipraskrutka 22.08.2018 15:02

Antibot v. 4.03 от 22 августа 2018: Изменен antibot_include.php - исправлен косяк с проверкой PTR. После обновления желательно очистить папку /whitebot/ там могут быть посторонние ip. Обновления можно скачать тут https://wmsn.biz/product.php?id=3 или тут https://oplata.info/info/ в зависимости от того где покупался скрипт.
https://wmsn.biz/img/shop/3.jpeg

vipraskrutka 20.08.2019 21:50

Вышла новая версия 5.05, также теперь есть полностью бесплатная версия антибота https://antibot.cloud/ которую можно скачать без смс и регистрации.

vipraskrutka 22.08.2019 16:10

Пример фильтрации трафика облачным антиботом. Первый счетчик стоит на заглушке, второй уже в шаблоне сайта. Это без учета примитивных ботов, не поддерживающих JS. На старых сайтах ситуация и соотношение на самом деле в разы хуже (на днях будет пример такого старого трастового сайта), т.к это пример молодых доменов, которые разрешены к индексации только в гугле и нигде больше не светились и с посторонних сайтов беклинков не имеют.
https://i.imgur.com/dg9Qdlc.png

vipraskrutka 05.09.2019 14:21

AntiBot.Cloud v.5.06
В скрипте antibot_include.php исправлена обработка ipv6 ботов, просто заменить этот скрипт.
Скачать обновления: https://antibot.cloud/

vipraskrutka 07.02.2020 09:31

В ближайший месяц будет пересмотрено ценообразование облачной версии антибота https://antibot.cloud/
Сейчас 25$ в год за подключение неограниченного количества сайтов, потом будет (для новых пользователей) 25 за один сайт, а безлимит будет существенно дороже.

vipraskrutka 13.03.2020 12:16

С 1 апреля 2020 на подключение облачной версии антибота будут действовать новые тарифы.
Сейчас 25$ в год за безлимитное количество сайтов. Продление будет стоить столько же.
Для новых клиентов будет 2 тарифа:
25$ в год за 1 домен (+ любые его поддомены, лицензию можно будет перепривязать на другой домен).
250$ в год за безлимит доменов.

vipraskrutka 31.03.2020 21:03

Новая версия антибота (с админкой) доступна для скачивания и использования: https://antibot.cloud/
Обновлено ценообразование, теперь «тарифы»:
Бесплатно - проверка локальным скриптом, без обращений к облаку.
Лицензия на 1 домен 2 уровня + его сабы - 60 BYN в год (≈25$)
Лицензия на безлимит доменов и сабов - 600 BYN в год (≈250$)

Облачную версию можно протестировать бесплатно 15 дней после регистрации на сайте.

Для обновления - полностью заменить всю папку antibot, изучив конфиг и описание работы.
В облачной проверке добавлены (разделены) фильтры: Cloudflare, reCAPTCHA v3, хостинг.
Переделана блокировка по ip, ptr, языку, стране (это настраивается через админку).
Добавлена возможность отключать кнопку для входа (если автоматическая проверка не пустила).
Снижена вероятность ложных срабатываний блокировки, в особенности когда ip меняется часто.
Добавлена админка по адресу /antibot/admin.php
Для работы нужны php class: SQLite3 и Memcached (протестировать сервер скриптом /antibot/test.php)

Еще не сделано, но будет в ближайшую неделю в новой версии:
- добавлен второй облачный сервер и балансировка между ними (надо будет обновить шаблон заглушки).
- ускорена работа облачной части для повторных заходов юзера и убран запуск проверок которые не запрашивались.
- перевод админки скрипта на английский.

Скриншоты админки:
https://i.imgur.com/kwem6ia.png
https://i.imgur.com/htfZvyV.png
https://i.imgur.com/3gDgaFK.png
https://i.imgur.com/Ch4i1R7.png


Текущее время: 04:25. Часовой пояс GMT +4.

Powered by vBulletin® Version 3.8.4
Copyright ©2000 - 2022, Jelsoft Enterprises Ltd.
Техническая поддержка — DevArt.PRO. Перевод: zCarot.