AntiBot - скрипт защиты сайта от плохих ботов и хитроботов.
НАЗНАЧЕНИЕ:
Защита сайта от «плохих» ботов: - хитроботов поисковых систем - спамботов, спамящих в формы - автоматических парсеров и прокси сайтов ворующих контент - граберов дорвеев, которые на php парсят контент на автомате - ботов накручивающих показы и клики рекламы - второсортных «поисковиков» не дающих трафик - других ненужных ботов, создающих лишнюю нагрузку на сайт Скрипт полезен (а часто просто необходим) почти всем как для белых сайтов, так и для дорвеев. Не нужен скрипт только пользователям Cloudflare, в котором есть похожий функционал, но это не точно =) После применения данного скрипта - в теста (проводились на дорвеях, с дневной посещаемостью в 20млн+ ботов и индексаторов и 100500 реальных живых людей): - снижалась нагрузка на процессор на 20% (на тяжелых сайтах типа вордпресс с большим количеством страниц возможно сэкономить больше ресурсов). - снижался объем расхода интернет трафика сервера на 30%. - в яндекс метрике значительно снизилось кол-во юзеров с 0 временем на сайте и соответственно кол-во отказов. Заблокированных «плохих» посетителей относительно реальных юзеров, прошедших проверку (не считая «белых» ботов) 95% (на самом деле если на уровне сервера и в .htaccess не блочились ненужные боты по User-Agent, то заблокированных будет 99.99%). Реальные юзеры при этом не страдают, от поисковых систем писем о проблемах с доступностью сайта пока тоже не поступало. Для дорвеев и вообще сайтов это хороший способ сокрытия «плохой» рекламы (шок тизеры, кликандеры, мобильный слив на подписки и т.п.) от хитроботов Яндекса. Более подробное описание: Демо: Обновления бесплатны, скрипт будет развиваться. Обновления всегда можно будет скачать на сайте oplata.info Служба поддержки оказывается по емейл, с того емейла, с которого вы купили скрипт. Остерегайтесь подделок и складчин, помните, безопасный скрипт от скрипта с закладкой для шелла может отличаться всего на 10 символов кода. |
Вышло обновление, версия 2.01, полностью переписанное, скачать можно на сайте oplata.info (об этом по идее теперь должна приходить рассылка).
Также сайт Включен лог тех, кто получил 503 для наглядности Уже можно заметить строки с не пришедшим на сайт ярославским гуглом типа: 212.232.60.181 ppp-vpdn-212.232.60.181.yarnet.ru Mozilla/5.0 (compatible; Googlebot/2.1; + Вообще таких фейковых гуглов и яндексов много еще будет. |
AntiBot v. 2.03 - добавлена передача хоста реферера в GET переменной (utm-метка).
|
v. 3.01 от 12 января 2018:
Скрипт можно выносить на сервере в одно общее место (на отдельный домен). Исправлен косяк связанный с проверкой ботов по $ab_config['whitebot'] != 1. Конфиг теперь инклудить не надо. Перечитайте инструкцию И рекомендую обновить скрипт, особенно на дорвеях, если есть что прятать от хитроботов. |
v. 3.02:
В конфиг добавлена переменная: $ab_config['counter'] (для отображения на заглушке счетчиков). В конфиге дополнены настройки мейловского бота, добавлен PTR: smailru.net Добавлена JS защита от открытия сайта в продвинутых анонимайзерах cmle.ru, |
Несколько сайтов можно будет с одного скрипта защищать ?
|
Цитата:
|
В связи с празднованием великого праздника - Дня Святого Патрика, промо код на 50% скидку D421DE44B4384774 на WMSN дорген
|
Еще у одного сайта изменилась жизнь на до и после антибота.
Это было ДО (сайт скорее был мертв, чем жив): Это стало через 10 минут ПОСЛЕ установки антибота (все летает): Сайт с 100500 страницами (на самом деле сильно больше), который можно парсить и парсить, что собственно и делали все кому не лень, как просто воры-парсеры контента, так и бесполезные псевдопоисковики, а теперь не делают. Сколько это экономия в деньгах - сами прикидывайте, Load Average снизилась в 10 раз, потребление оперативки упало в 2 раза. |
Шаблон заглушки (страницы проверки) для
|
До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.
За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше 1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии). Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет. Итого получилось: Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем) Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20% Для многостраничных сайтов и для дорвеев - ботов до 95% Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса. 60% ботов прикидывающихся людьми не поддерживали JS. Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы. Прочие мысли: + Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip. + Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей. Ну и кто еще не купил антибота: |
Новая версия Антибота доступна для загрузки :) Скачать можно на oplata.info. У антибота теперь новый красивый домен:
Лог изменеий: v. 4.01 (Beta) от 16 июля 2018: Скрипт переехал с Скрипт полностью переписан, для обновления - заменить всю папку antibot изучив новый конфиг. Если папка whitebot не имела ваших собственных файлов, а только автонаполнялась, то ее можно полностью очистить, в этой версии в ней будет намного меньше файлов. Из конфига и функционала убраны некоторые пункты: - срок жизни куки (теперь они всегда сутки). - секунды времени тестирования браузера (оно теперь мгновенное, если повезет). - код ответа сервера для страницы загрузки (теперь всегда 403, это оптимально). - соль (в ней нету практической пользы). - добавление get переменных - utm меток (практической пользы в них нету). - JS проверка ab.php из внешнего локального файла (теперь идет запрос к облаку). Добавлено: + Возможность оперировать маской ipv4 /24, т.е. 123.123.123.* + Проверка юзеров на поддержку http/2.0 (+100500% с отсечению ботов). + Облачная проверка юзера. + Включение/отключение отдельных логов. + Шаблон в стиле Cloudflare добавлен по умолчанию (он привычен и не пугает юзеров). + Счетчики LiveInternet и Metrika теперь еще больше защищены от накрутки ботами. + Юзеру теперь не надо ждать секунды наблюдая заглушку, проверка мгновенна. + Расширен список белых ботов, основные, которые могут понадобиться большинству. |
Обновил Антибота. Версия 4.02. Добавил ab.php, полный лог изменений:
|
Antibot v. 4.03 от 22 августа 2018: Изменен antibot_include.php - исправлен косяк с проверкой PTR. После обновления желательно очистить папку /whitebot/ там могут быть посторонние ip. Обновления можно скачать тут
|
Вышла новая версия 5.05, также теперь есть полностью бесплатная версия антибота
|
Пример фильтрации трафика облачным антиботом. Первый счетчик стоит на заглушке, второй уже в шаблоне сайта. Это без учета примитивных ботов, не поддерживающих JS. На старых сайтах ситуация и соотношение на самом деле в разы хуже (на днях будет пример такого старого трастового сайта), т.к это пример молодых доменов, которые разрешены к индексации только в гугле и нигде больше не светились и с посторонних сайтов беклинков не имеют.
|
AntiBot.Cloud v.5.06
В скрипте antibot_include.php исправлена обработка ipv6 ботов, просто заменить этот скрипт. Скачать обновления: |
В ближайший месяц будет пересмотрено ценообразование облачной версии антибота
Сейчас 25$ в год за подключение неограниченного количества сайтов, потом будет (для новых пользователей) 25 за один сайт, а безлимит будет существенно дороже. |
С 1 апреля 2020 на подключение облачной версии антибота будут действовать новые тарифы.
Сейчас 25$ в год за безлимитное количество сайтов. Продление будет стоить столько же. Для новых клиентов будет 2 тарифа: 25$ в год за 1 домен (+ любые его поддомены, лицензию можно будет перепривязать на другой домен). 250$ в год за безлимит доменов. |
Новая версия антибота (с админкой) доступна для скачивания и использования:
Обновлено ценообразование, теперь «тарифы»: Бесплатно - проверка локальным скриптом, без обращений к облаку. Лицензия на 1 домен 2 уровня + его сабы - 60 BYN в год (≈25$) Лицензия на безлимит доменов и сабов - 600 BYN в год (≈250$) Облачную версию можно протестировать бесплатно 15 дней после регистрации на сайте. Для обновления - полностью заменить всю папку antibot, изучив конфиг и описание работы. В облачной проверке добавлены (разделены) фильтры: Cloudflare, reCAPTCHA v3, хостинг. Переделана блокировка по ip, ptr, языку, стране (это настраивается через админку). Добавлена возможность отключать кнопку для входа (если автоматическая проверка не пустила). Снижена вероятность ложных срабатываний блокировки, в особенности когда ip меняется часто. Добавлена админка по адресу /antibot/admin.php Для работы нужны php class: SQLite3 и Memcached (протестировать сервер скриптом /antibot/test.php) Еще не сделано, но будет в ближайшую неделю в новой версии: - добавлен второй облачный сервер и балансировка между ними (надо будет обновить шаблон заглушки). - ускорена работа облачной части для повторных заходов юзера и убран запуск проверок которые не запрашивались. - перевод админки скрипта на английский. Скриншоты админки: |
Описал очень популярную инструкцию обхода блокировок РКН с помощью антибота и редиректов на субдомен
Но знающие люди, которые в теме, говорят что эта тема боян и уже не спасает от РКН. |
Вышло обновление антибота, версия 7.001, можно обновляться со всех предыдущих версий.
Повышено качество проверки как локального скрипта, так и облачной проверки. На подключение облачной проверки по тарифу UNLIMITED скидки до 1 июня 2020. |
v. 7.005 от 18 мая 2020:
Исправлена ссылка "Выход" (ранее не удаляла cookie). Исправлена ошибка сохранения PTR при локальных переходах. Оптимизирован размер картинок флагов стран (уменьшен почти в 4 раза). Изменены стили, удален файл /antibot/static/offcanvas.css (удалите его вручную). Добавлена в логе выборка по статусу: stop, auto, post, local. Добавлен экспорт всех правил блокировки из базы в .txt файл. Добавлен импорт списка правил блокировки в базу. Добавлена возможность удаления сразу всех имеющихся правил. И пример Fake GoogleBot, которые не прошли: |
Скидки на тариф UNLIMITED* - 99$ вместо 250$ в год. Действует до 1 октября.
|
UNLIMITED версия за 99$ вместо 250$ в год. Акция действует до 1 ноября 2020.
|
Черная пятница по антиботовски. до 1 декабря как для новых заказов так и для продления.
Сроки подписки умножаются на 2. Платишь за годовую подписку и получаешь + 1 год в подарок. Тариф ONE 25$ за 2 года, вместо 1 года. Тариф UNLIMITED 99$ (спец цена для рунета) за 2 года, вместо 1 года. |
Внимание, в телеграм работают мошенники!
При обращении по вопросам антибота - внимательно смотрите контакты на сайте Для обращения в телеграм - на сайте указана прямая ссылка на профиль в телеге, кликайте по ней, а не копипастите имя в поиск по телеге, там есть фишинговые аккаунты, на которых можно нарваться и безвозмездно растаться с деньгами. Если есть сомнения - требуйте чтоб сначала я продлил антибота, а потом оплата. |
а давайте потестим вашего бота , попробуем спарсить сайты где он установлен
|
С новой версией антибота № 7.013 статистика яндекс метрики на вашем сайте теперь станет чистой, как слеза девственницы )))
Для этого нужно обновить версию антибота в админке антибота на вашем сайте. В конфиге добавить новую переменную: $ab_config['utm_referrer'] = 1; Убрать из counter.txt антибота яндекс метрику, теперь метрика должна быть только в шаблоне вашего сайта. Реферер в метрику будет передаваться через GET переменную utm_referrer. И метрика станет чиста как никогда, никаких ботов, только те, кто успешно прошел антибота как человек. P.S. также убедитесь что вы точно используете облачную версию антибота, в облачной в конфиге значение должно быть таким $ab_config['check_url'] = ''; (пустым) и в админке не должно быть никакой рекламы. Также для повышения эффективности рекомендую поставить значение 3 (если у вас стоит меньше) в $ab_config['timer'] = 3; Кто еще не познал антибота, он тут: |
Сейчас многим сайтам идет накрутка поведенческих с ru мобильных ip для порчи поведенческих, антибот такое успешно останавливает:
|
Вышло обновление антибота, лог изменений:
Из самого интересного - добавлена возможность вот такой защиты: Если посетитель автоматически не прошел проверку, ему придется ненапряжно подтвердить, что он не бот в один клик. |
Давно не добавлял новостей. Новостей не сильно много, антибот работает в штатном режиме, плохих ботов блокирует по прежнему отлично (более качественной фильтрации ботов, портящих поведенческие факторы вы точно не найдете).
С 1 июля 2021 скорректированы цены на лицензии: Тариф ONE, первый год: 25$ ➜ 30$ (подорожало), продление: 13$ ➜ 10$ (подешевело) Тариф UNLIMITED, первый год: 99$ (так и осталось), продление: 49$ ➜ 33$ (подешевело) На июль действует бесплатная услуга: если у вас сложности с самостоятельной установкой и настройкой антибота - пишите в саппорт, ставим и настраиваем все бесплатно. Но это только на июль, потом опять данная услуга станет платной, 25$ за настройку сайта. Появилась партнерская программа, 10% со всех платежей рефа. |
Снижение нагрузки на сервер антиботом. Нагрузку во многом создают ненужные боты, гродящие без пользы по сайту. Проверочная заглушка антибота нагружает сервер значительно меньше, чем большинство CMS, этим и создается экономия ресурсов. Статистики по двум серверам до и после установки антибота.
Акция на тариф UNLIMITED на первый год, только при заказе 16-18 августа вместо 1 года вы получаете лицензию на 18 месяцев. |
Новая версия 7.024 от 8 сентября 2021:
* Исправлен (дополнен) счетчик заблокированных, теперь будет считать все заблокированные запросы. * Добавлена суммарная статистика за месяц в конце таблицы (страница статистики). * Исправления и изменения в текстах и переводах админки и страницы проверки. * Из шаблона заглушки убрано все лишнее, теперь шаблон минимализирован, универсален и юзерфрендли. Кто юзает дефолтный шаблон страницы проверки без переделок под свои стили, то можно обновить шаблон tpl.txt. Из шаблона выкинуто все лишнее, чтоб юзеру не забивать голову лишними текстами. Как это выглядит можно посмотреть на офиц сайте. Сначала появляется текст Loading... Потом как облако отдало код - или появляется кнопка и описание что тут вообще произошло. Или появляется собщение, что Идет загрузка страницы, подождите... и появляется сайт. В общем теперь большинство юзеров не поймет, что это была какая-то антибот проверка и внешне для большинства это будет выглядеть как просто загрузка сайта. |
Вышло обновление, оптимизирована работа скрипта, он стал работать еще быстрее, обновлена geo база, прочие мелкие обновления.
Антибот по прежнему является лучшим средством борьбы с ненужными ботами, которые портят поведенческие факторы и опускают сайт в позициях в яндексе, парсят контент, делая его неуником, а также повышают нагрузку на сайт, заставляя вас платить за хостинг еще больше. |
До 24 декабря 2021 при продлении антибота: + 1 год в подарок. Акция для тех, кто уже оплачивал первый год.
Т.е. получается продление на 2 года: Тариф ONE - 10$, Тариф UNLIMITED - 33$ Если вы еще не являетесь "старым" клиентом, то первый год по обычной цене + продление по акции и получится: ONE: 30+10=40$ за 3 года UNLIMITED: 99+33=132$ за 3 года. С 25 декабря по 2 января (включая эти дни) оплата и продление антибота будут недоступны. А в новом 2022 году будут новые цены: ONE: 40$ за первый год, 20$ в год - продление. UNLIMITED: 120$ за первый год, 60$ в год - продление. |
Новая версия антибота v. 7.026 от 9 января 2022:
* Добавлена страница Top, со статистикой самых активных ip, популярных браузеров, стран и других столбцов из лога. * Доработаны стили, исправлен перенос длинных строк. * Обновлена база SxGeo.dat. * Прочие мелкие исправления. |
Новая версия 7.028 от 30 января 2022:
* В конфиг добавлена новая переменная: $ab_config['header_test_code'] = 200; Которая изменяет код ответа сервера для страницы проверки. возможные коды ответа: 200, 400, 401, 403, 404, 410, 451, 500, 502, 503, 504, 511. о значении кодов: По аналогии с имеющейся настройкой $ab_config['header_error_code']. * Обновлена база SxGeo.dat. * Доработан adm/top.php (исправлены ссылки с пустыми значениями). Есть мнения, что код заглушки (страницы проверки) отличный от кода 200 может помочь лучше отвадить левых ботов от попыток зайти на сайт. В особенности можно обратить внимание на код 403 Forbidden, визуально для браузера (людей) ничего не изменится при этом. У антибота есть партнерская программа, 10% со всех платежей реферала, до 12$ с платежа. Актуальные тарифы: ONE: 3000 RUB / 40 USD в год (1 домен и все его поддомены). UNLIMITED: 9000 RUB / 120 USD в год (безлимит доменов). На продление скидка 50%, удобные формы оплаты через личный кабинет. Открыт для других форм сотрудничества, если у вас есть идеи для совместной монетизации проекта. |
Сегодня и завтра цены в рублях на антибота снижены в 2 раза:
UNLIMITED: 15000 ➜ 7500 RUB ONE: 5000 ➜ 2500 RUB |
Вчера состоялся релиз 8 версии.
Главные изменения: Значительно расширен функционал правил, теперь Антибот не просто антибот, а полноценный фаервол для PHP скриптов. Изменены скрипты фронтенда, плохим ботам будет сложнее найти кнопки и нажать на них. Добавлена полная поддержка IPv6. Расширен функционал логов, логировать можно все, а также видеть причину блокировки или сработавшее правило. Все правила в новом Антиботе делятся на 3 типа: ✔ ALLOW - разрешить доступ к сайту не показывая антибот проверку. ✔ BLOCK - полная блокировка без возможности войти на сайт. ✔ GRAY - запретить автоматическую проверку, принудительно заставить жать кнопку входа. Эти типы правил можно применять к данным: ✓ IPv4 и IPv6, как отдельный IP адрес, так и подсеть любого размера. ✓ По части User-Agent с проверкой PTR (для строгого определения поисковых ботов например) ✓ По части URL (например для внесения разделов сайта в исключение, например если это rss лента или api) ✓ User-Agent (поиск по точному совпадению) Пример: Mozilla/5.0 (compatible; YandexBot/3.0; + ✓ Страна (2 буквенный код в верхнем регистре, коды по ISO 3166-1 alpha-2) Пример: RU или US ✓ Язык браузера (2 буквенный код языка в нижнем регистре, коды по ISO 639-1) Пример: ru или en ✓ Реферер (только хост, поиск по точному совпадению) Пример: iframe-toloka.com ✓ PTR (домены 2 или 3 уровня) Пример: compute.amazonaws.com ✓ AS Name (название владельца блока IP, брать в логе) Пример: Contabo GmbH ✓ AS Num (номер блока IP, брать в логе) Пример: 8075 ✓ URI (полный адрес страницы, от корня сайта начиная с /) Пример: /page1.html или /index.php?p=123 ✓ Script Name (имя скрипта от корня сайта начиная с / и без гет переменных) Пример: /api/send.php ✓ HTTP_ACCEPT (поиск по точному совпадению) Пример: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Актуальные цены: UNLIMITED 99$ в год, ONE 49$ в год. Можно оплачивать на месяц или на неделю. Скидок и повышения цен до осенних черных пятниц и нового года не планируется. Партнерская программа: 10% со всех платежей реферала. Посмотреть как выглядит антибот изнутри можно на демо сайте: Login: demo@antibot.cloud Pass: 1234567 |
vipraskrutka, от DDoS-атак защищает или нет?
|
Цитата:
От ддоса есть бесплатный cloudflare |
Антибот развивается, 8 версия уже не бета, а стабильная, удобная и отлично фильтрует ботов. Можно (но не обязательно) переходить на новую версию с 7 Антибота.
Цены продолжают падать (в рублях) вслед за курсом доллара, оплата для россиян доступна картой и криптой. |
Антибот развивается и обновляется. На сегодня antibot cloud является лучшим средством от поведенческих ботов.
Лог изменений: Разница между 7 и 8 версией антибота: А еще курс доллара сейчас очень выгодный, чтобы за рубли покупать антибота, на текущий момент цены: 3172 руб ONE License в год (49$). 6409 руб UNLIMITED License в год (99$). |
Вышли небольшие обновления с косметическими исправлениями для обоих версий антибота: 7.036 и 8.016
Лето не повод откладывать внедрение антибота на осень! Промокод: summer дает + 7 дней для бесплатного использования. Активировать промокод нужно успеть до 15 июня 2022. Если у вас сложности с самостоятельной установкой скрипта - оплатите 1 месяц подписки (от 5$) и установка и настройка антибота будет произведена службой поддержки. |
Вышел важный апдейт антибота. Версия 8.20.
Значительно улучшено определение бурж ботов, vpn, tor, proxy, хостинговых (серверных) ip, раньше иногда не хватало объемов определенных типов ботов для анализа, но антибот развивается, клиентская база и база для анализа растет. Российских ботов антибот по прежнему определяет лучше всех. Не верите? - 10 дней тестового периода бесплатно для проверки. |
Запилил очередное, но большое обновление антибота, лог изменений:
Как выглядит антибот можно посмотреть на демо сайте: Логин: demo@antibot.cloud Пароль: 1234567 Изучаю спрос на создание побочного продукта - API для получения рейтинга IP (логов ip у меня много генерится), для тех, кому не нужен полноценный антибот целиком со всем его функционалом, но нужно скрытно фильтровать посетителей, получая инфу что "это подозрительный посетитель или бот". Надо? Также открыт для других идей сотрудничества. |
11-14 ноября скидка 30% по промокоду blackfriday
|
30% скидка по промокоду blackfriday действует до 1 декабря.
Также представляю сервис альтернативу антиботу: |
Вышло очередное обновление. Версия 8.026.
Лог изменений: Антибот продолжает активно развиваться и востребован. И завтра исполняется ровно 5 лет с первого публичного релиза скрипта. Официально Антибот родился 25 декабря 2017 года. |
Текущее время: 05:29. Часовой пояс GMT +4. |
Powered by vBulletin® Version 3.8.4
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Техническая поддержка — DevArt.PRO. Перевод: zCarot.