TOBBOT - многофункциональный инструмент вебмастера

[TOBBOT]

TOBBOT - это попытка сделать универсальный инструмент для автоматизации различных сетевых задач.
Программа бесплатная, имеет базовый набор модулей и простое API для расширения функционала.



Базовым набором модулей можно воспользоваться сразу же после скачивания:

1. выбрать модуль
2. настроить задание
3. запустить действие

Количество модулей будет постоянно расти и со временем появятся модули для выполнения всех популярных задач. Текущий список модулей:



Изменять/создавать новые модули можно используя встроенные API функции:

... вставить код из указанного файла,
CAPTCHA распознать капчу через выбранный OCR сервис,
GOTO перейти к указанной метке,
LABEL задать метку,
LOG добавить запись в лог,
PAUSE выдержать паузу,
SCRIPT выполнить указанный JavaScript код,
URL_ENCODE закодировать параметры в адресе страницы,
URL_HEAD выполнить HEAD запрос к странице,
URL_GET выполнить GET запрос к странице,
URL_POST выполнить POST запрос к странице,
PARSE найти текст на странице,
VAR_ADD добавить временные переменные,
VAR_SET задать переменной указанное значение,
VAR_SET_RANDOM задать переменной случайное значение из указанного списка.

Писать модули просто! Вот так выглядит код модуля URL Parse Title:

URL_GET
  row_url
PARSE
  row_title, http_content, "(?ims)title.*?>(.*?)<.*?title"

При этом писать модули на TOBBOT быстрее, проще и дешевле, чем писать программы с нуля:

Программа портативная, кроссплатформенная и не требует установки.
Система профилей позволяет одновременно запускать любое количество копий.
Рабочие данные хранятся в удобной таблице (CSV файл), а код модулей выполняется многопоточно, с/без прокси, с передачей нужного реферера, обработкой кук и др.

Скачать TOBBOT можно по одноименному адресу TOBBOT.COM
Для запуска программы вам потребуется виртуальная машина Java

Качайте, тестируйте, критикуйте и подавайте идеи для развития проекта.
Ваш TOB, супер BOT!

[TOBBOT]

Вышла версия: TOBBOT 0.3.1


Модули:

Новый модуль Add URL Bing.
Другие модули также были доработаны: увеличена их скорость и надежность.

API функции:

Новая функция SAVE позволяет выполнить промежуточное сохранение данных, что в случае неудачного выполнения большого задания позволяет продолжить с указанного места.

Например, если в задании парсятся все 10 страниц выдачи Google и на 4 странице происходит сбой выполнения, то при помощи функции SAVE можно начать парсинг в следующем цикле сразу с 4 страницы.

Новая функция REDIRECT включает/выключает автоматический переход в случае редиректа.
Возможные значения: REDIRECT+ (по умолчанию) и REDIRECT-.

Например, если при запросе страницы сервер делает предварительную цепочку редиректов, то теперь программа пройдет по всем редиректам самостоятельно. Бывает, что нужно обработать цепочку редиректов самому, тогда можно временно выключить REDIRECT-, а потом снова включить REDIRECT+ автоматический переход в случае редиректа.

Новая функция REFERER включает/выключает автоматическую смену реферера.
Возможные значения: REFERER+ (по умолчанию) и REFERER-.

Например, если нужно открыть новую страницу, но после запроса сохранить реферер предыдущей страницы, то нужно сначала выключить REFERER-, а после запроса снова включить REFERER+ автоматическую смену реферера.

[TOBBOT]

Вышел TOBBOT 0.4.0


Новые модули:

• Accounts Hostinger - регистрация фрихостов на панели Hostinger.ru;
• URL Find Text (RegExp) - поиск текста на странице (через регулярное выражение);
• URL Find Text (Simple) - поиск текста на странице (от строки A, до строки B).

Новые сабмодули (упрощают написание основных модулей):

• Mail.ru find email - поиск нужного email в папках Входящие / Спам;
• Recaptcha decode - распознование капчи Recaptcha (новая версия).

API функции:

• Новая функция COOKIE - добавляет новую запись в менеджер Cookie;
• Новая функция COOKIE_CLEAR - удаляет все записи в менеджере Cookie;
• Изменения в работе функции SCRIPT: переменные, объявленные в функции SCRIPT, теперь доступны и после ее завершения;
• Функции VAR_SET и PARSE переименованы в VAR и VAR_RE соответственно. Старые имена функций временно можно использовать как синонимы. Изменения проведены с целью улучшения читабельности кода.

• Если у вас установлена устаревшая версия Java, то вы можете скачать последнюю версию с официального сайта.
• Если вы изучили API и желаете оказывать платные услуги по написанию новых модулей, то свяжитесь со мной и я добавлю ваши контакты на сайте программы.

[TOBBOT]

Вышел TOBBOT 0.5.1

Добавлен модуль Add URL Google, теперь есть адурилки в Bing, Yandex и Google.

Новая API функция FUNCDONE - позволяет отключать обработку функции DONE. Функция может быть полезна при вставке кода из других модулей.

Реализована возможность однострочной записи API функций, что заметно повысило читабельность кода модулей. Примеры различного оформления кода модуля URL Parse Title:

1) многострочная запись

PHP код:

URL_GET
    row_url

VAR_RE
    row_title
    http_content
    "(?is)<title>(.*?)</title>" 


2) однострочная запись

PHP код:

URL_GET    row_url
VAR_RE    row_title, http_content, "(?is)<title>(.*?)</title>" 


[TOBBOT]

Вышел TOBBOT 0.7.0


Новая API функция VAR_COOKIE - присваивает указанной переменной значение cookie для указанной страницы.


Новые модули:

• Accounts FreeWebHostingArea - регистрация фрихостинг аккаунтов на панели FreeWHA.com (10 доменов);
• SE Index Checker - проверка индексации доменов/страниц в поисковых системах Яндекс, Google и Bing;
• SMS from AFreeSMS - отправка SMS сообщений в любую страну мира (автор модуля Alex G).

Появился человек (Alex G), готовый оказывать платные услуги по написанию модулей к программе:

689545275
sansalex@mail.ru

И наконец-то, появилась первая версия хелпа к программе TOBBOT

[TOBBOT]

Вышел TOBBOT 0.8.0

Оптимизированы аглоритмы программы - скорость выросла min в 5 раз!

Добавлены API функции:

• ROW - добавляет новую строку в таблицу.
  Что позволяет "наращивать" файл задания прямо во время выполнения дейтсвия. Например, для модуля парсинга Google Suggest можно добавлять найденые кеи для осуществления более глубокого парсинга.
• VAR_FILE - считывает содержимое указанного файла в указанную переменную;
• URL_POST_MULTIPART - выполняет POST запрос вида multipart/form-data на указанный адрес с указанными параметрами.
  Совместное использование этой функци и функции VAR_FILE позволяет писать модули настройки профилей: загрузка фото, аватара и других файлов.

[TOBBOT]

Вышел TOBBOT 0.9.0

Добавлены API функции для работы с файлами FILE (запись) и VAR_FILE (чтение).
Добавлены API функции для работы с кодировками CHARSET, CHARSET_CLEAR, VAR_CHARSET.
API функция URL_ENCODE переименована в VAR_URL и стала более "интеллектуальной" (прощает ошибки разработчиков).

Подробнее про API функции программы можно узнать в справочнике разработчика.

Появилась страница с информацией о спонсорах программы
Приглашаю всех принять посильное участие в развитии проекта!

[TOBBOT]

Вышел TOBBOT 0.10.0

Добавлена API функция POST_JSON, которая позволяет выполнить POST/JSON запрос на указанный адрес. Сформировать тело запроса можно с ипользованием функции SCRIPT.

PHP код:

SCRIPT
    data = JSON.stringify({'id': 25, 'params': {'age': 30, 'first name': 'John', 'last name': 'Doe'}});
URL_POST_JSON
    "http://example.com/update.php", data 


В API функцию FILE добавлена возможность указать параметры записи в файл. Теперь можно добавлять запись не только в новый файл, но и в уже существующий.

PHP код:

FILE    "D:/new.txt", data, "a" 


В главное меню программы добавлена команда File > Open As, которая позволяет открывать рабочие файлы других модулей.

Добавлены новые бесплатные и премиум модули:

• Domain Names Availability - проверка статуса доменов: свободен / зарегистрирован через сервис GoDaddy.
• $ Yandex Last20 Keywords - парсинг прямого эфира Яндекса (фильтр по кею, запись в файл).
• $ Yandex Metrika Open Stats - поиск открых статистик Яндекс.Метрика.

Обновляемся, не стесняемся

[TOBBOT]

Вышел TOBBOT 1.0.0

1) Программа и ее модули теперь разделены и скачиваются отдельно. Для обновления модулей не нужно обновлять программу.
2) Добавлена поддержка прокси требующих авторизацию.
3) Улучшена обработка Set-Cookie заголовков в ответе сервера.
4) Улучшена работа с Unicode данными.
5) Добавлена возможность работы с Unicode доменами, например: окна.рф, авто.com.
6) В API функции URL_HEAD и URL_GET добавлена возможность указывать множество параметров. В этом случае адресом страницы будет результат объеденения всех указанных параметров.
7) В API функцию VAR_RE добавлен 4-ый (необязательный) параметр, для формирования значения.
8) Добавлена API функция VAR_PROXY, которая позволяет узнать текущие настройки прокси.
9) Добавлена API функция PROXY, которая позволяет сменить/октлючить прокси в ходе выполнения задания. Таким образом можно осуществлять привязку аккаунтов к определенным IP-адресам.
10) Новый модуль $ Accounts Wordpress.com.
11) Модуль Yandex Metrika Open Stats стал бесплатным.

[TOBBOT]

Срочно в номер! Вышел TOBBOT 1.1.0

Наиболее важные перемены:

• Изменен формат записи логов: лог пишется в файл, а статистика логов в таблицу Action > Log Stats...
• Устранена утечка памяти при работе с большим объемом данных: проверка 4.8м ру доменов одним заданием больше не проблема.

Новые бесплатные модули:

• Proxy Parser - парсинг прокси в файл: ip, порт.
• Socks Proxy Checker - проверка SOCKS прокси: ip, время, скорость.

Обновляемся, не сомневаемся