Альтернативный DLE Граббер

[Sergey Gr.]

Добрый день. Предлагаю вашему вниманию DLE Grabber написанный на PHP.
Сразу скажу, что за его основу был взят другой популярный граббер, однако до 80% его кода было переписано, так что
данный скрипт является уникальным и до этого дня не распространяемым.

DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.

Особенности скрипта:

• Скрипт полностью автономен и самодостаточен.
  Он легко устанавливается, имеет простой и интуитивный интерфейс.
  При покупке скрипта вы получаете, также, техническую поддержку!
  
• Скрипт не привязан к конкретному движку.
  Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
  можно использовать на любой CMS (подробнее о механизме ниже).
  
• Два режима работы.
  >>Классический режим:
  В этом режиме дистрибутив граббера копируется в директорию вашей CMS.
  Все что нужно - это указать в конфиге драйвер обработки полученного контента от вашей CMS.
  При этом полученные новости, после их подтверждения, автоматически размещаются у вас на сайте.
  
  >>Пакетный режим:
  Суть режима заключается в разделении процесса получения новостей от их добавления.
  При этом грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет denwer),
  скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые впоследствии копируются
  в директорию вашего сайта, где обрабатываются пакетным драйвером вашей CMS.
  Преимущества данного режима:
  - Возможность грабить большое количество статей одновременно, если это не позволяет делать ваш хостинг;
  - Если вы грабите долгое время с одного сайта, рано или поздно, ваш IP на этом сайте может быть просто забанен,
  а если грабить с локального сервера - тут вам на помощь прокси и/или динамический IP.
  
• Универсальность.
  На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени), однако,
  почему-то авторы других грабберов об этом предпочитают не задумываться. Данный же скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
  Данная опция также может быть полезна, если на вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
  (на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).
  
• Оптимизация.
  Работа с граббером максимально нацелена на оптимизацию. Тут вам на помощь конфиги, расположенные в отдельной директории, где вы можете указать реквизиты пользователя (для граббинга с автозированной сессией) по умолчанию, перечень ваших категорий, куда вы добавляете новости и ряд других опций. По желанию, мы можем оптимизировать скрипт персонально для вас.
  
• Надеждый механизм работы.
  Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
  Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
  после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы,
  а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.
  
• Расширяемость.
  С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
  расположены в отдельных библиотеках, что позволит оптимизировать или расширить
  функционал граббера даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
  собственных модулей по обработке контента. В дистрибутив граббера включен модуль по загрузке
  картинок в указанную директорию (на ваш сервер) и, соответственно, изменение путей для этих картинок в самих новостях.
  
• Стоимость.
  Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
  При покупке вы получаете:
  
  • Полный дистрибутив скрипта, с оригинальным кодом и документацией;
  • Отсутствие ограничений по времени использования;
  • Отсутствие привязок (к домену/IP/....);
  • Бесплатную техническую поддержку по почте и ICQ в течении месяца;
  • Бесплатную услугу по написанию драйвера под вашу CMS в кратчайшие сроки;
    
  
  
• Итого
  По любым вопросам можете обращаться по ICQ: 494-897-304.
  Если вас заинтересовал граббер, я могу вам предоставить ссылку на демонстрационную онлайн версию,
  где вы можете протестировать его на сайтах, которые вам интересны. Пишите!

P.S. Изначально, данный скрипт писался для личных целей и ранее не распространялся. Большая просьба к покупателям - не спешите выкладывать его в паблик. Я сознательно отказался от кодирования и обсуфикации кода, а также привязки к домену / IP для удобства тех, кто им пользуется.

Как я уже писал выше, для использования полученного контента на какой-либо CMS (сайте, движке), необходим персональный драйвер.
Драйвера для пакетного и классического режимов различаются.
На данный момент драйвера написаны только для форума Invision Power Board v 2.3.x.
В дистрибутив, также, включен демонстрационный драйвер (классический), который просто показывает сграбленные новости (он же используется в демонстрационной он-лайн версии).

И еще раз повторюсь - каждому покупателю, в случае необходимости, будет написан драйвер для его CMS.

[Blackman-st]

мне нужен граббер, позволяющий копировать статьи с других сайтов с лент рсс и выкладывать у себя на сайте, т.е. чтобы статья открывалась как статья моего сайта, а не был перевод кликающего по анонсу статьи на другой сайт...

если Ваш граббер это делает, готов рассмотреть сотрудничество по этому вопросу.

[BapyHa]

Готов стать первым покупателем. Интересует пакетный режим работы.
Но есть вопросы.
1.

 

На данный момент драйвера написаны только для форума Invision Power Board v 2.3.x.

Значит для движка DLE скрипт еще не написан и не опробован?
2. Есть ли возможность указывать конкретные адреса для граббинга или граббинг идет только по категориям новостей?

[Sergey Gr.]

 

мне нужен граббер, позволяющий копировать статьи с других сайтов с лент рсс и выкладывать у себя на сайте, т.е. чтобы статья открывалась как статья моего сайта, а не был перевод кликающего по анонсу статьи на другой сайт...

Лента.ру не на DLE) Данный скрипт позволяет грабить сайты только с этим движком, благо новостных сайтов под ним не мало)
Разумеется статья будет находится у вас и никаких "нажмите сюда, чтобы просмотреть новость" не будет - иначе в чем был бы смысл скрипта? По возможности можно и картинки загружать на свой сервер, и вырезать названия нежелательных сайтов в новостях.

 

1. Значит для движка DLE скрипт еще не написан и не опробован?

Суть драйвера сводится только к обработке полученного результата, так что написание и отладка много времени не занимает. К тому же, на данный момент уже готовы драйвера для DLE и форума SMF (как пакетные, так и классические).

 

2. Есть ли возможность указывать конкретные адреса для граббинга или граббинг идет только по категориям новостей?

Граббинг идет по указанным страницам категории, в конце, перед их добавлением, вам показывают полный перечень полученных статей, где вы можете убрать любую(ые) для добавления. Напишите мне в ICQ - я предоставляю вам ссылку на демонстрационную онлайн версию скрипта, если интересует.


P.S. По просьбам нескольких заказчиков сейчас ведется обновление скрипта, в скором времени будут доступны пару новых возможностей (например, проверка новости на уникальность перед размещением).

[BapyHa]

 

Граббинг идет по указанным страницам категории, в конце, перед их добавлением, вам показывают полный перечень полученных статей, где вы можете убрать любую(ые) для добавления. Напишите мне в ICQ - я предоставляю вам ссылку на демонстрационную онлайн версию скрипта, если интересует.

Суть моего вопроса сводилась именно к тому, чтобы указать конкретный адрес для граббинга.
Но вы правы. Лучше постучусь в аську для уточнения деталей.

[Sergey Gr.]

Сообщение от BapyHa

Суть моего вопроса сводилась именно к тому, чтобы указать конкретный адрес для граббинга.
Но вы правы. Лучше постучусь в аську для уточнения деталей.

Конкретный адрес для граббинга, т.е. конкретную статью? Если их несколько - то можно же и вручную скопировать.

[BapyHa]

 

Конкретный адрес для граббинга, т.е. конкретную статью? Если их несколько - то можно же и вручную скопировать.

Конкретный адрес - это конкретный сайт. Или же несколько.

[Sergey Gr.]

 

Конкретный адрес - это конкретный сайт. Или же несколько.

Можно, конечно, указать название сайта без категории - тогда он будет грабить всё, что расположено на главной странице. Но я не вижу в этом смысла, потому что "сграбленные несколько сайтов со всеми категориями за раз" - есть ни что иное, как мусор.

-------------------------------------------------------------------------------------------




Готова новая версия.

- Улучшено ядро скрипта;
- Добавлена возможность рандомизации времени размещения новостей;
- Добавлена возможность проверки новостей на уникальность перед размещением;

В дистрибутив также входят:
- Драйвер для форума Simple Machines Russian;
- Драйвер для форума Invision Power Board
- Драйвер для DataLife Engine (DLE)
- Несколько новых опциональных модулей по обработке новостей

--------------------------------------------------------------------------------

Кого заинтересовало - пишите в ICQ: 494-897-304

[Sergey Gr.]

Обновление:

- Добавлен драйвер для WordPress
- Добавлена возможность распределения импортируемых новостей по времени (поэтапное импортирование)
- добавлема система авторизации для доступа к скрипту
+ несколько других новых функций

[Sergey Gr.]

Рад сообщить, что сегодня вышло обновление.
Просьбы клиентов учитываются и впоследствии выполняются.

Текущий функционал:

• Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
• Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице;
• Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
• Возможность добавления "случайных" дат при размещении новостей на Вашем сайте;
• Возможность проверки новости на уникальность перед добавлением;
• Возможность поэтапного добавления новостей на Ваш сайт;
• Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов));
• Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
• Возможность цензурирования новостей;
• Возможность "чистки" HTML-кода новости;
• Возможность синонимизации текста (в дистрибутив входит открытая база синонимов Абрамова);

Как и прежде, Вы можете написать мне в ICQ, чтобы протестировать демонстрационную онлайн версию граббера.