Модуль "Парсер.FOX" вер. 1.01 (бета)

[W.D.M.Group]

Парсер.FOX
версия 1.0.1 beta
Модуль Santafox CMS 2.06
(с) 2012, «W.D.M.Group», Украина

Краткое описание:
Данный модуль является хорошим инструментом для решения одной из самых тривиальных, но трудоёмких задач – наполнения Вашего сайта контентом. В частности, модуль будет интересен владельцам Интернет проектов направленных на электронную коммерцию, т.к благодаря модулю, Вы сможете с лёгкостью наполнять свои каталоги товарами, фотографиями или просто статейных контентом с других Интернет ресурсов. Динамика работы парсера определяется исключительно Вашим желанием и возможностью (ресурсами) сервера на котором опубликован Ваш проект.

Требования к серверу и ПО необходимое для работы модуля:
Работа парсера построена на CURL и DOM-фильтрах, поэтому прилагаю минимальные требования:
•   Библиотека CURL7.2;
•   Библиотека DOM/XML 2.7.3, с поддержкой HTML;
•   Библиотека RegEx;
•   Библиотека GD 2.3.9, с поддержкой PNG;
•   Библиотека HASH, с поддержкой MD5;
•   Библиотека ICONV 1.11;
•   Библиотека JSON 1.2;
•   Открытые исходящие соединение;
•   Отключенный «SAFE_MODE»;
•   Права скрипту устанавливать свой «set_time_limit».

Сторонние, подключаемые к модулю классы:
•   Класс «MultiRequest», автор: Барбушин Сергей (http://www.linkedin.com/in/barbushin);
•   Класс «Simple Html DOM», вер. 1.11, авторы: S.C. Chen (me578022@gmail.com), John Schlick, Rus Carroll;
•   Класс «KeywordDensityChecker», вер. 1.1, автор: Stephan Schmitz (info@eyecatch-up.de);
•   Класс «Html2Text», автор: Jon Abernathy (jon@chuggnutt.com);
•   Класс «Resizes», вер. 1, автор: Jarrod Oberto;
•   Класс «Snoopy», вер. 1.2.4, автор: Monte Ohrt (monte@ispi.net);
•   Класс «LanguageDetect», автор: Nicholas Pisarro (infinityminusnine+pear@gmail.com);
•   Класс «ElemTree», автор: Rochester Oliveira, DainisGraveris,  (http://roch.com.br, http://www.1stwebdesigner.com).

Для работы парсера необходим уже созданный и работающий проект с настроенным модулем «Каталог», далее Вам необходимо установить данный модуль и настроить его согласно рекомендациям описанных в мануале.

Кроме текстового контента, парсер умеет также скачивать и изображения, а также переводить контент на различные языки и уникализировать его.

Прошу потестить и отписаться в данной теме, особенно буду благодарен рекомендациям к всяческим улучшениям   Замечания и обнаруженные баги - тоже приветствуются.
Вопросы тоже прошу задавать здесь, раздел поддержки на моём оф. сайт пока в разработке 

Ссылка на модуль:
http://wdmg.com.ua/blog/parser-fox-1-0-1-beta/

[arteshuk]

Не тестил, но качество написания модуля просто поражает, БРАВО!

[W.D.M.Group]

Не тестил, но качество написания модуля просто поражает, БРАВО!

Спасибо arteshuk, но там местами код такой, что просто вилы... всё лень до ума довести. Модуль сырой конечно, но думаю для первого испытательного полёта покатит. У меня на нём новостной портал - полёт нормальный.

Будьте осторожны при работе на хостинге, много задач в планировщике не прописывайте - может сервер нагнуть, т.к. модуль использует мультизапросы (да это всё-таки возможно на PHP - благодаря Барбушину Сергею и разработчикам MultiCurl расширения )

У меня за ночь - парсит 1500 новостей и переводит на 2 языка, а это как минимум исходящих 5000 запросов.

[arteshuk]

Спасибо arteshuk, но там местами код такой, что просто вилы... всё лень до ума довести.

Да не, я не про код, я про шаблоны, мануал и т.д.

Во, раз уж тема зашла, поисковые запросы яндекса спарсит модуль? Или янднекс даст "отлуп"?

[W.D.M.Group]

Спасибо arteshuk, но там местами код такой, что просто вилы... всё лень до ума довести.

Да не, я не про код, я про шаблоны, мануал и т.д.

Во, раз уж тема зашла, поисковые запросы яндекса спарсит модуль? Или янднекс даст "отлуп"?

После 100-го запроса даст отлуп и попросит ввести капчу. распознавание капчи ещё пока не реализовано. Парсинг по списку прокси ещё тоже... и то и другое в планах. Но думаю, если поставить оптимальный тайм-аут то попрёт неспеша. Вообще запросы с ПС ещё не пробывал парсить.

[arteshuk]

хотел дать ссылку, но боюсь сам яндекс найдет и будет атата

я вот тут то же пытаюсь спарсить яндекс, бывает по 100 страниц выдачи отдает без вопросов....бывает на первой на те каптчу....зависимости пока найти не могу

[W.D.M.Group]

Форум походу вымер!?

[arteshuk]

Форум походу вымер!?

c чего ты взял?!

ну ваще да, лето...отпуска....

[barboskin]

Здравствуйте.
К сожалению, ссылка не рабочая.
Вы не выложите ли модуль еще разок?

[barboskin]

Форум походу вымер!?

[bubek]

http://rghost.ru/42201923

[barboskin]

Благодарю.

[Baul]

А еще раз можно выложить?

[anatoll73]

собственно, где подробный мануал? Или я что-то пропустил? 

[anatoll73]

может кто ставил модуль? не пойму как настраивать. или тема сдохла?