Система управления контентом SantaFox

Santafox CMS

  • Начало
  • Помощь
  • Поиск
  • Календарь
  • Вход
  • Регистрация

  • Система управления контентом SantaFox »
  • Работа с SantaFox »
  • Неофициальные модули и дополнения »
  • Модуль "Парсер.FOX" вер. 1.01 (бета)
  • Показать непрочитанные сообщения
« предыдущая тема следующая тема »
  • Печать
Страницы: [1]

Автор Тема: Модуль "Парсер.FOX" вер. 1.01 (бета)  (Прочитано 6037 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн W.D.M.Group

  • Местный лис
  • ***
  • Сообщений: 124
  • Авторитет: 12
  • Пол: Мужской
  • Web development and сreative solutions
    • Просмотр профиля
    • Хорошо делаем отличные сайты — W.D.M.Group, Украина
Модуль "Парсер.FOX" вер. 1.01 (бета)
« : 16 Июль 2012, 22:54:37 »

Парсер.FOX
версия 1.0.1 beta
Модуль Santafox CMS 2.06
(с) 2012, «W.D.M.Group», Украина

Краткое описание:
Данный модуль является хорошим инструментом для решения одной из самых тривиальных, но трудоёмких задач – наполнения Вашего сайта контентом. В частности, модуль будет интересен владельцам Интернет проектов направленных на электронную коммерцию, т.к благодаря модулю, Вы сможете с лёгкостью наполнять свои каталоги товарами, фотографиями или просто статейных контентом с других Интернет ресурсов. Динамика работы парсера определяется исключительно Вашим желанием и возможностью (ресурсами) сервера на котором опубликован Ваш проект.

Требования к серверу и ПО необходимое для работы модуля:
Работа парсера построена на CURL и DOM-фильтрах, поэтому прилагаю минимальные требования:
•   Библиотека CURL7.2;
•   Библиотека DOM/XML 2.7.3, с поддержкой HTML;
•   Библиотека RegEx;
•   Библиотека GD 2.3.9, с поддержкой PNG;
•   Библиотека HASH, с поддержкой MD5;
•   Библиотека ICONV 1.11;
•   Библиотека JSON 1.2;
•   Открытые исходящие соединение;
•   Отключенный «SAFE_MODE»;
•   Права скрипту устанавливать свой «set_time_limit».

Сторонние, подключаемые к модулю классы:
•   Класс «MultiRequest», автор: Барбушин Сергей (http://www.linkedin.com/in/barbushin);
•   Класс «Simple Html DOM», вер. 1.11, авторы: S.C. Chen (me578022@gmail.com), John Schlick, Rus Carroll;
•   Класс «KeywordDensityChecker», вер. 1.1, автор: Stephan Schmitz (info@eyecatch-up.de);
•   Класс «Html2Text», автор: Jon Abernathy (jon@chuggnutt.com);
•   Класс «Resizes», вер. 1, автор: Jarrod Oberto;
•   Класс «Snoopy», вер. 1.2.4, автор: Monte Ohrt (monte@ispi.net);
•   Класс «LanguageDetect», автор: Nicholas Pisarro (infinityminusnine+pear@gmail.com);
•   Класс «ElemTree», автор: Rochester Oliveira, DainisGraveris,  (http://roch.com.br, http://www.1stwebdesigner.com).

Для работы парсера необходим уже созданный и работающий проект с настроенным модулем «Каталог», далее Вам необходимо установить данный модуль и настроить его согласно рекомендациям описанных в мануале.

Кроме текстового контента, парсер умеет также скачивать и изображения, а также переводить контент на различные языки и уникализировать его.

Прошу потестить и отписаться в данной теме, особенно буду благодарен рекомендациям к всяческим улучшениям :D  Замечания и обнаруженные баги - тоже приветствуются.
Вопросы тоже прошу задавать здесь, раздел поддержки на моём оф. сайт пока в разработке  ;D

Ссылка на модуль:
http://wdmg.com.ua/blog/parser-fox-1-0-1-beta/
« Последнее редактирование: 14 Декабрь 2014, 12:30:52 от W.D.M.Group »
Записан
Хорошо делаем отличные сайты — W.D.M.Group, Украина

Оффлайн arteshuk

  • Разработчики
  • Ветеран
  • *****
  • Сообщений: 1 214
  • Авторитет: 128
  • Пол: Мужской
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #1 : 17 Июль 2012, 09:24:40 »
Не тестил, но качество написания модуля просто поражает, БРАВО!
Записан

Оффлайн W.D.M.Group

  • Местный лис
  • ***
  • Сообщений: 124
  • Авторитет: 12
  • Пол: Мужской
  • Web development and сreative solutions
    • Просмотр профиля
    • Хорошо делаем отличные сайты — W.D.M.Group, Украина
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #2 : 17 Июль 2012, 10:08:09 »
Цитата: arteshuk от 17 Июль 2012, 09:24:40
Не тестил, но качество написания модуля просто поражает, БРАВО!
Спасибо arteshuk, но там местами код такой, что просто вилы... всё лень до ума довести. Модуль сырой конечно, но думаю для первого испытательного полёта покатит. У меня на нём новостной портал - полёт нормальный.

Будьте осторожны при работе на хостинге, много задач в планировщике не прописывайте - может сервер нагнуть, т.к. модуль использует мультизапросы (да это всё-таки возможно на PHP - благодаря Барбушину Сергею и разработчикам MultiCurl расширения ;D)

У меня за ночь - парсит 1500 новостей и переводит на 2 языка, а это как минимум исходящих 5000 запросов.
Записан
Хорошо делаем отличные сайты — W.D.M.Group, Украина

Оффлайн arteshuk

  • Разработчики
  • Ветеран
  • *****
  • Сообщений: 1 214
  • Авторитет: 128
  • Пол: Мужской
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #3 : 17 Июль 2012, 10:11:30 »
Цитировать
Спасибо arteshuk, но там местами код такой, что просто вилы... всё лень до ума довести.

Да не, я не про код, я про шаблоны, мануал и т.д.

Во, раз уж тема зашла, поисковые запросы яндекса спарсит модуль? Или янднекс даст "отлуп"?
Записан

Оффлайн W.D.M.Group

  • Местный лис
  • ***
  • Сообщений: 124
  • Авторитет: 12
  • Пол: Мужской
  • Web development and сreative solutions
    • Просмотр профиля
    • Хорошо делаем отличные сайты — W.D.M.Group, Украина
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #4 : 17 Июль 2012, 12:58:21 »
Цитата: arteshuk от 17 Июль 2012, 10:11:30
Цитировать
Спасибо arteshuk, но там местами код такой, что просто вилы... всё лень до ума довести.

Да не, я не про код, я про шаблоны, мануал и т.д.

Во, раз уж тема зашла, поисковые запросы яндекса спарсит модуль? Или янднекс даст "отлуп"?

После 100-го запроса даст отлуп и попросит ввести капчу. распознавание капчи ещё пока не реализовано. Парсинг по списку прокси ещё тоже... и то и другое в планах. Но думаю, если поставить оптимальный тайм-аут то попрёт неспеша. Вообще запросы с ПС ещё не пробывал парсить.
Записан
Хорошо делаем отличные сайты — W.D.M.Group, Украина

Оффлайн arteshuk

  • Разработчики
  • Ветеран
  • *****
  • Сообщений: 1 214
  • Авторитет: 128
  • Пол: Мужской
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #5 : 17 Июль 2012, 18:10:44 »
хотел дать ссылку, но боюсь сам яндекс найдет и будет атата

я вот тут то же пытаюсь спарсить яндекс, бывает по 100 страниц выдачи отдает без вопросов....бывает на первой на те каптчу....зависимости пока найти не могу :(
Записан

Оффлайн W.D.M.Group

  • Местный лис
  • ***
  • Сообщений: 124
  • Авторитет: 12
  • Пол: Мужской
  • Web development and сreative solutions
    • Просмотр профиля
    • Хорошо делаем отличные сайты — W.D.M.Group, Украина
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #6 : 23 Июль 2012, 22:22:28 »
Форум походу вымер!?
Записан
Хорошо делаем отличные сайты — W.D.M.Group, Украина

Оффлайн arteshuk

  • Разработчики
  • Ветеран
  • *****
  • Сообщений: 1 214
  • Авторитет: 128
  • Пол: Мужской
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #7 : 23 Июль 2012, 22:30:47 »
Цитата: W.D.M.Group от 23 Июль 2012, 22:22:28
Форум походу вымер!?

c чего ты взял?! :)

ну ваще да, лето...отпуска....
Записан

Оффлайн barboskin

  • Местный лис
  • ***
  • Сообщений: 113
  • Авторитет: 42
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #8 : 10 Декабрь 2012, 21:39:44 »
Здравствуйте.
К сожалению, ссылка не рабочая.
Вы не выложите ли модуль еще разок?
Записан

Оффлайн barboskin

  • Местный лис
  • ***
  • Сообщений: 113
  • Авторитет: 42
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #9 : 12 Декабрь 2012, 20:24:45 »
Цитата: W.D.M.Group от 23 Июль 2012, 22:22:28
Форум походу вымер!?
Записан

Оффлайн bubek

  • Старый лис
  • *****
  • Сообщений: 604
  • Авторитет: 53
  • Пол: Мужской
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #10 : 13 Декабрь 2012, 00:06:16 »
http://rghost.ru/42201923
Записан

Оффлайн barboskin

  • Местный лис
  • ***
  • Сообщений: 113
  • Авторитет: 42
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #11 : 17 Декабрь 2012, 08:06:51 »
Благодарю.
Записан

Оффлайн Baul

  • Опытный лис
  • ****
  • Сообщений: 294
  • Авторитет: 15
  • Пол: Мужской
    • Просмотр профиля
    • Электронные выписки из Росреестра
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #12 : 06 Март 2014, 14:54:58 »
А еще раз можно выложить?
Записан
Куда я деваю заработанные деньги? Сюда: https://3umf.club/macau
------------
Электронные выписки из ЕГРН за 30 руб. Круглосуточно! Вся Россия! https://EGRPTV.ru

Оффлайн anatoll73

  • Новичок
  • *
  • Сообщений: 2
  • Авторитет: 0
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #13 : 06 Апрель 2015, 09:23:25 »
собственно, где подробный мануал? Или я что-то пропустил?  :-\
Записан

Оффлайн anatoll73

  • Новичок
  • *
  • Сообщений: 2
  • Авторитет: 0
    • Просмотр профиля
Re: Модуль "Парсер.FOX" вер. 1.01 (бета)
« Ответ #14 : 27 Июль 2015, 22:16:48 »
может кто ставил модуль? не пойму как настраивать. или тема сдохла?
Записан

  • Печать
Страницы: [1]
« предыдущая тема следующая тема »
  • Система управления контентом SantaFox »
  • Работа с SantaFox »
  • Неофициальные модули и дополнения »
  • Модуль "Парсер.FOX" вер. 1.01 (бета)
  • Показать непрочитанные сообщения
 

SMF 2.0.11 | SMF © 2011, Simple Machines
Flatline Theme Made By: NBK*Twitch
Go To Top