Всем добрый день!
Нужен хук для парсинга новостей (любой информации) со сторонних сайтов.
Шаблон парсинга должен быть настраиваемый, чтобы я не был привязан к конкретному сайту.
С возможностью выбора от какого имени постится тема и выбора раздела где эта тема создаётся
Страница 1 из 1
Хук для парсинга новостей на IPB 3.4.9
#3
Отправлено 28 Февраль 2016 - 14:24
Парсер новостей с динамическим шаблон на css или xpath селекторах без привязки к конкретному сайту - довольно сложная реализация. Стоить такое приложение для IPB будет не мало если делать все по уму со списком сайтов, настройками селекторов для каждого проекта под список новостей и адрес на отдельную новость, настройками публикации, запуском по крону, парсинг через прокси и прочие атрибуты. Теоретически такой граббер на IPB сможет спарсить целые форумы, если скормить ему отдельные категории. А если вам нужен краулер который будет бегать па сайту и парсить страницы с определенным форматом, то стоит он будет еще больше и о ценах в рублях можете даже забыть.
#4
Отправлено 28 Февраль 2016 - 15:08
Спасибо, тогда возьму коробочное решение и адаптирую под форум.
А вообще обидно, штука то полезная, под wordpress есть такой плагин и не один, причем очень функциональный и стоит можно сказать копейки, рублей 500 или 800, лично пользуюсь
А вообще обидно, штука то полезная, под wordpress есть такой плагин и не один, причем очень функциональный и стоит можно сказать копейки, рублей 500 или 800, лично пользуюсь
#5
Отправлено 28 Февраль 2016 - 15:16
Ну если он такой дешевый то вам с легкостью смогут портировать под IPB. Основная задача будет в интеграции его с форумом, а в этом ничего сложного нету. Наверное я себе представил более масштабный и гибкий инструмент - абсолютно независимый от типа cms, работающий по определенному принципу с надстраиваемыми элементами парсинга и возможностью добавления динамических элементов с отдельным управлением для каждого проекта.
#6
Отправлено 28 Февраль 2016 - 18:59
Плагины для вордпресс только новостные ленты парсят, xml т.е. или конкретные сайты, типа баша, на сколько я знаю. Это никакой универсальности не предполагает и много не стоит. Еще там есть плагины использующие API поисковых систем, это вообще не парсеры, строго говоря.
Сообщить об этой теме:
Страница 1 из 1