Принципы работы универсального парсера UPDS

Универсальный публикатор UPDS создан как инструмент для парсинга данных с любых существующих ресурсов в интернете, с последующей обработкой и размещением в автоматическом и ручном режиме на своём сайте с системами управления сайтов: InstantCMS 1 и 2 ветки, WordPress. При этом публикатор позволяет работать со страницами любых источников, не имея никаких ограничений. Использовать публикатор вы сможете после покупки лицензии на свой сайт в течении года. Публикатор даёт возможность создавать необходимый набор условий, для получения и автоматической публикации материалов по крону. 

Возможности применения

Получение новостных материалов для своего сайта по его тематике или получение технических данных по теме своего сайта с сайта где они уже размещены, чтобы не делать это в ручном режиме. Сфера использования публикатора очень широкая, у каждого сайта есть вариант для того, чтобы использовать его. Суть работы публикатора именно в автоматизации получения и размещения данных с любого источника на вашем сайте.

Как это работает

Публикатор работает с html кодом страниц источника, то есть вы не зависите ни от каких либо инструментов других, вам не нужно изощряться, в случае изменения каких либо параметров сайта источника, вы просто изменяете условия правила получения данных и продолжаете работу. Таким образом вы сможете получать материалы с других источников, включая: название, текст материала, фото и видео материалы, дополнительные части страницы. Для выборки данных вам необходимо создать сначала правила, далее нажать кнопку импорт и выбрав нужное правило либо произвести получение данных на сайт, либо оформить крон задачу с указанием времени выполнения, например каждые 3 часа и количества материалов, которые вы хотите добавить на сайт.

 

Очистка и обработка полученных данных

 

Публикатор очищает полученный код и форматирует применительно к вашим установленным стандартам оформления на сайте. Кроме стандартной очистки, вы можете указать дополнительные правила для очистки от других частей, либо наоборот для обработки их в единый материал. При получении данных вы можете указать следующие параметры:

  • Получение названия и изменение его с добавлением своих слов
  • Получение краткого и полного текста страницы и материала с изменением и добавлением своих слов
  • Получение картинки для основного изображение и дополнительных изображений
  • Получение видео и других медиа частей страницы с добавлением в поля на своём сайте
  • Перевод полученных данных с одного языка на другой и публикация в автоматическом режиме
  • Синонимайз полученных данных и автоматическая публикация
    Изменение данных с вставкой своих слов и фильтром
  • Создание новых тегов к добавляемому материалу или импорт существующих

Главная задача универсального публикатора UPDS – автоматизация добавления контента на сайт. Возможностей много и в следующих статьях мы обязательно расскажем о них.

РЕКОМЕНДУЕМ

Как использовать консоль браузера Chrome для поиска и исправления ошибок JavaScript

Если ваш веб-сайт перестает нормально работать, консоль браузера - это первое место, на которое вам следует обратить внимание для диагностики проблемы. В большинстве популярных...

Как работать с header в теме Newspaper: делаем лого и настраиваем...

После выхода последних двух версия Newspaper темы, в ней появились новые, очень интересные особенности управления элементами сайта. По сути команда Newspaper реализовала свой блочный...

Пять главных стандартных инструментов системного администратора Centos

Этот блог во многом сохранение для меня еще некоторых данных. Поэтому я пишу бывает и очень такие понятные вещи, чтобы в будущем мог для...

Что такое LVM, принцип работы и детали использования

LVM, или Logical Volume Manager, - это решение для создания разделов томов Linux, которое существует уже некоторое время и предоставляет ряд расширенных...
Alecs Retin
Работаю в сфере web с 2009 года. Занимался созданием своих проектов в разных тематиках. В основном делаю сайты на Instantcms и Wordpress. Оказываю услуги разработки сайтов и стартапов, инвестирую в интернет проекты и сервисы. Более 10 лет занимаюсь Web разработкой и создание интернет проектов. Интернет магазины, информационные порталы, городские порталы. Оказываю поддержку в развитии и продвижении сайтов.