Проблема с импортом по Крону

Вопросы и ответыРубрика: Вопросы по UPDSПроблема с импортом по Крону
vikont asked 1 год ago

Добрый день! Есть проблема с импортом по Крону. В опциях стоит Смещение 0 Ограничение 1, а импорт происходит не нового контента а с 23 декабря! Как это исправить?

1 ответ
dssoft answered 1 год ago

Принцип работы парсера такой:

1. Получаем список материалов из страницы;
2. Перебираем список сверху вниз проверяя есть ли материал в базе;
3. Есть идем дальше, Нет добавляем в базу;
4. Проверяем лимит на добавление;
5. Лимит достигнут конец, нет продолжаем с пункта 2.
 
Так что если на сайт источник добавление новых материалов идет медленно, то постепенно импорт по расписанию возьмет все материалы со страницы, и новые и старые. А если не выставлена опция брать только первую страницу и настроено получение ссылки на следующую то перебор материалов пойдет и дальше первой страницы.