UPDS и SSL

Евгений asked 1 год ago

Добрый день.
Пробовал создавать по видеоурокам правила для парсинга. Всё вроде норм получается.
Но только взял за источник сайт на SSL (httpS), так правила и создать не получается, элементарно при заполнении категорий жмёшь “Получить категории” – красным написано мол проверьте правило и выборку и бла бла. 
Пробовал на двух сайтах с https, на обоих ничего не выходит.
 

3 ответ
dssoft answered 1 год ago

Вот скрин правила парсинга с авито: http://shot.qip.ru/00QPwy-6gt7AZOCb/ и как вы там можете видеть авито на ssl и ссылка начинается на https и все прекрасно парсится в этом вы можете убедиться посмотрев это видео https://www.youtube.com/watch?v=LeE5RDUaj9A

Евгенийreplied 1 год ago

Мне нужно парсить контент со страницы https://fion.ru/page/1
но при настройках – что-то не поулчается.
Пробовал на этом сайте также парсить, просто проверял получится ли на https:
https://dice.ru/posts как видите тут слева есть категории. Так вот элементарно при парсинге этих категорий – уже не получается по какой-то причине, хотя делаю всё по видео.
У вас где-то было написано, что можно за денежку заказать правила под любой источник.
Сколько будет стоить настройка парсера под https://fion.ru/page/1 на сайт udilka.ru (доступы к нему у вас должны быть на почте)?

dssoft answered 1 год ago

Проверил на вашем сайте и действительно у вас не работали запросы на сайты с https изменил настройки запросов так чтобы у вас работало, можете создавать правила.

Проверю на других хостингах и если на них с такими настройками тоже все будет работать то включу в обновление v1.2.8

Евгенийreplied 1 год ago

Не работает. Посмотрите ещё раз пожалуйста

dssoft answered 1 год ago

Причина тут не в https а в том что некоторые сайты используют либо CDN с защитой от ботов либо самописное определение ботов (например яваскриптом). Некоторые при подозрении на бота выставляют каптчу в одной из следующих версий появится возможность распознавания каптчи через сервисы распознавания.