Сегодня хотел бы рассказать в чем отличие между собой двух скриптов, оба из которых изначально, как предполагали некоторые являются конкурентами. Сначала появился UPDS, затем появился FlowCrawler и сначала многие восприняли это как конкуренцию. Однако для меня вопрос конкуренции тут совсем не стоял никак. Причина очень простая и она заключается в наборе того, что для чего создано и как на практике работают вообще на рынке web разработок в целом.
Возьмём простую ситуацию, вы парсите ежедневно 10 сайтов, с периодичностью полчаса и у вас, например, 40 заданий. Что надо сделать на UPDS парсере? Создать правила и на их основе задания в крон задачу. Независимо ни от чего дальше, вы будете получать выполнение задачи. Для того чтобы организовать это на программе, которой является FlowCrawler есть несколько моментов, которые вам сделают этот процесс намного труднее, а зачастую и невозможной.
Почему нельзя таксовать на грузовике — фактор 1
Flow умеет создавать сценарии действий. Это огромный набор возможностей, который применим для разового крупного парсинга, например, надо спарсить что-то сразу много. Делаете правило, запускаете, тратите несколько часов и получаете результат. Тут же соответственно его и конвертируете в нужный формат.
Но при этом огромный плюс Flow в том, что он может не просто разовое задание, а учесть очень много факторов и далее их все выполнить. Например, как показывал разработчик, вы можете скачать фото и по тегам подобрать координаты карт где они были сняты и всю эту информацию собрать. Это реально может решить огромное количество задач, но при этом никак не решит задачу постоянного парсинга материалов на сайт.
Просто элементарно держать все время запущенным программу, чтобы она проверяла и парсила, как минимум использование грузовика для перевозки пассажиров. Так я это вижу. Опыт мой идёт из использования других парсеров и аналога Flow в виде Zennoposter который по сути делает аналогичное.
Уровень умений и знаний для использования
В том же Zennopostere очень развиты услуги создания сценариев. А развитость определяется тем, что такие задания делать не очень просто, чем они сложнее, тем и делать их требуется очень многих усилий. Я не считаю себя слабым специалистом, но и не программист. Так вот для меня пока работа в Flow это непросто и сложно.
Мне трудно понять, что и как делается, но при этом также есть люди, кто прекрасно разбираются. Но в UPDS я например могу даже не имея знаний программиста собрать любое правило и выставить задачи. Так как это инструмент заточен именно под эту задачу, он не является универсальной программой для всех целей, что одновременно и плюс, и минус для обычного пользователя.
Он заточен именно для удобного парсинга. Поэтому проходя по вкладкам, я могу создать правило на 95% сайтов. А уж создать задачи по крону и дальше не задумываться, это вообще без проблем. Но UPDS не может создавать каких-либо других сценариев кроме парсинга. И ему это не нужно, он создан для своей задачи, и он с ней справится.
Попробуйте назвать вид автотранспорта, например, который применим для любой задачи, которая может возникнуть — сможете? Автобусы и легковые возят пассажиров, грузовики возят грузы и попробуйте это совместить, навряд ли получится.
Итоги и результаты всего этого
Каждая из этих программ рекомендуется для развития своего бизнеса в интернете. Но предназначение каждой совершенно разное. Мне было весьма интересно читать комментарии наивных пользователей, которые использовали возникающие у нас проблемы для того, чтобы похвастаться, я вот буду делать это настоящей крутой программой.
Но это не первый парсер и не первая такая программа, рынок чётко определяется что для каждой задачи применимо что-то своё. Парсить можно и FLOW но именно разовым парсингом, при этом создание правила очень непростая задача для обычного юзера.
Для UPDS тоже начинающему покажется не просто, но освоив один раз, он может по аналогу идти дальше сам. Но и импорт добавление спарсенного на сайт — тоже задача нетривиальная, или нажать 2 кнопки и создать задачу по крону или каждый раз сидеть, тыкая множество кнопок чтобы создать хоть как-то задание для добавления на сайт, при этом не выключая компьютера. Это не конкуренция, а скорее дополнение друг друга по задачам в своей отрасли.
Да были товарищи, которые решили потоптаться на нашей разработке. Вместо того, чтобы поддержать и развивать, тем более что она умеет уже очень многое, они начинали рассказывать, как здорово скоро они будут работать с новой программой, а вы такие сякие, кто-то в лицо, кто-то за спиной так говорил другим. В итоге они обманули сами себя. Не плюй в колодец, откуда придёшь попить. На этом закономерном итоге мы и завершим статью.
Александр, я понимаю чем вызвана данная статья, но уместна ли она здесь? По крайней мере в таком виде?
То есть, рассказать о преимуществах UPDS перед другими парсерами (не только FlowCrawler) конечно стоит, будет полезно для тех, кто стоит перед выбором, но неправильно делать это в контексте недовольных клиентов (правых и неправых). Это не на пользу продукту.
Я понимаю вашу мысль. Но чувство справедливости требует написать прямолинейно как есть. Возможно частично это эмоции, но зато поможет в будущем объективно подходить к вопросу. Есть объективные вопросы, есть субьективные. Человек сидит полгода парсит, а за спиной пишет ересь про продукт, мешая развиваться и не может понять, что такого рода разработки с большим трудом выходят даже просто на себестоимость затрат и вместо того, чтобы вредить — надо сотрудничать обьективно.
Скажу прямо — для нормального развития, которое включает ежемесячное обновление, необходимо как минимум 5-6 продаж в месяц. Аудитория Инстанта упала сильно и таких продаж нет, но всё равно мы выпускаем в среднем обновление каждый месяц, при этом с очень недорогой ценой за продукт. И продукт работает, улучшается. Я знаком с рынком таких продуктов и поэтому уверенно знаю, что продукт сильный, пока аналогов не имеющий.
Да и главное наверно. Продукт делался для тех, кто хочет создавать стартапы, нормальные сайты, кто хочет развиваться. Они я уверен должны понять мою мысль и им мы открыты всегда.
Какие основные преимущества у FlowCrawler перед UPDS в контексте парсинга большого количества задач?
«Какие конкретные моменты в использовании программы FlowCrawler делают процесс парсинга сценариев действий сложнее и иногда невозможным по сравнению с UPDS парсером?»
Видимо, в статье сам автор неуспел до конца описать, какие именно возможности предоставляет FlowCrawler. Одним из факторов, по которому FlowCrawler отличается от UPDS, является его способность создавать сценарии действий. Это означает, что с помощью FlowCrawler можно разработать сложные и многоэтапные процессы парсинга, которые включают в себя не только простое извлечение данных, но и различные действия, такие как авторизация, навигация по страницам, заполнение форм и т.д. В результате, в то время как UPDS предоставляет простую и независимую от внешних факторов схему запуска задач, FlowCrawler позволяет реализовать более сложные и гибкие парсинг-процессы, подходящие для ситуаций, когда требуется работа с большим объемом данных или выполнение сложных задач.
В таком случае, использование FlowCrawler будет более предпочтительным. Он позволяет создавать сценарии действий, что обеспечивает огромный набор возможностей для разового крупного парсинга. Если у вас есть задача спарсить большой объем информации одновременно, то FlowCrawler будет более удобным и эффективным инструментом. В отличие от UPDS, где нужно создавать правила и задания в крон задачу, FlowCrawler позволяет более гибко настраивать процесс парсинга и автоматизации действий. Однако, если вам необходимо выполнение задач с заданной периодичностью и независимо от других факторов, UPDS может быть лучшим вариантом. Итак, выбор между UPDS и FlowCrawler зависит от конкретной задачи и требований, поэтому рекомендуется анализировать их функциональность и преимущества в соответствии с поставленными целями.
Какие моменты делают процесс организации парсинга на программе FlowCrawler более трудным по сравнению с UPDS парсером?
Какие преимущества и особенности у FlowCrawler по сравнению с UPDS при крупном парсинге?