Как избавиться от нагрузка на сервере или хостинге сайта, в nginx убираем вредных ботов

Нагрузка на сайт от вредных ботов, устраняем Амазон бота, который по сути устраивает DDos атаку.

Итак сегодняшняя тема статьи это вопрос нагрузки которая возникает на сайте. Недавно мне пришлось столкнуться с этим. На большом мощном сервере просто висело порядка 22 LA в htop и никаким образом не было видно каких экстремальных посещаемостей. Это надо было устранять и начал ковыряться в логах сайтов на сервере, чтобы найти причину.

Самое интересное что до этого момента сервер был нагружен максимум на 10-15% он его мощности и предпосылок для роста нагрузки никакой не было. Кстати очень часто приходят запросы от заказчиков на снижение нагрузки на таких хостингах как Бегет и Таимвеб, где также бывают такие экстремальные моменты.

В ходе такой инспекции по логам я заметил что на сайте часто видны заходы с бота Amazon — почти все запросы шли оттуда. Как мы знаем достаточно большая корпорация незамеченная вроде бы в каком то спаме. Но роботы буквально валили оттуда.

Выглядели запросы так: Amazonbot и соответственно адрес страницы на которую он приходил. И я решил попробовать его заблокировать. При этом у меня уже на серверах есть свои списки блокируемых ботов, но Амазон вот туда не попадал. Хотя особо надежды что дело именно в нем не было, но также я не видел других аномалий. В общем решил попробовать.

Из моей практики боты и роботы должны реагировать на robots.txt но не всегда так вежливы к соблюдению правил. В 90% случаев для всяких вредных ботов наличие его запрета в robots не помогает. Поэтому уже давно у меня главным способом блокировки является запрет на уровне правила nginx или апаче. Апаче я не использую ибо он устарел и медленный, а вот обычная связка это nginx + php-fpm (я писал кстати о его правильной настройке), так вот обычно я ставлю правила запрета в nginx что уже не требует от ботов вредных уважать или нет правила. Их все равно не пустит на сайт.

Обычно у меня настроено для скромного блокирования вот так

 

Для более проработанного варианта я ставлю уже вот такой вариант блокировки

 

Но в данном случае я добавляю строчку и получается вот такой вариант новой строки

 

Конечный вариант конфига для блокировки выглядит вот так

Сохраняю и смотрю что будет. Удивительно и неожиданно вся нагрузка спадает и я вижу обычные и даже меньше 5-10% нагрузки на сервере. Чудеса однако, но приятные)

В целом если у вас идет нагрузка на хостинг или сервер при работе сайта, проверьте блокировку зловредных ботов. Это не всегда но может быть причиной.

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь

+ 42 = 52

OK2WEB
OK2WEB
Более 12 лет занимаюсь разработкой и продвижением сайтов. Городские порталы, информационные и новостные сайты. Сейчас в основном разрабатываю интернет магазины и коммерческие сайты. Если у вас есть вопросы пишите, стараюсь оперативно ответить и помочь.

Решение ошибки: WordPress database error Duplicate entry ‘0’ for key ‘wp_posts.PRIMARY’ for query INSERT INTO `wp_posts`

Делал сайт и столкнулся с такой ошибкой. Почитал, поискал, никто не дает решения. Ошибка проявляет себя так, что при добавлении записи на сайте Wordpress у вас нет интерфейса для добавления статьи и по сути исчезает возможность добавлять статьи. Решение оказалось простым. Зашел в базу данных...

Справочник по Fastpanel вопросы и ответы (обновляется)

Fastpanel - это веб-панель управления для хостинга и управления виртуальными серверами. Эта панель предоставляет администраторам серверов и владельцам веб-сайтов набор инструментов для упрощения управления серверами, приложениями и веб-сайтами. Вот основные возможности и предназначение Fastpanel: Управление серверами: Fastpanel позволяет администраторам легко создавать, настраивать и удалять...

Вывод товаров случайным образом — полезные сниппеты Woocommerce

К существующим вариантам вывода товаров по дате, цене, рейтингу добавляем возможность вывода в случайном порядке. Также просто сниппет для Woocommerce, вставлять в файл function темы либо через плагин вставки кода. При необходимости можете поменять текст отображения вывода.

Вывод похожих товаров по атрибуту — полезные сниппеты Woocommerce

По умолчанию Woocommerce товары выводятся в виде похожих из товаров в категории. Это неудобно, так как не позволяют вывести в каталоге товаров правильно похожие. Решаем задачу просто с помощью сниппета. Вставляем в function.php или в место для кода вот такой сниппет: В данном варианте выведен...

Seo практики использования возможностей ИИ для работы с сайтом

Решил собрать вместе возможные варианты как использовать искусственный интеллект для работы по сайту в плане seo продвижения. А то информацию вижу, использую, но зачастую потом где то забываешь, где то потом теряется. Поэтому статья будет дополняться и улучшаться, в том числе и по обратной...

Плагин Wordfence: как настроить сканирование сайта для проверки файлов и страниц

Плагин Wordfence предоставляет широкий набор настроек, которые позволяют гибко настроить сканирование вашего веб-сайта для проверки файлов и страниц на наличие вредоносного кода и потенциальных уязвимостей. В этой статье я расскажу вам, как правильно настроить сканирование сайта с помощью Wordfence. Установка и активация Скачайте и установите плагин...