Как избавиться от нагрузка на сервере или хостинге сайта, в nginx убираем вредных ботов

Итак сегодняшняя тема статьи это вопрос нагрузки которая возникает на сайте. Недавно мне пришлось столкнуться с этим. На большом мощном сервере просто висело порядка 22 LA в htop и никаким образом не было видно каких экстремальных посещаемостей. Это надо было устранять и начал ковыряться в логах сайтов на сервере, чтобы найти причину.

Самое интересное что до этого момента сервер был нагружен максимум на 10-15% он его мощности и предпосылок для роста нагрузки никакой не было. Кстати очень часто приходят запросы от заказчиков на снижение нагрузки на таких хостингах как Бегет и Таимвеб, где также бывают такие экстремальные моменты.

В ходе такой инспекции по логам я заметил что на сайте часто видны заходы с бота Amazon — почти все запросы шли оттуда. Как мы знаем достаточно большая корпорация незамеченная вроде бы в каком то спаме. Но роботы буквально валили оттуда.

Выглядели запросы так: Amazonbot и соответственно адрес страницы на которую он приходил. И я решил попробовать его заблокировать. При этом у меня уже на серверах есть свои списки блокируемых ботов, но Амазон вот туда не попадал. Хотя особо надежды что дело именно в нем не было, но также я не видел других аномалий. В общем решил попробовать.

Из моей практики боты и роботы должны реагировать на robots.txt но не всегда так вежливы к соблюдению правил. В 90% случаев для всяких вредных ботов наличие его запрета в robots не помогает. Поэтому уже давно у меня главным способом блокировки является запрет на уровне правила nginx или апаче. Апаче я не использую ибо он устарел и медленный, а вот обычная связка это nginx + php-fpm (я писал кстати о его правильной настройке), так вот обычно я ставлю правила запрета в nginx что уже не требует от ботов вредных уважать или нет правила. Их все равно не пустит на сайт.

Обычно у меня настроено для скромного блокирования вот так

Для более проработанного варианта я ставлю уже вот такой вариант блокировки

Но в данном случае я добавляю строчку и получается вот такой вариант новой строки

Конечный вариант конфига для блокировки выглядит вот так

Сохраняю и смотрю что будет. Удивительно и неожиданно вся нагрузка спадает и я вижу обычные и даже меньше 5-10% нагрузки на сервере. Чудеса однако, но приятные)

В целом если у вас идет нагрузка на хостинг или сервер при работе сайта, проверьте блокировку зловредных ботов. Это не всегда но может быть причиной.