Итак, если вы читаете эту статью, это означает, что у вас возникли проблемы с ботным трафиком.
- Увеличилась нагрузка на хостинг
- Повысилась роботность
- Позиции сайта пошли вниз
Найдите на своем хостинге файл ".htaccess" в корневой папке вашего домена. Этот файл отвечает за настройки сервера вашего хостинга. Если его нет, создайте файл с точным названием ".htaccess.txt" и откройте его в блокноте или на хостинге.
Добавьте следующие правила:
SetEnvIfNoCase User-Agent "^НАЗВАНИЕ БОТА" bot
SetEnvIfNoCase User-Agent "^ЕЩЕ БОТЫ" bot
Список самых распространенных ботов и краулеров мы для вас собрали в файле Bots_htacess Внимательно прочитайте список перед установкой, вдруг какой то из них вам нужен.
Это базовая защита первого уровня, но она помогает
Allow from all
Deny from env=bot
Эти правила запрещают ботам из списка посещать сайт.