Gérer les robots et les bannir si besoin

Les robots c'est cool, il y a notamment celui de Google (et les autres on s'en fout) pour pouvoir chercher "tela botanica" ou "carnet en ligne" dans Google.
Mais des fois les robots c'est chiant, ça génère des petalol de hits sur nos serveurs pour queue-dalle (coucou Semrush).

Donc on peut utiliser plusieurs techniques pour renvoyer ces braves bêtes dans leurs niche :

Robots.txt

C'est standard mais du coup ça marche pas forcément, des fois ça prend du temps pour que le robot s’aperçoive que le contenu à changé ou ptetr même qu'il l'ignore totalement (coucou Semrush).
Voir http://robots-txt.com/

Là par exemple on interdit à Semrush de consulter tout le site alors qu'on autorise tous les autres :

Apache

On va envoyer les robots en 403, c'est radical donc forcément un peu mieux.

Après avoir épluché les logs et déterminé quels bots sont à bannir on ajoute leur user-agent à la liste des Bad-Bots.
Cette liste peur être mise dans un .htaccess (et surement même directement dans le vhost).
Voir : https://www.askapache.com/htaccess/setenvif/

Faut activer le module setenvif (a2enmod setenvif) et ensuite dans un .htaccess bien placé on met :

Liste à bloquer

AhrefsBot (voir https://ahrefs.com/robot)
SemrushBot (voir http://www.semrush.com/bot.html)

More banned bots pleazzz

https://www.buildersociety.com/threads/block-unwanted-bots-on-apache-nginx-constantly-updated.1898/

---