nuissance semrush

Open Marc-marc-marc opened this issue 7 years ago • 3 comments

https://www.semrush.com/bot/ un parfait exemple de nuisible... 5000 téléchargement de fichier .osm provenant des extractions cadastrales....

Nov 29 '18 22:11 Marc-marc-marc

sur osm104 création de /data/project/cadastre.openstreetmap.fr/web/robots.txt avec

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /

fait pareil pour le vhost bano et imagery

je préconise son blocage généralisé (dans un monde idéal on devrait définir + finement les url interdite)

Nov 29 '18 23:11 Marc-marc-marc

Est-ce que SemrushBot sévit encore ?

Feb 04 '19 14:02 jocelynj

Pour Osmose on a un RewriteRule pour lui. C'est un bot enorme qui cherche les pub et ne respecte pas les robot.txt

Jun 18 '20 17:06 frodrigo