Ecole-Directe-Plus
Ecole-Directe-Plus copied to clipboard
[ENHANCEMENT]: Instruction plus précise dans robots.txt
Je pense que j'ai trouvé une instruction qui inclut d'autres crawlers comme Qwant ou DuckDuckGo.
Voici le code original:
User-agent: Googlebot
User-agent: Bingbot
Disallow: /lab
Ma suggestion:
User-agent: *
Disallow: /lab
Oui, je pense que c'est une bonne idée étant donné que "*" signifie tout.
Mettre une wildcard (*) est en effet une bonne idée, fais une pull request dans Working