[ENHANCEMENT]: Instruction plus précise dans robots.txt

[FranciumSoftware]

Je pense que j'ai trouvé une instruction qui inclut d'autres crawlers comme Qwant ou DuckDuckGo.

Voici le code original:

User-agent: Googlebot
User-agent: Bingbot
Disallow: /lab

Ma suggestion:

User-agent: *
Disallow: /lab

[iBasile]

Oui, je pense que c'est une bonne idée étant donné que "*" signifie tout.

[xav35000]

Mettre une wildcard (*) est en effet une bonne idée, fais une pull request dans Working