robots.txt

[pluxml]

Créer à la racine un fichier robots.txt

User-agent: *
Disallow: /core/
Disallow: /data/
Disallow: /plugins/
Disallow: /themes/

[kyodev]

amha, ce qui est surtout intéressant c'est une ligne:

Sitemap: http://www.monsite.eu/sitemap.xml

edit: je n'aime guère les disallow, cela revient à clairement dire aux méchants robots ce que l'on ne tient pas à montrer voir: forum

[Philippe-M]

Avec l'évolution de google les ressources bloqués pénalise le référencement. Par exemple pour mon site les images, medias, documents linké dans les articles sont marqués comme ressources bloqués.

Une évolution du robots.txt

User-agent: *
Sitemap: http://minsite/sitemap.php

Allow: /
Allow: /data/images
Allow: /data/medias
Allow: /data/documents
Disallow: /core
Disallow: /data
Disallow: /plugins

[Pluxopolis]

avec la ligne Allow: / est-il utile de mettre:

Allow: /data/images
Allow: /data/medias
Allow: /data/documents

[haruka-7]

Hello, Je propose d'intégrer le robots.txt ci-dessous :

User-agent: *
Disallow: /core
Disallow: /data
Disallow: /plugins
Allow: /data/medias
Allow: /data/documents
#Sitemap: https://website.com/sitemap.php

Concernant, le sitemap, malheuresement il faut renseigner obligatoirement l'URL. J'ai testé le chemin relatif /sitemap.php dans la Search Console de Google qui me renvoi une erreur de syntaxe (https://www.sitemaps.org/protocol.html#submit_robots).

[bazooka07]

Je pense qu'il faut générer ce fichier à partir de du script core/admin/parametres_avances.php, éventuellement en ajoutant un bouton dans l' "Action bar".

Cela résoudra le problème de SItemap. Note également que le dossier de données ne s'appelle pas forcément data et que son nom est paramétrable.

Je change systématiquement ce nom à chaque site ( signature PluXml ).

[bazooka07]

Il peut avoir des images dans le thème courant ( diaporama )

[bazooka07]

J'ai envoyé un pull-request sur ce sujet et d'après Google c'est bon. http://kazimentou.free.fr/robots.txt https://kazimentou.fr/robots.txt

2 points à noter:

• le fichier robots.txt doit être à la racine du site ($_SERVER['DOCUMENT_ROOT)
• PluXml n'est pas nécessairement installé à la racine du site (E-commerce, galerie photos, ...)

J'ai mis les traductions en anglais ( 3 clés ).

Je ne comprends pas comment sont triés les fichiers de langues étrangères.

[bazooka07]

La production ou modification du fichier robots.txt sera intégré dans la prochaine version de PluXml. Voir les boutons dansl'action-bar de la page parametres_avances.php PluXml n'est pas forcément installé à la racine du site voir PR#647 et PR#648 dans la branche master.

Dans cet exemple, PluXml est installé dans le dossier PluXml-master du serveur. Et le hostname est "test.lan". robots.txt :

# BEGIN -- Pluxml
# 2023-01-20 22:04

User-agent: *
Disallow: /PluXml-master/config.php$
Disallow: /PluXml-master/install.php$
Disallow: /PluXml-master/sitemap.php$
Disallow: /PluXml-master/update$
Disallow: /PluXml-master/core$
Disallow: /PluXml-master/readme$
Disallow: /PluXml-master/plugins/$
Disallow: /PluXml-master/data/articles/$
Disallow: /PluXml-master/data/commentaires/$
Disallow: /PluXml-master/data/statiques/$
Disallow: /PluXml-master/themes/*.php
Disallow: /PluXml-master/data/medias/download$
Allow: /PluXml-master/data/medias/

Sitemap: http://test.lan/PluXml-master/sitemap.php

# END -- Pluxml

# Fin
`