Le fichiers robots.txt est un fichier qui sert de mode d'emploi pour les robots. Avant d'explorer votre site, les robots vont interroger le fichier robots.txt. Ce fichier vous permet de donner des ordres aux robots en leur demandant de ne pas indexer des ressources sans intérêts publics, par exemple.
Le fichier sitemap.xml est un fichier d'aide à l'indexation du site. Ce fichier sitemap.xml permet de s'assurer que les robots trouveront bien toutes les pages de votre site web.
Aucun commentaire:
Enregistrer un commentaire