Optimisation du fichier robots.txt
Qu’est-ce qu’un fichier robots.txt et quel est son rôle ? Fichier d’indexation situé sur le serveur, à la racine d’un site web, robots.txt est un fichier au format texte destiné exclusivement aux crawlers (robots d’indexation des moteurs de recherche). Il leur indique quelles informations peuvent être indexées, en leur interdisant ou en leur autorisant l’accès […]
