Seo4Presta
robots moteur de recherche

Le fichier robots.txt sur Prestashop

Si vous vous êtes intéressé au référencement naturel, vous aurez sans doute entendu parler du fichier robots.txt. Mais qu’est ce que ce fichier, et comment le gérer sur Prestashop ?

Le robots.txt, c’est quoi ?

Le robots.txt est un fichier que l’on ajoute à la racine d’un site web, il est accessible à l’url suivante www.monsite.com/robots.txt. Ce fichier est destinée aux robots des moteurs de recherche qui vont venir explorer votre site. C’est sur ce fichier que vous allez indiquer ce que vous voulez que les moteurs de recherche explorent, et ce que vous voulez qu’ils n’explorent pas. Cela permet d’éviter que les moteurs de recherche consomme le budget crawl qu’ils ont défini pour votre site web à explorer des fichiers inutiles pour votre référencement.

Pourquoi optimiser votre budget crawl ?

Le budget crawl est un budget fictif que les moteurs de recherche vous affectent en fonction de la vitesse de chargement de votre site, de la taille de votre site, les capacités de votre serveur (son temps de réponse), la fréquence d’ajout de contenu de votre site, ainsi que la qualité de votre contenu. Ce budget est représenté pas une nombre de pages et fichiers maximums qui vont être explorés par les robots des moteurs de recherche, si votre budget est atteint à son maximum, les robots vont arrêter leur exploration et passer à un autre site, ce qui signifie que votre site ne sera pas crawlé dans son intégralité.

Créer un fichier robots.txt sur Prestashop

Dans les fonctions natives de Prestashop, vous pourrez générer automatique un fichier robots.txt, pour cela, il vous suffit d’aller dans l’onglet « préférences » du menu lateral gauche puis de cliquer sur le lien « SEO & URL » puis tout en bas de la page, vous trouverez un bouton pour générer le fichier robots.txt. Pour la majeure partie des utilisations, ce fichier sera suffisant et ne nécessitera pas l’ajout de lignes supplémentaires, mais si vous avez besoin d’éditer ce fichier, il vous sera impossible de le faire depuis Prestashop à moins d’acheter une extension le permettant, vous devrez donc le faire en le modifiant directement depuis le FTP.

Modifier son fichier robots.txt

Si vous avez besoin de modifier votre fichier robots.txt, il est important de bien comprendre comment il se structure.

Un fichier robots.txt se structure de la manière suivante :

  • Une ligne « User-agent: » qui correspond aux noms des crawlers que les règles vont cibler, pour cibler tous les crawlers, il suffit de mettre une « * »
  • Des lignes « Allow: » suivies d’un nom de dossier ou de fichier. Ces fichiers sont les fichiers qui sont indiqués comme étant à visiter par les moteurs de recherche. Pour cibler un fichier, il suffit de mettre le chemin du dossier depuis la racine du site.
  • Des lignes « Disallow: » suivies de « /* » et d’un extrait d’URL, cela signifie que toutes les URL contenant l’extrait devront être ignorées.
  • Des lignes « Disallow: » suivies de « /* » et d’un nom de dossier, ces lignes indiquent que tous les fichiers d’un dossier ne doivent pas être explorés.
  • Des lignes « Disallow: » suivies de « /* » et d’un nom de fichier, ces lignes permettent d’indiquer qu’un fichier ne doit pas être exploré.

Si vous voulez ajouter une nouvelle règle à votre fichier robots.txt, il vous suffira de choisir quels crawlers vous voulez cibler, choisir quel type d’élément vous voulez cibler, et créer votre règle en fonction de votre cible.

[Total : 0   Moyenne : 0/5]

Ajouter un commentaire