La décision est désormais prise : WordPress n’adoptera plus l’ancienne méthode quand il s’agira d’indiquer aux moteurs de recherche la non indexation des sites. En effet, la méthode appliquée auparavant stipule d’ajouter une ligne Disallow:/ dans le fichier robots.txt, en cochant la case « Demander aux moteurs de recherche de ne pas indexer ce site ». À Cet égard, Googlebot et d’autres robots étaient appelés à ne pas crawler le site alors que l’utilisateur ordonne à ces robots de ne pas l’indexer, une nuance considérable. Google pourrait éventuellement décider d’indexer votre site en repérant un lien vers lui, et il ne sera pas crawlé. Toutefois, Google ne pourra pas identifier une éventuelle balise META name=’robots’ paramétrée sur nofollow, noindex.
Référencement : Changements prévus sur la version 5.3
Dans la version 5.3, quand un utilisateur cochera la case « Demander aux moteurs de recherche de ne pas indexer ce site », WordPress ne va plus modifier le robots.txt, et ainsi des robots comme Googlebot pourrons parcourir le site. La balise META name=’robots’ s’ajoutera à côté des paramètres nofollow, noindex. Le bot de Google interviendra à son tour sur votre site et prendra la décision de ne pas l’indexer une fois il verra la balise, et ainsi le crawl s’arrêtera.
Les changements s’appliqueront à partir du 12 Novembre 2019
WordPress 5.3 est en cours de développement. La première beta pourra se lancer à partir du 23 septembre, tandis que la release candidate le 15 octobre, et la version finale pour le 12 novembre 2019. À partir de cette date, les sites WordPress les plus réactifs pourront ainsi bénéficier de ces changements.