GoogleOther : Rôle et impact sur le Crawl Budget

Une révolution silencieuse dans vos logs serveurs

Depuis 2023, un nouveau nom est apparu dans les logs serveurs des webmasters du monde entier : GoogleOther. Ce robot mystérieux a soulevé de nombreuses questions. Est-ce un remplaçant de Googlebot ? Sert-il à l'IA ? Faut-il lui fermer la porte ?

En tant qu'experts SEO, nous avons analysé ce crawler Google pour comprendre son impact réel. Une chose est sûre : il marque un tournant dans la gestion du Crawl Budget par Google en séparant clairement l'indexation de la R&D.

Qu’est-ce que GoogleOther vraiment ?

GoogleOther est un robot d'exploration générique (crawler) déployé par Google pour récupérer du contenu accessible publiquement à des fins non liées à l'indexation de recherche.

Contrairement à Googlebot, GoogleOther n'indexe rien. Son passage sur votre site n'influence pas directement votre positionnement dans les résultats de recherche.

Concrètement, Google a scindé ses activités d'exploration en deux :

1. Googlebot : Se concentre exclusivement sur l'indexation et le ranking pour Google Search.
2. GoogleOther : S'occupe de toutes les autres tâches (collecte de données, analyse de tendances, entraînement IA, R&D).

GoogleOther et l’intelligence artificielle de Google

La croissance exponentielle du web et l'avènement de l'Intelligence Artificielle générative (comme Gemini et la SGE) demandent des quantités astronomiques de données. C'est ici que GoogleOther intervient.

Entraîner les LLM sans nuire au SEO

Bien que Google reste discret, il est évident pour la communauté SEO que ce robot joue un rôle clé dans l'alimentation des modèles internes (LLM). Il permet à Google de scanner le web pour "comprendre" le monde sans perturber l'index de recherche critique.

Optimisation du Crawl Budget global

Auparavant, toutes les tâches d'exploration étaient effectuées par Googlebot. En déléguant les tâches annexes à GoogleOther, Google libère de la capacité pour explorer et indexer plus rapidement les nouvelles pages web avec Googlebot. C'est une excellente nouvelle pour la fraîcheur de votre contenu dans l'index.

Comment identifier le User-Agent GoogleOther ?

Pour distinguer le trafic humain des explorations de ce robot, vous devez surveiller vos fichiers logs.

Signature officielle (User-Agent)

Le robot s'identifie clairement. Vous trouverez les chaînes suivantes :

GoogleOther
GoogleOther-Image
GoogleOther-Video

Exemple complet : Mozilla/5.0 (compatible; GoogleOther)

Vérification IP (Critique)

Ne faites pas confiance aveugle au User-Agent (n'importe qui peut le falsifier). Assurez-vous que l'IP provient bien des plages d'adresses IP Google. Un Reverse DNS sur l'IP doit renvoyer un domaine se terminant par .googlebot.com ou .google.com.

GoogleOther est-il dangereux pour le SEO ?

C'est la question que tout le monde se pose. Rassurez-vous : GoogleOther n'est pas dangereux. Au contraire, il est le signe d'une meilleure gestion des ressources chez Google.

Mythes et Réalités sur GoogleOther

Faut-il le bloquer dans le robots.txt ?

La réponse courte est : NON.

1. Respect des standards : GoogleOther respecte les mêmes directives que Googlebot. Si vous bloquez l'un globalement, vous risquez de bloquer l'autre par erreur.
2. Visibilité future : Si ce robot sert à entraîner l'IA de Google, lui interdire l'accès pourrait exclure votre contenu des réponses générées par IA.
3. Crawl Budget : Laissez-le passer. S'il récupère les données R&D, Googlebot n'aura pas à le faire lors de ses passages d'indexation.

Toutefois, en cas de surcharge serveur extrême, vous pouvez le bloquer spécifiquement sans désindexer votre site :

User-agent: GoogleOther
Disallow: /