llms.txt vs robots.txt : à quoi sert chacun

Deux fichiers à la racine du site, deux rôles différents : robots.txt contrôle qui entre, llms.txt indexe le contenu. Comment les configurer pour les moteurs d'IA.

Diego MoraesCTO

robots.txt et llms.txt vivent tous deux à la racine du site, mais ils remplissent des rôles opposés. robots.txt contrôle qui entre : il indique à chaque crawler ce qu'il peut visiter. llms.txt invite : il donne aux moteurs d'IA un index sélectionné du contenu qui compte. L'un régule l'accès, l'autre guide la lecture. Les confondre coûte de la visibilité.

Deux fichiers, deux rôles

Ce sont deux fichiers texte simples, tous deux à la racine du domaine, et les ressemblances s'arrêtent là. robots.txt existe depuis les années 1990 et c'est une convention d'accès : il liste des crawlers et leur indique où ils peuvent aller ou non. llms.txt est né en 2024 comme proposition et c'est une convention d'orientation : au lieu d'interdire, il guide, en orientant les modèles vers le contenu principal du site dans un format qu'ils lisent facilement.

La confusion courante consiste à les traiter comme des alternatives. Ils n'en sont pas. L'un décide si le moteur entre ; l'autre, une fois qu'il est à l'intérieur, l'aide à comprendre ce qui compte. Ils ont du sens ensemble.

robots.txt : la porte

robots.txt est la première chose qu'un crawler consulte. Pour la visibilité dans l'IA, ce qui compte est d'autoriser les bons crawlers. Chaque moteur a les siens, et il vaut la peine d'en distinguer deux types : ceux qui collectent du contenu pour entraîner les modèles et ceux qui parcourent le web en direct pour répondre à une question sur le moment.

Si vous voulez apparaître dans les réponses, la liste à autoriser comprend, entre autres, GPTBot et OAI-SearchBot d'OpenAI, ClaudeBot et Claude-SearchBot d'Anthropic, PerplexityBot et Google-Extended. Bloquer l'un d'eux retire le site des sources que ce moteur peut lire.

L'erreur qui coûte le plus cher est le blocage par défaut. Beaucoup de sites héritent, via une extension ou un modèle, d'un robots.txt qui interdit les crawlers d'IA sans qu'aucune décision consciente n'ait été prise. Résultat : être absent des réponses sans même savoir pourquoi. La décision de bloquer peut être légitime (un éditeur aux contenus payants a des raisons d'interdire l'entraînement), mais elle doit être choisie, pas subie.

llms.txt : l'index

llms.txt est un fichier markdown qui décrit le site de façon structurée et lisible par les modèles : qui il est, ce qu'il fait, et des liens vers les pages qui comptent. La variante llms-full.txt va plus loin et livre le texte principal du site en une seule lecture, ce qui épargne au crawler de sauter de page en page.

Il est honnête de dire qu'à lui seul, il ne fait pas de miracles. C'est un standard émergent et tous les moteurs ne le lisent pas aujourd'hui. Mais le créer représente un après-midi de travail, il n'y a aucune contre-indication, et la probabilité qu'il prenne du poids est élevée à mesure que les moteurs mûrissent. C'est le type de pari à faible risque qu'il vaut la peine de faire tôt.

Le tableau, côte à côte

Le socle minimal d'hygiène technique

Aucun de ces fichiers ne fonctionne isolément. Le socle technique qu'attendent les moteurs compte trois pièces : un robots.txt qui autorise les crawlers d'IA pertinents, un llms.txt qui les guide, et des données structurées (schema.org) sur les pages principales pour que la marque soit identifiée sans ambiguïté. Les trois sont peu coûteuses et se font une seule fois. Pour un exemple concret, destaque.ai/robots.txt et destaque.ai/llms.txt sont publics.

Questions fréquentes

À lire ensuite

• Ce qu'est llms.txt et comment créer le vôtre, le fichier en détail.
• Six commandes pour savoir si l'IA peut lire votre site, pour vérifier les deux d'un coup.
• Schema.org pour le SaaS B2B : le minimum viable, la troisième pièce du socle.