En este artículo
Webs legibles por agentes: llms.txt, espejos en Markdown y qué se rompe de verdad
Haz que el contenido público sea fácil de recuperar y entender. Después valida los formatos adicionales que publiques. Nuestra implementación usa HTML, reglas de rastreo, Markdown y JSON-LD. Mantenerlos coherentes es un problema técnico que podemos comprobar.
Nosotros operamos este stack en la web que estás leyendo: un espejo en Markdown de cada página, un llms.txt por idioma, agent skills publicadas y un verificador que hace fallar el build de producción en cuanto algo de eso se rompe. Este artículo es la lista de cosas que ha cazado ese verificador, y es una lista más útil que la que se obtiene leyendo la especificación.
¿Quieres saber si un agente puede leer tu web antes de invertir en arreglarla?
Ejecutar el comprobador gratuitoCuatro superficies de nuestra implementación
Estas superficies sirven a consumidores distintos. No son cuatro requisitos universales de visibilidad con IA. Una página HTML útil puede recuperarse y citarse sin espejo Markdown ni JSON-LD.
| Superficie | Pregunta que responde | Así se ve el fallo |
|---|---|---|
| robots.txt | ¿Qué política de rastreo se aplica? | Una restricción en el grupo y la ruta pertinentes |
| HTML servido | ¿Qué se lee sin ejecutar JavaScript? | Una estructura vacía para consumidores sin renderizado |
| Espejo Markdown (opcional) | ¿Puede un consumidor usar una copia fiel? | Enlaces rotos o contenido perdido en esa copia |
| JSON-LD (opcional) | ¿Son coherentes los datos públicos? | Datos estructurados inválidos o contradictorios |
Google indica que llms.txt, Markdown y un esquema especial no son necesarios para sus funciones de búsqueda con IA. Procesa JavaScript con sus reglas SEO habituales. Importan la indexación, la elegibilidad para fragmentos y la configuración efectiva de inclusión en IA generativa de Search Console. Compruébalas por separado de los formatos opcionales. Google Search Central.
llms.txt, con honestidad
llms.txt es una convención, no un estándar web. Ningún motor está obligado a leerlo, y quien te venda lectura garantizada está prometiendo demasiado. También es barato de generar y le da a un agente un mapa limpio en lugar de tu navegación renderizada, y por eso publicamos uno y normalmente lo recomendamos.
Si lo publicas, tres cosas deciden si sirve para algo:
- URLs portables. La convención v2 acepta enlaces Markdown y no obliga a usar URLs absolutas. Las relativas funcionan cuando el consumidor conserva como base la URL del llms.txt, pero ese contexto puede perderse al copiar el archivo a otra herramienta. Nosotros usamos URLs absolutas para mantener el mapa portable.
- La cita en bloque bajo el H1. El H1 es la única sección obligatoria; la convención describe el resumen posterior como opcional. Aun así, conviene añadirlo cuando una frase identifica el sitio sin obligar al agente a inferir ese contexto.
- Notas en enlaces importantes. Las notas tras cada enlace son opcionales, pero ayudan al agente con poco presupuesto a decidir qué abrir. Añade descripciones breves cuando el título resulte ambiguo.
Espejos en Markdown y cómo anunciarlos
Un espejo es el mismo contenido que la página, sin el envoltorio, servido como Markdown en una ruta predecible y enlazado desde la cabecera:
<link rel="alternate" type="text/markdown" href="/services/ai-visibility.md">Generar espejos es sencillo. Mantenerlos fieles es la parte que necesita una máquina, porque un espejo puede estar sutilmente mal de formas que nadie nota durante meses. El generador corre después del build del sitio, recorre el HTML renderizado, y el verificador compara ambos después.
Los fallos que conviene conocer
Son hallazgos reales de nuestro propio build, no hipótesis. Cada uno llegó a producción al menos una vez antes de que existiera la puerta.
| Fallo | Por qué pasa | Qué ve un agente |
|---|---|---|
| Valor de plantilla sin resolver | Un generador emite su marcador de valor ausente, o un par de delimitadores de plantilla sobrevive sin renderizar, y nadie lee la salida | Una página que te devuelve tu lenguaje de plantillas |
| Bloque de código sin cerrar | Una apertura sin su cierre | Todos los encabezados posteriores dejan de ser encabezados, y el documento pierde su estructura |
| Entidad HTML sin decodificar | Entidades no decodificadas durante la conversión | Una entidad de ampersand o apóstrofo sin decodificar, leída como sus caracteres literales en lugar de como el signo |
| Enlaces contiguos fusionados | El espacio entre dos anchors se pierde al convertir | Dos textos de enlace pegados en una sola frase |
| Atribución pegada a su enlace | Falta un espacio antes del enlace de autor | Una cadena de autor en la que la palabra previa al enlace queda fusionada con el nombre |
| Columnas de tabla que no cuadran | La fila de cabecera y la de separadores discrepan en el número de columnas | La tabla deja de interpretarse como tabla y cada número pierde su columna |
| Más de un H1 | Encabezados del envoltorio filtrándose al cuerpo | Ambigüedad sobre de qué trata la página |
| Cuerpo vacío | Contenido inyectado en el cliente, así que el espejo no tiene nada que espejar | Front matter y silencio |
Nuestro favorito fue más sutil que todos estos. Añadir un glifo decorativo a una página metió una comilla doble literal dentro de un nodo de texto SVG, lo que detuvo al minificador de HTML dentro de contenido foráneo. El resto de esa página se publicó sin minificar, y su espejo en Markdown se truncó en silencio a dos tercios, llevándose consigo todo el FAQ. Nada parecía mal en un navegador. La puerta hizo fallar el build, nombró la ruta, y la corrección fue un carácter.
La trampa del robots.txt: recuperación no es entrenamiento
Es el malentendido más caro del tema, y es una línea de configuración.
GPTBot recoge datos de entrenamiento; OAI-SearchBot sirve a la búsqueda y ChatGPT-User a visitas iniciadas por usuarios. Anthropic distingue ClaudeBot, Claude-SearchBot y Claude-User. Una restricción afecta al propósito documentado de ese agente, no a cualquier respuesta posible sobre tu sitio:
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /El primer grupo declara una restricción de entrenamiento para GPTBot. El comodín se aplica cuando no coincide un grupo más específico. Los grupos específicos tienen prioridad; gana la regla de ruta más larga y Allow desempata. El ejemplo restringe a rastreadores de búsqueda que respeten robots y no tengan grupo propio. No demuestra que ningún asistente pueda mencionar o citar el sitio.
Separa las preferencias de entrenamiento de la búsqueda y las visitas iniciadas por usuarios. OpenAI advierte que las reglas robots pueden no aplicarse a ChatGPT-User. Comprueba la documentación del proveedor y la respuesta desplegada antes de cambiar la política. OpenAI; Anthropic.
Por qué una puerta y no una lista
Cada punto de arriba es fácil de arreglar una vez e imposible de mantener arreglado por intención. El contenido cambia cada semana, las plantillas cada mes, y ninguno de estos fallos produce un síntoma visible. Una auditoría trimestral los encuentra un trimestre tarde.
Nuestro verificador de producción comprueba los espejos que decidimos publicar. El comprobador de legibilidad adapta reglas seleccionadas a una herramienta local del navegador. Revisa un archivo pegado con límites explícitos; no ejecuta nuestro build completo ni visita los enlaces.
Para los problemas vecinos: nuestra guía del Open Knowledge Format cubre empaquetar conocimiento interno como Markdown portable, y la guía del wiki de empresa listo para IA cubre servir ese conocimiento a tus propios agentes. Este artículo trata estrictamente de la superficie pública: lo que puede leer el agente de otra persona.
Preguntas frecuentes
¿Qué hace que una web sea legible por agentes?
¿Es llms.txt un estándar?
¿Funcionan las URLs relativas en llms.txt?
¿Deberíamos bloquear GPTBot?
¿Los espejos en Markdown generan contenido duplicado para los buscadores?
¿Cómo evitamos que esto se degrade tras el lanzamiento?
Reflexiones finales
Empieza por contenido público legible y controles de acceso adecuados. Publica formatos adicionales cuando un consumidor los aproveche y comprueba su integridad en el build.
Nuestro comprobador permite revisar un archivo localmente. Corrige el problema demostrado y verifica por separado el acceso desplegado y la elegibilidad de búsqueda.