Marc Sureda
El desarrollo de la red ha requerido a lo largo de las décadas una adaptación continua a nuevos estándares. Inicialmente, las plataformas tuvieron que optimizarse para su lectura mediante navegadores y, posteriormente, para el rastreo por parte de los motores de búsqueda. En la actualidad, el reto se centra en la interacción directa con los agentes de IA. Elementos históricos como el archivo de exclusión de robots, originario de 1994, siguen vigentes, aunque su propósito original estaba orientado a los rastreadores tradicionales y no a las herramientas automatizadas modernas. Del mismo modo, el código de estado de protocolo de transferencia de hipertexto 402, concebido en 1997 para requerir pagos, apenas tuvo uso hasta la reciente necesidad de facilitar transacciones autónomas por parte del software.
Con el avance de estas tecnologías, en el tercer trimestre de 2004 surgió la propuesta de utilizar archivos de texto específicos para modelos de lenguaje de gran tamaño, con el objetivo de estructurar la información de un portal de manera que se ajuste a los límites de procesamiento de estos sistemas. Sin embargo, la adopción de prácticas orientadas a las máquinas sigue siendo escasa en los primeros meses de 2026. Según un análisis de Cloudflare Radar sobre 200.000 dominios corporativos e institucionales de alto tráfico, casi 8 de cada 10 sitios disponen de directrices para rastreadores, pero apenas un 4% ha implementado señales de contenido para especificar sus preferencias de uso por parte de la inteligencia artificial. Así mismo, menos de un 4% de los portales analizados es capaz de servir texto en formato simplificado de marcas cuando se le solicita, y los protocolos emergentes para catálogos de interfaces de programación o tarjetas de servidor apenas aparecen en una 15 de páginas a nivel global.
Para abordar esta carencia, Cloudflare ha puesto en marcha un nuevo portal de evaluación destinado a medir el grado de preparación de las páginas web frente a los sistemas de IA. Esta herramienta realiza un diagnóstico basado en 4 pilares fundamentales. El primero abarca la capacidad de descubrimiento mediante archivos de mapas del sitio y encabezados de enlace en las respuestas del servidor. El segundo evalúa la accesibilidad del contenido, comprobando la compatibilidad con formatos de texto plano. El tercer aspecto se centra en el control de acceso, revisando las reglas específicas para rutinas informáticas y la autenticación. Finalmente, el cuarto pilar mide las capacidades técnicas para interactuar directamente, como el descubrimiento de servidores de autorización o los mencionados catálogos de interfaces.
Además de la mera evaluación informativa, los resultados de este diagnóstico ofrecen a los administradores de sistemas las indicaciones necesarias para que puedan implementar las mejoras requeridas en sus propios portales. Paralelamente, la industria está impulsando el desarrollo de protocolos para el comercio automatizado, lo que se ha materializado con la creación de la fundación x402 en colaboración con la entidad financiera Coinbase. Cuyo fin es estandarizar los pagos realizados por programas informáticos sin intervención humana directa. Estas funciones de análisis de compatibilidad también se han integrado en utilidades de escaneo de direcciones de red ya existentes para desarrolladores e investigadores de seguridad.
Por su parte, la propia documentación técnica de la entidad desarrolladora ha sido rediseñada para facilitar su lectura por parte del software. Para evitar problemas con el límite de procesamiento de los modelos, han dividido sus archivos de directorio en subcarpetas y han implementado reglas de reescritura que permiten entregar el contenido en un formato más ligero de manera dinámica, sin necesidad de duplicar archivos. Según las pruebas internas realizadas frente a las exigencias de agentes comerciales, esta estructuración de la información ha permitido que los sistemas consuman un 31% menos de recursos computacionales y ofrezcan respuestas correctas un 66% más rápido en comparación con otras bases de conocimientos no optimizadas. Evitando así que los programas entren en bucles de búsqueda ineficientes que merman la precisión de los datos presentados.
