El 30 de octubre Google anunció que tiene previsto admitir una señal común en el archivo robots.txt para que los propietarios de una web puedan decir, de una sola vez, si aceptan o no que la inteligencia artificial entrene con su contenido. Ese mismo día se sumaron OpenAI y Microsoft, y Anthropic dijo que ya había empezado a implementarla. Hasta ahora cada empresa tenía su propio control, y quien quería protegerse de todas tenía que ir una por una. Es un cambio técnico pequeño, pero toca una decisión que cualquier negocio con web va a tener que tomar.
Qué se ha anunciado exactamente
El plan lo explicó John Mueller, defensor de la Búsqueda de Google, en el blog Search Central. La señal parte del trabajo del grupo AI Preferences del IETF, el organismo que aprueba muchos de los estándares de internet, y se apoya en Google-Extended, el control para el entrenamiento de IA que Google ofrece desde 2023.
El mecanismo está descrito en un borrador técnico firmado por Kevin Kelley, de Anthropic. Conviene leerlo con calma, porque no es un estándar aprobado: el propio seguimiento del IETF lo clasifica como propuesta individual, sin el respaldo oficial del organismo. Lo que dice, en resumen:
- Se usa el robots.txt de siempre, sin directivas nuevas. La novedad es un nombre especial, __usage_ai-training, que se escribe en la línea User-Agent.
- Los sistemas que no lo entienden lo ignoran, así que añadirlo no rompe nada de lo que ya funciona.
- Un grupo genérico con User-Agent: * no cuenta como respuesta. Si el archivo no menciona ese nombre, se entiende que no has expresado ninguna preferencia.
- Es una preferencia sobre el uso del contenido, no una orden de rastreo. El borrador pone un ejemplo: rechazar el entrenamiento en toda la web salvo una carpeta, como la de prensa.
Cuándo llega y qué harán las empresas
Google prevé admitirla en 2027 y dice que irá informando de los avances. Si una web rechaza el entrenamiento con la señal común y no ha indicado nada sobre Google-Extended, Google lo tratará como si hubiera rechazado Google-Extended. Los controles de cada empresa seguirán funcionando a la vez, de modo que se puede poner una regla general y matizarla para un proveedor concreto.
OpenAI dijo que respetará la señal y que lo hará en los próximos meses. Microsoft es la que ha dado fechas más concretas: sus nuevas preferencias empezarán a aplicarse el 1 de febrero de 2027 y sustituirán a las etiquetas NoArchive y NoCache para el entrenamiento y la fundamentación. Quien use esas etiquetas tiene hasta el 1 de marzo de 2027 para publicar las nuevas. Para ese periodo de transición, Bing Webmaster Tools habilitará preferencias temporales el 15 de diciembre.
Entrenar no es lo mismo que salir en las respuestas
Aquí está la parte que más se mezcla. Una cosa es que un modelo aprenda con tu contenido. Otra, que una herramienta de IA lo consulte para responder a alguien y te cite. Microsoft separa las dos: además de la preferencia de entrenamiento, añade una de fundamentación, que es la que decide si tu página sirve de base para esas respuestas. Y avisa de que rechazarla reduce la visibilidad de la marca en sus experiencias de IA. Según el resumen que publica Unite.ai, Google plantea algo parecido: las webs que permiten Google-Extended pueden aparecer en las respuestas y recibir clics a través de Gemini.
Tampoco cambia nada en el buscador de siempre. Microsoft aclara que estas preferencias no alteran si apareces en los resultados tradicionales de Bing ni establecen ningún acuerdo de licencia o pago.
Qué haría yo con una web de negocio local
No hay una respuesta única. Una editorial, un fotógrafo o alguien que vive de contenido propio y original puede tener motivos de peso para rechazar el entrenamiento. Un restaurante, una inmobiliaria o un estudio de arquitectura de Mallorca suelen estar en la situación contraria: les interesa que su nombre, su dirección y lo que hacen aparezca bien contado cuando alguien le pregunta a un asistente. Para ese tipo de negocio, bloquearlo todo por defecto puede ser contraproducente.
Lo razonable ahora es mirar qué dice tu robots.txt hoy, que está en la raíz de tu web (tuweb.com/robots.txt), y saber quién lo gestiona: a veces lo genera la propia plantilla o un plugin de WordPress, y nadie lo ha tocado desde que se montó la web. Cuando las empresas empiecen a respetar la señal, lo importante será que lo que figure ahí sea una decisión tuya y no un accidente. Si tu web la hice yo y quieres que lo revisemos juntos, escríbeme.
