Desde el 15 de septiembre, Cloudflare bloquea gratis el entrenamiento de IA sin tocar Googlebot, Bingbot ni Applebot. El 30 de octubre, Google, Microsoft y OpenAI anunciaron que respetarán una línea común de robots.txt contra el entrenamiento, pero ninguno la lee aún. Bing dejará de leer NOARCHIVE como señal de IA el 1 de marzo de 2027.
Qué hace el ajuste Disallow AI Training de Cloudflare
Cloudflare implementó el 15 de septiembre el ajuste Disallow AI Training, disponible en todos sus planes, incluido el gratuito, según reporta Semrush. Hasta esa fecha, bloquear el entrenamiento de IA también bloqueaba a Googlebot, Bingbot y Applebot, porque esos tres crawlers indexan para búsqueda y a la vez recolectan contenido que puede usarse para entrenar modelos. En julio, Cloudflare había anunciado ese bloqueo conjunto para el 15 de septiembre, y en el intertanto negoció por separado con Google, Microsoft y Apple. Las tres sumaron una forma de exclusión de entrenamiento o prometieron una fecha concreta para tenerla.
El mecanismo es puntual. Al activar el ajuste, la herramienta Bot Preference Sync de Cloudflare agrega dos reglas al robots.txt del sitio: una que deshabilita a Google-Extended y otra a Applebot-Extended, los tokens que Google reserva para entrenamiento y no para búsqueda. Amazon, Anthropic, Meta y OpenAI operan crawlers de entrenamiento separados de sus crawlers de búsqueda, y Cloudflare los bloquea de forma directa e incondicional; tus páginas siguen siendo legibles para ChatGPT Search y herramientas equivalentes.
Google, Bing y Apple conservan el acceso porque Cloudflare los clasifica como "Accountable", una categoría que exige cuatro condiciones: una forma de excluir el entrenamiento vía robots.txt o un estándar equivalente, una forma de excluir los resúmenes de IA, visibilidad a nivel de URL sobre qué páginas se usaron para entrenar, y la garantía de que excluirse del entrenamiento no afecta el posicionamiento en búsqueda. En septiembre, Google prometió su reporte por URL para las semanas siguientes y Apple lo dejó para el próximo año. Microsoft iba más atrás: Bingbot no leería la regla de robots.txt hasta comienzos de 2027, y la única forma de impedir que Bing entrenara con una página era la etiqueta meta NOARCHIVE. Ese escenario cambió a fines de octubre, como se detalla más abajo.
SeenSure probó cómo respondieron 1.046 sitios a ocho crawlers de IA el 14 de septiembre y otra vez el 16, dos días después del cambio de Cloudflare. De esos sitios, 746 usan Cloudflare y 300 no. Entre los que usan Cloudflare, el rechazo a los crawlers de entrenamiento subió, y el rechazo a los crawlers de búsqueda de IA (el que alimenta ChatGPT Search) bajó con fuerza. Los sitios sin Cloudflare se mantuvieron sin cambios, de acuerdo con el análisis que recoge Semrush.
| Crawler | Rechazo el 14 de septiembre | Rechazo el 16 de septiembre |
|---|---|---|
| GPTBot (entrenamiento) | 18,9% | 22,0% |
| ClaudeBot (entrenamiento) | 19,9% | 22,8% |
| OAI-SearchBot (búsqueda de IA) | 16,9% | 3,0% |
"Search moved the most of any category."
Aleyda Solis, consultora SEO, compartió esta lectura en X al comentar los datos de SeenSure, recogidos por Semrush.
Indexación en buscadores, uso para entrenar modelos y aparición en respuestas de IA son decisiones separadas. El ajuste de Cloudflare solo cubre entrenamiento; sus controles propios para resúmenes de IA seguían en desarrollo y llegarían el próximo año. Para un sitio sin publicidad, Cloudflare recomienda dejar el entrenamiento en Allow por defecto; para uno que vive de anuncios en su contenido, recomienda activar Disallow AI Training.
Una regla en robots.txt es una solicitud, no una barrera. Gary Illyes, de Google, lo explicó en un video de Search Central de octubre: según el estándar RFC 9309, robots.txt regula qué URLs puede pedir un crawler, y "doesn't dictate what a system does with the data after it has already crawled it", según Search Engine Journal. Cloudflare puede detectar y bloquear a los crawlers que ignoren sus reglas, pero en el caso de Google, Apple y Microsoft depende de un compromiso hecho con una empresa que vende productos de bloqueo de bots y que redactó el estándar "Accountable". Cloudflare dice que hará seguimiento público del cumplimiento en Cloudflare Radar.
Lo que cambió en octubre: una exclusión común en robots.txt
El 30 de octubre, Google, Microsoft y OpenAI anunciaron que respetarán una línea compartida de robots.txt para declarar preferencias de entrenamiento de IA, según Search Engine Journal. La línea sale de un Internet Draft que Kevin Kelley, de Anthropic, presentó al grupo de trabajo AI Preferences de la IETF. Es un borrador individual: no representa una estandarización oficial de la IETF y vence el 3 de mayo de 2027 si no lo reemplaza una versión nueva.
No agrega directivas nuevas. Es un grupo normal de robots.txt bajo el token __usage_ai-training, con los Allow y Disallow de siempre. El borrador trae este ejemplo, que excluye del entrenamiento todo el sitio salvo la carpeta de prensa:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Tres detalles cambian cómo lo configuras:
- Un grupo comodín (
User-Agent: *) nunca aplica a este token, y las reglas que ya tienes publicadas no cuentan como preferencia de entrenamiento. - Un robots.txt sin grupo
__usage_ai-trainingequivale a "sin preferencia", que hoy es el estado de todos los archivos publicados. - El token no controla el rastreo, solo el uso para modificar modelos de IA generativa. Los modelos de tareas no generativas, como clasificación o ranking, quedan fuera de la definición.
Ninguna de las tres empresas la lee todavía, según los plazos que ellas mismas publicaron. Y cada una la interpreta distinto:
| Empresa | Qué hará con la línea común | Cuándo |
|---|---|---|
| La tratará como un bloqueo de Google-Extended si el sitio no declara Google-Extended | 2027 (su documentación dice comienzos de 2027) | |
| Microsoft | La usará para entrenamiento y suma una preferencia aparte de AI Grounding por página | Desde el 1 de febrero de 2027 |
| OpenAI | La respetará; su política actual de robots.txt sigue vigente | En los próximos meses |
| Anthropic | Inició el desarrollo; hoy ofrece ClaudeBot, Claude-User y Claude-SearchBot | Sin fecha |
OpenAI no aclaró qué pasa si una regla de la línea común choca con una regla para GPTBot, según la revisión de su documentación que hizo SEJ. El borrador de Kelley, además, desplazó a otro: la regla Content-Usage que Illyes coescribió con Martin Thomson, de Mozilla, y que según Kelley el grupo dejó de lado para avanzar en el vocabulario.
El calendario de Microsoft para dejar NOARCHIVE
Microsoft es la única que reemplaza controles que los sitios ya usan. Krishna Madhavan, gerente principal de producto de Bing, separó tres opciones: AI Training, AI Grounding (si tu contenido ayuda a generar respuestas de IA) y DisallowExtended, que permite el grounding en Copilot y en AI Mode de Bing pero no en Web IQ, los servicios de grounding que Microsoft ofrece a otras empresas, según Search Engine Roundtable. La preferencia de entrenamiento también se puede fijar por página con meta tag o encabezado HTTP, y en ese caso manda sobre robots.txt.
- 15 de diciembre de 2026: abre en Bing Webmaster Tools una preferencia temporal de grounding, solo para sitios que a esa fecha usen NOARCHIVE o NOCACHE.
- 1 de febrero de 2027: Bing empieza a respetar las preferencias nuevas a medida que rastrea.
- 1 de marzo de 2027: NOARCHIVE y NOCACHE dejan de contar como preferencia de entrenamiento o grounding. Las páginas sin preferencia temporal quedan permitiendo el grounding hasta que Bing las vuelva a rastrear.
- 30 de septiembre de 2027: vencen las preferencias temporales.
Apenas Microsoft detecta una de las preferencias nuevas en un sitio, ignora cualquier NOARCHIVE o NOCACHE que quede en él. Bloquear el grounding reduce la visibilidad de la marca en respuestas de IA; ninguna de las restricciones afecta el ranking en Bing.
La lectura entre líneas
El ajuste de Cloudflare y la línea común prometen lo mismo, que no entrenen con tu contenido, pero en Google y en Microsoft no cubren los mismos usos. En Google, Google-Extended controla dos cosas a la vez: el entrenamiento de futuros modelos Gemini y el grounding en Gemini Apps y Vertex AI, según la documentación que cita SEJ. Por eso John Mueller escribió que Google leerá la línea común "as if the publisher had disallowed Google-Extended". Consecuencia directa: el sitio que activó Disallow AI Training en Cloudflare, que escribe un Disallow para Google-Extended, también quedó fuera del grounding en Gemini Apps. La documentación de Google no describe una forma de excluirse del entrenamiento de Gemini y seguir apareciendo ahí. Search, AI Overviews y AI Mode no se tocan: tienen su propio control de IA generativa en Search Console, desplegado a nivel mundial en agosto.
Microsoft, el rezagado de septiembre, terminó con el control más fino. Un medio que vive de anuncios puede negarle el entrenamiento a Microsoft y seguir dejando que Copilot cite sus artículos. Eso favorece a editores y marcas con contenido propio que quieren citas sin entregar datos de entrenamiento. Complica, en cambio, a quien configuró NOARCHIVE siguiendo el único camino que había y se olvidó del tema: desde el 1 de marzo de 2027 esa etiqueta deja de contar en IA, y si no registró la preferencia temporal, sus páginas quedan habilitadas para grounding hasta el siguiente rastreo.
La línea común es una buena noticia a medias. Un solo grupo de robots.txt podría reemplazar una pila de reglas por empresa, pero hoy nadie lo lee, es un borrador individual y la misma exclusión significa cosas distintas según quién la interprete. Lo que sí opera hoy son Google-Extended, los crawlers de entrenamiento por nombre y, por unos meses más, las etiquetas de Bing. Y la pregunta de septiembre sigue abierta: si Google, Apple y Microsoft se autodefinen como "Accountable" sin auditoría externa, el estándar depende de que cumplan lo prometido.
Ya lo documentamos cuando Google confirmó un piloto de pago a editores en nuestra nota sobre cobrarle a los crawlers de IA por leer tu sitio: ese piloto sigue sin cifras claras, mientras que bloquear el entrenamiento es gratis y verificable en el propio robots.txt. Nuestra guía sobre presupuesto de rastreo de IA y robots.txt advertía que un archivo mal configurado cuesta visibilidad en IA sin que el sitio lo note; ahora ese archivo decide, además, quién entrena con tu contenido y, en Gemini, quién lo usa para responder.
Accionables para marcas en Chile y LatAm
Arma tu calendario con estas fechas y decide con datos, no por defecto:
- Esta semana, audita tu robots.txt. Busca reglas para Google-Extended, Applebot-Extended, GPTBot y ClaudeBot, y confirma que ninguna toque a Googlebot o Bingbot. Si bloqueas uno de esos dos por accidente, pierdes posicionamiento sin darte cuenta.
- Decide Google-Extended pensando en Gemini. Si tu sitio vive de anuncios o de contenido pago, Disallow AI Training sigue siendo gratis en cualquier plan de Cloudflare. Si te interesa aparecer citado en Gemini Apps, mide antes: bloquear Google-Extended también te saca del grounding ahí.
- Si usas NOARCHIVE o NOCACHE contra Bing, marca el 15 de diciembre. Ese día abre la preferencia temporal en Bing Webmaster Tools; regístrala si quieres seguir fuera del grounding. Antes del 1 de marzo de 2027, migra a AI Training, AI Grounding o DisallowExtended.
- Guarda tus citas en IA de hoy. Bing Webmaster Tools ya tiene un reporte AI Performance con citas, URLs citadas y consultas de grounding. Anota la cifra antes de tocar cualquier ajuste. Si te falta método, revisa cómo medir GEO sin datos de las plataformas.
- No reemplaces tus reglas por
__usage_ai-trainingtodavía. Ninguna empresa la lee hoy y Google, OpenAI y Kelley confirman que los controles actuales siguen funcionando. Agrégala cuando cada proveedor confirme soporte, sin borrar las reglas por crawler. - No uses robots.txt como única defensa. Es una solicitud que un crawler puede ignorar; si necesitas bloquear un bot específico, revisa también las reglas de firewall o bot management de tu proveedor.
¿Qué es Disallow AI Training de Cloudflare?
Es un ajuste gratuito, disponible en todos los planes de Cloudflare, que agrega automáticamente reglas al robots.txt para excluir del entrenamiento de IA a los tokens de Google y Apple dedicados a ese fin (Google-Extended y Applebot-Extended), sin bloquear a Googlebot, Bingbot ni Applebot, los crawlers que indexan para búsqueda.
¿Bloquear el entrenamiento de IA me saca de las respuestas de ChatGPT o Gemini?
Depende de la empresa. En Google, bloquear Google-Extended excluye tu contenido del entrenamiento de Gemini y del grounding en Gemini Apps, pero no de Search, AI Overviews ni AI Mode. En OpenAI, entrenamiento (GPTBot) y búsqueda (OAI-SearchBot) son crawlers distintos, así que puedes seguir visible en ChatGPT Search. En Microsoft, desde febrero de 2027 entrenamiento y grounding serán preferencias separadas.
¿Qué es la línea común __usage_ai-training?
Es el token de un grupo de robots.txt propuesto en un borrador de la IETF por Kevin Kelley, de Anthropic, para declarar una sola preferencia de entrenamiento ante todos los proveedores que lo adopten. Google, Microsoft y OpenAI anunciaron el 30 de octubre que lo respetarán, pero ninguno lo soporta todavía.



