Google actualizó su guía del crawler de anuncios, documentó una API de búsqueda restringida a partners y mantiene opaco su piloto de pago a editores por IA, todo en la misma semana. Mientras tanto, un sitio independiente ya cobra un centavo por página a agentes de IA como Claude.
La evidencia
El 17 de septiembre, Search Engine Journal reportó que Google reescribió su documentación del crawler Mediapartners-Google. Antes, el texto decía que las preferencias de rastreo dirigidas a ese user-agent afectaban solo a AdSense. La versión nueva, según cita la misma nota, dice que afectan a "varios productos de Google Ads relacionados con anuncios (por ejemplo, Google AdSense y Google Ad Manager)". Google amplió el alcance del crawler sin publicar la lista completa: no aclara si también cubre Google Marketing Platform, Local Services Ads o AdMob. Si tu robots.txt tiene reglas dirigidas a Mediapartners-Google pensando solo en AdSense, hoy esa regla controla más productos de los que creías.
Seis días antes, el 11 de septiembre, otra nota de Search Engine Journal documentó que Google actualizó, el 9 de septiembre, cinco páginas de su Web Search Service API: el servicio que entrega resultados de búsqueda completa vía REST o gRPC. Cada solicitud necesita un client ID atado a un acuerdo de partner, además de un proyecto de Google Cloud y una API key. Google no publica cómo una empresa se vuelve partner, ni el costo, ni los límites de consultas. El contexto es que la Custom Search JSON API cierra a nuevos clientes y se descontinúa el 1 de enero de 2027, y Google sigue sin ofrecer una ruta de migración pública para quien hoy usa esa API con fines de búsqueda completa.
El tercer movimiento es el que más le importa a un editor: cuánto paga Google por usar tu contenido en sus respuestas de IA. Según la pieza de Search Engine Journal firmada por Suganthan (17 de septiembre), Google confirmó a Digiday un piloto de contribución de IA que paga a algunos editores cuando su página aportó de forma significativa a una respuesta en AI Overviews, AI Mode o Gemini. Los editores que aceptan el piloto reciben una cifra mensual en Search Console, pero no el desglose de cómo se calculó. Un ejecutivo cercano al programa lo describió como una caja negra, y Google ya se acercó a decenas de editores, con más interés entre los sitios chicos que entre los grandes.
Mientras esos tres frentes de Google siguen sin reglas públicas, el mismo autor probó algo distinto desde agosto en su propio sitio: cobrar a cada agente de IA antes de dejarlo leer. Su demo corre en paid.suganthan.com, cobra 0,01 dólar por página vía el protocolo abierto x402, y el 15 de septiembre registró cinco pagos liquidados en blockchain, uno de ellos hecho por Claude Code. El mecanismo: el agente pide la página, el servidor responde con el código HTTP 402 (reservado desde 1997 y sin uso práctico hasta ahora) y una cabecera con el precio, el agente firma el pago en USDC, un facilitador lo liquida y el servidor entrega el contenido con un recibo de la transacción.
| Frente de Google | Qué cambió esta semana | Qué sigue sin publicar |
|---|---|---|
| Rastreo publicitario (Mediapartners-Google) | La guía ahora cubre "varios productos" de Ads, no solo AdSense | La lista completa de productos afectados |
| Búsqueda completa (Web Search Service API) | Documentó cinco páginas técnicas del servicio partner-only | Cómo volverse partner, costo y límites de consulta |
| Pago por aporte a IA (AI contribution pilot) | Confirmó el piloto a Digiday y ya paga a algunos editores | El desglose de cómo calcula el pago |
Conviene ser preciso con lo que la demo de x402 prueba y lo que no. Los cinco pagos del 15 de septiembre salieron de agentes propios del autor, no de un crawler de búsqueda real, y usaron USDC de testnet, sin valor monetario real. Ningún buscador está pagando hoy por leer una página bajo este esquema. Lo que sí está probado es que el mecanismo técnico funciona de punta a punta: precio, pago, liquidación y entrega, sin que el sitio necesite negociar antes con la plataforma que envía al agente.
La lectura entre líneas
Los tres movimientos de Google comparten un patrón: en cada frente, Google decide quién entra y cuánto le paga, y en los tres casos se reserva el criterio exacto. La guía de Mediapartners-Google amplía qué controla tu robots.txt sin decir sobre qué. La API de búsqueda completa exige un acuerdo de partner sin publicar cómo conseguirlo. El piloto de pago por IA entrega una cifra sin la fórmula detrás. Ninguno de los tres es malicioso por sí solo, pero juntos confirman que Google sigue siendo el único árbitro de las tres preguntas que más le importan a un editor: quién puede rastrear, quién puede consultar el índice completo y cuánto vale tu contenido para una respuesta de IA.
El protocolo x402 ataca justo esa asimetría. En lugar de esperar a que Google publique el criterio de su piloto o abra su programa de partners, un sitio pone su propio precio y lo cobra a cualquier agente que respete el estándar HTTP, sin pedirle una cuenta ni una API key, según describe el propio protocolo en x402.org. Cloudflare construye productos sobre la misma idea (Pay Per Crawl sigue en beta cerrada, con verificación vía Web Bot Auth), y el propio Google forma parte de la Fundación x402 bajo Linux Foundation desde el 14 de julio, junto a Visa, Mastercard, AWS y Stripe. Eso no es contradictorio: a Google también le conviene un estándar de pago que no dependa de negociar programa por programa, siempre que el precio de entrada lo siga fijando quien controla el tráfico.
Esto favorece a los editores que muevan primero, porque el x402 no requiere esperar la aprobación de nadie: cualquier sitio con capacidad técnica puede montar su propio 402 hoy mismo, mientras el piloto de Google sigue restringido a "decenas" de editores. Complica a los sitios chicos sin equipo técnico, que van a depender de que Cloudflare u otro intermediario empaquete el mecanismo antes de poder usarlo, igual como hoy dependen de que Google decida invitarlos a su piloto. Y deja una pregunta abierta que ninguna de las cuatro notas contesta: si los propios crawlers de búsqueda (Googlebot, GPTBot, ClaudeBot) empiezan a pagar por HTTP 402, ¿reemplaza eso al piloto de Google o convive con él? Por ahora, nadie lo ha anunciado.
Accionables para marcas en Chile y LatAm
Antes de que Google fije el estándar por defecto en los tres frentes, define tu propia política de acceso esta semana:
- Revisa a qué apunta tu robots.txt hoy. Si tienes reglas dirigidas a Mediapartners-Google pensando solo en AdSense, confirma con tu equipo técnico si también corren campañas en Google Ad Manager que ese mismo user-agent ahora puede afectar. Nuestra guía sobre presupuesto de IA y robots.txt detalla qué bots de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) auditar primero.
- Si usas la Custom Search JSON API para resultados de todo el web, no esperes al 1 de enero de 2027. Solicita hoy el formulario de partner de Google para el Web Search Service API: la documentación no promete plazo de respuesta, y no hay ruta de migración pública todavía.
- Si postulas al piloto de pago por IA de Google, exige el desglose por escrito, aunque hoy Search Console solo entregue el total. El registro documentado te sirve para negociar cuando (o si) Google publique el criterio completo.
- Antes de decidir si bloquear, negociar o probar un cobro tipo x402, mide primero cuánto tráfico y cuántas citas te generan hoy los crawlers de IA. Bloquear sin medir reduce tu visibilidad en las respuestas que sí te citan bien, un riesgo que ya documentamos en el litigio de editores contra AI Overviews.
- Si tienes equipo técnico disponible, prueba el protocolo x402 en una sola sección de bajo tráfico, como hizo el autor de la demo, antes de aplicarlo a todo el sitio. Es una prueba de concepto, no un canal de ingresos: hoy ningún buscador real paga bajo este esquema.
¿Qué es x402 y cómo cobra a un agente de IA por leer una página?
Es un protocolo abierto que usa el código HTTP 402 (Payment Required) para que un servidor exija pago antes de entregar contenido. El agente recibe el precio, firma una transferencia en una stablecoin, un facilitador la liquida en blockchain y el servidor entrega la página con un recibo. No requiere cuenta previa ni API key.
¿La nueva guía de Mediapartners-Google cambia mi robots.txt hoy mismo?
No cambia el archivo automáticamente, pero cambia qué productos afecta la regla que ya tienes escrita. Si bloqueas o permites Mediapartners-Google pensando solo en AdSense, revisa con tu equipo si esa decisión también debería aplicar a Google Ad Manager u otros productos de anuncios, porque Google no publicó la lista completa de los que ahora cubre.
