Ana Fernández / SEO

Robots.txt y entrenamiento de IA: qué cambia con la señal

La señal __usage_ai-training de robots.txt: qué anunciaron Google, OpenAI, Microsoft y Anthropic, cómo se escribe, Google-Extended y qué hacer con tu sitio.

6 de noviembre de 2026 10 min de lecturapor Ana Fernández

El entrenamiento de IA tiene desde el 30 de octubre una línea propia en el robots.txt, y cuando la buscamos en Google desde Chile, el resumen con IA respondió con un ejemplo listo para copiar y pegar: User-agent: * y debajo Disallow: /__usage_ai-training. Esa regla no hace nada de lo que promete (después vemos por qué).

O sea, la noticia es buena y la forma en que está circulando tiene trampa. Te explico qué anunciaron Google, OpenAI, Microsoft y Anthropic, cómo se escribe la señal de verdad, qué no hace y qué haría yo con el sitio de una empresa en Chile o Perú. Mi lectura corta: para la mayoría de las empresas lo urgente este año es revisar lo que ya bloquearon sin querer y decidir por carpeta, porque en Google decir que no al entrenamiento por esta vía también te saca de las respuestas de Gemini.

¿Qué anunciaron Google, OpenAI, Microsoft y Anthropic?

El 30 de octubre de 2026 pasaron cuatro cosas el mismo día. Kevin Kelley, de Anthropic, publicó en la IETF (el organismo que define buena parte de los estándares de internet) un borrador llamado Machine-Readable Training Preference Signal. Google lo anunció en el blog de Search Central, Microsoft en el blog de Bing y OpenAI en su propio anuncio: las tres empresas van a respetar la misma señal.

La idea es simple. Hasta ahora, si querías sacar tu contenido del entrenamiento de modelos, tenías que bloquear bot por bot: GPTBot de OpenAI, Google-Extended de Google, ClaudeBot de Anthropic, y así con cada empresa nueva que aparecía. La señal común reemplaza esa lista por un solo grupo de reglas que todas las empresas participantes prometen leer.

¿Por qué ahora? El anuncio lo conecta con el pedido de editores y reguladores, y con el Código de buenas prácticas de la Unión Europea para modelos de propósito general (parte de la Ley de IA europea), que reconoce el robots.txt como la vía para expresar esa decisión.

¿Cómo se escribe la señal en el robots.txt?

El borrador no inventa directivas nuevas. Usa la misma gramática del RFC 9309, el estándar del robots.txt, y cambia solo una cosa: en la línea User-Agent, en vez del nombre de un bot, va el token __usage_ai-training. El ejemplo del propio borrador dice "no quiero que entrenen con mi sitio, salvo con el kit de prensa":

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Debajo puedes usar las reglas de siempre por carpeta, con la coincidencia más larga como desempate. Un archivo que no tiene ese grupo no expresa ninguna preferencia, y los rastreadores que no conocen el token lo ignoran igual que a cualquier bot desconocido, así que agregarlo no rompe nada.

Ahora, el ejemplo del resumen con IA de Google:

User-agent: *
Disallow: /__usage_ai-training

Eso le pide a todos los bots que no visiten una URL llamada /__usage_ai-training, que en tu sitio probablemente no existe. Y el borrador es explícito en otro punto: el grupo comodín (User-Agent: *) no cuenta como señal. Quien copie ese bloque queda exactamente igual que antes, con la sensación de haber hecho la tarea.

¿Qué no hace la nueva señal?

Esta parte conviene leerla antes de tocar el archivo:

  • No frena el rastreo. El borrador dice que el token expresa una preferencia de uso y que no es una directiva de rastreo. El bot puede seguir visitando tu sitio; lo que cambia es lo que promete hacer con lo que lee.
  • No es retroactiva. Vale el robots.txt vigente cuando se recogió el contenido. Lo que ya entró al entrenamiento de un modelo se queda ahí.
  • No es un estándar todavía. Es un borrador individual sin aval formal de la IETF, que vence el 3 de mayo de 2027 si no se renueva.
  • No obliga a nadie. Los rastreadores que ignoran el robots.txt lo van a seguir ignorando. Para bloquear de verdad a esos existen el firewall del servidor o las reglas de tu CDN, como Cloudflare.
  • Los acuerdos privados pasan por encima. Si un medio firmó una licencia con una empresa de IA, manda el contrato.
  • No crea pago. Microsoft lo dice directo: estas preferencias no generan acuerdos de licencia ni de pago.

¿Cuándo empieza a respetarla cada empresa?

Desde el anuncio del 30 de octubre, ninguna de las empresas la aplica completa. El calendario, según lo que publicó cada una:

EmpresaQué dijoDesde cuándo
AnthropicKevin Kelley escribió en la lista de la IETF que ya empezaron a implementarlaSin fecha
OpenAILa va a implementar y mantiene sus controles actuales"En los próximos meses"
GoogleLa leerá como un bloqueo de Google-ExtendedPrincipios de 2027, según su documentación
MicrosoftReemplaza sus etiquetas NoArchive y NoCache1 de febrero de 2027
MetaAndy Stone, su jefe de comunicaciones, apoyó la idea en XSin compromiso

Hasta que cada empresa la aplique, las reglas para bloquear bot por bot que ya tienes siguen siendo las que funcionan. Si las borras para "ordenar" el archivo, pierdes cobertura durante meses (y te toca rehacer la pega).

¿Bloquear el entrenamiento de IA te saca de ChatGPT o de Google?

Depende de la empresa. En su robots.txt, cada una separa de distinta forma entrenar (tu contenido modifica el modelo) y citar (el asistente busca tu página para responder y te enlaza):

Bot o tokenDe quiénPara quéSi lo bloqueas
GooglebotGoogleBúsqueda, AI Overviews y Modo IATe sales de la búsqueda
Google-ExtendedGoogleGemini: versiones futuras y grounding en Gemini AppsSigues en la búsqueda; te sales de Gemini Apps
GPTBotOpenAIEntrenar modelosTu contenido no entrena; sigues en ChatGPT search
OAI-SearchBotOpenAIBúsqueda de ChatGPTDejas de aparecer en ChatGPT search
ClaudeBotAnthropicDatos para ClaudeTu contenido no entrena a Claude
CCBotCommon CrawlArchivo abierto que usan muchos desarrolladores de IASales de las copias nuevas de Common Crawl

OpenAI es el caso más limpio: según su documentación de bots, puedes bloquear GPTBot y dejar pasar a OAI-SearchBot para seguir apareciendo en sus respuestas.

Google: Gemini viene en el mismo paquete

Según su anuncio, si usas la señal para excluirte y no tienes una regla explícita para Google-Extended, lo va a leer como si hubieras bloqueado Google-Extended. Y Google-Extended controla dos cosas: el entrenamiento de futuros modelos Gemini y el grounding en Gemini Apps y Vertex AI. Su documentación de rastreadores agrega que los sitios que permiten Google-Extended pueden aparecer en las respuestas de Gemini Apps y recibir clics.

Lo que no toca es la búsqueda. Google-Extended no afecta tu inclusión ni tu ranking en los resultados, y los AI Overviews dependen de Googlebot. Si quieres negarte a los modelos y seguir en Gemini, la salida es dejar una regla explícita de Allow para Google-Extended, que tiene prioridad por ser más específica.

Microsoft: modelos y grounding por separado

Microsoft es más fino. La exclusión de modelos se puede marcar en el robots.txt o página por página, con una etiqueta meta o un encabezado. El grounding (que tu página sirva de fuente para una respuesta generada) va solo por página, con tres opciones: permitir, prohibir o DisallowExtended, que lo permite en sus productos propios, como Copilot y Microsoft 365, y lo niega en los servicios de grounding que vende a terceros.

Si tu sitio usa NoArchive o NoCache, hay fechas que anotar. Desde el 15 de diciembre de 2026, Bing Webmaster Tools habilita preferencias temporales de grounding para esos sitios. Desde el 1 de febrero de 2027 se respetan las preferencias nuevas, y después del 1 de marzo de 2027 NoArchive y NoCache dejan de contar para el entrenamiento.

¿Qué haría yo con el robots.txt de una empresa en Chile o Perú?

En el artículo sobre robots.txt planteé que los bots de IA obligan a tomar dos decisiones separadas: si quieres que tu contenido entrene modelos y si quieres que te citen. Con esta noticia se suma una tercera: decir que no por la señal común también decide lo de Gemini.

Mi criterio por tipo de sitio, como punto de partida:

Tipo de sitioQué haría con la señal
Medio o editorial cuyo producto es el contenidoEvaluar el no para todo el sitio, con Allow explícito a Google-Extended si quieres seguir en Gemini
EcommerceNada por ahora; las fichas y categorías son lo que quieres que la IA conozca
SaaS B2BAbrir producto, precios y casos; decidir aparte sobre documentación o investigación propia
Seguros y fintechAbrir las páginas de coberturas y tarifas, que son las que quieres que la IA describa bien

En seguros esto pesa más de lo que parece. Cuando una IA explica mal una cobertura, muchas veces es porque leyó poco o leyó una fuente vieja, y en cómo lograr que ChatGPT describa bien tus coberturas está el detalle. Y eso no se arregla negándole el entrenamiento.

Los pasos que seguiría:

  1. Abrir tusitio.com/robots.txt y la configuración de bots del CDN. Cloudflare bloquea por defecto, desde el 15 de septiembre de 2026, los bots de entrenamiento y de agentes en las páginas con anuncios de los dominios nuevos, y a veces alguien marcó esa opción sin avisar.
  2. Anotar qué decisión tomó la empresa en cada regla de IA que ya existe: entrenar, citar o las dos.
  3. Si hay contenido que de verdad quieres bloquear para los modelos (un estudio pagado, una base de datos), agregar el grupo con la señal solo para esa carpeta.
  4. No borrar las reglas por bot que ya funcionan.
  5. Medir antes y después en los asistentes, con las preguntas que haría tu cliente. El método está en cómo medir la visibilidad en LLMs.

Ojo con los logs: como el token no cambia el rastreo, en los logs del servidor no vas a ver ninguna diferencia. Sí te sirven para saber qué bots de IA te visitan hoy (en crawl budget explico cómo agruparlos).

Preguntas frecuentes

¿La señal afecta mi posicionamiento en Google?

No debería. Google-Extended no es una señal de ranking y la búsqueda depende de Googlebot. Revisa, eso sí, que nadie haya bloqueado a Googlebot por error.

¿Ya funciona?

Todavía no de forma completa en ninguna de las cuatro empresas. Microsoft parte el 1 de febrero de 2027, Google a principios de 2027, OpenAI en los próximos meses y Anthropic sin fecha.

¿Puedo cobrar si permito que entrenen con mi contenido?

No a través de esta señal. Solo comunica qué quieres y no crea acuerdos de pago.

Qué revisaría esta semana

Si tienes media hora, abre tu robots.txt y busca dos cosas: un bloque como el que muestra hoy el resumen de Google (si alguien ya lo pegó, bórralo, porque no hace nada) y reglas de IA que nadie en el equipo sepa explicar. Después decide carpeta por carpeta qué quieres que la IA lea. El robots.txt de este sitio, por si sirve de referencia, tenía tres líneas y todo abierto cuando lo revisé en octubre, porque lo que me interesa es que la IA entienda bien qué hacemos.

Recurso gratuito semanal

Recibe los recursos de SEO enterprise antes que nadie

Cada semana publicamos un recurso gratuito nuevo: auditorías interactivas, calculadoras, checklists y plantillas que usamos de verdad con clientes enterprise. Deja tu email y te lo enviamos primero.

Sin spam. Puedes darte de baja cuando quieras.

Consultoría SEO enterprise

¿Quieres aplicar esto a tu marca?

Diseñamos programas SEO y GEO de extremo a extremo conectados a pipeline y revenue. Equipo senior, ejecución semanal, reporting ejecutivo.