OpenAI, Google, Microsoft y Anthropic anunciaron el 30 de octubre de 2026 que respetarán una señal común en el archivo robots.txt, con la que los sitios web podrán prohibir en un solo paso que su contenido se use para entrenar sistemas de IA. Hasta ahora, cada sitio debía configurar sus reglas empresa por empresa.
El robots.txt es el archivo donde un sitio indica a los programas que recorren internet qué partes pueden visitar. Las empresas de IA ya lo consultaban, pero cada una con su propio nombre de rastreador, de modo que un editor que quería excluirse de todas debía mantener una lista de reglas separadas.
La nueva señal funciona como una etiqueta de política común. Según The Verge, las cuatro empresas dijeron que impedirán el acceso de sus rastreadores de IA a un sitio que la incluya. La propuesta se discute en el grupo de trabajo sobre preferencias de IA del Grupo de Trabajo de Ingeniería de Internet (IETF), el organismo que fija estándares técnicos de la red.
OpenAI aclaró que la adhesión es voluntaria y que la señal no reemplaza los controles que ya ofrece. Dijo que la aplicará “en los próximos meses” y que dará más detalles cuando lo haga. También instó a otros proveedores de IA a respetarla.
Cada empresa tiene su propio calendario
Anthropic ya adoptó la señal, según The Verge. Google y Microsoft planean admitirla el año próximo, de acuerdo con el mismo medio. OpenAI no dio fecha concreta. Por eso la herramienta todavía no protege a ningún sitio frente a las cuatro compañías a la vez.
Google explicó en su blog para desarrolladores que, si un sitio usa la señal para negarse al entrenamiento y no menciona Google-Extended (su control propio desde 2023), lo tratará como si el editor hubiera bloqueado ese rastreador. La empresa señaló que otros proveedores pueden aplicar un criterio similar.
Los controles individuales seguirán vigentes. Un sitio podría, por ejemplo, excluirse de forma general y a la vez permitir a Google usar su contenido.
Google precisó que los sitios que permiten expresamente Google-Extended pueden aparecer en las respuestas de la aplicación Gemini y recibir clics.
Microsoft, según The Verge, ofrecerá además controles más finos: los editores podrán negarse al entrenamiento o al llamado anclaje, el proceso que conecta a un modelo con una fuente verificada para reducir errores. Los sitios seguirán apareciendo en los resultados de Bing, sin importar su elección.
Meta apoya la idea
Andy Stone, jefe de comunicaciones de Meta, dijo que crear una señal común para varios proveedores es “un paso importante” y que su empresa quiere trabajar con otras compañías de IA en su implementación. The Verge señaló que Stone no aclaró si Meta respetará la señal.
Meta aplazó del 30 de octubre al 20 de noviembre de 2026 la vigencia de unos términos comerciales que autorizan a la empresa a tomar contenido de los sitios web asociados a cuentas empresariales de Facebook e Instagram. Editores y reguladores de Europa solicitaron que fueran suspendidos.
El anuncio llega mientras los editores enfrentan un flujo constante de rastreadores de IA. Anteriormente, habían surgido otras iniciativas: el estándar Really Simple Licensing, que permite a los sitios cobrar a los rastreadores que los visitan, y la decisión de Cloudflare, empresa de infraestructura web, de bloquear por defecto a estos programas.
Google sostuvo que su propuesta responde a pedidos de editores, organizaciones civiles y reguladores, y que es coherente con el código de buenas prácticas de la Unión Europea para modelos de IA de uso general, que reconoce el robots.txt como método para expresar preferencias legibles por máquinas.
Google describió el mecanismo como un borrador en construcción: el IETF sigue discutiendo el resto del vocabulario de preferencias de IA. Google y Microsoft esperan aplicar la señal en 2027, según el medio, mientras que OpenAI publicará los detalles de su implementación en los próximos meses.
Fuente: infobae.com
