Crawlers
robots.txt ya no es solo para Google
Un Disallow: / silencioso te borra de las respuestas con fuente. Cada motor trae su user-agent. Googlebot no implica GPTBot. Meridiano lee tu robots.txt y marca qué IAs tienen puerta.
Actualizado el 2026-09-04 · LRA Agencia Creativa · Ciudad de México
User-agents que importan
GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Anthropic-AI, PerplexityBot, Google-Extended, Grok, bingbot. Permítelos con User-agent + Allow: / o no los menciones si la regla por defecto es Allow.
Plantilla mínima
User-agent: * / Allow: / y luego bloques explícitos Allow para GPTBot, ClaudeBot, PerplexityBot, Grok y Google-Extended. Sitemap: https://tudominio.com/sitemap.xml.
Lo que no hacer
Copiar un gist de “bloquear AI scrapers”. Mezclar Google-Extended con Googlebot. Poner el sitemap en un host que da HTML. Meridiano detecta esos tres.
Preguntas frecuentes
¿Allow entrena el modelo con mi contenido?+–
Puede. También te pone en las respuestas. Si tu negocio vive de ser citado, Allow. Si es un paywall estricto, evalúa caso por caso.
¿Meridiano cambia mi robots.txt?+–
No. Solo lo lee y te dice qué falta. La implementación la puedes hacer tú o LRA.
Sigue en el directorio
¿Quieres que LRA lo implemente?
Diagnóstico de 20 minutos. LRA Agencia Creativa. labratart.com.mx