Acerca de «Probador de Robots.txt»
Una línea equivocada en robots.txt puede ocultar todo su sitio de los motores de búsqueda. Pega el archivo, ingresa un nombre de rastreador como Googlebot o Bingbot y enumere las URL o rutas que deseas verificar. Cada uno está marcado PERMITIDO o BLOQUEADO, con la regla exacta y el grupo usuario-agente que lo decidió.
El probador sigue las reglas documentadas de Google y RFC 9309: se aplica el grupo usuario-agente más específico, la ruta de coincidencia más larga gana, Permitir gana un empate y se admiten comodines y $. Otros rastreadores pueden interpretar los casos de borde de manera diferente.
Cómo usar «Probador de Robots.txt»
- Pega el contenido de robots.txt.
- Introduce el agente de usuario y las rutas a probar.
- Lee qué regla permite o bloquea cada URL.
Funciones
- Archivos por lotes: ejecuta la herramienta en hasta 200 archivos con la misma configuración y descarga todos los resultados como un ZIP
- Google / RFC 9309 coincidencia
- Wildcards y $
- Muestra la regla de decisión
- Prueba muchas URL a la vez
Formatos compatibles
- Texto sin formato
Preguntas frecuentes
¿El bloqueo de una página la elimina de Google?
No siempre. Una URL bloqueada todavía se puede indexar desde enlaces; usa una etiqueta noindex en una página rastreable para eliminarla.
¿Se envía mi texto a alguna parte?
No. Todo se ejecuta en tu navegador, por lo que nada de lo que pega se carga o almacena.