Skip to main content
Cuando los usuarios hacen consultas en motores de búsqueda basados en inteligencia artificial (como ChatGPT Search, Perplexity o Claude), estos sistemas envían rastreadores web en tiempo real para leer tu sitio web y fundamentar sus respuestas con citas directas. Si tu archivo robots.txt bloquea a estos bots o contiene reglas restrictivas heredadas (como User-agent: * Disallow: /), los modelos de IA no podrán acceder a tu contenido público, omitirán tu marca y citarán a tus competidores. El Agente Robots.txt de Wudlet genera un archivo optimizado que autoriza explícitamente a los rastreadores de búsqueda e IA, restringe el acceso a carpetas privadas y declara tu mapa del sitio.

​
Estructura del archivo que genera el agente

El agente genera un archivo de texto con la siguiente configuración:
Las directivas Allow: / para bots como ChatGPT-User y PerplexityBot garantizan que los modelos de lenguaje puedan leer tu contenido público en tiempo real cuando un usuario pregunte por tus productos o servicios.

​
Cómo ejecutar el agente en Wudlet

1

1. Accede a la sección de Agentes

En el menú lateral de la plataforma, haz clic en Agentes.
2

2. Ejecuta el Agente Robots.txt

En la tarjeta Agente Robots.txt, haz clic en el botón Ejecutar agente.
3

3. Inicia la generación

En el panel lateral que se abrirá a la derecha, haz clic en Iniciar Agente Robots.txt. El agente analizará tu dominio y generará el archivo con las directivas correspondientes.
4

4. Copia o descarga el archivo

Haz clic en Copiar para transferir las reglas al portapapeles o en Descargar archivo para guardar el archivo robots.txt en tu computadora.

​
Dónde colocar el archivo generado

El archivo debe colocarse en la raíz pública de tu servidor web para que esté accesible en la siguiente dirección: https://tudominio.com/robots.txt\text{https://tudominio.com/robots.txt} Elige tu plataforma a continuación para ver las instrucciones de instalación:
  • Con Rank Math: Ve a Rank Math > Ajustes generales > Editar robots.txt. Pega el texto generado por Wudlet y haz clic en Guardar cambios.
  • Con Yoast SEO: Ve a Yoast SEO > Herramientas > Editor de archivos. En el campo de robots.txt, reemplaza el contenido y guarda los cambios.
  • Vía cPanel o FTP: Sube el archivo robots.txt descargado directamente a la carpeta raíz public_html de tu servidor.
  1. En tu panel de Shopify, ve a Tienda online > Temas.
  2. Haz clic en el botón de tres puntos (...) y selecciona Editar código.
  3. En la sección Plantillas (Templates), haz clic en + Añadir una nueva plantilla.
  4. Selecciona robots.txt para crear robots.txt.liquid.
  5. Pega las directivas generadas por Wudlet y haz clic en Guardar.
  1. En tu panel de control de Webflow, abre la configuración del proyecto (Project Settings).
  2. Ve a la pestaña SEO.
  3. Desplázate hacia abajo hasta la sección Robots.txt.
  4. Pega el texto generado por Wudlet en el campo de texto.
  5. Haz clic en Save Changes y publica tu sitio (Publish).
  • En Next.js tradicional (Pages Router o carpeta public): Guarda el archivo como public/robots.txt. Next.js lo servirá automáticamente en la ruta /robots.txt.
  • En Next.js App Router (app/robots.js): Puedes generar las reglas dinámicamente exportando la función de metadatos oficial:
Copia el archivo robots.txt descargado en el directorio raíz de tu servidor web:

​
Cómo comprobar que está funcionando

  1. Abre tu navegador web e ingresa directamente a: https://tudominio.com/robots.txt (sustituyendo por tu dominio real).
  2. Verifica que se visualice el texto plano con las directivas que acabas de configurar.
  3. Si el archivo carga correctamente sin mostrar un error 404 ni redireccionar a la página de inicio, tu configuración está activa y los rastreadores podrán leerlo.