> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wudlet.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Agente Robots.txt

> Configura los permisos de rastreo para que motores de búsqueda e inteligencia artificial (ChatGPT, Perplexity, Claude) puedan acceder y citar tu sitio web protegiendo tus rutas privadas.

Cuando los usuarios hacen consultas en motores de búsqueda basados en inteligencia artificial (como ChatGPT Search, Perplexity o Claude), estos sistemas envían rastreadores web en tiempo real para leer tu sitio web y fundamentar sus respuestas con citas directas.

Si tu archivo `robots.txt` bloquea a estos bots o contiene reglas restrictivas heredadas (como `User-agent: * Disallow: /`), los modelos de IA no podrán acceder a tu contenido público, omitirán tu marca y citarán a tus competidores.

El **Agente Robots.txt** de Wudlet genera un archivo optimizado que autoriza explícitamente a los rastreadores de búsqueda e IA, restringe el acceso a carpetas privadas y declara tu mapa del sitio.

***

## Estructura del archivo que genera el agente

El agente genera un archivo de texto con la siguiente configuración:

```txt theme={null}
# Motores de búsqueda tradicionales
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Rastreadores de búsqueda e indexación de IA
User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Applebot-Extended
Allow: /

# Reglas generales y protección de rutas privadas
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/
Disallow: /auth/
Disallow: /private/

# Mapa del sitio
Sitemap: https://tudominio.com/sitemap.xml
```

<Info>
  Las directivas `Allow: /` para bots como `ChatGPT-User` y `PerplexityBot` garantizan que los modelos de lenguaje puedan leer tu contenido público en tiempo real cuando un usuario pregunte por tus productos o servicios.
</Info>

***

## Cómo ejecutar el agente en Wudlet

<Steps>
  <Step title="1. Accede a la sección de Agentes">
    En el menú lateral de la plataforma, haz clic en **Agentes**.
  </Step>

  <Step title="2. Ejecuta el Agente Robots.txt">
    En la tarjeta **Agente Robots.txt**, haz clic en el botón **Ejecutar agente**.
  </Step>

  <Step title="3. Inicia la generación">
    En el panel lateral que se abrirá a la derecha, haz clic en **Iniciar Agente Robots.txt**. El agente analizará tu dominio y generará el archivo con las directivas correspondientes.
  </Step>

  <Step title="4. Copia o descarga el archivo">
    Haz clic en **Copiar** para transferir las reglas al portapapeles o en **Descargar archivo** para guardar el archivo `robots.txt` en tu computadora.
  </Step>
</Steps>

***

## Dónde colocar el archivo generado

El archivo debe colocarse en la **raíz pública** de tu servidor web para que esté accesible en la siguiente dirección:

$$
\text{https://tudominio.com/robots.txt}
$$

Elige tu plataforma a continuación para ver las instrucciones de instalación:

<AccordionGroup>
  <Accordion title="WordPress" icon="wordpress">
    * **Con Rank Math:** Ve a **Rank Math** > **Ajustes generales** > **Editar robots.txt**. Pega el texto generado por Wudlet y haz clic en **Guardar cambios**.
    * **Con Yoast SEO:** Ve a **Yoast SEO** > **Herramientas** > **Editor de archivos**. En el campo de robots.txt, reemplaza el contenido y guarda los cambios.
    * **Vía cPanel o FTP:** Sube el archivo `robots.txt` descargado directamente a la carpeta raíz `public_html` de tu servidor.
  </Accordion>

  <Accordion title="Shopify" icon="shopify">
    1. En tu panel de Shopify, ve a **Tienda online** > **Temas**.
    2. Haz clic en el botón de tres puntos (`...`) y selecciona **Editar código**.
    3. En la sección **Plantillas** (*Templates*), haz clic en **+ Añadir una nueva plantilla**.
    4. Selecciona **robots.txt** para crear `robots.txt.liquid`.
    5. Pega las directivas generadas por Wudlet y haz clic en **Guardar**.
  </Accordion>

  <Accordion title="Webflow" icon="cube">
    1. En tu panel de control de Webflow, abre la configuración del proyecto (**Project Settings**).
    2. Ve a la pestaña **SEO**.
    3. Desplázate hacia abajo hasta la sección **Robots.txt**.
    4. Pega el texto generado por Wudlet en el campo de texto.
    5. Haz clic en **Save Changes** y publica tu sitio (*Publish*).
  </Accordion>

  <Accordion title="Next.js / Vercel" icon="code">
    * **En Next.js tradicional (Pages Router o carpeta `public`):** Guarda el archivo como `public/robots.txt`. Next.js lo servirá automáticamente en la ruta `/robots.txt`.
    * **En Next.js App Router (`app/robots.js`):** Puedes generar las reglas dinámicamente exportando la función de metadatos oficial:
      ```javascript theme={null}
      export default function robots() {
        return {
          rules: [
            {
              userAgent: ['ChatGPT-User', 'OAI-SearchBot', 'PerplexityBot', 'ClaudeBot'],
              allow: '/',
            },
            {
              userAgent: '*',
              allow: '/',
              disallow: ['/admin/', '/api/', '/checkout/'],
            },
          ],
          sitemap: 'https://tudominio.com/sitemap.xml',
        };
      }
      ```
  </Accordion>

  <Accordion title="Servidor propio (Nginx / Apache)" icon="server">
    Copia el archivo `robots.txt` descargado en el directorio raíz de tu servidor web:

    ```bash theme={null}
    cp robots.txt /var/www/html/robots.txt
    ```
  </Accordion>
</AccordionGroup>

***

## Cómo comprobar que está funcionando

1. Abre tu navegador web e ingresa directamente a: `https://tudominio.com/robots.txt` (sustituyendo por tu dominio real).
2. Verifica que se visualice el texto plano con las directivas que acabas de configurar.
3. Si el archivo carga correctamente sin mostrar un error 404 ni redireccionar a la página de inicio, tu configuración está activa y los rastreadores podrán leerlo.