> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wudlet.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Descripción general de Crawler Analytics

> Obtén visibilidad en tiempo real de cómo los sistemas de IA, motores de búsqueda y rastreadores LLM leen e interactúan con tu sitio web.

## Resumen

**Wudlet Crawler Analytics** proporciona visibilidad de nivel empresarial a nivel de servidor sobre cómo interactúan los sistemas de inteligencia artificial con tu presencia digital. A medida que los motores de búsqueda de IA y los asistentes conversacionales se convierten en los principales canales de descubrimiento, comprender y optimizar la visibilidad de tu sitio web para la IA es indispensable para cualquier estrategia digital moderna.

Cada visita de un agente de IA representa un potencial punto de contacto con nuevos clientes. Cuando los usuarios preguntan a ChatGPT, Claude o Perplexity por recomendaciones de productos, comparativas de software o respuestas técnicas, estos sistemas recuperan activamente contenido web en tiempo real para sintetizar sus respuestas. Wudlet revela esta capa oculta de tráfico, brindándote los datos necesarios para liderar la Optimización para Motores Generativos (GEO).

<CardGroup cols={2}>
  <Card title="Rastreo de IA en tiempo real" icon="radar">
    Detecta rastreadores de IA y agentes de recuperación en el momento exacto en que acceden a tus páginas.
  </Card>

  <Card title="Clasificación por intención" icon="filter">
    Distingue entre consultas de usuarios en vivo, indexación de motores de búsqueda y recolección para entrenamiento.
  </Card>

  <Card title="Volumen de respuestas de IA" icon="sparkles">
    Mide con qué frecuencia las principales plataformas de IA recuperan tu contenido para responder preguntas de usuarios.
  </Card>

  <Card title="Rutas más visitadas" icon="compass">
    Identifica de qué páginas dependen más los modelos de IA y descubre puntos ciegos en tu indexación.
  </Card>
</CardGroup>

***

## El desafío de la analítica en la era de la IA

### El auge de las interacciones web impulsadas por IA

Los sistemas de IA están transformando radicalmente la forma en que se descubre y consume la información en internet. Motores de respuesta como ChatGPT Search, Claude, Google Gemini y Perplexity ya no se limitan a indexar palabras clave: interpretan, sintetizan y presentan tu contenido directamente a los usuarios en respuestas conversacionales "zero-click".

Si tu sitio web no es rastreado, comprendido y recuperado activamente por estos agentes de IA, tu marca quedará invisible en los canales de búsqueda de mayor crecimiento.

### Por qué la analítica tradicional no funciona

Las herramientas de analítica web tradicionales (como Google Analytics, Mixpanel o Segment) fueron diseñadas exclusivamente para visitantes humanos en navegadores convencionales. Dependen de:

* Ejecutar scripts de seguimiento en JavaScript del lado del cliente.
* Almacenar cookies en el navegador y gestionar sesiones de usuario.
* Rastrear movimientos de ratón, clics y navegación visual.

Los sistemas de IA operan de manera totalmente diferente:

* **No ejecutan JavaScript:** Los bots de IA solicitan directamente el código HTML y markdown sin procesar scripts del lado del cliente.
* **No mantienen sesiones ni cookies:** Los rastreadores de IA no almacenan cookies ni registran historiales de sesión.
* **Acceso mediante servidores especializados:** Las peticiones provienen de rastreadores y agentes de recuperación automatizados.
* **Comportamiento según propósito:** Los patrones de navegación varían según si el bot está indexando contenido, entrenando modelos fundacionales o respondiendo a la consulta en vivo de un usuario.

<Note>
  Dado que la analítica tradicional requiere la ejecución de JavaScript en el navegador, ignora por completo el tráfico de los agentes de IA (registrando 0 visitas) o lo clasifica erróneamente como tráfico rebotado o errores genéricos de servidor.
</Note>

***

## La solución de Wudlet

Wudlet Crawler Analytics fue desarrollado específicamente para monitorizar el comportamiento de los sistemas de IA:

### 1. Arquitectura a nivel de infraestructura y Edge

Al integrarse directamente en el nivel de red o servidor (como Workers de Cloudflare o Log Drains de Vercel), Wudlet captura el 100% de las solicitudes antes de que se almacenen en caché o se procesen en el cliente, garantizando una visibilidad total.

### 2. Cero impacto en la latencia

Wudlet procesa la telemetría de forma completamente asíncrona en segundo plano (mediante `event.waitUntil()`). Tu servidor de origen y los tiempos de carga para tus usuarios experimentan **0 ms de latencia adicional**.

### 3. Clasificación inteligente de intención

No todas las visitas de bots de IA tienen el mismo impacto de negocio. Wudlet clasifica automáticamente cada visita según su intención real:

| Intención                    | Descripción                                                                                             | Ejemplos                                                 | Valor para el negocio                                                                                |
| :--------------------------- | :------------------------------------------------------------------------------------------------------ | :------------------------------------------------------- | :--------------------------------------------------------------------------------------------------- |
| **Recuperación (Retrieval)** | Peticiones en tiempo real originadas por un usuario activo que hace una consulta en un asistente de IA. | `chatgpt-user`, `claude-user`, `perplexity-user`         | **Alto:** Refleja clientes potenciales investigando activamente tu categoría en tiempo real.         |
| **Indexación (Indexing)**    | Rastreadores que analizan y catalogan tus páginas para actualizar las bases de datos de búsqueda de IA. | `oai-searchbot`, `perplexitybot`, `googlebot`, `bingbot` | **Crítico:** Garantiza que tus contenidos y novedades aparezcan en los resultados de búsqueda de IA. |
| **Entrenamiento (Training)** | Rastreadores que recolectan información web para entrenar futuros modelos fundacionales.                | `gptbot`, `claudebot`, `ccbot`, `bytespider`             | **Estratégico:** Permite conocer si tu contenido alimenta los datos de entrenamiento de los modelos. |
| **Validación (Validation)**  | Comprobaciones automatizadas para verificar cumplimiento de políticas o verificación de anuncios.       | `oai-adsbot`                                             | **Operativo:** Asegura que tu sitio cumpla con los estándares de la plataforma.                      |

### 4. Volumen de respuestas de IA (AI Answer Volume)

La métrica **Volumen de respuestas de IA** mide las solicitudes de recuperación bajo demanda provenientes de los principales operadores (OpenAI, Anthropic, Perplexity). Un aumento constante en esta métrica indica que los modelos de IA citan tu marca con mayor frecuencia para responder dudas reales de consumidores.

### 5. Rutas más visitadas (Top Paths)

Descubre qué URLs, artículos de blog o páginas de producto consultan con mayor frecuencia los agentes de IA:

* Identifica los contenidos de mayor impacto que la IA utiliza para generar respuestas precisas.
* Detecta páginas clave huérfanas o desatendidas que los rastreadores de IA no logran descubrir.
* Optimiza la arquitectura de tu sitio web y metadatos para maximizar la absorción de información por la IA.

***

## Plataformas y rastreadores de IA soportados

Wudlet identifica y cataloga de forma continua los agentes de los principales laboratorios y motores de IA:

| Plataforma / Operador | Rastreadores y agentes                                  | Intenciones principales                             |
| :-------------------- | :------------------------------------------------------ | :-------------------------------------------------- |
| **OpenAI**            | `chatgpt-user`, `oai-searchbot`, `gptbot`, `oai-adsbot` | Recuperación, Indexación, Entrenamiento, Validación |
| **Anthropic**         | `claude-user`, `claude-searchbot`, `claudebot`          | Recuperación, Indexación, Entrenamiento             |
| **Perplexity**        | `perplexity-user`, `perplexitybot`                      | Recuperación, Indexación                            |
| **Google**            | `googlebot`, `google-extended`                          | Indexación, Entrenamiento                           |
| **Microsoft**         | `bingbot`                                               | Indexación                                          |
| **Apple**             | `applebot`                                              | Indexación                                          |
| **Meta**              | `meta-externalagent`                                    | Entrenamiento                                       |
| **ByteDance**         | `bytespider`                                            | Entrenamiento                                       |
| **Cohere**            | `cohere-ai`                                             | Entrenamiento                                       |
| **Common Crawl**      | `ccbot`                                                 | Entrenamiento                                       |

***

## Métodos de implementación

Wudlet ofrece opciones de integración no intrusivas que se adaptan a cualquier arquitectura tecnológica:

### Integraciones en CDN y Edge (Recomendado)

Captura las solicitudes a nivel de red antes de la capa de caché para máxima precisión:

* **Cloudflare:** Despliegue automatizado de un Worker en 1 clic desde el panel de control de Wudlet mediante la API REST de Cloudflare.
* **Vercel:** Integración nativa mediante Log Drain para transmitir registros de acceso en tiempo real hacia Wudlet.
* **AWS CloudFront:** Despliegue mediante plantilla de CloudFormation o Lambda\@Edge.
* **Google Cloud CDN, Fastly, Netlify y Akamai:** Reenvío automático de registros y scripts edge.

***

## Seguridad empresarial y privacidad de datos

Wudlet cumple con los más altos estándares de privacidad y seguridad:

* **Sin recopilación de PII:** Solo se analizan metadatos del rastreador (User-Agent, ruta solicitada, código de estado HTTP e IP anonimizada). No se procesan datos personales de tus usuarios.
* **Credenciales efímeras:** Las credenciales de terceros (como tokens de Cloudflare) se procesan únicamente en memoria durante el despliegue y nunca se almacenan permanentemente en la base de datos.
* **Cifrado integral:** Todos los datos se transmiten con cifrado TLS 1.3 y se almacenan en reposo mediante AES-256.
* **Control de acceso basado en roles (RBAC):** Gestiona accesos por niveles de organización y proyecto.

***

## Empezar

¿Listo para descubrir cómo los motores de IA leen tu sitio web?

<CardGroup cols={2}>
  <Card title="Conectando tus datos" icon="plug" href="/crawler-analytics/conecta-tus-datos">
    Guías paso a paso para configurar Cloudflare, Vercel o servidores personalizados en cuestión de minutos.
  </Card>

  <Card title="Visibilidad en IA" icon="chart-line" href="/concepts/ai-visibility">
    Descubre cómo Crawler Analytics se complementa con el seguimiento de visibilidad en búsquedas de IA de Wudlet.
  </Card>
</CardGroup>
