Saltar al contenido principal

Extracción de contenido

Configura cómo ChattyBox rastrea tu sitio web e indexa el contenido para las respuestas de IA.

Abre Conocimiento → Importar y actualizar, conecta tu sitio web, revisa las páginas descubiertas e importa o actualiza explícitamente la selección. La URL del sitio y la configuración avanzada de fuentes se guardan automáticamente; comprueba el estado del guardado, corrige los errores de validación o vuelve a intentarlo si falla. El descubrimiento y el guardado automático no importan páginas por sí solos. Importar páginas seleccionadas no sustituye la configuración de fuente guardada. La acción avanzada independiente Extraer ahora guarda primero los ajustes de fuente válidos y después ejecuta el modo configurado, no la selección del selector. El panel requiere una URL del sitio guardada incluso en el modo URLs manuales.

:::warning Solo HTML público ChattyBox obtiene HTML público y no ejecuta un navegador ni renderiza JavaScript. No aplica las directivas de rastreo de robots.txt; la detección automática de sitemaps puede leerlo para encontrar declaraciones de sitemap del mismo origen si las ubicaciones habituales no devuelven ninguna URL. El fallback del modo Crawl que sigue enlaces no utiliza esas declaraciones. robots.txt no es un control de acceso. Envía solo contenido que estés autorizado a indexar y selecciona explícitamente las fuentes en lugar de usar las reglas de robots para excluir páginas no deseadas. No se admiten la autenticación, la resolución de CAPTCHA ni el rastreo de redes privadas. :::

Para un despliegue de contenido público, consulta la guía del chatbot de IA para sitios web sobre cómo elegir documentación fiable, artículos de ayuda, páginas de productos y preguntas frecuentes antes de probar respuestas con citas.

Modos de scraping​

ChattyBox admite cuatro modos de scraping.

1. Solo la página de inicio​

Extrae solo la URL del sitio guardada, que puede ser una página concreta y no la raíz. Es ideal para una página de destino o una evaluación de una sola página.

2. Modo sitemap (Recomendado)​

Proporciona una URL de sitemap para descubrir páginas, incluidas las de sitemaps secundarios. Solo se conservan las URL de páginas del mismo origen que la URL del sitio web. Los límites de páginas, filtros y presupuesto de actualización siguen aplicándose; un sitemap no garantiza que se indexe toda URL.

https://example.com/sitemap.xml

Si URL del sitemap (opcional) está vacío, ChattyBox prueba primero cualquier sitemap detectado y después /sitemap.xml y /sitemap_index.xml. Si ninguno devuelve URL, utiliza solo la URL del sitio guardada. Un sitemap indicado explícitamente que no devuelva URL hace que el trabajo falle en vez de usar otra fuente. La búsqueda de sitemaps anidados tiene un límite de profundidad.

3. Crawl​

Comienza con una URL pública para descubrir páginas del mismo sitio. Primero prueba /sitemap.xml y /sitemap_index.xml; solo si no devuelven URL sigue enlaces del mismo origen desde la página inicial hasta la profundidad configurada (3 por defecto). Si un sitemap convencional devuelve URL, no sigue enlaces para completar lo que falte. Durante el seguimiento de enlaces, el crawler omite algunas URL habituales de cuentas, inicio de sesión, pago, búsqueda y recursos. Son heurísticas, no una protección de privacidad; revisa las páginas realmente indexadas.

4. URLs manuales​

Especifica las URL públicas exactas que quieres extraer, una por línea. Usa esto cuando quieras controlar con precisión qué páginas se indexan. No se amplían siguiendo enlaces; siguen aplicándose los límites de páginas y actualización.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Selección avanzada de URLs​

El panel permite configurar el modo, las URL del sitemap o manuales, el máximo de páginas y el calendario de actualización, pero no muestra campos para los patrones de inclusión/exclusión ni para la profundidad máxima del rastreo. La configuración como código admite estos ajustes avanzados. Los valores include/exclude son subcadenas de la URL que distinguen entre mayúsculas y minúsculas, no patrones glob ni expresiones regulares; las exclusiones prevalecen. Durante el rastreo de enlaces, no se siguen las páginas excluidas, por lo que excluir la página inicial puede impedir por completo el descubrimiento.

En sitios multilingües, incluye explícitamente las versiones públicas de los idiomas que necesites. La búsqueda en sitemaps y el rastreo de enlaces se limitan al mismo origen, así que un idioma alojado en un subdominio requiere una selección de fuente distinta. El idioma de la página se detecta a partir de la página y la URL; añadir un idioma al widget no traduce ni indexa el contenido que falta.

Límites de páginas​

Máximo de páginas es un límite de selección solicitado por ejecución, no un cupo incluido adicional; el editor del panel también valida el valor frente al límite que muestra. Si se omite, la solicitud usa por defecto el cupo de páginas de cuenta incluido en el plan. Antes de cada ejecución, ChattyBox vuelve a comprobar la capacidad del proveedor, da prioridad a las URL ya conocidas del proyecto y limita la admisión de URL nuevas a la capacidad restante del propietario. Vuelve a comprobar las nuevas plazas al guardar las páginas. El descubrimiento puede hacer solicitudes de red antes de conocer la selección final: no uses los límites de capacidad como frontera de privacidad ni como límite de solicitudes salientes. El selector de páginas limita por separado cada importación seleccionada a 500 URL y vuelve a comprobar la capacidad antes de empezar. Las páginas almacenadas incluidas se comparten entre los chatbots del propietario; consulta Precios para ver los cupos publicados y Cuenta y facturación para conocer la capacidad actual.

Hay que distinguir las páginas almacenadas del trabajo mensual de actualización. Cambiar la fuente o reducir el límite no elimina las páginas antiguas.

PlanPáginas de cuenta incluidasPresupuesto mensual de actualizaciónFrecuencia máxima
Free10500Semanal
Starter1505.000Diaria
Pro5.000100.000Diaria
Business25.000250.000Diaria

Pro y Business pueden activar excesos de páginas opcionales de pago por uso (PAYG) en Cuenta y facturación. Free y Starter mantienen un límite estricto. El cupo PAYG de páginas no aumenta el presupuesto mensual de actualización del crawler. Consulta los planes y límites y el cupo actual de tu cuenta antes de aumentar el tamaño de una ejecución.


Extracción de contenido​

Actualización del contenido​

  • La actualización automática es opcional. Free permite ejecuciones semanales o mensuales; los planes de pago también permiten ejecuciones diarias. «Mensual» significa cada 30 días, no en una fecha fija del calendario.
  • Extraer ahora no es un botón de reintento ilimitado. Deben pasar siete días en Free o 24 horas en los planes de pago desde la creación del último trabajo de scraping, incluso si falló. Un trabajo pendiente o en curso también bloquea otro scrape manual.
  • Cada página nueva y cada página cuyo texto extraído almacenado cambia consume una unidad del presupuesto mensual. Una página sin cambios actualiza sus metadatos sin consumir otra unidad de scraping; si hace falta, aún puede ponerse en cola una reparación de embeddings.
  • El presupuesto se comparte entre los proyectos del propietario y se reinicia al comienzo de cada mes natural UTC. No es un cupo separado para cada chatbot o trabajo.
  • Una actualización obtenida correctamente sustituye el texto almacenado. Los errores de obtención y las páginas de bloqueo o error rechazadas conservan el contenido anterior. Quitar una URL del sitemap o de la selección de fuentes no la elimina de la base de conocimiento: elimina las páginas no deseadas en Conocimiento → Páginas y retíralas también del descubrimiento futuro.

Progreso y contenido parcial​

Abre Conocimiento → Páginas, despliega Historial de importaciones cuando haya trabajos y selecciona uno en Trabajos de scraping para ver el estado, el número de páginas, las horas registradas y una estimación de la velocidad y el tiempo restante mientras se guardan las páginas. El descubrimiento ocurre antes de conocer el total final seleccionado, por lo que un recuento inicial de cero no significa necesariamente que el trabajo se haya detenido. El recuento incluye las páginas guardadas sin cambios, no los embeddings completados.

Completado solo significa que el trabajo terminó, no que todas las URL seleccionadas se procesaran correctamente. Puede guardar menos páginas por errores de obtención o por los límites de páginas o actualización, y una selección vacía puede terminar con cero páginas. Compara el recuento guardado y la lista de páginas con las URL esperadas. El detalle del trabajo muestra hasta 8 páginas guardadas; para colecciones mayores, consulta la vista paginada Conocimiento → Páginas. No es un informe completo de fallos por URL.

Indexado parcialmente indica que el texto extraído superó el límite de almacenamiento de 512 KiB UTF-8. Solo se conserva el principio y la interfaz muestra los bytes conservados frente a los extraídos. Un trabajo completado que incluya estas páginas muestra Completado con advertencias. Esta advertencia se refiere al texto truncado, no a todas las URL fallidas u omitidas. Si se han cortado secciones importantes, divide la referencia larga en páginas públicas más pequeñas.

El sistema de obtención rechaza por separado los cuerpos de respuesta de más de 5 MiB y las cadenas de redirecciones de más de cinco saltos. Estos errores son distintos de las páginas obtenidas correctamente cuyo texto extraído se conserva solo en parte.

El contenido modificado pone en cola un trabajo de embeddings independiente. Revisa el estado de indexación o reconstrucción y prueba respuestas representativas antes de publicar; la insignia de extracción completada no valida por sí sola la calidad de la recuperación.

Mantenimiento del contenido​

Conocimiento → Páginas permite eliminar páginas individuales, usar Borrar todo y Reconstruir índice. Deseleccionar una página en el selector no elimina el contenido almacenado. Al eliminar una página individual también se quita su URL de una lista URLs manuales guardada; las fuentes Sitemap y Crawl pueden volver a descubrirla, así que ajusta también esas fuentes. Borrar todo cancela los trabajos de scraping y embeddings activos y elimina páginas y embeddings almacenados en lotes en segundo plano, pero conserva la configuración de fuentes guardada. Los scrapes posteriores pueden volver a añadir páginas.

Reconstruir índice vuelve a crear los embeddings a partir del texto ya almacenado; no vuelve a obtener el sitio, restaurar páginas eliminadas ni recuperar texto truncado. El periodo de espera semanal/diario para las reconstrucciones manuales se cuenta desde el último trabajo de embeddings y cada página reservada consume el mismo presupuesto mensual de actualización. Los embeddings que se ponen automáticamente en cola para páginas modificadas durante el scraping no se cobran una segunda vez a ese presupuesto. Los proyectos bloqueados por configuración no permiten iniciar scraping desde el panel, eliminar páginas, usar Borrar todo ni reconstruir el índice manualmente; utiliza el flujo de despliegue de configuración.

Extracción de contenido​

ChattyBox toma el título y prefiere <main>, luego <article>, luego role="main", con fallback al cuerpo. Extrae:

  • Título de la página - La etiqueta <title>
  • Encabezados - Texto de <h1> a <h6>
  • Párrafos - Texto legible de los párrafos
  • Listas - Elementos de <ul> y <ol>
  • Código y tablas - Contenido de texto, conservando los espacios del código preformateado

Un mecanismo alternativo limitado puede obtener un documento OpenAPI del mismo origen al que haga referencia una configuración SwaggerUIBundle reconocida si el HTML tiene muy poco texto. Esto no implica renderizado general de JavaScript, carga de archivos ni compatibilidad con todos los visualizadores de referencias de API.

Contenido ignorado​

La extracción excluye elementos habituales que no son contenido. Son heurísticas basadas en HTML, no en el diseño calculado por un navegador: no des por hecho que se detecten todos los elementos visualmente ocultos o banners.

  • menús de navegación
  • contenido del pie de página
  • scripts y estilos
  • elementos marcados con hidden, aria-hidden="true" o los estilos en línea display: none / visibility: hidden
  • marcado reconocido de banners de cookies o consentimiento y roles de diálogo o navegación
  • iframes, canvas, SVG y objetos incrustados

Solución de problemas​

¿No se extraen las páginas?​

  • Comprueba que la URL sea accesible públicamente; no se admite el rastreo de redes privadas
  • Comprueba que el servidor permita solicitudes HTML normales sin inicio de sesión, CAPTCHA ni desafío de bots; las directivas de rastreo de robots.txt no se aplican
  • Verifica que la página no requiera autenticación
  • Comprueba el modo, el origen, las URL seleccionadas, la cuota de páginas y el presupuesto de actualización
  • Si se siguen enlaces como alternativa al sitemap, confirma que los enlaces importantes sean accesibles desde la URL inicial dentro del límite de profundidad

¿Falta contenido en las respuestas?​

  • Vuelve a extraer la página para obtener el contenido más reciente cuando haya vencido el periodo de espera
  • Sirve el texto importante en el HTML inicial: JavaScript no se renderiza
  • Asegúrate de que el contenido esté en la parte principal de la página, no en iframes
  • Comprueba si hay advertencias de indexación parcial y espera a que terminen los embeddings antes de volver a probar

¿Necesitas más control?​

Para fuentes no admitidas o fallos persistentes, contacta con support@chattybox.ai e indica una URL pública. No envíes credenciales ni des por hecho que soporte pueda habilitar el rastreo autenticado o con renderizado de JavaScript.

Para problemas de lanzamiento después de la extracción, consulta la lista de comprobación del lanzamiento y la guía de solución de problemas.