Passer au contenu principal

Extraction de contenu

Configurez la manière dont ChattyBox explore votre site web et indexe son contenu pour les réponses de l’IA.

Dans Base de connaissances → Importer et actualiser, connectez votre site, examinez les pages découvertes, puis importez ou actualisez explicitement votre sélection. L’URL du site et les paramètres avancés de source s’enregistrent automatiquement ; vérifiez l’état de l’enregistrement, corrigez les erreurs de validation ou relancez un enregistrement échoué. La découverte et l’enregistrement automatique n’importent pas les pages à eux seuls. Un import de pages sélectionnées ne remplace pas la configuration de source enregistrée. L’action avancée distincte Lancer le scraping enregistre d’abord les paramètres de source valides, puis exécute le mode configuré, et non la sélection du sélecteur. Le tableau de bord exige une URL de site enregistrée même en mode URLs manuelles.

:::warning HTML public uniquement Le robot récupère le HTML sans navigateur et n’exécute pas JavaScript. Il n’applique pas les directives de crawl de robots.txt ; la détection automatique des sitemaps peut lire ce fichier pour trouver des déclarations Sitemap de même origine si les emplacements conventionnels ne fournissent aucune URL. Le repli du mode Crawl qui suit les liens n’utilise pas ces déclarations. robots.txt n’est pas un contrôle d’accès. N’indexez que du contenu autorisé et sélectionnez explicitement vos sources plutôt que d’utiliser les règles robots pour exclure des pages indésirables. L’authentification, la résolution de CAPTCHA et l’exploration de réseaux privés ne sont pas prises en charge. :::

Pour un déploiement de contenu public, consultez le guide du chatbot IA pour site web pour savoir comment choisir des documents fiables, des articles d’aide, des pages produits et des FAQ avant de tester des réponses citées.

Modes d’exploration​

ChattyBox prend en charge quatre modes d’exploration :

1. Page d’accueil uniquement​

Extrait uniquement l’URL de site enregistrée, qui peut désigner une page précise plutôt que la racine. Idéal pour une page de présentation ou une évaluation sur une seule page.

2. Mode Sitemap (recommandé)​

Fournissez un sitemap pour découvrir les pages, y compris ses sitemaps enfants dans la limite de profondeur. Seules les URL de pages de même origine que l’URL du site sont retenues. Filtres, limites de pages et budgets s’appliquent : le sitemap ne garantit pas une indexation complète.

https://example.com/sitemap.xml

Si URL du plan du site (optionnel) est vide, ChattyBox essaie d’abord tout sitemap détecté, puis /sitemap.xml et /sitemap_index.xml. Si aucun ne fournit d’URL, seule l’URL de site enregistrée est utilisée. Un sitemap fourni explicitement sans URL fait échouer la tâche, sans repli.

3. Mode Crawl​

Le mode crawl essaie d’abord les deux sitemaps conventionnels. Sans URL trouvée, il suit les liens de même origine depuis la page de départ jusqu’à la profondeur configurée (par défaut 3). Un sitemap qui fournit des URL est utilisé seul : les liens ne complètent pas un sitemap incomplet. Lors du suivi des liens, le robot ignore certaines URL courantes de compte, de connexion, de paiement, de recherche et de ressources ; ces heuristiques ne sont pas une protection de confidentialité. Examinez les pages réellement indexées.

4. URL manuelles​

Spécifiez les URL exactes à extraire, une par ligne. Utilisez cette option lorsque vous voulez contrôler précisément les pages à indexer.

Ces URL publiques ne sont pas étendues en suivant leurs liens ; les limites de pages et d’actualisation restent applicables.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Sélection avancée​

Le tableau de bord permet de régler le mode, les URL de sitemap ou manuelles, le nombre maximal de pages et le calendrier d’actualisation. Les règles include/exclude et la profondeur ne sont disponibles que par configuration en code, pas dans le tableau de bord. Ces règles sont des sous-chaînes d’URL sensibles à la casse, ni des globs ni des expressions régulières ; une exclusion l’emporte. Une page exclue n’est pas traversée lors de la découverte par liens : exclure la page initiale peut empêcher toute découverte.

Sélectionnez chaque version linguistique publique nécessaire. Sitemaps et liens restent sur la même origine ; une langue sur un sous-domaine nécessite une sélection distincte. La langue de la page est détectée à partir de la page et de son URL ; ajouter une langue au widget ne traduit ni n’indexe les sources manquantes.

Limites de pages​

Pages maximum est une limite de sélection demandée par exécution, pas un quota inclus ; l’éditeur du tableau de bord valide aussi la valeur par rapport à la limite affichée. Si elle est omise, la demande prend par défaut le quota de pages de compte inclus dans l’offre. Avant une exécution, ChattyBox revérifie la capacité du fournisseur, donne la priorité aux URL déjà connues du projet et limite l’admission de nouvelles URL à la capacité restante du propriétaire. Les nouveaux emplacements sont vérifiés de nouveau à l’enregistrement des pages. La découverte peut effectuer des requêtes réseau avant que la sélection finale soit connue : ne considérez pas les limites de capacité comme une frontière de confidentialité ou de requêtes sortantes. Le sélecteur de pages plafonne séparément chaque import sélectionné à 500 URL et revérifie la capacité avant le démarrage. Les pages stockées incluses sont partagées entre les chatbots du propriétaire ; consultez les tarifs et Facturation et utilisation pour connaître les quotas publiés et la capacité actuelle.

Changer de source ou réduire la limite ne supprime pas automatiquement les anciennes pages. Distinguez pages stockées et travail mensuel d’actualisation :

ForfaitPages de compte inclusesBudget mensuel d’actualisationFréquence maximale
Free10500Hebdomadaire
Starter1505 000Quotidienne
Pro5 000100 000Quotidienne
Business25 000250 000Quotidienne

Pro et Business peuvent activer les dépassements de pages PAYG facultatifs dans Facturation et utilisation. Free et Starter restent plafonnés. Le quota PAYG de pages n’augmente pas le budget mensuel distinct d’actualisation du robot. Consultez les offres et limites et le quota actuel de votre compte avant d’augmenter la taille d’une exécution.

Actualisation du contenu​

  • L’actualisation automatique est facultative : hebdomadaire ou mensuelle sur Free, quotidienne également sur les offres payantes. « Mensuelle » signifie tous les 30 jours, pas à une date du calendrier.
  • Lancer le scraping ne permet pas des tentatives illimitées. Le délai minimal à partir de la création du dernier job d’exploration est de sept jours sur Free et de 24 heures sur les offres payantes, même si ce job a échoué. Un job en attente ou en cours bloque aussi une nouvelle exploration manuelle.
  • Chaque nouvelle page ou page dont le texte extrait stocké change consomme une unité du budget mensuel. Une page inchangée actualise ses métadonnées sans unité supplémentaire d’extraction ; une réparation des embeddings peut toutefois être mise en file si nécessaire.
  • Le budget est partagé entre les projets du propriétaire et revient à zéro au début de chaque mois civil UTC ; il ne s’agit pas d’un quota distinct par chatbot ou par tâche.
  • Une récupération réussie remplace le texte stocké ; un échec ou une page de blocage ou d’erreur rejetée conserve l’ancien contenu. Retirer une URL du sitemap ou de la sélection de source ne la supprime pas de la base de connaissances : supprimez les pages indésirables dans Base de connaissances → Pages et retirez-les aussi de la découverte future.

Progression et indexation partielle​

Dans Base de connaissances → Pages, développez Historique des imports lorsque des tâches existent, puis sélectionnez une tâche sous Tâches de scraping pour examiner l’état, les nombres de pages, les dates et les estimations du rythme et du temps restant pendant l’enregistrement. La découverte précède la connaissance du nombre final de pages sélectionnées : un zéro initial ne signifie donc pas nécessairement que la tâche est bloquée. Les nombres concernent les pages enregistrées, même inchangées, pas les embeddings terminés.

Terminé signifie que la tâche est terminée, sans garantir toutes les URL : erreurs, limites ou sélection vide peuvent produire moins de pages, voire zéro. Comparez le nombre de pages enregistrées et la liste réelle des pages aux URL attendues. Le détail de la tâche affiche au plus 8 pages enregistrées ; pour les collections plus importantes, consultez la vue paginée Base de connaissances → Pages du tableau de bord. Ce n’est pas un rapport exhaustif des échecs par URL.

Partiellement indexé indique un texte extrait supérieur à 512 KiB UTF-8 : seul le début est conservé et l’interface compare octets conservés et extraits. Terminé avec des avertissements signale cette troncature, pas tous les échecs d’exploration. Découpez les longues pages. Les réponses HTTP de plus de 5 MiB et les chaînes de plus de cinq redirections sont refusées séparément.

Les changements déclenchent une tâche d’embeddings distincte. Vérifiez l’état de l’index et des réponses représentatives avant le lancement.

Entretien du contenu​

Base de connaissances → Pages permet de supprimer des pages individuellement, d’utiliser Tout effacer et Reconstruire l'index. Désélectionner une page dans le sélecteur ne supprime pas le contenu stocké. La suppression d’une page retire également son URL d’une liste URLs manuelles enregistrée ; les sources Sitemap et Crawl peuvent la redécouvrir : modifiez-les aussi. Tout effacer annule les tâches d’exploration et d’embeddings actives, puis supprime les pages et les embeddings par lots en arrière-plan, sans modifier la configuration de source enregistrée. Des explorations ultérieures peuvent recréer des pages.

Reconstruire l'index recrée les embeddings à partir du texte déjà stocké, sans récupérer le site, restaurer les pages supprimées ni récupérer le texte tronqué. Le délai hebdomadaire/quotidien des reconstructions manuelles est calculé depuis la dernière tâche d’embeddings ; chaque page réservée consomme le même budget mensuel d’actualisation. Les embeddings mis automatiquement en file pour les pages modifiées lors d’une extraction ne débitent pas ce budget une seconde fois. Un projet verrouillé par configuration refuse les tâches d’extraction manuelles, la suppression de contenu et la reconstruction manuelle ; utilisez le flux de déploiement par configuration.


Extraction du contenu​

ChattyBox lit le titre puis privilégie <main>, <article>, un élément role="main", enfin le corps de page. Dans cette zone il conserve :

  • Titre de la page - La balise <title>
  • Titres - Le texte des balises <h1> à <h6>
  • Paragraphes - Le texte lisible des paragraphes
  • Listes - Les éléments de <ul> et <ol>
  • Code et tableaux - Le texte, en conservant les espaces du code préformaté

Si le HTML contient trop peu de texte, un repli limité peut récupérer un document OpenAPI de même origine référencé par une configuration SwaggerUIBundle reconnue. Ce n’est ni du rendu JavaScript général, ni de l’import de fichiers, ni une prise en charge de toutes les visionneuses API.

Contenu ignoré​

L’extraction exclut notamment :

  • Menus de navigation
  • Contenu du pied de page
  • Scripts et styles
  • Éléments marqués hidden, aria-hidden="true" ou avec display: none / visibility: hidden en ligne
  • Bannières de consentement reconnues et rôles de dialogue/navigation
  • Iframes, canvas, SVG et objets intégrés

Ces heuristiques HTML ne calculent pas la mise en page du navigateur : tous les éléments visuellement masqués et toutes les bannières ne sont pas nécessairement détectés.


Dépannage​

Les pages ne sont pas extraites ?​

  • Vérifiez que l’URL est accessible au public
  • Vérifiez que le serveur accepte les requêtes HTML ordinaires sans CAPTCHA ni défi antibot ; les directives de crawl de robots.txt ne sont pas appliquées
  • Vérifiez que la page ne nécessite pas d’authentification
  • Vérifiez le mode, l’origine, les URL sélectionnées, le quota de pages et le budget d’actualisation
  • Pour le repli par exploration des liens, vérifiez que les liens importants sont accessibles depuis l’URL de départ dans la limite de profondeur

Du contenu manque dans les réponses ?​

  • Ré-extrayez la page après publication dès que le délai le permet, puis attendez les embeddings
  • Servez le texte important dans le HTML initial : le contenu uniquement chargé par JavaScript n’est pas rendu
  • Assurez-vous que le contenu se trouve dans le corps principal de la page, et non dans des iframes
  • Vérifiez les avertissements d’indexation partielle

Besoin de plus de contrôle ?​

Pour une source non prise en charge ou une extraction défaillante, contactez support@chattybox.ai avec une URL publique d’exemple. N’envoyez pas d’identifiants et ne supposez pas que l’assistance peut activer un robot authentifié ou le rendu JavaScript. Consultez aussi la checklist de lancement et le dépannage.