Estrazione dei contenuti
Configura il modo in cui ChattyBox esegue la scansione del tuo sito web e indicizza i contenuti per le risposte dell'AI.
Per un rollout di contenuti pubblici, consulta la guida al chatbot AI per siti web per sapere come scegliere documenti affidabili, articoli di assistenza, pagine prodotto e domande frequenti prima di testare risposte con citazioni.
Apri Conoscenza → Importazione e aggiornamento, collega il sito, rivedi le pagine rilevate e importa o aggiorna esplicitamente la selezione. Le impostazioni del sito e delle fonti avanzate vengono salvate automaticamente: controlla lo stato del salvataggio, correggi gli errori di convalida o riprova un salvataggio non riuscito. La discovery e il salvataggio automatico non importano pagine. L’importazione di una selezione non sostituisce la configurazione della fonte salvata. L’azione avanzata separata Avvia scraping ora salva prima le impostazioni valide e poi esegue la modalità configurata, non la selezione del selettore. La dashboard richiede un URL del sito salvato anche in modalità URL manuali.
:::warning Solo HTML pubblico
Il crawler recupera HTML, ma non esegue un browser né renderizza JavaScript. ChattyBox non applica le direttive di scansione di robots.txt. Il rilevamento automatico delle sitemap può leggere il file per trovare dichiarazioni di sitemap della stessa origine quando le posizioni convenzionali non restituiscono URL. Il fallback ai link della modalità Scansione del sito non usa queste dichiarazioni. robots.txt non è un controllo degli accessi. Invia solo contenuti che sei autorizzato a indicizzare e seleziona esplicitamente le fonti, anziché usare le regole robots per escludere pagine indesiderate. Autenticazione, risoluzione di CAPTCHA e scansione di reti private non sono supportate.
:::
Modalità di scraping
ChattyBox supporta quattro modalità: homepage, sitemap, crawl e URL manuali.
1. Solo homepage
Estrae solo l’URL del sito salvato, che può corrispondere a una pagina specifica e non necessariamente alla radice del sito. Ideale per una landing page o una valutazione con una sola pagina.
2. Sitemap (consigliata)
Fornisci l’URL di una sitemap per individuare le pagine, incluse quelle nelle sitemap secondarie. Vengono mantenuti solo gli URL di pagina della stessa origine dell’URL del sito; si applicano comunque filtri, limiti di pagine e budget di aggiornamento. La sitemap è una fonte per la discovery, non garantisce che tutte le pagine elencate vengano indicizzate.
https://example.com/sitemap.xml
Se URL sitemap (opzionale) è vuoto, ChattyBox prova prima la sitemap rilevata, poi /sitemap.xml e /sitemap_index.xml. Se nessuna restituisce URL, usa solo l’URL del sito salvato. Una sitemap indicata esplicitamente che non restituisce URL fa fallire il job, senza fallback. La discovery delle sitemap annidate è limitata in profondità.
3. Scansione del sito
La modalità di scansione del sito prova prima /sitemap.xml e /sitemap_index.xml. Se nessuna delle due restituisce URL, segue i link della stessa origine a partire dall’URL iniziale, fino alla profondità configurata (predefinita: 3). Se una sitemap restituisce URL, non segue i link per completare eventuali lacune. Durante la discovery dei link vengono saltati gli URL comuni di account, login, checkout, ricerca e risorse. Queste euristiche non costituiscono un confine di privacy: controlla le pagine effettivamente indicizzate.
4. URL manuali
Specifica gli URL pubblici esatti da estrarre, uno per riga. Usa questa opzione quando vuoi avere un controllo preciso su quali pagine vengono indicizzate. Non vengono aggiunte altre pagine seguendo i link; si applicano comunque i limiti di pagine e di aggiornamento.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Selezione avanzata degli URL
La dashboard espone modalità, URL di sitemap/manuali, numero massimo di pagine e pianificazione degli aggiornamenti. Non espone i pattern include/exclude né la profondità massima di crawl. Queste impostazioni avanzate sono disponibili tramite configurazione come codice. I valori include/exclude sono sottostringhe dell’URL sensibili alle maiuscole, non glob o espressioni regolari; una corrispondenza di esclusione prevale. Durante il crawl dei link, le pagine filtrate non vengono attraversate: escludere l’URL iniziale può impedire del tutto la discovery.
Per i siti multilingue, seleziona esplicitamente le versioni pubbliche necessarie. La discovery tramite sitemap e link resta sulla stessa origine; una lingua ospitata su un sottodominio richiede una selezione della fonte separata. La lingua della pagina viene rilevata in base ai contenuti e all’URL. La lingua del widget non traduce né indicizza i contenuti mancanti.
Limiti di pagine
Distingui le pagine memorizzate dal lavoro mensile di aggiornamento. Numero massimo di pagine salvato è un limite richiesto per selezione e per esecuzione, non un diritto di utilizzo; l’editor della dashboard convalida anche rispetto al limite visualizzato. Se omesso, il valore predefinito è la quota di pagine incluse nell’account. Prima di ogni esecuzione ChattyBox ricontrolla la capacità del provider, dà priorità agli URL di progetto esistenti e limita l’ammissione di nuovi URL alla capacità residua dell’account del proprietario. La disponibilità di nuovi posti viene verificata di nuovo al salvataggio delle pagine. La discovery può generare richieste di rete prima che la selezione finale sia nota: non usare i limiti di capacità come confine per la privacy o per le richieste in uscita. Il selettore di pagine in Conoscenza limita separatamente a 500 URL una selezione da importare e ricontrolla la capacità prima di avviare l’importazione. Cambiare fonte o ridurre il limite non elimina automaticamente le pagine precedenti. Le pagine incluse sono condivise tra i chatbot del proprietario; consulta Prezzi per le quote documentate e Account e fatturazione per l’utilizzo e la capacità disponibili.
| Piano | Pagine incluse nell’account | Budget mensile di aggiornamento pagine | Frequenza massima |
|---|---|---|---|
| Free | 10 | 500 | Settimanale |
| Starter | 150 | 5.000 | Giornaliera |
| Pro | 5.000 | 100.000 | Giornaliera |
| Business | 25.000 | 250.000 | Giornaliera |
Pro e Business possono attivare gli extra di pagine opzionali pay-as-you-go (PAYG) in Account e fatturazione. Free e Starter restano soggetti a un limite rigido. Il PAYG per le pagine non aumenta l’ulteriore budget mensile di aggiornamento del crawler. Consulta piani e limiti e la capacità attuale dell’account prima di aumentare le dimensioni di un’esecuzione.
Aggiornamento dei contenuti
- La nuova scansione automatica è facoltativa. Free consente esecuzioni settimanali o mensili; i piani a pagamento consentono anche quelle giornaliere. La pianificazione mensile indica un intervallo di 30 giorni, non una data fissa del calendario.
- Avvia scraping ora non è un pulsante per riprovare senza limiti. L’intervallo minimo dalla creazione dell’ultimo job di scraping è di sette giorni per Free o 24 ore per i piani a pagamento, anche dopo un job non riuscito. Un job in attesa o in esecuzione blocca un’altra scansione manuale.
- Ogni nuova pagina e ogni pagina il cui testo estratto memorizzato cambia consumano un’unità del budget mensile di aggiornamento. Una pagina invariata aggiorna i metadati senza consumare un’unità di aggiornamento; se necessario, può comunque essere messa in coda una riparazione degli embedding.
- Il budget è condiviso tra i progetti del proprietario e si azzera all’inizio di ogni mese di calendario UTC. Non è una quota separata per ogni chatbot o job di scraping.
- Un aggiornamento recuperato correttamente sostituisce il testo memorizzato. Le richieste non riuscite e le pagine di blocco/errore rifiutate lasciano invariato il contenuto precedente. Rimuovere un URL da una sitemap o dalla selezione della fonte non elimina la pagina dalla base di conoscenza: elimina le pagine indesiderate in Conoscenza → Pagine e impedisci che vengano scoperte di nuovo.
Avanzamento e indicizzazione parziale
In Conoscenza → Pagine, apri Cronologia delle importazioni e seleziona un job in Processi di scraping per vedere stato, numero di pagine, orari e stime di velocità/tempo rimanente mentre le pagine vengono salvate. La cronologia compare quando sono presenti job. La discovery precede il conteggio finale delle pagine selezionate, quindi un conteggio iniziale pari a zero non indica necessariamente un job bloccato. I conteggi descrivono le pagine salvate, incluse quelle invariate, non gli embedding completati.
Completato significa che l’esecuzione è terminata, non che ogni URL selezionato sia riuscito. Errori di recupero o limiti possono ridurre il numero di pagine salvate; una selezione vuota può terminare con zero pagine. Confronta il conteggio e l’elenco effettivo in Pagine con gli URL previsti. I dettagli del job mostrano al massimo 8 pagine salvate; per raccolte più ampie usa l’elenco paginato Conoscenza → Pagine. I dettagli del job non sono un rapporto completo degli errori per URL.
Indicizzato parzialmente indica che il testo estratto ha superato il limite di memorizzazione di 512 KiB UTF-8. Viene conservato solo l’inizio e l’interfaccia mostra i byte conservati rispetto a quelli estratti. Un job completato con queste pagine mostra Completato con avvisi. L’avviso riguarda il troncamento del testo, non tutti i possibili URL non riusciti o ignorati. Suddividi le pagine di riferimento troppo lunghe se alcune sezioni importanti sono state tagliate.
Il livello di recupero rifiuta separatamente i corpi delle risposte superiori a 5 MiB e le catene di reindirizzamento con più di cinque passaggi. Questi errori di recupero sono diversi dalle pagine recuperate correttamente ma conservate solo in parte.
I contenuti modificati avviano un job di embedding separato. Controlla lo stato dell’indice/ricostruzione e prova risposte rappresentative prima del lancio: il badge di completamento dello scraping non convalida da solo la qualità del recupero.
Manutenzione dei contenuti
Conoscenza → Pagine permette di eliminare singole pagine, usare Cancella tutto e Ricostruisci indice. Deselezionare una pagina nel selettore non elimina il contenuto memorizzato. L’eliminazione di una pagina la rimuove anche da un elenco salvato di URL manuali; una sitemap o una fonte di scansione del sito può però scoprirla di nuovo, quindi aggiorna anche tali fonti. Cancella tutto annulla i job di scraping e embedding attivi ed elimina in background le pagine e gli embedding memorizzati, ma lascia intatta la configurazione della fonte. Le scansioni successive possono aggiungere di nuovo le pagine.
Ricostruisci indice ricostruisce gli embedding usando il testo già memorizzato: non recupera nuovamente il sito, non ripristina le pagine eliminate e non recupera il testo troncato. Le ricostruzioni manuali hanno il cooldown settimanale/giornaliero del piano, calcolato dall’ultimo job di embedding, e consumano lo stesso budget mensile di aggiornamento per ogni pagina riservata alla ricostruzione. Gli embedding accodati automaticamente per le pagine modificate durante lo scraping non addebitano due volte lo stesso lavoro. I progetti con configurazione bloccata rifiutano scraping, eliminazione di contenuti e ricostruzioni manuali dalla dashboard; usa il flusso di deployment della configurazione.
Estrazione del contenuto
ChattyBox legge il titolo della pagina e preferisce il contenuto di <main>, poi <article>, poi un elemento con role="main"; in mancanza di questi, usa il testo del body. All’interno del contenuto selezionato conserva:
- Titolo della pagina - Il tag
<title> - Intestazioni - Il testo da
<h1>a<h6> - Paragrafi - Il testo leggibile dei paragrafi
- Elenchi - Gli elementi di
<ul>e<ol> - Codice e tabelle - Il testo, mantenendo gli spazi del codice preformattato
Se l’HTML contiene troppo poco testo, un fallback limitato può recuperare una specifica OpenAPI della stessa origine indicata in una configurazione riconosciuta SwaggerUIBundle. Non è un rendering JavaScript generico, un caricamento di file né un supporto per ogni visualizzatore di documentazione API.
Contenuti ignorati
L’estrazione esclude gli elementi comuni non pertinenti, tra cui:
- Menu di navigazione
- Contenuti del piè di pagina
- Script e stili
- Elementi con
hidden,aria-hidden="true"odisplay: none/visibility: hiddeninline - Markup riconosciuto per banner cookie/consenso e ruoli dialogo/navigazione
- Iframe, canvas, SVG e oggetti incorporati
Queste sono euristiche basate sull’HTML, non sul layout calcolato dal browser. Non presumere che vengano rilevati tutti gli elementi visivamente nascosti o tutti i banner.
Risoluzione dei problemi
Le pagine non vengono estratte?
- Controlla che l'URL sia accessibile pubblicamente
- Verifica che il server consenta normali richieste HTML senza login, CAPTCHA o sfide anti-bot
- Verifica che la pagina non richieda autenticazione
- Controlla modalità, origine, URL selezionati, quota di pagine e budget di aggiornamento; le direttive robots non vengono applicate
- Per il fallback del crawl dei link, verifica che i link importanti siano raggiungibili dall’URL iniziale entro la profondità configurata
Contenuto mancante nelle risposte?
- Estrai di nuovo la pagina dopo la pubblicazione, una volta trascorso il cooldown, poi attendi il completamento degli embedding
- Il testo importante deve essere nell’HTML iniziale: i contenuti caricati solo con JavaScript non vengono renderizzati
- Assicurati che il contenuto sia nel corpo principale della pagina, non negli iframe
- Controlla gli avvisi di indicizzazione parziale
Hai bisogno di un maggiore controllo?
Per fonti non supportate o errori di estrazione persistenti, contatta support@chattybox.ai indicando un URL pubblico di esempio. Non inviare credenziali e non presumere che il supporto possa abilitare scansioni autenticate o il rendering JavaScript.
Per i problemi di lancio dopo lo scraping, consulta la checklist di lancio e la guida alla risoluzione dei problemi.