Inhoud scrapen
Stel in hoe ChattyBox je website doorzoekt en inhoud indexeert voor AI-antwoorden.
Open Kennis → Importeren en verversen, koppel je website, bekijk de gevonden pagina’s en importeer of vernieuw expliciet je selectie. De website- en geavanceerde broninstellingen worden automatisch opgeslagen. Controleer de opslagstatus, los validatiefouten op of probeer een mislukte opslag opnieuw. Pagina’s ontdekken en automatisch opslaan starten zelf geen import. Een import van geselecteerde pagina’s vervangt de opgeslagen bronconfiguratie niet. De afzonderlijke geavanceerde actie Nu scrapen slaat eerst geldige broninstellingen op en voert daarna de ingestelde modus uit, niet de selectie uit de paginakiezer. Het dashboard vereist ook voor de modus Handmatige URL's een opgeslagen website-URL.
:::warning Alleen openbare HTML
De crawler haalt HTML op zonder browser en voert geen JavaScript uit. ChattyBox handhaaft de crawlrichtlijnen in robots.txt niet. Automatische sitemapdetectie kan dit bestand lezen om sitemapvermeldingen van dezelfde origin te vinden als de gebruikelijke sitemaplocaties geen URL’s opleveren. De linkfallback van de modus Crawlen gebruikt deze vermeldingen niet. Behandel robots.txt niet als toegangscontrole. Dien alleen inhoud in die je mag indexeren en selecteer bronnen expliciet in plaats van robotsregels te gebruiken om ongewenste pagina’s uit te sluiten. Authenticatie, CAPTCHA-oplossing en crawlen van privénetwerken worden niet ondersteund.
:::
Bekijk voor een uitrol van openbare inhoud de gids voor AI-chatbots voor websites om te bepalen hoe u betrouwbare documentatie, Help-artikelen, productpagina’s en veelgestelde vragen kiest voordat u antwoorden met bronvermeldingen test.
Scrapingmodi
ChattyBox ondersteunt vier scrapingmodi:
1. Alleen de homepage
Scrapet alleen de opgeslagen website-URL, die ook een specifieke subpagina kan zijn. Geschikt voor een landingspagina of een evaluatie met één pagina.
2. Sitemapmodus (Aanbevolen)
Een sitemap ontdekt pagina’s, inclusief onderliggende sitemaps binnen een dieptelimiet. Alleen pagina-URL’s van dezelfde origin als de website-URL blijven over. Filters, paginalimieten en verversingsbudgetten blijven gelden; een sitemap garandeert geen volledige indexering.
https://example.com/sitemap.xml
Bij een lege Sitemap-URL (optioneel) probeert ChattyBox eerst een gevonden sitemap, daarna /sitemap.xml en /sitemap_index.xml. Levert geen daarvan URL’s op, dan valt ChattyBox alleen terug op de opgeslagen website-URL. Een expliciet opgegeven sitemap zonder URL’s laat de taak mislukken, zonder terugval. Het ontdekken van onderliggende sitemaps is beperkt in diepte.
3. Crawlen
crawl probeert eerst /sitemap.xml en /sitemap_index.xml. Leveren die geen URL’s op, dan volgt de crawler links van dezelfde origin vanaf de start-URL tot de ingestelde diepte (standaard 3). Levert een sitemap URL’s op, dan worden geen links gevolgd om ontbrekende pagina’s aan te vullen. Heuristieken slaan gangbare account-, login-, checkout-, zoek- en resource-URL’s over; dit vormt geen privacygrens.
4. Handmatige URL's
Geef de exacte URL's op om te scrapen, één per regel. Gebruik dit als je precies wilt bepalen welke pagina's worden geïndexeerd.
Deze openbare URL’s worden niet uitgebreid door links te volgen; pagina- en verversingslimieten blijven gelden.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Geavanceerde URL-selectie
Het dashboard biedt de modus, sitemap-/handmatige URL’s, het maximumaantal pagina’s en het verversingsschema. include/exclude en maximale diepte zijn alleen beschikbaar via configuratie als code, niet als dashboardvelden. De waarden voor opnemen en uitsluiten zijn hoofdlettergevoelige URL-substrings, geen globs of reguliere expressies; uitsluiting gaat voor. Uitgefilterde pagina’s worden bij linkontdekking niet doorlopen, dus de startpagina uitsluiten kan alle ontdekking verhinderen.
Selecteer expliciet de benodigde openbare taalversies. Sitemaps en linkontdekking blijven op dezelfde origin; een taal op een subdomein vereist eigen bronselectie. De paginataal wordt afgeleid uit de pagina en de URL. Een widgettaal vertaalt of indexeert geen ontbrekende bronnen.
Paginalimieten
Maak onderscheid tussen opgeslagen pagina’s en maandelijks verversingswerk. De opgeslagen Maximum aantal pagina's is een aangevraagde selectielimiet per run, geen recht op pagina’s; de dashboardeditor valideert ook tegen de weergegeven limiet. Als de waarde ontbreekt, gebruikt de aanvraag de inbegrepen paginatoelage van de account. Vóór een run controleert ChattyBox de providercapaciteit opnieuw, geeft bekende bestaande project-URL’s voorrang en beperkt nieuwe URL’s tot de resterende capaciteit van de accounteigenaar. Bij het opslaan van pagina’s worden nieuwe plaatsen opnieuw gecontroleerd. Tijdens ontdekking kunnen al netwerkverzoeken plaatsvinden voordat de definitieve selectie bekend is; gebruik capaciteitslimieten daarom niet als privacygrens of grens voor uitgaande verzoeken. De paginakiezer bij Kennis beperkt een geselecteerde import afzonderlijk tot 500 URL’s en controleert de capaciteit opnieuw voordat de import start. Een andere bron of lagere limiet verwijdert oudere pagina’s niet automatisch. De inbegrepen opslagruimte voor pagina’s wordt gedeeld door de chatbots van de accounteigenaar; zie Prijzen en Account en facturatie voor de gedocumenteerde toelagen en het actuele gebruik.
| Abonnement | Inbegrepen pagina’s | Maandelijks verversingsbudget | Snelste frequentie |
|---|---|---|---|
| Free | 10 | 500 | Wekelijks |
| Starter | 150 | 5.000 | Dagelijks |
| Pro | 5.000 | 100.000 | Dagelijks |
| Business | 25.000 | 250.000 | Dagelijks |
Pro en Business kunnen optionele pagina-PAYG inschakelen in Account en facturatie. Free en Starter blijven hard begrensd. Het PAYG-paginaquotum verhoogt het afzonderlijke maandelijkse verversingsbudget van de crawler niet. Controleer abonnementen en limieten en het actuele quotum van je account voordat je een run vergroot.
Inhoud verversen
- Automatische verversing moet worden ingeschakeld: Free ondersteunt wekelijks of maandelijks, betaalde abonnementen ook dagelijks. Maandelijks betekent elke 30 dagen, niet een vaste kalenderdatum.
- Sinds het aanmaken van de laatste scrapetaak moeten zeven dagen op Free of 24 uur op betaalde abonnementen zijn verstreken, ook na fouten. Een wachtende of lopende taak blokkeert een nieuwe handmatige scrape.
- Elke nieuwe pagina en elke pagina waarvan de opgeslagen geëxtraheerde tekst is gewijzigd, verbruikt één eenheid van het maandelijkse verversingsbudget. Bij een ongewijzigde pagina worden metadata bijgewerkt zonder een extra scrape-eenheid; zo nodig kan wel een embeddingreparatie worden ingepland.
- Het budget wordt gedeeld door de projecten van de accounteigenaar en wordt aan het begin van elke UTC-kalendermaand gereset. Het is geen aparte toelage per chatbot of scrape.
- Een geslaagde ophaalactie vervangt de opgeslagen paginatekst. Mislukte verzoeken en afgewezen blokkeer- of foutpagina’s laten de eerder opgeslagen inhoud staan. Het verwijderen van een URL uit een sitemap of bronselectie verwijdert de opgeslagen pagina niet; verwijder ongewenste pagina’s in Kennis → Pagina’s en voorkom dat de bron ze opnieuw ontdekt.
Voortgang en gedeeltelijke indexering
Open Kennis → Pagina’s, klap Importgeschiedenis uit wanneer er taken zijn en selecteer een taak onder Scrapejobs. Daar staan de status, pagina-aantallen, tijdstippen en tijdens het opslaan een geschatte snelheid en resterende tijd. Ontdekking vindt plaats voordat het definitieve aantal geselecteerde pagina’s bekend is; een vroege nul betekent dus niet noodzakelijk dat de taak is vastgelopen. Aantallen gaan over opgeslagen pagina’s, ook ongewijzigde, niet over voltooide embeddings.
Voltooid betekent alleen dat de taak eindigde: fouten, limieten of een lege selectie kunnen minder of nul pagina’s opleveren. Vergelijk de werkelijke lijst Pagina’s met de verwachte URL’s. Taakdetails tonen maximaal 8 opgeslagen pagina’s; de lijst Pagina’s is gepagineerd. Er is geen volledig foutenrapport per URL.
Gedeeltelijk geïndexeerd betekent dat geëxtraheerde tekst de opslaglimiet van 512 KiB UTF-8 overschreed. Alleen het begin blijft bewaard; de interface toont opgeslagen tegenover geëxtraheerde bytes. Voltooid met waarschuwingen duidt op deze afkapping, niet op alle crawlfouten. Splits lange pagina’s. HTTP-antwoorden groter dan 5 MiB en ketens van meer dan vijf omleidingen worden afzonderlijk geweigerd.
Gewijzigde inhoud start een aparte embeddingtaak. Controleer indexstatus en representatieve antwoorden vóór de lancering.
Inhoud onderhouden
Kennis → Pagina’s biedt verwijderen per pagina, Alles wissen en Index opnieuw opbouwen. Een pagina deselecteren in de picker verwijdert opgeslagen inhoud niet. Bij het verwijderen van een pagina wordt deze ook uit een opgeslagen lijst met Handmatige URL's verwijderd; sitemaps en crawlbronnen kunnen de pagina opnieuw ontdekken, dus pas die bronnen zo nodig ook aan. Alles wissen annuleert actieve scrape- en embeddingtaken en verwijdert opgeslagen pagina’s en embeddings in achtergrondbatches, maar laat de opgeslagen bronconfiguratie intact. Latere scrapes kunnen pagina’s opnieuw toevoegen.
Index opnieuw opbouwen maakt embeddings opnieuw op basis van al opgeslagen tekst; de site wordt niet opnieuw opgehaald en verwijderde pagina’s of afgekapte tekst worden niet hersteld. Handmatige rebuilds hebben de wekelijkse/dagelijkse cooldown van het abonnement, gemeten vanaf de laatste embeddingtaak, en gebruiken hetzelfde maandelijkse pagina-verversingsbudget voor elke gereserveerde pagina. Automatisch ingeplande embeddings voor gewijzigde scrape-pagina’s rekenen dit werk niet nogmaals aan. Projecten met vergrendelde configuratie weigeren dashboard-scrapes, verwijderingen en handmatige rebuilds; gebruik de configuratiedeploymentworkflow.
Inhoudsextractie
ChattyBox leest de paginatitel en kiest eerst <main>, dan <article>, dan role="main" en anders de body. Binnen die inhoud bewaart het:
- Paginatitel - De
<title>-tag - Koppen - Tekst uit
<h1>tot en met<h6> - Alinea's - Leesbare alineatekst
- Lijsten - Items in
<ul>- en<ol>-tags - Code en tabellen - Tekst, met behoud van witruimte in voorgeformatteerde code
Bij te weinig HTML-tekst kan een beperkte terugval een OpenAPI-document van dezelfde origin ophalen uit een herkende SwaggerUIBundle-configuratie. Dit is geen algemene JavaScript-rendering, bestandsupload of ondersteuning voor elke API-viewer.
Genegeerde inhoud
De extractie sluit onder meer uit:
- Navigatiemenu's
- Inhoud in de voettekst
- Scripts en stijlen
- Elementen met
hidden,aria-hidden="true"of inlinedisplay: none/visibility: hidden - Herkende toestemmingsbanners en dialoog-/navigatierollen
- Iframes, canvas, SVG en ingebedde objecten
Deze HTML-heuristieken berekenen geen browserlay-out en herkennen niet noodzakelijk elk visueel verborgen element of elke banner.
Problemen oplossen
Worden pagina's niet gescrapet?
- Controleer of de URL openbaar toegankelijk is
- Controleer of gewone HTML-verzoeken zonder CAPTCHA of botcontrole zijn toegestaan; automatische sitemapdetectie kan
robots.txtlezen als de gebruikelijke sitemaplocaties geen URL’s opleveren, maar de terugval voor het volgen van links gebruikt die vermeldingen niet en de crawlrichtlijnen worden niet afgedwongen - Controleer of de pagina niet is afgeschermd met een inlog
- Controleer modus, origin, selectie, budgetten en linkdiepte
Ontbreekt er inhoud in antwoorden?
- Scrape opnieuw na publicatie en na de wachttijd, en wacht daarna op embeddings
- Bied belangrijke tekst in de oorspronkelijke HTML aan; inhoud die alleen via JavaScript laadt wordt niet gerenderd
- Zorg ervoor dat de inhoud in het hoofdgedeelte staat, niet in iframes
- Controleer waarschuwingen voor gedeeltelijke indexering
Meer controle nodig?
Neem bij niet-ondersteunde bronnen of extractiefouten contact op met support@chattybox.ai met een openbare voorbeeld-URL. Stuur geen inloggegevens en neem niet aan dat support geauthenticeerd crawlen of JavaScript-rendering kan inschakelen. Bekijk ook de lanceringschecklist en probleemoplossing.