Innehållsskrapning
Konfigurera hur ChattyBox genomsöker din webbplats och indexerar innehåll för AI-genererade svar.
Öppna Kunskap → Importera och uppdatera, anslut webbplatsen, granska upptäckta sidor och importera eller uppdatera det urval du väljer. Webbplats- och avancerade källinställningar sparas automatiskt; kontrollera sparstatusen och åtgärda valideringsfel eller försök igen om en sparning misslyckas. Upptäckt och autosparning importerar inte sidor i sig. En import av valda sidor ersätter inte den sparade källkonfigurationen. Den separata avancerade åtgärden Skrapa nu sparar först giltiga källinställningar och kör sedan det konfigurerade läget, inte sidväljarens urval. Dashboarden kräver en sparad Webbplatsens URL även i läget Manuella URL:er.
För en lansering med offentligt innehåll kan du läsa guiden för AI-chattbotar för webbplatser om hur du väljer tillförlitlig dokumentation, hjälpartiklar, produktsidor och vanliga frågor innan du testar citerade svar.
Skrapningslägen
ChattyBox har stöd för fyra skrapningslägen. Crawlern hämtar offentlig HTML och kör inte JavaScript, så dynamiskt innehåll som bara laddas med JavaScript renderas inte. Den tillämpar inte crawldirektiv i robots.txt. Automatisk sitemap-upptäckt kan läsa filen för att hitta Sitemap-deklarationer för samma origin om de vanliga sitemap-adresserna inte ger några URL:er; deklarationer i robots.txt används inte vid Crawl-lägets länkfallback. robots.txt är inte åtkomstkontroll. Skicka bara innehåll som du har rätt att indexera och välj källor uttryckligen i stället för att förlita dig på robots-regler för att utesluta oönskade sidor. Autentisering, CAPTCHA och åtkomst till privata nätverk stöds inte.
1. Endast startsidan
Skrapar bara den sparade Webbplatsens URL, som kan vara en specifik sida snarare än webbplatsens rot. Passar bäst för en landningssida eller en utvärdering av en enda sida.
2. Webbplatskarteläge (rekommenderas)
Ange en URL till webbplatskartan för att upptäcka sidor, även i underliggande webbplatskartor. Endast sidadresser med samma origin som webbplatsens URL behålls, och filter, sidgränser och uppdateringsbudget gäller fortfarande. En webbplatskarta är en upptäcktskälla, inte en garanti för att varje URL indexeras. Om URL till webbplatskarta (valfritt) lämnas tom provas först en upptäckt webbplatskarta, sedan /sitemap.xml och /sitemap_index.xml; om ingen ger URL:er används bara den sparade Webbplatsens URL. En uttryckligen angiven webbplatskarta som inte ger några URL:er gör däremot att jobbet misslyckas. Upptäckten av nästlade webbplatskartor har en djupgräns.
https://example.com/sitemap.xml
3. Crawl-läge
Starta från en offentlig URL. Crawlern provar först /sitemap.xml och /sitemap_index.xml; om de inte ger URL:er följer den länkar på samma origin upp till valt djup (standard 3). En ofullständig hittad sitemap kompletteras inte med länkar. Vid länkupptäckt hoppar crawlern över vanliga konto-, inloggnings-, utchecknings-, sök- och resurs-URL:er. Granska de sidor som faktiskt indexerats; dessa heuristiker är ingen integritetsgräns.
4. Manuella URL:er
Ange de exakta publika URL:er som ska skrapas, en per rad. Använd det här när du vill ha exakt kontroll över vilka sidor som indexeras. URL:erna utökas inte genom länkföljning och sid- samt uppdateringsgränser gäller fortfarande.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Avancerat URL-urval
Dashboarden visar läge, sitemap/manuella URL:er, maximalt antal sidor och uppdateringsschema. Den visar inte mönster för inkludering/uteslutning eller maximalt crawldjup. Konfiguration som kod stöder dessa avancerade inställningar. Include/exclude-värden är skiftlägeskänsliga delsträngar i URL:en, inte globmönster eller reguljära uttryck; en matchning på exclude gäller före. Vid länkcrawl följs filtrerade sidor inte, så en regel som utesluter startsidan kan stoppa upptäckten helt.
För flerspråkiga webbplatser ska du uttryckligen inkludera de offentliga språkversioner du behöver. Upptäckt via webbplatskarta och länkcrawl håller sig till samma origin, så ett annat språk på en underdomän behöver ett eget källurval. Sidans språk upptäcks från sidan och URL:en; att lägga till ett widgetspråk översätter eller indexerar inte innehåll som saknas.
Sidgränser
Skilj på lagrade sidor och månatligt uppdateringsarbete. Det sparade Maximalt antal sidor är en begärd urvalsgräns per körning, inte en behörighet; dashboardens redigerare validerar också värdet mot den visade gränsen. Om värdet utelämnas är standarden planens inkluderade sidutrymme för kontot. Inför en körning kontrollerar ChattyBox leverantörskapaciteten igen, prioriterar kända befintliga projekt-URL:er och begränsar nya URL:er till ägarens återstående gemensamma kapacitet. Tillgängliga platser för nya sidor kontrolleras igen när sidorna sparas. Upptäckten kan göra nätverksanrop innan det slutliga urvalet är känt; kapacitetsgränser är därför ingen gräns för integritet eller utgående nätverksanrop. Sidväljaren under Kunskap har en separat gräns på 500 URL:er per import och kontrollerar kapaciteten igen innan importen startar. Om du ändrar källan eller sänker gränsen raderas äldre sidor inte automatiskt. Inkluderade lagrade sidor delas mellan ägarens chattbotar; se priser för publicerade gränser och Konto och fakturering för aktuell användning och tillgänglig kvot.
| Abonnemang | Inkluderade kontosidor | Månatlig siduppdateringsbudget | Snabbaste uppdateringstakt |
|---|---|---|---|
| Free | 10 | 500 | Veckovis |
| Starter | 150 | 5 000 | Dagligen |
| Pro | 5 000 | 100 000 | Dagligen |
| Business | 25 000 | 250 000 | Dagligen |
Pro och Business kan aktivera valfria PAYG-överskridanden för sidor under Konto och fakturering. Free och Starter har fortfarande hårda tak. PAYG-utrymme för sidor höjer för närvarande inte crawlerns separata månatliga uppdateringsbudget. Se priser och kontots aktuella tillgängliga utrymme innan du ökar storleken på en körning.
Uppdatera innehåll
- Automatisk omskrapning är valfritt och måste aktiveras. Free tillåter veckovisa eller månatliga körningar; betalda planer tillåter även dagliga. Månadsschemat innebär ett intervall på 30 dagar, inte ett visst kalenderdatum.
- Skrapa nu är ingen obegränsad omförsöksknapp. Minimiintervallet räknas från när det senaste skrapningsjobbet skapades: sju dagar på Free eller 24 timmar på betalda planer, även om jobbet misslyckades. Ett väntande eller pågående jobb blockerar också en ny manuell skrapning.
- Nya sidor och sidor där den lagrade extraherade texten har ändrats använder varsin enhet av den månatliga uppdateringsbudgeten. En oförändrad sida uppdaterar skrapningsmetadata utan att använda ytterligare enhet; en reparation av embeddingar kan ändå läggas i kö om det behövs. Ändrat innehåll lägger ett separat embedding-jobb i kö, utan att debiteras en gång till.
- Uppdateringsbudgeten delas mellan ägarens projekt och återställs i början av varje UTC-kalendermånad. Den är inte en separat kvot per chattbot eller skrapning.
- Uppdateringar som hämtas utan fel ersätter den lagrade sidtexten. Misslyckade hämtningar och avvisade blockerings-/felsidor lämnar tidigare innehåll kvar. Att ta bort en URL från en sitemap eller ett källurval tar inte bort den ur kunskapsbasen; radera oönskade sidor under Kunskap → Sidor och ta bort dem från framtida upptäckt.
Underhåll av innehåll
Kunskap → Sidor stöder borttagning av enskilda sidor, Rensa allt och Bygg om index. Att avmarkera en sida i väljaren tar inte bort lagrat innehåll. När en enskild sida tas bort tas den också bort från en sparad lista med Manuella URL:er, men sitemap- och crawl-källor kan hitta den igen; justera även de källorna. Rensa allt avbryter aktiva skrapnings- och embedding-jobb och tar bort lagrade sidor och embeddings i bakgrundsbatcher, men lämnar den sparade källkonfigurationen orörd. Senare skrapningar kan lägga till sidor igen.
Bygg om index bygger om embeddings från redan lagrad text; funktionen hämtar inte webbplatsen, återställer inte borttagna sidor och återställer inte avkortad text. Manuella ombyggnader har planens vecko-/dygnscooldown, räknad från det senaste embedding-jobbet, och använder samma månatliga siduppdateringsbudget för varje sida som reserveras för ombyggnaden. Embeddings som automatiskt köas för ändrade skrapade sidor debiteras inte en gång till. Projekt med konfigurationslås avvisar skrapning, innehållsborttagning och manuell ombyggnad via dashboarden; använd konfigurationsflödet för driftsättning.
Status och partiell indexering
Öppna Kunskap → Sidor, fäll ut Importhistorik när det finns jobb och välj ett jobb under Skrapjobb för att se status, sidantal, tidsstämplar och uppskattad hastighet och återstående tid medan sidor sparas. Upptäckten sker innan det slutliga antalet valda sidor är känt, så noll i början betyder inte nödvändigtvis att jobbet har fastnat. Antalet gäller sparade sidor, inklusive oförändrade sidor, inte färdiga vektorembeddings.
Slutförd betyder att körningen avslutades, inte att varje vald URL lyckades. En körning kan avslutas med färre sparade sidor efter misslyckade hämtningar eller en sid- eller uppdateringsgräns, och ett tomt urval kan slutföras med noll sidor. Jämför antalet och listan över sparade sidor med de URL:er du förväntade dig. Jobbdetaljerna visar högst 8 sparade sidor; använd den sidindelade listan under Kunskap → Sidor för större samlingar. Det är inte en fullständig felrapport per URL.
Delvis indexerad betyder att en sidas extraherade text översteg lagringsgränsen på 512 KiB UTF-8. Endast början behålls, och gränssnittet visar behållna jämfört med extraherade byte. Ett slutfört jobb med sådana sidor visar Slutförd med varningar. Varningen gäller avkortad sidtext, inte alla möjliga misslyckade eller överhoppade URL:er. Dela upp en lång referens i mindre offentliga sidor om viktiga avsnitt har kapats.
Hämtningslagret avvisar separat svarskroppar över 5 MiB och omdirigeringskedjor med fler än fem steg. Dessa hämtningsfel skiljer sig från sidor som hämtats men vars extraherade text bara delvis behålls.
Ändrat innehåll lägger ett separat embedding-jobb i kö. Granska indexerings- eller ombyggnadsstatus och testa representativa svar före lansering; en märkning om slutförd hämtning validerar inte i sig kvaliteten på informationssökningen.
Innehållsextrahering
ChattyBox läser sidans titel och föredrar text från <main>, därefter <article>, sedan ett element med role="main" och använder i sista hand body-text. I det valda innehållet behålls:
- Sidtitel - Taggen
<title> - Rubriker - Text från
<h1>till<h6> - Stycken - Läsbar stycketext
- Listor - Listobjekt i
<ul>och<ol> - Kod och tabeller - Textinnehåll, med blanksteg i förformaterad kod bevarade
En begränsad reservfunktion kan hämta ett OpenAPI-dokument på samma origin som refereras av en igenkänd SwaggerUIBundle-konfiguration när HTML-innehållet har för lite text. Det innebär inte allmän JavaScript-rendering, filuppladdning eller stöd för alla API-referensvisare.
Ignorerat innehåll
Extraheringen utesluter vanliga element som inte är innehåll, bland annat:
- Navigeringsmenyer
- Innehåll i sidfoten
- Skript och stilmallar
- Element märkta
hidden,aria-hidden="true"eller med inline-stilendisplay: none/visibility: hidden - Igenkänd markup för cookie- och samtyckesbanners samt dialog- och navigeringsroller
- Iframes, canvas, SVG och inbäddade objekt
Det här är HTML-baserade heuristiker, inte en beräknad webbläsarlayout. Förutsätt inte att alla visuellt dolda element eller banners upptäcks.
Felsökning
Skrapas inga sidor?
- Kontrollera att URL:en är offentligt tillgänglig
- Kontrollera att servern tillåter vanliga HTML-förfrågningar utan inloggning, CAPTCHA eller botkontroll
- Kontrollera läge, origin, valda URL:er, sidutrymme och uppdateringsbudget; crawlern tillämpar inte robots-direktiv, och
robots.txtär inte åtkomstkontroll - Kontrollera att sidan inte ligger bakom inloggning
- Vid länkbaserad reservupptäckt, kontrollera att viktiga länkar kan nås från startadressen inom djupgränsen
Saknas innehåll i svaren?
- Skrapa sidan på nytt efter publicerade ändringar när spärrtiden tillåter det
- Servera viktigt innehåll i den första HTML:en; JavaScript-only innehåll renderas inte
- Se till att innehållet finns i sidans huvudinnehåll, inte i iframes
- Kontrollera om det finns varningar om partiell indexering och invänta embedding-arbetet innan du testar igen
Behöver du mer kontroll?
För källor som inte stöds eller ihållande extraheringsproblem kan du kontakta support@chattybox.ai med en offentlig exempel-URL. Skicka inte inloggningsuppgifter och förutsätt inte stöd för autentiserad eller JavaScript-renderad crawling.
För lanseringsproblem efter skrapning, se lanseringschecklistan och felsökningsguiden.