Innehållsskrapning
Konfigurera hur ChattyBox genomsöker din webbplats och indexerar innehåll för AI-genererade svar.
För en lansering med offentligt innehåll kan du läsa guiden för AI-chattbotar för webbplatser om hur du väljer tillförlitlig dokumentation, hjälpartiklar, produktsidor och vanliga frågor innan du testar citerade svar.
Skrapningslägen
ChattyBox har stöd för tre skrapningslägen:
1. Endast startsidan
Skrapar bara din startsida. Bäst för enkla landningssidor eller när du vill få så lite innehåll som möjligt indexerat.
2. Webbplatskarteläge (rekommenderas)
Ange en URL till webbplatskartan så skrapar ChattyBox alla sidor som listas där. Det här är det mest tillförlitliga sättet att se till att alla dina sidor indexeras.
https://example.com/sitemap.xml
3. Manuella URL:er
Ange de exakta URL:er som ska skrapas, en per rad. Använd det här när du vill ha exakt kontroll över vilka sidor som indexeras.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Sidgränser
Antalet sidor du kan skrapa beror på ditt abonnemang:
| Abonnemang | Sidor per webbplats |
|---|---|
| Free | 10 |
| Starter | 150 |
| Pro | 5,000 |
| Business | 25,000 |
Innehållsextrahering
ChattyBox extraherar:
- Sidtitel - Taggen
<title> - Huvudinnehåll - Text från
<main>,<article>eller<body> - Rubriker - Alla taggar från
<h1>till<h6> - Stycken - Allt innehåll i
<p> - Listor - Listobjekt i
<ul>och<ol>
Ignorerat innehåll
ChattyBox ignorerar automatiskt:
- Navigeringsmenyer
- Innehåll i sidfoten
- Skript och stilmallar
- Dolda element
- Cookiebanners
Felsökning
Skrapas inga sidor?
- Kontrollera att URL:en är offentligt tillgänglig
- Se till att din
robots.txttillåter vår webbcrawler - Kontrollera att sidan inte ligger bakom inloggning
Saknas innehåll i svaren?
- Skrapa sidan på nytt för att hämta det senaste innehållet
- Kontrollera att innehållet inte laddas in via JavaScript (vi renderar JS)
- Se till att innehållet finns i sidans huvudinnehåll, inte i iframes
Behöver du mer kontroll?
För mer avancerade skrapningsbehov (autentisering, dynamiskt innehåll osv.) kan du kontakta oss på support@chattybox.ai.