Sisällön haravointi
Määritä, miten ChattyBox haravoi verkkosivustosi ja indeksoi sisällön AI-vastauksia varten.
Julkisen sisällön käyttöönottoa varten tutustu verkkosivuston AI-chatbot-oppaaseen ja opi valitsemaan luotettavat dokumentit, ohjeartikkelit, tuotesivut ja usein kysytyt kysymykset ennen viitteellisten vastausten testaamista.
Kaavintatilat
Tallenna ensin Website URL kohdassa General Settings ja valitse sitten tila sekä Maximum Pages kohdassa Scraping Configuration. Lomakkeet tallennetaan erikseen. ChattyBoxissa on neljä kaavintatilaa:
1. Vain etusivu
Haravoi vain sinun etusivusi. Paras yksinkertaisille laskeutumissivuille tai kun haluat indeksoida vain vähän sisältöä.
2. Sivustokarttatila (suositeltu)
Anna sivustokartan URL-osoite sivujen löytämistä varten, myös lapsisivukartoista. Vain Website URL -osoitteen originissa olevat sivut säilytetään, ja suodattimet, sivurajat sekä päivityskiintiöt ovat edelleen voimassa. Sivustokartta on löytämislähde, ei takuu siitä, että kaikki luetellut URL-osoitteet indeksoidaan.
https://example.com/sitemap.xml
Jos Sitemap URL on tyhjä, ChattyBox kokeilee ensin /sitemap.xml- ja sitten /sitemap_index.xml-osoitetta. Jos kummastakaan ei löydy URL-osoitteita, käytetään vain tallennettua Website URL -osoitetta. Nimenomaisesti annettu tyhjä sivustokartta epäonnistuu eikä palaa etusivulle.
3. Crawl-tila
Aloita julkisesta URL-osoitteesta ja anna ChattyBoxin löytää saman sivuston sivuja. Crawl-tila yrittää ensin tavanomaisia /sitemap.xml- ja /sitemap_index.xml-sivukarttoja. Jos niistä ei löydy URL-osoitteita, se seuraa aloitussivun saman originin linkkejä määritettyyn syvyyteen asti (oletus 3). Jos sivustokartta tuottaa URL-osoitteita, linkkejä ei seurata puutteiden täydentämiseksi.
4. Manuaaliset URL-osoitteet
Määritä tarkat URL-osoitteet haravointia varten, yksi per rivi. Käytä tätä, kun haluat hallita tarkasti, mitkä sivut indeksoidaan.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Sivurajoitukset
maxPages tallentaa pyynnön; jokainen ajo rajoittaa ulospäin suuntautuvan löytämisen ja valinnan arvoon min(pyyntö, max(tarjoajan nykyinen sivukapasiteetti, tunnetut olemassa olevat projektisivut)). Nolla- tai evätyllä kapasiteetilla vain tunnetut olemassa olevat sivut voivat päivittyä; ilman niitä tuntemattomia sivuja ei löydetä ulospäin. Tämä ei muuta omistajapoolin käyttöoikeuksia.
Se, kuinka monta sivua voit haravoida, riippuu sinun paketistasi:
| Paketti | Sisältyvä sivukiintiö | Kuukausittainen sivupäivityskiintiö | Nopein päivitystahti |
|---|---|---|---|
| Free | 10 | 500 | Viikoittain |
| Starter | 150 | 5 000 | Päivittäin |
| Pro | 5 000 | 100 000 | Päivittäin |
| Business | 25 000 | 250 000 | Päivittäin |
Maximum Pages rajoittaa yhden ajon valittuja URL-osoitteita ja tilaa uusille sivuille. Se ei takaa, että kaikki pyydetyt sivut tallennetaan. Tallennetut sivut ja kuukausittainen päivitystyö ovat eri kiintiöitä; lähteen muuttaminen tai rajan laskeminen ei poista vanhoja sivuja automaattisesti.
Sisällön poiminta
ChattyBox hakee julkista HTML:ää. Se ei aja selainta tai renderöi JavaScriptiä eikä tällä hetkellä lue tai noudata robots.txt-tiedostoa. Lähetä vain sisältöä, jonka indeksointiin sinulla on oikeus; todennus, CAPTCHA-ratkaisut ja yksityisverkkojen haravointi eivät ole tuettuja.
ChattyBox poimii:
- Sivun otsikko -
<title>-tagi - Pääsisältö - ensisijaisesti
<main>-, sitten<article>- tairole="main"-elementistä ja lopuksibody-tekstistä - Otsikot - kaikki
<h1>–<h6>-tagit - Kappaleet - kaikki
<p>-sisältö - Luettelot -
<ul>- ja<ol>-luetteloiden kohdat - Koodi ja taulukot - tekstisisältö, jossa esimuotoiltujen koodilohkojen välilyönnit säilyvät
Ohitettava sisältö
ChattyBox ohittaa automaattisesti:
- Navigaatiovalikot
- Alatunnisteen sisältö
- Skriptit ja tyylitiedostot
- Piilotetut elementit
- Evästebannerit
- Iframet, canvas, SVG ja upotetut objektit
Vianmääritys
Eivätkö sivut haravoidu?
- Tarkista, että URL on julkisesti saatavilla
- Tarkista valittu tila, origin, URL-osoitteet, sivukiintiö ja kuukausittainen päivityskiintiö;
robots.txt-tiedostoa ei käytetä - Tarkista, ettei sivu ole kirjautumisen takana
Puuttuuko sisältö vastauksista?
- Haravoi sivu uudelleen sisällön julkaisun jälkeen, kun päivitysten jäähdytysaika sallii sen
- Tarjoa tärkeä sisältö alkuperäisessä HTML:ssä; vain JavaScriptillä ladattua sisältöä ei renderöidä
- Varmista, että sisältö on sivun varsinaisessa sisällössä, ei iframeissa
Tarvitsetko enemmän hallintaa?
Jos haravointitarpeesi ovat edistyneempiä (todennus, dynaaminen sisältö jne.), ota meihin yhteyttä osoitteessa support@chattybox.ai. Completed tarkoittaa, että ajo päättyi, ei että jokainen valittu URL onnistui. Vertaa tallennettuja sivuja odotettuihin URL-osoitteisiin ja odota erillisen embedding-työn valmistumista ennen vastausten testaamista. Jos poimittu teksti ylittää 512 KiB:n UTF-8-rajan, vain alku säilytetään osittain; jaettu pitkä lähdesivu pienempiin julkisiin sivuihin.