Siirry pääsisältöön

Sisällön haravointi

Määritä, miten ChattyBox haravoi verkkosivustosi ja indeksoi sisällön AI-vastauksia varten.

Avaa Tietopohja → Tuo ja päivitä, yhdistä verkkosivustosi, tarkista löydetyt sivut ja tuo tai päivitä nimenomaisesti valitsemasi sivut. Verkkosivuston ja edistyneiden lähdeasetusten muutokset tallentuvat automaattisesti; tarkista tallennuksen tila ja korjaa validointivirheet tai yritä tallennusta uudelleen, jos se epäonnistui. Löytäminen ja automaattinen tallennus eivät itsessään tuo sivuja. Valittujen sivujen tuonti ei korvaa tallennettua lähdemääritystä. Erillinen edistynyt Kerää nyt -toiminto tallentaa ensin kelvolliset lähdeasetukset ja suorittaa sitten määritetyn tilan, ei sivuvalitsimen valintaa. Hallintapaneeli edellyttää tallennettua Verkkosivuston URL * -osoitetta myös Manuaaliset URL-osoitteet -tilassa.

:::warning Vain julkinen HTML ChattyBox hakee HTML:ää eikä avaa selainta tai renderöi JavaScriptiä. Se ei noudata robots.txt-tiedoston crawl-ohjeita. Automaattinen sivustokartan tunnistus voi lukea tiedostosta saman originin sivustokarttamerkintöjä, jos tavanomaisista sijainneista ei löydy URL-osoitteita; Crawl-tilan linkkivarmistushaku ei käytä näitä merkintöjä. Älä pidä robots.txt-tiedostoa pääsynhallintana. Lähetä vain sisältöä, jonka indeksointiin sinulla on oikeus, ja rajaa ei-toivotut sivut pois nimenomaisella lähdevalinnalla robots-sääntöjen sijaan. Todennusta, CAPTCHA-ratkaisuja ja yksityisverkkojen haravointia ei tueta. :::

Julkisen sisällön käyttöönottoa varten tutustu verkkosivuston AI-chatbot-oppaaseen ja opi valitsemaan luotettavat dokumentit, ohjeartikkelit, tuotesivut ja usein kysytyt kysymykset ennen viitteellisten vastausten testaamista.

Kaavintatilat​

ChattyBoxissa on neljä kaavintatilaa:

1. Vain etusivu​

Haravoi vain tallennetun Verkkosivuston URL -osoitteen, joka voi olla yksittäinen sivu eikä sivuston juurisivu. Sopii parhaiten laskeutumissivulle tai yhden sivun kokeiluun.

2. Sivustokarttatila (suositeltu)​

Anna sivustokartan URL-osoite sivujen löytämistä varten, myös lapsisivukartoista. Vain Website URL -osoitteen originissa olevat sivut säilytetään, ja suodattimet, sivurajat sekä päivityskiintiöt ovat edelleen voimassa. Sivustokartta on löytämislähde, ei takuu siitä, että kaikki luetellut URL-osoitteet indeksoidaan.

https://example.com/sitemap.xml

Jos Sivustokartan URL (valinnainen) on tyhjä, ChattyBox kokeilee ensin automaattisesti havaittua sivustokarttaa, sitten osoitteita /sitemap.xml ja /sitemap_index.xml. Jos niistä ei löydy URL-osoitteita, käytetään vain tallennettua Verkkosivuston URL * -osoitetta. Jos nimenomaisesti annettu sivustokartta ei palauta URL-osoitteita, työ epäonnistuu eikä käytä varaosoitetta. Sisäkkäisten sivustokarttojen etsinnällä on syvyysraja.

3. Crawl-tila​

Aloita julkisesta URL-osoitteesta ja anna ChattyBoxin löytää saman sivuston sivuja. Crawl-tila yrittää ensin tavanomaisia /sitemap.xml- ja /sitemap_index.xml-sivukarttoja. Jos niistä ei löydy URL-osoitteita, se seuraa aloitussivun saman originin linkkejä määritettyyn syvyyteen asti (oletus 3). Jos sivustokartta tuottaa URL-osoitteita, linkkejä ei seurata puutteiden täydentämiseksi. Linkkejä etsiessään crawler ohittaa yleisiä tili-, kirjautumis-, kassa-, haku- ja resurssi-URL-osoitteita. Tarkista, mitkä sivut todella indeksoitiin; nämä heuristiikat eivät ole yksityisyyden suojaraja.

4. Manuaaliset URL-osoitteet​

Määritä tarkat julkiset URL-osoitteet haravointia varten, yksi per rivi. Käytä tätä, kun haluat hallita tarkasti, mitkä sivut indeksoidaan. Näistä sivuista ei etsitä lisää sivuja linkkejä seuraamalla; sivu- ja päivitysrajat ovat edelleen voimassa.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

URL-valinnan lisäasetukset​

Hallintapaneelissa voi valita tilan, sitemapin tai manuaaliset URL-osoitteet, sivujen enimmäismäärän ja päivitysaikataulun. Siellä ei voi määrittää include/exclude-malleja eikä crawl-syvyyden enimmäisarvoa. Konfigurointi koodina tukee näitä lisäasetuksia. Include/exclude-arvot ovat kirjainkoon huomioivia URL-osoitteen osajonoja, eivät glob-malleja tai säännöllisiä lausekkeita; exclude-osuma ohittaa include-osuman. Linkkicrawlissa suodatettuja sivuja ei seurata, joten aloitussivun poissulkeva sääntö voi pysäyttää löytämisen kokonaan.

Monikielisillä sivustoilla valitse tarvitsemasi julkiset kieliversiot erikseen. Sivustokartta- ja linkkihaku pysyvät samassa originissa, joten aliverkkotunnuksessa oleva kieliversio tarvitsee oman lähdevalinnan. Sivun kieli tunnistetaan sivusta ja URL-osoitteesta; widgetin kieliasetuksen lisääminen ei käännä tai indeksoi puuttuvaa sisältöä.


Sivurajoitukset​

Erota toisistaan tallennetut sivut ja kuukausittainen päivitystyö. Tallennettu Sivujen enimmäismäärä on pyydetty valintaraja ajoa kohti, ei käyttöoikeus; hallintapaneeli tarkistaa arvon myös näytettyä rajaa vasten. Jos arvo puuttuu, oletuksena käytetään paketin sisältämää tilikohtaista sivukiintiötä. Ennen ajoa ChattyBox tarkistaa palveluntarjoajan kapasiteetin uudelleen, asettaa tunnetut nykyiset projektin URL-osoitteet etusijalle ja rajoittaa uusien URL-osoitteiden hyväksymisen omistajan jäljellä olevaan yhteiseen kapasiteettiin. Uusien sivujen paikat tarkistetaan uudelleen sivuja tallennettaessa. Löytäminen voi tehdä verkkopyyntöjä ennen lopullisen valinnan valmistumista; kapasiteettirajat eivät siis ole yksityisyyden tai ulospäin lähtevien verkkopyyntöjen rajoja. Tietopohjan sivuvalitsimen valinta on erikseen rajattu 500 URL-osoitteeseen tuontia kohden, ja kapasiteetti tarkistetaan uudelleen ennen tuonnin aloittamista. Lähteen vaihtaminen tai rajan alentaminen ei poista vanhoja sivuja automaattisesti. Sisältyvät tallennetut sivut jaetaan omistajan chatbotien kesken; katso hinnoittelu julkaistujen kiintiöiden osalta ja Tili ja laskutus tilisi tämänhetkisen käytön ja jäljellä olevan kiintiön tarkistamiseksi.

PakettiSisältyvät tilisivutKuukausittainen sivupäivitysbudjettiNopein päivitystahti
Free10500Viikoittain
Starter1505 000Päivittäin
Pro5 000100 000Päivittäin
Business25 000250 000Päivittäin

Pro- ja Business-paketeissa voi ottaa käyttöön sivujen valinnaisen käytön mukaan laskutettavan lisäkäytön (PAYG) kohdassa Tili ja laskutus. Free- ja Starter-paketeissa on edelleen ehdottomat käyttörajat. Sivujen PAYG-lisäkäyttö ei tällä hetkellä kasvata crawlerin erillistä kuukausittaista päivitysbudjettia. Katso hinnoittelu ja tilisi tämänhetkinen kiintiö ennen ajon koon kasvattamista.

Sisällön päivittäminen​

  • Automaattinen uudelleenkeräys on valinnainen. Free sallii viikoittaiset tai kuukausittaiset ajot; maksullisilla paketeilla voi käyttää myös päivittäistä aikataulua. Kuukausittainen aikataulu tarkoittaa 30 päivän väliä, ei tiettyä kalenteripäivää.
  • Kerää nyt ei ole rajaton uudelleenyrityspainike. Vähimmäisväli lasketaan viimeisimmän skrapaustyön luomisesta: Free-paketissa seitsemän päivää ja maksullisissa paketeissa 24 tuntia, myös epäonnistuneen työn jälkeen. Odottava tai käynnissä oleva työ estää uuden manuaalisen skrapauksen.
  • Uudet sivut ja sivut, joiden tallennettu poimittu teksti on muuttunut, kuluttavat kukin yhden yksikön kuukausittaisesta päivitysbudjetista. Muuttumaton sivu päivittää skrapauksen metatiedot kuluttamatta uutta yksikköä; embedding-korjaus voidaan silti asettaa jonoon tarvittaessa. Muuttunut sisältö käynnistää erillisen embedding-työn ilman toista veloitusta.
  • Päivitysbudjetti on yhteinen omistajan projektien kesken, ja se nollautuu kunkin UTC-kalenterikuukauden alussa. Se ei ole erillinen kiintiö chatbotille tai skrapausajolle.
  • Onnistuneesti haetut päivitykset korvaavat tallennetun sivutekstin. Epäonnistuneet haut ja hylätyt esto-/virhesivut säilyttävät aiemman sisällön. URL-osoitteen poistaminen sitemapista tai lähdevalinnasta ei poista sitä tietopohjasta; poista ei-toivotut sivut kohdassa Tietopohja → Sivut ja rajaa ne pois tulevasta löytämisestä.

Edistyminen ja osittainen indeksointi​

Avaa Tietopohja → Sivut, laajenna Tuontihistoria, kun töitä on olemassa, ja valitse työ kohdasta Keräystyöt, niin näet tilan, sivumäärät, aikaleimat sekä arvion nopeudesta ja jäljellä olevasta ajasta sivujen tallentuessa. Sivujen etsintä tapahtuu ennen lopullisen valittujen sivujen määrän selviämistä, joten alun nolla ei välttämättä tarkoita työn pysähtyneen. Määrät kuvaavat tallennettuja sivuja, myös muuttumattomia sivuja, eivät valmiita vektoriupotuksia.

Valmis tarkoittaa, että ajo päättyi, ei sitä, että jokainen valittu URL onnistui. Hakuvirheet tai sivu- ja päivitysrajat voivat vähentää tallennettujen sivujen määrää, ja tyhjä valinta voi valmistua ilman sivuja. Vertaa tallennettujen sivujen määrää ja sivuluetteloa odottamiisi URL-osoitteisiin. Työn tiedot näyttävät enintään 8 tallennettua sivua; selaa suurempia kokoelmia sivutetussa Tietopohja → Sivut -luettelossa. Näkymä ei ole täydellinen URL-kohtainen virheraportti.

Osittain indeksoitu tarkoittaa, että sivulta poimittu teksti ylitti 512 KiB:n UTF-8-tallennusrajan. Vain alku säilytetään, ja käyttöliittymä näyttää säilytettyjen ja poimittujen tavujen määrät. Tällaisia sivuja sisältävä valmis työ näyttää tilan Valmis varoituksin. Varoitus koskee katkaistua sivutekstiä, ei kaikkia mahdollisia epäonnistuneita tai ohitettuja URL-osoitteita. Jaa pitkä lähdesivu pienempiin julkisiin sivuihin, jos tärkeitä osia jäi pois.

Hakukerros hylkää erikseen yli 5 MiB:n vastaussisällöt ja yli viiden uudelleenohjauksen ketjut. Nämä hakuvirheet eroavat onnistuneesti haetuista sivuista, joiden poimittu teksti säilytetään vain osittain.

Muuttunut sisältö lisää erillisen embedding-työn jonoon. Tarkista indeksin ja uudelleenrakennuksen tila ja testaa edustavia vastauksia ennen julkaisua; pelkkä haravoinnin valmistumistila ei vahvista haun laatua.

Sisällön ylläpito​

Tietopohja → Sivut tukee yksittäisten sivujen poistamista, Tyhjennä kaikki-toimintoa ja Rakenna indeksi uudelleen -toimintoa. Sivun poistaminen valitsimesta ei poista tallennettua sisältöä. Yksittäisen sivun poistaminen poistaa sen myös tallennetusta Manuaaliset URL-osoitteet -listasta, mutta sitemap- ja crawl-lähteet voivat löytää sen uudelleen; muuta myös näitä lähteitä. Tyhjennä kaikki peruuttaa käynnissä olevat skrapaus- ja embedding-työt ja poistaa tallennetut sivut ja embeddingit taustaerissä, mutta säilyttää tallennetun lähdemäärityksen. Myöhemmät skrapaukset voivat lisätä sivut takaisin.

Rakenna indeksi uudelleen muodostaa embeddingit uudelleen jo tallennetusta tekstistä; se ei hae sivustoa, palauta poistettuja sivuja eikä palauta katkaistua tekstiä. Manuaalisella uudelleenrakennuksella on paketin mukainen viikoittainen/päivittäinen jäähdytysaika, joka lasketaan viimeisimmästä embedding-työstä, ja se kuluttaa samaa kuukausittaista sivupäivitysbudjettia jokaisesta uudelleenrakennukseen varatusta sivusta. Muuttuneiden skrapattujen sivujen embedding-työtä ei veloiteta uudelleen, vaikka se käynnistyy automaattisesti. Konfiguraatiolukitut projektit hylkäävät dashboardin skrapaukset, sisällön poistot ja manuaaliset uudelleenrakennukset; käytä konfiguraation käyttöönoton työnkulkua.


Sisällön poiminta​

ChattyBox lukee sivun otsikon ja valitsee sisällöksi ensisijaisesti <main>-elementin tekstin, sitten <article>-elementin, sen jälkeen role="main" -elementin ja viimeisenä body-tekstin. Valitusta sisällöstä säilytetään:

  • Sivun otsikko - <title>-tagi
  • Otsikot - <h1>–<h6>-elementtien teksti
  • Kappaleet - luettava kappaleteksti
  • Luettelot - <ul>- ja <ol>-luetteloiden kohdat
  • Koodi ja taulukot - tekstisisältö, jossa esimuotoiltujen koodilohkojen välilyönnit säilyvät

Rajattu varamenettely voi hakea saman originin OpenAPI-dokumentin, johon tunnistettu SwaggerUIBundle-määritys viittaa, jos HTML sisältää liian vähän tekstiä. Tämä ei tarkoita yleistä JavaScript-renderöintiä, tiedostojen latausta tai tukea kaikille API-dokumentaation katselimille.

Ohitettava sisältö​

ChattyBox ohittaa automaattisesti:

  • Navigaatiovalikot
  • Alatunnisteen sisältö
  • Skriptit ja tyylitiedostot
  • Elementit, joilla on hidden, aria-hidden="true" tai sisäinen display: none / visibility: hidden
  • Tunnistettu eväste- ja suostumusbannerien merkkaus sekä dialogi- ja navigointiroolit
  • Iframet, canvas, SVG ja upotetut objektit

Nämä ovat HTML-pohjaisia heuristiikkoja, eivät selaimen laskemaan asetteluun perustuvia sääntöjä. Älä oleta, että kaikki visuaalisesti piilotetut elementit tai bannerit tunnistetaan.


Vianmääritys​

Eivätkö sivut haravoidu?​

  • Tarkista, että URL on julkisesti saatavilla
  • Tarkista, että palvelin sallii tavalliset HTML-pyynnöt ilman kirjautumista, CAPTCHAa tai bot-haastetta
  • Tarkista valittu tila, origin, URL-osoitteet, sivukiintiö ja kuukausittainen päivityskiintiö; crawler ei noudata robots.txt-tiedoston crawl-ohjeita, eikä robots.txt ole pääsynhallintaa
  • Tarkista, ettei sivu ole kirjautumisen takana
  • Jos käytetään linkkihakua varamenettelynä, varmista, että tärkeät linkit ovat saavutettavissa aloitusosoitteesta syvyysrajan sisällä

Puuttuuko sisältö vastauksista?​

  • Haravoi sivu uudelleen sisällön julkaisun jälkeen, kun päivitysten jäähdytysaika sallii sen
  • Tarjoa tärkeä sisältö alkuperäisessä HTML:ssä; vain JavaScriptillä ladattua sisältöä ei renderöidä
  • Varmista, että sisältö on sivun varsinaisessa sisällössä, ei iframeissa
  • Tarkista osittaisen indeksoinnin varoitukset ja odota embedding-työn valmistumista ennen uutta testiä

Tarvitsetko enemmän hallintaa?​

Jos lähdettä ei tueta tai poiminnassa on jatkuvia ongelmia, ota yhteyttä osoitteeseen support@chattybox.ai ja liitä mukaan julkinen esimerkki-URL. Älä lähetä kirjautumistietoja äläkä oleta, että tuki voi ottaa käyttöön todennuksen tai JavaScriptillä renderöitävän haravoinnin.

Jos haravoinnin jälkeisessä julkaisussa ilmenee ongelmia, käytä julkaisun tarkistuslistaa ja vianmääritysopasta.