Liigu põhisisu juurde

Sisu kraapimine

Seadista, kuidas ChattyBox sinu veebisaiti läbib ja sisu AI vastuste jaoks indekseerib.

Ava Teadmised → Impordi ja värskenda, ühenda veebisait, vaata leitud lehed üle ning impordi või värskenda valikut selgesõnaliselt. Veebisaidi URL ja täpsemad allikaseaded salvestatakse automaatselt; kontrolli salvestamise olekut, lahenda valideerimisvead või proovi ebaõnnestunud salvestamist uuesti. Lehtede avastamine ega automaatne salvestamine ise importi ei käivita. Valitud lehtede import ei asenda salvestatud allikakonfiguratsiooni. Eraldi täpsem Kraabi kohe tegevus salvestab esmalt kehtivad allikaseaded ja käivitab seejärel seadistatud režiimi, mitte lehevalija valikut. Halduslaud nõuab salvestatud Veebisaidi URL-i ka režiimis Käsitsi URL-id.

:::warning Ainult avalik HTML Roomik hangib HTML-i, kuid ei käivita brauserit ega renderda JavaScripti. ChattyBox ei rakenda robots.txt roomamisjuhiseid. Saidikaardi automaatne tuvastamine võib lugeda failist sama päritoluga saidikaartide deklaratsioone, kui tavapärastest asukohtadest URL-e ei leita; Crawl-režiimi linkide järgimine neid deklaratsioone ei kasuta. Ärge käsitlege robots.txt-i juurdepääsukontrollina. Esitage ainult sisu, mille indekseerimiseks teil on õigus, ja välistage soovimatud lehed selgesõnalise allikavalikuga. Autentimist, CAPTCHA lahendamist ja privaatvõrkude roomamist ei toetata. :::

Avaliku sisu kasutuselevõtu puhul vaadake veebisaidi AI-vestlusroboti juhendit, et teada saada, kuidas valida usaldusväärseid dokumente, abiartikleid, tootelehti ja KKK-sid enne viidetega vastuste testimist.

Kraapimisrežiimid​

ChattyBox toetab nelja kraapimisrežiimi:

1. Ainult avaleht​

Kraapib ainult salvestatud Veebisaidi URL-i, mis võib olla ka konkreetne leht, mitte saidi juur. Sobib kõige paremini maandumislehele või ühe lehe hindamiseks.

2. Saidikaardi režiim (soovitatav)​

Sisesta saidikaardi URL, et leida lehti, sealhulgas alamsaidikaartidest. Alles jäetakse vaid Veebisaidi URL-i origin’il olevad lehed ning filtrid, lehepiirang ja värskenduseelarve rakenduvad ikka. Saidikaart on avastamisallikas, mitte garantii, et iga loetletud URL indekseeritakse.

https://example.com/sitemap.xml

Kui väli Saidikaardi URL (valikuline) on tühi, proovib ChattyBox kõigepealt tuvastatud saidikaarti, seejärel /sitemap.xml ja /sitemap_index.xml. Kui ükski neist URL-e ei anna, kasutatakse ainult salvestatud Veebisaidi URL-i. Selgesõnaliselt sisestatud saidikaart, mis ei anna ühtki URL-i, lõpetab töö veaga, mitte ei lange tagasi Veebisaidi URL-ile. Pesastatud saidikaartide avastamise sügavus on piiratud.

3. Crawl-režiim​

Alusta avalikust URL-ist ja lase ChattyBoxil leida sama saidi lehti. Crawl proovib esmalt tavapäraseid asukohti /sitemap.xml ja /sitemap_index.xml; kui need URL-e ei anna, järgib see alguslehe sama päritoluga linke kuni seadistatud sügavuseni (vaikimisi 3). Kui tavapärane saidikaart annab URL-e, kasutab crawl neid ega järgi linke puuduliku saidikaardi täiendamiseks. Linkide avastamisel jätab roomik levinud konto-, sisselogimis-, kassa-, otsingu- ja staatiliste failide URL-id vahele. Vaata tegelikult indekseeritud lehed üle; need heuristikad ei ole privaatsuspiir.

4. Käsitsi määratud URL-id​

Määra kraapimiseks täpsed avalikud URL-id, üks igale reale. Kasuta seda, kui soovid täpselt juhtida, millised lehed indekseeritakse. Neid lehti linkide järgi ei laiendata; lehe- ja värskenduspiirangud rakenduvad ikka.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Täpsem URL-ide valik​

Juhtpaneelil saab määrata režiimi, saidikaardi või käsitsi URL-id, lehtede maksimumarvu ja värskendamise ajakava. Kaasamis- ja välistamismustreid ega roomamise maksimaalset sügavust seal määrata ei saa. Neid täpsemaid seadeid toetab konfiguratsioon koodina. Kaasamise ja välistamise väärtused on tõstutundlikud URL-i alamstringid, mitte glob-mustrid ega regulaaravaldised; välistus on kaasamise suhtes ülimuslik. Linkide järgimisel ei läbita välja filtreeritud lehti, seega võib alguslehe välistamine avastamise täielikult peatada.

Mitmekeelse saidi puhul kaasake vajalikud avalikud keeleversioonid selgesõnaliselt. Saidikaardi avastamine ja linkide järgimine jäävad sama päritolu piiridesse, seega vajab alamdomeenil olev keel eraldi allikavalikut. Lehe keel tuvastatakse lehe ja URL-i põhjal; vidina keele lisamine ei tõlgi ega indekseeri puuduvat sisu.


Lehe- ja värskenduspiirangud​

Salvestatud Lehtede maksimaalne arv (maxPages) on ühe käivituse soovitud valikupiirang, mitte kasutusõigus; haldusliides kontrollib väärtust lisaks kuvatava piirangu järgi. Kui väärtus puudub, kasutatakse paketi kontole mõeldud lehepiirangut. Enne käivitamist kontrollib ChattyBox pakkuja praegust mahtu uuesti, eelistab projekti teadaolevaid olemasolevaid URL-e ning piirab uute URL-ide lubamist omaniku allesjäänud kontomahuga. Uute lehtede kohti kontrollitakse uuesti lehtede salvestamisel. Avastamine võib teha võrgupäringuid enne lõpliku valiku selgumist; mahupiirang ei ole privaatsuse ega väljaminevate päringute piir. Teadmised → Impordi ja värskenda lehevalija piirab ühe impordi eraldi 500 URL-iga ja kontrollib mahtu enne alustamist uuesti. Allika muutmine või piirangu vähendamine ei kustuta vanemaid lehti automaatselt. Paketis sisalduvad salvestatud lehed on omaniku vestlusrobotite vahel ühiskasutuses; vaata hinnakirja ning Konto ja arveldus jaotises konto praegust kasutust ja vaba mahtu.

PakettKontole kuuluvad lehedIgakuine lehevärskenduste eelarveKiireim värskendussagedus
Free10500Iga nädal
Starter1505,000Iga päev
Pro5,000100,000Iga päev
Business25,000250,000Iga päev

Pro ja Business saavad jaotises Konto ja arveldus lubada valikulise lehtede PAYG-limiidi. Free ja Starter jäävad kõva limiidi alla. PAYG suurendab salvestatavate lehtede limiiti, kuid ei suurenda praegu eraldi igakuist värskenduseelarvet. Enne töö mahu suurendamist vaata pakette ja limiite ning konto praegust limiiti.

Sisu värskendamine​

  • Automaatne uuesti kraapimine on valikuline. Free võimaldab iganädalast või igakuist käitamist; tasulised paketid võimaldavad ka igapäevast käitamist. Kuuintervall tähendab 30 päeva, mitte kindlat kuupäeva.
  • Kraabi kohe ei ole piiramatu korduskatse nupp. Viimase kraapimistöö loomisest peab olema möödunud vähemalt seitse päeva Free-paketis või 24 tundi tasulistes pakettides, ka siis, kui töö ebaõnnestus. Ootel või töötav töö takistab samuti uut käsitsi kraapimist.
  • Iga uus leht ja leht, mille salvestatud eraldatud tekst on muutunud, kasutab ühe ühiku igakuisest värskenduseelarvest. Muutumatu lehe metaandmeid värskendatakse uut kraapimisühikut kasutamata; vajaduse korral võidakse siiski järjekorda lisada embedding'u parandustöö.
  • Värskenduseelarve on omaniku projektide vahel ühine ja lähtestub iga UTC kalendrikuu alguses. See ei ole iga vestlusroboti ega töö jaoks eraldi limiit.
  • Edukalt hangitud uuendused asendavad salvestatud leheteksti. Ebaõnnestunud päringud ja tagasi lükatud blokeeringu- või vealehed jätavad varem salvestatud sisu alles. URL-i eemaldamine saidikaardilt või allikavalikust ei eemalda seda teadmusbaasist; kustutage soovimatud lehed jaotisest Teadmised → Lehed ja vältige nende edasist avastamist.

Sisu eraldamine​

ChattyBox loeb lehe pealkirja ja eelistab teksti elemendist <main>, seejärel <article> ja seejärel elemendist role="main"; vastasel juhul kasutatakse body-teksti. Valitud sisust säilitatakse:

  • Lehe pealkiri - <title>-silt
  • Pealkirjad - Kõik <h1> kuni <h6> sildid
  • Lõigud - Loetav lõigutekst
  • Loendid - <ul>- ja <ol>-loendite üksused
  • Kood ja tabelid - Tekstisisu, säilitades eelvormindatud koodi tühikud

Piiratud varumehhanism võib hankida sama päritoluga OpenAPI dokumendi, millele viitab tuvastatud SwaggerUIBundle konfiguratsioon, kui HTML-is on liiga vähe teksti. See ei tähenda üldist JavaScripti renderdamist, failide üleslaadimist ega kõigi API dokumentatsiooni vaaturite tuge.

Ignoreeritav sisu​

Sisu eraldamisel jäetakse muu hulgas välja:

  • Navigeerimismenüüd
  • Jaluse sisu
  • Skriptid ja stiilid
  • Elemendid atribuudiga hidden või aria-hidden="true" või reasisese stiiliga display: none / visibility: hidden
  • Tuvastatud küpsise- ja nõusolekuribade märgistus ning dialoogi ja navigeerimise rollid
  • Iframe'id, canvas, SVG ja manustatud objektid

Need on HTML-il põhinevad heuristikad, mitte brauseri arvutatud paigutus. Ärge eeldage, et tuvastatakse kõik visuaalselt peidetud elemendid või ribad.


Sisu haldamine​

Jaotises Teadmised → Lehed saab üksikuid lehti kustutada, kasutada funktsiooni Kustuta kõik või käivitada Ehita indeks uuesti. Lehevalijas lehe valiku tühistamine ei kustuta salvestatud sisu. Üksiku lehe kustutamine eemaldab selle ka salvestatud Käsitsi URL-id loendist, kuid sitemap- ja crawl-allikad võivad selle uuesti avastada; muuda ka neid allikaid või lisa välistusreegel. Kustuta kõik tühistab aktiivsed kraapimis- ja embedding-tööd ning kustutab salvestatud lehed ja embedding'ud taustal partiidena, kuid jätab allikakonfiguratsiooni alles. Hilisemad kraapimised võivad lehti uuesti lisada.

Ehita indeks uuesti loob embedding'ud juba salvestatud tekstist; see ei laadi veebisaiti alla, taasta kustutatud lehti ega taasta kärbitud teksti. Käsitsi indeksi taastamisel kehtib paketi nädala- või päevapõhine cooldown, mida arvestatakse viimase embedding-töö loomise ajast; iga taastamiseks reserveeritud leht kasutab sama igakuist värskenduseelarvet. Kraabitud muudetud lehtede jaoks automaatselt järjekorda lisatud embedding'ud ei kasuta seda eelarvet teist korda.

Konfiguratsioonilukuga projektides ei saa juhtpaneelilt käivitada kraapimist, kustutada sisu ega käsitsi indeksit uuesti ehitada; kasutage konfiguratsiooni juurutamise töövoogu.

Tõrkeotsing​

Kas lehti ei kraabita?​

  • Veendu, et URL on avalikult ligipääsetav ning server lubab tavapäraseid HTML-päringuid ilma sisselogimise, CAPTCHA või botikaitseta
  • Kontrolli valitud režiimi, origin’it, URL-e, saadaolevat lehemahtu ja värskenduseelarvet; robots.txt-i roomamisjuhiseid ei rakendata, kuid automaatne saidikaardi tuvastamine võib faili lugeda sama origin’i Sitemap-deklaratsioonide leidmiseks, kui tavapärastest asukohtadest URL-e ei leita. Need deklaratsioonid ei ole Crawl-režiimi linkide järgimise varuallikas. robots.txt ei ole juurdepääsukontroll; indekseerimiseks esita ainult sisu, milleks sul on luba, ja välista soovimatud lehed allika selgesõnalise valikuga, mitte robots-reeglitega
  • Veendu, et leht ei ole sisselogimise taga
  • Linkide järgimise varurežiimis kontrolli, et oluliste linkideni jõutakse algus-URL-ist lubatud sügavuse piires

Sisu puudub vastustest?​

  • Kraabi leht pärast muudatuste avaldamist uuesti, kui värskendamise ooteaeg seda lubab
  • Paku oluline tekst esialgses HTML-is; ainult JavaScripti kaudu laaditud sisu ei renderdata
  • Veendu, et sisu oleks lehe põhiosas, mitte iframe'ides
  • Kontrolli osalise indekseerimise hoiatusi ja oota embedding-töö valmimist enne uuesti testimist

Kas vajad rohkem võimalusi juhtimiseks?​

Toetamata allikate või püsivate ekstraktimisprobleemide korral võta ühendust aadressil support@chattybox.ai ja lisa avalik näidis-URL. Ära saada sisselogimisandmeid ega eelda autentitud või JavaScripti renderdavat crawlingut.

Käivitamisel tekkinud probleemide puhul kasuta käivitamise kontrollnimekirja ja tõrkeotsingu juhendit.

Edenemine ja osaline indekseerimine​

Lõpetatud tähendab, et töö lõppes, mitte et iga valitud URL õnnestus. Võrrelge salvestatud lehtede arvu ja tegelikku lehtede loendit oodatud URL-idega; töö üksikasjade vaates kuvatakse kuni 8 salvestatud lehte. Osaliselt indekseeritud tähendab, et eraldatud tekst ületas 512 KiB UTF-8 piiri: alles jääb ainult algus ning töö võib näidata hoiatust. Muutunud sisu käivitab eraldi embedding-töö; enne käivitamist oodake selle lõppu ja testige vastuseid. Roomik hangib ainult avalikku HTML-i, ei käivita JavaScripti ega toeta sisselogimist, CAPTCHA lahendamist või privaatvõrke.

Avage Teadmised → Lehed, laiendage Impordi ajalugu, kui töid on olemas, ja valige töö jaotises Kraapimistööd. Lehtede salvestamise ajal näitab töö üksikasjade vaade olekut, lehtede arvu, ajatempleid ja hinnangulist kiirust või järelejäänud aega. Avastamine toimub enne lõpliku valitud lehtede arvu selgumist, mistõttu varajane null ei tähenda tingimata seiskumist. Arvud hõlmavad salvestatud lehti, sealhulgas muutumatuid lehti, mitte lõpetatud vektoresitusi. Vähem lehti võib salvestuda ebaõnnestunud päringute või lehe- ja värskenduspiirangute tõttu ning tühi valik võib lõppeda null lehega. Suuremate kogude jaoks kasutage lehekülgedeks jaotatud loendit Teadmised → Lehed. Üksikasjade vaade ei ole täielik URL-ide veaaruanne.

Osaliselt indekseeritud lehtede puhul kuvatakse säilitatud ja eraldatud baitide võrdlus ning lõpetatud töö võib kuvada olekut Lõpetatud hoiatustega. See hoiatus puudutab kärbitud leheteksti, mitte kõiki võimalikke ebaõnnestunud või vahele jäetud URL-e. Jagage pikk leht väiksemateks avalikeks lehtedeks, kui oluline sisu jäi välja. Hankimisel lükatakse eraldi tagasi üle 5 MiB vastusekehad ja üle viie hüppega ümbersuunamisahelad; need vead erinevad edukalt hangitud, kuid osaliselt säilitatud tekstiga lehtedest.