Sisu kraapimine
maxPages salvestab taotluse; iga käitus piirab väljamineva avastamise ja valiku väärtusega min(taotlus, max(pakkuja praegune lehemaht, projekti teadaolevad olemasolevad lehed)). Null- või keelatud mahu korral värskendatakse ainult teadaolevaid olemasolevaid lehti; nende puudumisel tundmatuid lehti väljaminevalt ei avastata. See ei muuda omaniku ühispaketi õigusi.
Seadista, kuidas ChattyBox sinu veebisaiti läbib ja sisu AI vastuste jaoks indekseerib.
Avaliku sisu kasutuselevõtu puhul vaadake veebisaidi AI-vestlusroboti juhendit, et teada saada, kuidas valida usaldusväärseid dokumente, abiartikleid, tootelehti ja KKK-sid enne viidetega vastuste testimist.
Kraapimisrežiimid
ChattyBox toetab nelja kraapimisrežiimi:
1. Ainult avaleht
Kraapib ainult salvestatud Website URL-i, mis võib olla ka konkreetne leht, mitte saidi juur. Sobib kõige paremini maandumislehele või ühe lehe hindamiseks.
2. Saidikaardi režiim (soovitatav)
Sisesta saidikaardi URL, et leida lehti, sealhulgas alamsaidikaartidest. Alles jäetakse vaid Website URL-i origin’il olevad lehed ning filtrid, lehepiirang ja värskenduseelarve rakenduvad ikka. Saidikaart on avastamisallikas, mitte garantii, et iga loetletud URL indekseeritakse.
https://example.com/sitemap.xml
Kui saidikaardi URL on tühi, proovib ChattyBox järjest /sitemap.xml ja /sitemap_index.xml; kui kumbki URL-e ei anna, kasutatakse ainult salvestatud Website URL-i. Selgesõnaliselt sisestatud saidikaart, mis ei anna ühtki URL-i, lõpetab töö veaga, mitte ei lange tagasi avalehele.
3. Crawl-režiim
Alusta avalikust URL-ist ja lase ChattyBoxil leida sama saidi lehti. Crawl proovib esmalt tavapäraseid saidikaarte; kui need URL-e ei anna, järgib see alguslehe sama origin’i linke kuni seadistatud sügavuseni (vaikimisi 3). Kui tavapärane saidikaart annab URL-e, kasutab crawl seda ning ei järgi linke pooliku saidikaardi täitmiseks. Heuristikud jätavad linkide avastamisel sageli konto-, sisselogimis-, checkout-, otsingu- ja varade URL-id vahele, kuid see ei ole privaatsuspiir.
4. Käsitsi määratud URL-id
Määra kraapimiseks täpsed avalikud URL-id, üks igale reale. Kasuta seda, kui soovid täpselt juhtida, millised lehed indekseeritakse. Neid lehti linkide järgi ei laiendata; lehe- ja värskenduspiirangud rakenduvad ikka.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Lehe- ja värskenduspiirangud
Eristage salvestatud lehti ja igakuist värskendustööd. Maximum Pages piirab ühe töö jaoks valitud URL-e ja ruumi uutele lehtedele; olemasolevad indekseeritud URL-id on avastatud hulgas eelistatud. Allika muutmine või piiri vähendamine ei kustuta vanu lehti automaatselt. Kontrollige oma paketi praegust salvestatud lehtede mahtu, igakuist värskenduseelarvet ja värskenduste sagedust hinnakirjast, enne kui suurendate töö ulatust.
Värskendustöö on omaniku projektide vahel jagatud ning lähtestub UTC kuu alguses. Free-paketil on kraapimiste vahe vähemalt seitse päeva, tasulistel pakettidel vähemalt 24 tundi, ka nurjunud töö järel. Muutunud või uued lehed kasutavad värskenduseelarvet; muutumatu leht ei kasuta uut ühikut ega käivita uut embeddingut.
Sisu eraldamine
ChattyBox eraldab:
- Lehe pealkiri -
<title>-silt - Põhisisu - Tekst elementidest
<main>,<article>või<body> - Pealkirjad - Kõik
<h1>kuni<h6>sildid - Lõigud - Kogu
<p>-elementide sisu - Loendid -
<ul>- ja<ol>-loendite üksused
Ignoreeritav sisu
ChattyBox ignoreerib automaatselt:
- Navigeerimismenüüd
- Jaluse sisu
- Skriptid ja stiilid
- Peidetud elemendid
- Küpsiseribad
Tõrkeotsing
Kas lehti ei kraabita?
- Veendu, et URL on avalikult ligipääsetav ning server lubab tavapäraseid HTML-päringuid ilma sisselogimise, CAPTCHA või botikaitseta
- Kontrolli valitud režiimi, origin’it, URL-e, saadaolevat lehemahtu ja värskenduseelarvet;
robots.txt-i ei kasutata - Veendu, et leht ei ole sisselogimise taga
Sisu puudub vastustest?
- Kraabi leht uuesti, et saada uusim sisu
- Paku oluline tekst esialgses HTML-is; ainult JavaScripti kaudu laaditud sisu ei renderdata
- Veendu, et sisu oleks lehe põhiosas, mitte iframe'ides
Kas vajad rohkem võimalusi juhtimiseks?
Püsivate ekstraktimisprobleemide korral võta ühendust aadressil support@chattybox.ai ja lisa avalik näidis-URL. Ära saada sisselogimisandmeid ega eelda autentitud või JavaScripti renderdavat crawlingut.
Edenemine ja osaline indekseerimine
Completed tähendab, et töö lõppes, mitte et iga valitud URL õnnestus. Võrrelge salvestatud arvu ja Content-loendit oodatud URL-idega; töö detail kuvab kuni 200 salvestatud lehte. Partially indexed tähendab, et eraldatud tekst ületas 512 KiB UTF-8 piiri: alles jääb ainult algus ning töö võib näidata hoiatust. Muutunud sisu käivitab eraldi embedding-töö; enne käivitamist oodake selle lõppu ja testige vastuseid. Roomik hangib ainult avalikku HTML-i, ei käivita JavaScripti ega toeta sisselogimist, CAPTCHA lahendamist või privaatvõrke.