Sgrapio Cynnwys
Mae maxPages yn storio'r cais; mae pob rhediad yn cyfyngu darganfod a dewis allanol i min(cais, max(capasiti tudalennau'r darparwr cyfredol, tudalennau prosiect hysbys sy'n bodoli)). Gyda chapasiti sero neu wedi'i wrthod, dim ond tudalennau hysbys sy'n bodoli sy'n adnewyddu; nid yw dim yn darganfod tudalennau anhysbys. Nid yw hyn yn newid hawliadau pool y perchennog.
Ffurfweddwch sut mae ChattyBox yn cropian eich gwefan ac yn mynegeio'r cynnwys ar gyfer ymatebion AI.
Agorwch Settings y chatbot. Cadwch Website URL yn General Settings gyda Save Changes, yna dewiswch fodd a Maximum Pages yn Scraping Configuration a dewis Save Config. Mae Scrape Now yn dechrau swydd gyda gwerthoedd y ffurflen gyfredol; mae'r dangosfwrdd yn gofyn am Website URL wedi'i gadw hyd yn oed yn y modd URLau â llaw.
Ar gyfer lansiad cynnwys cyhoeddus, gweler y canllaw chatbot AI ar gyfer gwefannau i ddysgu sut i ddewis dogfennaeth ddibynadwy, erthyglau cymorth, tudalennau cynnyrch a Chwestiynau Cyffredin cyn profi atebion a ddyfynnir.
Dulliau Sgrapio
Mae ChattyBox yn cynnig pedwar dull sgrapio. Mae’n nôl HTML cyhoeddus yn unig: nid yw’n rendro JavaScript nac yn darllen neu orfodi robots.txt.
1. Hafan yn Unig
Yn sgrapio Website URL wedi'i gadw yn unig, a all fod yn dudalen benodol yn hytrach na gwraidd y safle. Gorau ar gyfer tudalen lanio neu werthusiad un dudalen.
2. Modd Map Safle (Argymelledig)
Rhowch URL map safle i ddarganfod tudalennau, gan gynnwys mapiau safle plentyn. Cedwir URLau tudalen ar darddiad Website URL yn unig; mae hidlwyr, terfyn tudalennau a chyllideb adnewyddu’n dal yn berthnasol, ac nid yw map safle yn gwarantu mynegeio pob eitem.
https://example.com/sitemap.xml
Os yw Sitemap URL yn wag, mae ChattyBox yn rhoi cynnig ar /sitemap.xml, yna /sitemap_index.xml. Os nad yw'r naill na'r llall yn dychwelyd URLau, mae'n disgyn yn ôl i Website URL wedi'i gadw yn unig. Mae map safle penodol sy'n dychwelyd dim URLau yn methu'r swydd yn hytrach na disgyn yn ôl.
3. Modd cropian
Mae’n rhoi cynnig ar /sitemap.xml a /sitemap_index.xml yn gyntaf; dim ond os nad ydynt yn dychwelyd URLau y mae’n dilyn dolenni o’r un tarddiad hyd at ddyfnder diofyn 3. Nid yw’n llenwi bylchau mewn map safle â dolenni.
4. URLau â llaw
Nodwch yr union URLau cyhoeddus i'w sgrapio, un fesul llinell. Ni chaiff y tudalennau hyn eu hehangu drwy ddilyn dolenni; mae terfynau tudalen ac adnewyddu yn dal yn berthnasol.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Terfynau Tudalennau
Mae Maximum Pages a thudalennau a gedwir ar wahân i waith adnewyddu misol. Mae URLau sydd eisoes wedi'u mynegeio yn cael blaenoriaeth os ydynt yn y set a ddarganfuwyd. Nid yw newid ffynhonnell neu ostwng y terfyn yn dileu tudalennau hŷn yn awtomatig.
| Cynllun | Tudalennau wedi'u cynnwys |
|---|---|
| Free | 10 |
| Starter | 150 |
| Pro | 5,000 |
| Business | 25,000 |
Adnewyddu cynnwys
Y gyllideb adnewyddu fisol yw 500 (Free), 5,000 (Starter), 100,000 (Pro) a 250,000 (Business). Gellir adnewyddu Free yn wythnosol ar y cyflymaf a chynlluniau taledig ar ôl 24 awr; mae tudalennau newydd/newidiol yn defnyddio’r gyllideb ac nid yw PAYG yn dileu’r cooldown.
Cynnydd a mynegeio rhannol
Mae Completed yn golygu bod y gwaith wedi gorffen, nid sylw llawn. Cymharwch y cyfrif a gadwyd â Content ac arhoswch am y gwaith embeddings ar wahân. Cedwir testun dros 512 KiB UTF-8 y dudalen yn rhannol yn unig (Partially indexed / Completed with warnings). Mae Rebuild Index yn defnyddio testun a gedwir, nid yw’n nôl y safle, ac mae’n defnyddio cyllideb/cooldown hefyd. Mae cyrff ymateb dros 5 MiB neu gadwyni ailgyfeirio dros bum hop yn methu ar wahân.
Echdynnu Cynnwys
Mae ChattyBox yn darllen teitl y dudalen ac yn ffafrio testun o <main>, yna <article>, yna role="main", gan ddisgyn yn ôl i body:
- Teitl y dudalen - Y tag
<title> - Penawdau - Pob tag
<h1>hyd at<h6> - Paragraffau - Yr holl gynnwys mewn
<p> - Rhestrau - Eitemau
<ul>ac<ol>
Cynnwys a Anwybyddir
Mae ChattyBox yn anwybyddu'r canlynol yn awtomatig:
- Dewislenni llywio
- Cynnwys y troedyn
- Sgriptiau ac arddulliau
- Elfennau
hidden,aria-hiddenneu rai â chuddio inline, baneri caniatâd a gydnabyddir, ac iframe/canvas/SVG.
Datrys problemau
Nid yw tudalennau'n cael eu sgrapio?
- Gwiriwch fod y URL yn hygyrch yn gyhoeddus
- Gwiriwch gais HTML cyffredin heb fewngofnodi, CAPTCHA na her bot; ni chaiff robots ei wirio
- Gwiriwch nad oes angen mewngofnodi i weld y dudalen
Cynnwys ar goll o ymatebion?
- Ail-sgrapiwch ar ôl cyhoeddi newidiadau, pan fo'r cooldown yn caniatáu
- Rhowch destun pwysig yn yr HTML cychwynnol — ni chaiff JavaScript ei rendro
- Sicrhewch fod y cynnwys yn y prif gorff, nid mewn iframes
Angen mwy o reolaeth?
Ar gyfer ffynonellau heb eu cefnogi neu fethiannau echdynnu parhaus, cysylltwch â support@chattybox.ai gydag URL cyhoeddus enghreifftiol. Peidiwch ag anfon manylion mewngofnodi na chymryd y gall cymorth alluogi cropian a ddilyswyd neu JavaScript-rendered.