Neidio i'r prif gynnwys

Sgrapio Cynnwys

Ffurfweddwch sut mae ChattyBox yn cropian eich gwefan ac yn mynegeio'r cynnwys ar gyfer ymatebion AI.

Agorwch Gwybodaeth → Mewnforio ac adnewyddu, cysylltwch eich gwefan, adolygwch y tudalennau a ddarganfuwyd, a mewnforiwch neu adnewyddwch y detholiad a ddewiswch yn benodol. Caiff gosodiadau’r wefan a’r ffynhonnell uwch eu cadw’n awtomatig; gwiriwch y statws cadw a chywirwch wallau dilysu neu rhowch gynnig arall ar gadw os methodd. Nid yw darganfod nac awtogadw yn mewnforio tudalennau ar eu pen eu hunain. Nid yw mewnforio tudalennau dethol yn disodli ffurfweddiad y ffynhonnell sydd wedi’i gadw. Mae’r weithred uwch ar wahân Sgrapio nawr yn cadw gosodiadau ffynhonnell dilys yn gyntaf ac yna’n rhedeg y modd sydd wedi’i ffurfweddu, nid y dewis yn y dewiswr tudalennau. Mae angen URL y wefan * wedi’i gadw ar y dangosfwrdd hyd yn oed yn y modd URLau llaw.

:::warning HTML cyhoeddus yn unig Mae'r crawler yn nôl HTML; nid yw'n rhedeg porwr nac yn rendro JavaScript. Nid yw'n gorfodi cyfarwyddebau cropian robots.txt. Gall canfod map safle yn awtomatig ddarllen y ffeil i ddod o hyd i ddatganiadau map safle ar yr un tarddiad pan nad yw'r lleoliadau confensiynol yn dychwelyd URLau; nid yw cropian dolenni wrth gefn yn y modd Cropian yn defnyddio'r datganiadau hynny. Peidiwch â thrin robots.txt fel rheolaeth mynediad. Anfonwch gynnwys yn unig y mae gennych awdurdod i'w fynegeio, a dewiswch ffynonellau'n benodol yn hytrach na dibynnu ar reolau robots i eithrio tudalennau diangen. Nid yw dilysu, datrys CAPTCHA na chropian rhwydweithiau preifat yn cael eu cefnogi. :::

Ar gyfer lansiad cynnwys cyhoeddus, gweler y canllaw chatbot AI ar gyfer gwefannau i ddysgu sut i ddewis dogfennaeth ddibynadwy, erthyglau cymorth, tudalennau cynnyrch a Chwestiynau Cyffredin cyn profi atebion a ddyfynnir.

Dulliau Sgrapio​

Mae ChattyBox yn cynnig pedwar dull sgrapio.

1. Hafan yn Unig​

Yn sgrapio Website URL wedi'i gadw yn unig, a all fod yn dudalen benodol yn hytrach na gwraidd y safle. Gorau ar gyfer tudalen lanio neu werthusiad un dudalen.

2. Modd Map Safle (Argymelledig)​

Rhowch URL map safle i ddarganfod tudalennau, gan gynnwys mapiau safle plentyn. Cedwir URLau tudalen ar darddiad Website URL yn unig; mae hidlwyr, terfyn tudalennau a chyllideb adnewyddu’n dal yn berthnasol, ac nid yw map safle yn gwarantu mynegeio pob eitem.

https://example.com/sitemap.xml

Os yw URL y map safle (dewisol) yn wag, mae ChattyBox yn rhoi cynnig ar sitemap a ganfuwyd yn awtomatig yn gyntaf, yna /sitemap.xml ac /sitemap_index.xml. Os nad yw'r rhain yn dychwelyd URLau, mae'n disgyn yn ôl i URL y wefan * wedi'i gadw yn unig. Mae map safle penodol sy'n dychwelyd dim URLau yn methu'r swydd yn hytrach na disgyn yn ôl. Mae dyfnder canfod mapiau safle nythol yn gyfyngedig.

3. Modd cropian​

Mae’n rhoi cynnig ar /sitemap.xml a /sitemap_index.xml yn gyntaf; dim ond os nad ydynt yn dychwelyd URLau y mae’n dilyn dolenni o’r un tarddiad hyd at y dyfnder a ffurfweddwyd (y rhagosodiad yw 3). Nid yw’n llenwi bylchau mewn map safle â dolenni. Wrth ddarganfod dolenni, mae’r crawler yn hepgor URLau cyfrif, mewngofnodi, talu, chwilio ac asedau cyffredin. Adolygwch y tudalennau a fynegeiwyd mewn gwirionedd; nid yw’r heuristeg hon yn ffin preifatrwydd.

4. URLau â llaw​

Nodwch yr union URLau cyhoeddus i'w sgrapio, un fesul llinell. Ni chaiff y tudalennau hyn eu hehangu drwy ddilyn dolenni; mae terfynau tudalen ac adnewyddu yn dal yn berthnasol.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Dewis URL uwch​

Mae’r dangosfwrdd yn cynnig modd, sitemap/URLau â llaw, uchafswm tudalennau ac amserlen adnewyddu. Nid yw’n cynnig patrymau include/exclude nac uchafswm dyfnder cropian. Mae ffurfweddu fel cod yn cefnogi’r gosodiadau uwch hyn. Is-linynnau o’r URL sy’n sensitif i lythrennau mawr/bach yw gwerthoedd include/exclude, nid patrymau glob nac ymadroddion rheolaidd; mae cyfatebiad exclude yn drech. Wrth gropian dolenni, ni ddilynir tudalennau sydd wedi’u hidlo, felly gall rheol sy’n eithrio’r dudalen gychwyn atal darganfod yn llwyr.

Ar gyfer safleoedd amlieithog, cynhwyswch y fersiynau iaith cyhoeddus sydd eu hangen yn benodol. Mae canfod mapiau safle a chropian dolenni yn aros ar yr un tarddiad, felly mae angen dewis ffynhonnell ar wahân ar gyfer iaith ar is-barth. Canfyddir iaith y dudalen o'r dudalen a'r URL; nid yw ychwanegu locale teclyn yn cyfieithu nac yn mynegeio cynnwys coll.


Terfynau Tudalennau​

Gwahaniaethwch rhwng tudalennau sydd wedi’u storio a gwaith adnewyddu misol. Mae Uchafswm tudalennau sydd wedi’i gadw yn derfyn dethol y gofynnwyd amdano fesul rhediad, nid yn hawl; mae golygydd y dangosfwrdd hefyd yn dilysu yn erbyn y terfyn a ddangosir. Os caiff ei hepgor, y terfyn diofyn yw lwfans tudalennau cyfrif y cynllun. Cyn rhediad, mae ChattyBox yn ailwirio capasiti’r darparwr, yn blaenoriaethu URLau prosiect hysbys sydd eisoes yn bodoli, ac yn cyfyngu URLau newydd i gapasiti sy’n weddill y perchennog ar draws ei gyfrif. Ailwirir lleoedd tudalennau newydd wrth gadw’r tudalennau. Gall darganfod wneud ceisiadau rhwydwaith cyn gwybod y detholiad terfynol; felly nid yw terfynau capasiti yn ffin breifatrwydd nac yn derfyn ar geisiadau rhwydwaith allan. Mae’r dewiswr tudalennau Gwybodaeth ar wahân wedi’i gyfyngu i 500 URL fesul mewnforiad, ac ailwirir y capasiti cyn dechrau. Nid yw newid y ffynhonnell na gostwng y terfyn yn dileu tudalennau hŷn yn awtomatig. Rhennir y tudalennau sydd wedi’u storio ac sydd wedi’u cynnwys rhwng chatbots y perchennog; gweler prisiau am lwfansau cyhoeddedig a Cyfrif a Bilio am ddefnydd cyfredol y cyfrif a’r lwfans sydd ar gael.

CynllunTudalennau cyfrif sydd wedi’u cynnwysCyllideb adnewyddu tudalennau fisolCyflymdra adnewyddu cyflymaf
Free10500Wythnosol
Starter1505,000Dyddiol
Pro5,000100,000Dyddiol
Business25,000250,000Dyddiol

Gall cynlluniau Pro a Business alluogi gor-ddefnydd tudalennau dewisol talu-wrth-ddefnyddio (PAYG) yn Cyfrif a Bilio. Mae gan Free a Starter derfynau caled o hyd. Ar hyn o bryd, nid yw lwfans tudalennau PAYG yn cynyddu cyllideb adnewyddu fisol ar wahân y crawler. Gweler brisiau a lwfans cyfredol eich cyfrif cyn cynyddu maint rhediad.

Adnewyddu cynnwys​

  • Mae Ail-sgrapio awtomatig yn ddewisol. Mae Free yn caniatáu rhediadau wythnosol neu fisol; mae cynlluniau taledig hefyd yn caniatáu rhediadau dyddiol. Mae amserlen fisol yn golygu cyfwng o 30 diwrnod, nid dyddiad penodol yn y calendr.
  • Nid botwm ailgynnig diderfyn yw Sgrapio nawr. Cyfrifir yr isafswm cyfwng o’r adeg y crëwyd y swydd sgrapio ddiweddaraf: saith diwrnod ar Free neu 24 awr ar gynlluniau taledig, hyd yn oed os methodd y swydd. Mae swydd sy’n aros neu’n rhedeg hefyd yn rhwystro sgrapio â llaw arall.
  • Mae tudalennau newydd a thudalennau y mae eu testun wedi’i echdynnu a’i storio wedi newid yn defnyddio un uned yr un o’r gyllideb adnewyddu fisol. Dim ond metadata sgrapio mae tudalen heb newid yn ei ddiweddaru, heb ddefnyddio uned ychwanegol; gall gwaith atgyweirio embedding gael ei giwio o hyd os oes angen. Mae cynnwys sydd wedi newid yn ciwio swydd embedding ar wahân, heb godi tâl am y gwaith hwnnw eto.
  • Rhennir y gyllideb adnewyddu ar draws prosiectau’r perchennog ac mae’n ailosod ar ddechrau pob mis calendr UTC. Nid lwfans ar wahân ar gyfer pob chatbot neu bob swydd sgrapio ydyw.
  • Mae diweddariadau a gafwyd yn llwyddiannus yn disodli testun y dudalen sydd wedi’i storio. Mae methiannau fetch a thudalennau blocio/gwall a wrthodir yn cadw’r cynnwys blaenorol. Nid yw tynnu URL o sitemap neu ddewis ffynhonnell yn ei dynnu o’r gronfa wybodaeth; dilëwch dudalennau diangen yn Gwybodaeth → Tudalennau a’u tynnu o ddarganfod yn y dyfodol.

Cynnal a Chadw Cynnwys​

Mae Gwybodaeth → Tudalennau yn cefnogi dileu tudalennau unigol, Clirio popeth ac Ailadeiladu'r mynegai. Nid yw dad-ddewis tudalen yn y dewiswr yn dileu cynnwys sydd wedi’i storio. Mae dileu tudalen unigol hefyd yn ei thynnu o restr URLau llaw sydd wedi’i chadw, ond gall ffynonellau sitemap a cropian ddod o hyd iddi eto; addaswch y ffynonellau hynny hefyd. Mae Clirio popeth yn canslo gwaith sgrapio ac embedding gweithredol ac yn dileu tudalennau ac embeddings sydd wedi’u storio mewn sypiau yn y cefndir, ond yn cadw ffurfweddiad y ffynhonnell sydd wedi’i chadw. Gall sgrapiau diweddarach ychwanegu tudalennau eto.

Mae Ailadeiladu'r mynegai yn ailadeiladu embeddings o destun sydd eisoes wedi’i storio; nid yw’n fetchio’r wefan, yn adfer tudalennau sydd wedi’u dileu nac yn adfer testun sydd wedi’i dorri. Mae gan ailadeiladu â llaw cooldown wythnosol/dyddiol y cynllun, wedi’i fesur o’r swydd embedding ddiweddaraf, ac mae’n defnyddio’r un gyllideb adnewyddu tudalennau fisol ar gyfer pob tudalen a neilltuir i’w hailadeiladu. Nid yw embeddings a giwir yn awtomatig ar gyfer tudalennau wedi’u sgrapio sydd wedi newid yn cael eu codi eto. Mae prosiectau sydd wedi’u cloi i ffurfweddiad yn gwrthod sgrapio, dileu cynnwys ac ailadeiladu â llaw o’r dangosfwrdd; defnyddiwch y llif gwaith defnyddio ffurfweddiad.

Cynnydd a mynegeio rhannol​

Agorwch Gwybodaeth → Tudalennau, ehangwch Hanes mewnforio pan fydd tasgau'n bodoli, a dewiswch dasg o dan Tasgau sgrapio i weld statws, nifer y tudalennau, amserau ac amcangyfrif o'r gyfradd a'r amser sy'n weddill wrth gadw tudalennau. Mae canfod yn digwydd cyn gwybod cyfanswm terfynol y tudalennau a ddewiswyd, felly nid yw cyfrif sero cynnar o reidrwydd yn golygu bod tasg wedi arafu. Mae'r cyfrifon yn disgrifio tudalennau a gadwyd, gan gynnwys rhai heb newid, nid embeddingau fector sydd wedi'u cwblhau.

Mae Wedi cwblhau yn golygu bod y rhediad wedi gorffen, nid bod pob URL a ddewiswyd wedi llwyddo. Gall rhediad orffen gyda llai o dudalennau wedi'u cadw ar ôl methiannau nôl neu gyrraedd terfyn tudalennau neu adnewyddu, a gall dewis gwag orffen heb unrhyw dudalennau. Cymharwch y cyfrif a gadwyd a'r rhestr dudalennau â'r URLau a ddisgwyliwyd. Mae manylion y dasg yn dangos hyd at 8 tudalen wedi'u cadw; defnyddiwch restr dudalennog Gwybodaeth → Tudalennau ar gyfer casgliadau mwy. Nid yw'n adroddiad cyflawn o fethiannau pob URL.

Mae Wedi’i fynegeio’n rhannol yn golygu bod testun y dudalen a echdynnwyd wedi mynd y tu hwnt i'r terfyn storio 512 KiB UTF-8. Dim ond y dechrau a gedwir, ac mae'r rhyngwyneb yn dangos y beitiau a gadwyd o gymharu â'r rhai a echdynnwyd. Mae rhediad wedi'i gwblhau gyda thudalennau o'r fath yn dangos Wedi’i gwblhau gyda rhybuddion. Mae'r rhybudd hwn yn ymwneud â thestun tudalen wedi'i gwtogi, nid pob URL sydd wedi methu neu gael ei hepgor. Rhannwch gyfeirnod hir yn dudalennau cyhoeddus llai os torrwyd adrannau pwysig i ffwrdd.

Mae'r haen nôl yn gwrthod cyrff ymateb dros 5 MiB a chadwyni ailgyfeirio dros bum hop ar wahân. Mae'r methiannau hyn yn wahanol i dudalennau a gafodd eu nôl yn llwyddiannus ond y cadwyd eu testun yn rhannol.

Mae cynnwys sydd wedi newid yn ciwio tasg embedding ar wahân. Adolygwch statws y mynegai neu'r ailadeiladu a phrofwch atebion cynrychioliadol cyn lansio; nid yw bathodyn cwblhau sgrapio yn unig yn dilysu ansawdd adalw.


Echdynnu Cynnwys​

Mae ChattyBox yn darllen teitl y dudalen ac yn ffafrio testun o <main>, yna <article>, yna role="main", gan ddisgyn yn ôl i body:

  • Teitl y dudalen - Y tag <title>
  • Penawdau - Testun <h1> hyd at <h6>
  • Paragraffau - Testun paragraffau darllenadwy
  • Rhestrau - Eitemau <ul> ac <ol>
  • Cod a thablau - Cynnwys testun, gan gadw bylchau cod sydd wedi'i fformatio ymlaen llaw

Gall dull wrth gefn cyfyngedig nôl dogfen OpenAPI o'r un tarddiad y cyfeirir ati gan ffurfweddiad SwaggerUIBundle a gydnabyddir pan nad oes digon o destun yn yr HTML. Nid rendro JavaScript cyffredinol, llwytho ffeiliau i fyny na chefnogaeth i bob gwyliwr cyfeirnod API yw hyn.

Cynnwys a Anwybyddir​

Mae'r echdynnu yn eithrio elfennau cyffredin nad ydynt yn cynnwys, gan gynnwys:

  • Dewislenni llywio
  • Cynnwys y troedyn
  • Sgriptiau ac arddulliau
  • Elfennau sydd wedi'u marcio hidden, aria-hidden="true", neu â display: none / visibility: hidden mewnlin
  • Marcio baneri cwcis/cydsyniad a gydnabyddir a rolau deialog/llywio
  • Iframes, canvas, SVG a gwrthrychau wedi'u mewnblannu

Heuristeg sy'n seiliedig ar HTML yw'r rhain, nid cynllun porwr wedi'i gyfrifo. Peidiwch â thybio y canfyddir pob elfen sydd wedi'i chuddio'n weledol neu bob baner.


Datrys problemau​

Nid yw tudalennau'n cael eu sgrapio?​

  • Gwiriwch fod y URL yn hygyrch yn gyhoeddus
  • Gwiriwch fod y gweinydd yn caniatáu ceisiadau HTML cyffredin heb fewngofnodi, CAPTCHA na her bot; nid yw'r crawler yn gorfodi cyfarwyddebau robots.txt, ac nid yw robots.txt yn rheoli mynediad
  • Gwiriwch nad oes angen mewngofnodi i weld y dudalen
  • Gwiriwch y modd, y tarddiad, yr URLau a ddewiswyd, y lwfans tudalennau a'r gyllideb adnewyddu
  • Ar gyfer cropian dolenni wrth gefn, gwiriwch fod dolenni pwysig yn hygyrch o'r URL cychwyn o fewn y terfyn dyfnder

Cynnwys ar goll o ymatebion?​

  • Ail-sgrapiwch ar ôl cyhoeddi newidiadau, pan fo'r cooldown yn caniatáu
  • Rhowch destun pwysig yn yr HTML cychwynnol — ni chaiff JavaScript ei rendro
  • Sicrhewch fod y cynnwys yn y prif gorff, nid mewn iframes
  • Gwiriwch am rybuddion mynegeio rhannol ac arhoswch i'r gwaith embedding orffen cyn ailbrofi

Angen mwy o reolaeth?​

Ar gyfer ffynonellau heb eu cefnogi neu fethiannau echdynnu parhaus, cysylltwch â support@chattybox.ai gydag URL cyhoeddus enghreifftiol. Peidiwch ag anfon manylion mewngofnodi na chymryd y gall cymorth alluogi cropian a ddilyswyd neu JavaScript-rendered.

Ar gyfer problemau lansio ar ôl sgrapio, defnyddiwch y rhestr wirio lansio a'r canllaw datrys problemau.