Přejít na hlavní obsah

Extrakce obsahu

Nastavte, jak ChattyBox prochází váš web a indexuje obsah pro odpovědi AI.

V části Znalosti → Import a aktualizace připojte web, zkontrolujte nalezené stránky a výslovně importujte nebo obnovte svůj výběr. URL webu i pokročilá nastavení zdroje se ukládají automaticky; kontrolujte stav ukládání, opravte chyby ověření nebo opakujte neúspěšné uložení. Samotné hledání stránek ani automatické uložení import nespustí. Import vybraných stránek nenahrazuje uloženou konfiguraci zdroje. Oddělená pokročilá akce Spustit scraping nejprve uloží platná nastavení zdroje a potom spustí úlohu podle nakonfigurovaného režimu, nikoli podle výběru stránek k importu. Ovládací panel vyžaduje uloženou URL webu i v režimu Ruční URL.

Při zavádění veřejného obsahu si přečtěte průvodce chatbotem AI pro weby, kde se dozvíte, jak před testováním citovaných odpovědí vybrat důvěryhodnou dokumentaci, články nápovědy, produktové stránky a časté dotazy.

:::warning Pouze veřejné HTML ChattyBox stahuje HTML, nespouští prohlížeč ani nevykresluje JavaScript. Nevynucuje pokyny pro procházení uvedené v robots.txt; automatické zjišťování sitemap může tento soubor přečíst kvůli deklaracím Sitemap odkazujícím na sitemapu stejného originu, pokud obvyklá umístění sitemap nevrátí žádné URL. Deklarace Sitemap z robots.txt slouží pouze k automatickému zjišťování sitemap a nepoužívají se při záložním procházení odkazů v režimu Crawl. Nepovažujte robots.txt za řízení přístupu. K indexování zadávejte pouze obsah, k němuž máte oprávnění, a nežádoucí stránky vylučujte výslovným výběrem zdroje, nikoli pravidly robots. Ověřování, řešení CAPTCHA ani procházení soukromých sítí nejsou podporovány. :::

Režimy scrapování​

ChattyBox nabízí čtyři režimy scrapování.

1. Pouze domovská stránka​

Extrahuje pouze uloženou URL webu, která může vést na konkrétní stránku, nikoli na kořen webu. Ideální pro jednoduché vstupní stránky nebo jednorázové vyhodnocení jedné stránky.

2. Režim mapy webu (doporučeno)​

Zadejte URL mapy webu pro nalezení stránek včetně stránek z vnořených map. Zachovají se pouze URL stejného originu jako URL webu. Filtry, limit stránek a rozpočet obnovování stále platí; sitemap nezaručuje indexaci každé položky.

https://example.com/sitemap.xml

Pokud je pole URL mapy webu (volitelné) prázdné, ChattyBox nejprve použije zjištěnou sitemapu a potom zkusí /sitemap.xml a /sitemap_index.xml. Pokud žádná nevrátí URL, použije pouze uloženou URL webu. Výslovně zadaná sitemap, která nevrátí žádné URL, způsobí chybu úlohy namísto návratu k uložené URL webu. Objevování vnořených sitemap má omezenou hloubku.

3. Režim procházení​

Nejprve zkusí /sitemap.xml a /sitemap_index.xml; pouze pokud nevrátí URL, sleduje odkazy stejného originu do nastavené hloubky (výchozí je 3). Neúplnou sitemapu odkazy nedoplňuje. Při procházení odkazů přeskakuje běžné URL účtů, přihlášení, pokladen, vyhledávání a souborů. Skutečně indexované stránky zkontrolujte; tato heuristika není hranicí soukromí.

4. Ruční URL​

Zadejte přesné veřejné URL k extrahování, jednu na řádek. Použijte tento režim, když chcete mít přesnou kontrolu nad tím, které stránky se indexují. Odkazy z těchto stránek se dále neprocházejí; limity stránek a aktualizací stále platí.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Pokročilý výběr URL​

Nástěnka nabízí režim zdroje, URL mapy webu či ruční URL, maximální počet stránek a plán aktualizací. Nenabízí vzory pro zahrnutí a vyloučení ani maximální hloubku procházení. Tato pokročilá nastavení podporuje konfigurace jako kód. Hodnoty pro zahrnutí a vyloučení jsou podřetězce URL citlivé na velikost písmen, nikoli globy nebo regulární výrazy; vyloučení má přednost. Při procházení odkazů se přes odfiltrované stránky nepokračuje, takže vyloučení výchozí stránky může vyhledávání zcela zabránit.

U vícejazyčných webů výslovně zahrňte potřebné veřejné jazykové verze. Vyhledávání z mapy webu i procházení odkazů zůstává na stejném originu, takže jazyk na jiné subdoméně vyžaduje vlastní výběr zdroje. Jazyk stránky se zjišťuje ze stránky a URL; nastavení jazyka widgetu chybějící obsah nepřeloží ani nezaindexuje.

Limity stránek​

Uložená hodnota Maximální počet stránek (maxPages) je požadovaný limit výběru pro jedno spuštění, nikoli nárok na kapacitu; editor ovládacího panelu ji navíc ověřuje vůči zobrazenému limitu. Pokud hodnota není zadána, použije se výchozí limit zahrnutých stránek účtu podle tarifu. Před spuštěním ChattyBox znovu ověří aktuální kapacitu poskytovatele, upřednostní známé existující URL projektu a příjem nových URL omezí zbývající kapacitou vlastníka účtu. Dostupnost nových míst znovu ověřuje při ukládání stránek. Objevování může posílat síťové požadavky ještě před zjištěním konečného výběru; kapacitní limit proto není hranicí soukromí ani odchozích požadavků. Výběr stránek v Znalosti → Import a aktualizace má samostatný limit 500 URL na jeden import a před jeho spuštěním znovu ověřuje kapacitu. Změna zdroje nebo snížení limitu automaticky nesmaže starší stránky. Zahrnuté uložené stránky se sdílejí mezi chatboty vlastníka; aktuální využití a dostupný limit najdete v Účet a fakturace.

TarifZahrnuté stránky účtuMěsíční rozpočet obnovování stránekNejkratší interval obnovování
Free10500Týdně
Starter1505,000Denně
Pro5,000100,000Denně
Business25,000250,000Denně

Tarify Pro a Business mohou v Účet a fakturace zapnout volitelné PAYG přečerpání stránek. Free a Starter zůstávají pevně omezené. PAYG zvyšuje limit uložených stránek, ale v současnosti nezvyšuje samostatný měsíční rozpočet obnovování. Před zvýšením rozsahu úlohy si ověřte tarify a limity i aktuální limit účtu.

Obnovování obsahu​

  • Automatický opakovaný scraping je volitelný. Tarif Free umožňuje týdenní nebo měsíční běhy; placené tarify také denní běhy. Měsíční plán znamená interval 30 dnů, nikoli konkrétní den v měsíci.
  • Spustit scraping není tlačítko pro neomezené opakování. Ruční spuštění — včetně importu vybraných stránek a Spustit scraping — musí dodržet minimální odstup od vytvoření nejnovější úlohy: sedm dní u Free nebo 24 hodin u placených tarifů. Platí to i po neúspěšné úloze. Úloha ve stavu Pending nebo Running blokuje další ruční spuštění.
  • Každá nová stránka a každá stránka, jejíž uložený extrahovaný text se změnil, spotřebuje jednu jednotku měsíčního rozpočtu obnovování. U nezměněné stránky se aktualizují metadata bez další jednotky; v případě potřeby přesto může být zařazena oprava embeddingů.
  • Rozpočet obnovování se sdílí mezi projekty vlastníka a obnovuje se na začátku každého kalendářního měsíce podle UTC. Nejde o samostatný limit pro každý chatbot ani každou úlohu.
  • Úspěšně načtené aktualizace nahradí uložený text stránky. Při selhání načtení nebo odmítnutí blokovací či chybové stránky zůstane dříve uložený obsah zachován. Odebrání URL z mapy webu nebo výběru zdroje ji neodstraní ze znalostí; nežádoucí stránky smažte v části Znalosti → Stránky a odeberte je z budoucího vyhledávání.

Průběh a částečná indexace​

V části Znalosti → Stránky rozbalte Historie importu, pokud existují úlohy, a vyberte úlohu v panelu Úlohy scrapingu. Zkontrolujte stav, počty stránek, časové údaje a odhad rychlosti či zbývajícího času při ukládání stránek. Vyhledávání probíhá před zjištěním konečného počtu vybraných stránek, takže počáteční nula nemusí znamenat zastavení úlohy. Počty udávají uložené stránky včetně nezměněných, nikoli dokončené embeddingy.

Completed znamená ukončenou úlohu, ne úplné pokrytí. Při chybách načítání nebo dosažení limitu stránek či obnovy může být uloženo méně stránek; prázdný výběr může skončit s nulou. Porovnejte uložený počet a seznam stránek s očekávanými URL a před testem počkejte na samostatnou úlohu embeddingů. Text přesahující 512 KiB v UTF-8 na stránku se uloží jen částečně (Partially indexed / Completed with warnings); toto upozornění se týká zkráceného textu, nikoli všech neúspěšných či přeskočených URL.

Podrobnosti úlohy zobrazují nejvýše 8 uložených stránek, nikoli úplný seznam selhání jednotlivých URL. Pro větší kolekce použijte stránkovaný seznam Znalosti → Stránky. Částečná indexace zachová pouze začátek extrahovaného textu; rozhraní ukazuje počet zachovaných a extrahovaných bajtů. Pokud chybí důležité části, rozdělte dlouhou referenci na menší veřejné stránky. Samostatně se odmítají odpovědi větší než 5 MiB a řetězce přesměrování delší než pět kroků. Dokončení načítání samo o sobě neověřuje kvalitu vyhledávání; před spuštěním otestujte reprezentativní otázky.

Údržba obsahu​

V části Znalosti → Stránky lze mazat jednotlivé stránky, použít Vymazat vše nebo spustit Přebudovat index. Zrušení výběru stránky ve výběru nesmaže uložený obsah. Smazání jednotlivé stránky ji odstraní také z uloženého seznamu Ruční URL, ale zdroje sitemap a crawl ji mohou znovu objevit; upravte také tyto zdroje nebo nastavte vyloučení. Vymazat vše zruší aktivní úlohy scrapingu a embeddingů a uložené stránky i embeddingy maže na pozadí v dávkách; uloženou konfiguraci zdroje ponechá. Další běhy mohou stránky znovu přidat.

Přebudovat index vytváří embeddingy z již uloženého textu; web nestahuje, neobnoví smazané stránky ani nedoplní zkrácený text. Ruční obnova indexu podléhá týdennímu nebo dennímu cooldownu tarifu, počítanému od vytvoření nejnovější úlohy embeddingů, a za každou stránku rezervovanou k obnově spotřebuje stejný měsíční rozpočet obnovování. Embeddingy automaticky zařazené pro změněné stránky po scrapování tento rozpočet podruhé nespotřebují.

Projekty uzamčené konfigurací odmítají spuštění scrapingu, mazání obsahu a ruční obnovu indexu z nástěnky; použijte nasazení konfigurace.


Extrakce obsahu​

ChattyBox načítá název stránky a upřednostňuje text z <main>, poté <article>, pak prvku s role="main" a nakonec z body. Ve vybraném obsahu zachovává:

  • Název stránky - Tag <title>
  • Nadpisy - Text od <h1> do <h6>
  • Odstavce - Čitelný text odstavců
  • Seznamy - Položky ze <ul> a <ol>
  • Kód a tabulky - Textový obsah; mezery v předformátovaném kódu zůstávají zachovány

Omezený záložní postup může načíst OpenAPI dokument stejného originu uvedený v rozpoznané konfiguraci SwaggerUIBundle, pokud HTML obsahuje příliš málo textu. Nejde o obecné vykreslování JavaScriptu, nahrávání souborů ani podporu všech prohlížečů API referencí.

Ignorovaný obsah​

Extrakce vylučuje běžné prvky, které nejsou obsahem, mimo jiné:

  • Navigační menu
  • Obsah v zápatí
  • Skripty a styly
  • Prvky označené hidden, aria-hidden="true" nebo s vloženým display: none / visibility: hidden
  • Rozpoznané značky bannerů cookies či souhlasu a role dialogu nebo navigace
  • Iframy, canvas, SVG a vložené objekty

Jde o heuristiky založené na HTML, nikoli na vypočítaném rozložení v prohlížeči. Nelze předpokládat, že se rozpozná každý vizuálně skrytý prvek nebo banner.


Řešení problémů​

Stránky se neextrahují?​

  • Zkontrolujte, že je URL veřejně přístupná
  • Ověřte běžný HTML požadavek bez přihlášení, CAPTCHA či blokace botů; pokyny pro procházení z robots.txt se nevynucují
  • Ověřte, že stránka není chráněná přihlášením
  • Zkontrolujte režim, origin, vybrané URL, limit stránek a rozpočet aktualizací. Při záložním procházení odkazů ověřte, že jsou důležité odkazy dostupné z výchozí URL v rámci nastavené hloubky.

Chybí obsah v odpovědích?​

  • Po zveřejnění změn stránku znovu extrahujte, jakmile to dovolí čekací doba obnovy
  • Důležitý text dodejte v počátečním HTML — JavaScript se nevykresluje
  • Zajistěte, aby byl obsah v hlavní části stránky, ne v iframech
  • Zkontrolujte upozornění na částečnou indexaci a před opakovaným testem počkejte na dokončení embeddingů.

Potřebujete větší kontrolu?​

U nepodporovaných zdrojů nebo přetrvávajících problémů s extrakcí kontaktujte support@chattybox.ai a uveďte veřejnou ukázkovou URL. Neposílejte přihlašovací údaje ani nepředpokládejte, že podpora může zapnout procházení s ověřením nebo vykreslováním JavaScriptu.

Při problémech se spuštěním po scrapování použijte kontrolní seznam a průvodce řešením problémů.