Skanowanie treści
Skonfiguruj sposób, w jaki ChattyBox skanuje Twoją witrynę i indeksuje treści na potrzeby odpowiedzi AI.
W Baza wiedzy → Import i odświeżanie połącz witrynę, przejrzyj wykryte strony i jawnie zaimportuj lub odśwież wybrany zestaw. Adres witryny i zaawansowane ustawienia źródła zapisują się automatycznie; sprawdzaj status zapisu, popraw błędy walidacji lub ponów nieudany zapis. Samo wykrywanie stron ani automatyczny zapis nie rozpoczynają importu. Import wybranych stron nie zastępuje zapisanej konfiguracji źródła. Oddzielna, zaawansowana akcja Zbieraj teraz najpierw zapisuje poprawne ustawienia źródła, a następnie uruchamia zadanie w skonfigurowanym trybie — niezależnie od wyboru stron do importu. Panel wymaga zapisanej wartości Adres URL strony również w trybie Ręczne adresy URL.
:::warning Tylko publiczny HTML
Crawler pobiera HTML, ale nie uruchamia przeglądarki ani nie renderuje JavaScriptu. Nie egzekwuje dyrektyw crawlowania z robots.txt; automatyczne wykrywanie map witryny może odczytać ten plik w poszukiwaniu deklaracji map z tego samego originu, jeśli standardowe lokalizacje nie zwrócą adresów URL. Awaryjne przechodzenie po linkach w trybie crawl nie używa tych deklaracji. robots.txt nie jest mechanizmem kontroli dostępu. Do indeksowania zgłaszaj wyłącznie treści, do których masz uprawnienia, a niechciane strony wykluczaj przez jawny wybór źródła, nie przez reguły robots. Uwierzytelnianie, rozwiązywanie CAPTCHA i skanowanie sieci prywatnych nie są obsługiwane.
:::
W przypadku wdrożenia treści publicznych zobacz przewodnik po chatbotach AI dla witryn, aby dowiedzieć się, jak wybrać wiarygodną dokumentację, artykuły pomocy, strony produktów i FAQ przed przetestowaniem odpowiedzi z cytowaniami.
Tryby scrapingu
ChattyBox obsługuje cztery tryby scrapingu.
1. Tylko strona główna
Skanuje wyłącznie zapisany adres z pola Adres URL strony, który może wskazywać konkretną podstronę, a nie katalog główny witryny. To najlepsza opcja w przypadku strony docelowej lub oceny pojedynczej strony.
2. Tryb mapy witryny (zalecane)
Podaj adres URL mapy witryny, aby wykryć strony, także w zagnieżdżonych mapach. Zachowywane są tylko adresy stron z tego samego originu co adres witryny, a filtry, limit stron i budżet odświeżeń nadal obowiązują; mapa witryny nie gwarantuje indeksacji każdej pozycji.
https://example.com/sitemap.xml
Jeśli pole URL mapy strony (opcjonalnie) jest puste, ChattyBox najpierw użyje wykrytej mapy witryny, a następnie spróbuje /sitemap.xml i /sitemap_index.xml. Jeśli żadna z nich nie zwróci adresów URL, użyje wyłącznie zapisanego adresu z pola Adres URL strony. Jawnie podana mapa witryny, która nie zwróci żadnych adresów URL, spowoduje błąd zadania zamiast powrotu do zapisanego adresu strony. Wykrywanie zagnieżdżonych map witryny ma ograniczoną głębokość.
3. Tryb indeksowania (crawl)
Zacznij od publicznego adresu URL. Tryb ten najpierw próbuje standardowych plików /sitemap.xml i /sitemap_index.xml; tylko gdy nie zwrócą adresów, śledzi linki z tego samego originu od strony początkowej do skonfigurowanej głębokości (domyślnie 3). Nie uzupełnia niepełnej mapy witryny linkami. Podczas wykrywania linków pomija typowe adresy kont, logowania, płatności, wyszukiwania i zasobów. Sprawdź faktycznie zindeksowane strony — te heurystyki nie są granicą prywatności.
4. Ręczne adresy URL
Podaj dokładne publiczne adresy URL do skanowania, po jednym w każdym wierszu. Użyj tej opcji, jeśli chcesz dokładnie określić, które strony mają być indeksowane. Lista nie jest rozszerzana przez przechodzenie po linkach; nadal obowiązują limity stron i odświeżeń.
https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq
Zaawansowany wybór adresów URL
Panel udostępnia tryb, adres mapy witryny lub ręczne adresy URL, maksymalną liczbę stron i harmonogram odświeżania. Nie udostępnia wzorców uwzględniania i wykluczania ani maksymalnej głębokości crawlowania. Te ustawienia są dostępne w konfiguracji jako kodzie. Wartości include/exclude są fragmentami adresu URL uwzględniającymi wielkość liter, a nie wzorcami glob ani wyrażeniami regularnymi; wykluczenie ma pierwszeństwo. Podczas przechodzenia po linkach odfiltrowane strony nie są przeszukiwane dalej, więc reguła wykluczająca stronę początkową może całkowicie uniemożliwić wykrywanie.
W witrynach wielojęzycznych jawnie uwzględnij potrzebne publiczne wersje językowe. Wykrywanie map i linków pozostaje w tym samym originie, więc język na subdomenie wymaga osobnego wyboru źródła. Język strony jest wykrywany na podstawie strony i adresu URL; dodanie języka widżetu nie tłumaczy ani nie indeksuje brakujących treści.
Limity stron
Zapisana wartość Maksymalna liczba stron (maxPages) to żądany limit wyboru na jedno uruchomienie, a nie uprawnienie do określonej pojemności; edytor panelu dodatkowo sprawdza ją względem wyświetlanego limitu. Jeśli wartość nie zostanie podana, domyślnie używany jest limit stron w ramach pakietu konta. Przed uruchomieniem ChattyBox ponownie sprawdza bieżącą pojemność dostawcy, priorytetowo traktuje znane już adresy URL projektu i ogranicza przyjmowanie nowych adresów do pozostałej pojemności dostępnej właścicielowi. Dostępność nowych miejsc jest sprawdzana ponownie podczas zapisywania stron. Wykrywanie może wysyłać żądania sieciowe, zanim będzie znany ostateczny wybór; limit pojemności nie jest granicą prywatności ani zapytań wychodzących. Selektor w Baza wiedzy → Import i odświeżanie osobno ogranicza jeden import do 500 adresów URL i ponownie sprawdza pojemność przed jego rozpoczęciem. Zmiana źródła lub obniżenie limitu nie usuwa automatycznie starszych stron. Strony w pakiecie są współdzielone między chatbotami właściciela; zobacz cennik oraz bieżące użycie i dostępny limit w Konto i rozliczenia.
| Plan | Strony w ramach limitu konta | Miesięczny budżet odświeżania stron | Najkrótsza kadencja odświeżania |
|---|---|---|---|
| Free | 10 | 500 | Co tydzień |
| Starter | 150 | 5,000 | Codziennie |
| Pro | 5,000 | 100,000 | Codziennie |
| Business | 25,000 | 250,000 | Codziennie |
Plany Pro i Business mogą włączyć opcjonalny PAYG dla nadwyżek stron w Konto i rozliczenia. Free i Starter pozostają objęte twardym limitem. PAYG zwiększa limit zapisanych stron, ale obecnie nie podnosi osobnego miesięcznego budżetu odświeżeń. Zobacz plany i limity oraz bieżący limit konta przed zwiększeniem zakresu zadania.
Odświeżanie treści
- Automatyczne ponowne zbieranie jest opcjonalne. Free pozwala uruchamiać je co tydzień lub co miesiąc; plany płatne pozwalają także na codzienne uruchomienia. Harmonogram miesięczny oznacza odstęp 30 dni, a nie konkretny dzień miesiąca.
- Zbieraj teraz nie jest przyciskiem do nieograniczonego ponawiania prób. Ręczne uruchomienia — w tym import wybranych stron i Zbieraj teraz — podlegają minimalnemu odstępowi od utworzenia najnowszego zadania: siedem dni w Free lub 24 godziny w planach płatnych. Dotyczy to również nieudanego zadania. Zadanie Pending lub Running blokuje kolejne ręczne uruchomienie.
- Każda nowa strona i każda strona, której zapisany wyodrębniony tekst uległ zmianie, zużywa jedną jednostkę miesięcznego budżetu odświeżania. Niezmieniona strona aktualizuje metadane bez zużywania kolejnej jednostki; w razie potrzeby nadal może zostać zakolejkowana naprawa embeddingów.
- Budżet odświeżania jest współdzielony między projektami właściciela i resetuje się na początku każdego miesiąca kalendarzowego w UTC. Nie jest osobnym limitem dla każdego chatbota ani każdego zadania.
- Pomyślnie pobrane aktualizacje zastępują zapisany tekst strony. Nieudane pobrania oraz odrzucone strony blokady lub błędu pozostawiają poprzednią treść. Usunięcie adresu z mapy witryny lub wyboru źródeł nie usuwa go z bazy wiedzy; usuń niechciane strony w Baza wiedzy → Strony i wyklucz je z przyszłego wykrywania.
Postęp i częściowa indeksacja
W Baza wiedzy → Strony rozwiń Historia importu, gdy istnieją zadania, i wybierz zadanie w sekcji Zadania scrapingu, aby sprawdzić jego status, liczbę stron, znaczniki czasu oraz szacowane tempo i pozostały czas zapisywania. Wykrywanie poprzedza ustalenie końcowej liczby wybranych stron, więc początkowe zero nie musi oznaczać zatrzymania zadania. Liczby dotyczą zapisanych stron, także niezmienionych, a nie ukończonych embeddingów.
Status Completed oznacza zakończenie zadania, nie pełne pokrycie. Po błędach pobierania lub osiągnięciu limitu stron albo odświeżeń może zostać zapisanych mniej stron; pusty wybór może zakończyć się z zerową liczbą stron. Porównaj liczbę zapisanych stron i faktyczną listę z oczekiwanymi adresami. Szczegóły zadania pokazują najwyżej 8 zapisanych stron; większe zbiory sprawdzaj na stronicowanej liście Baza wiedzy → Strony. To nie jest pełny raport błędów dla poszczególnych adresów.
Partially indexed oznacza przekroczenie limitu 512 KiB UTF-8 wyodrębnionego tekstu: zachowywany jest tylko początek, a interfejs pokazuje liczbę bajtów zachowanych i wyodrębnionych. Zadanie z takimi stronami ma status Completed with warnings; ostrzeżenie dotyczy uciętego tekstu, a nie wszystkich nieudanych lub pominiętych adresów. W razie potrzeby podziel długą stronę na mniejsze publiczne strony.
Warstwa pobierania osobno odrzuca odpowiedzi większe niż 5 MiB i łańcuchy przekierowań przekraczające pięć skoków. To inne błędy niż częściowe zachowanie tekstu pomyślnie pobranej strony. Zmieniona treść uruchamia osobne zadanie embeddingów; sprawdź status indeksu i przetestuj reprezentatywne odpowiedzi przed uruchomieniem.
Konserwacja treści
W sekcji Baza wiedzy → Strony można usuwać pojedyncze strony, użyć opcji Wyczyść wszystko lub uruchomić Przebuduj indeks. Odznaczenie strony na liście wyboru nie usuwa zapisanej treści. Usunięcie pojedynczej strony usuwa ją również z zapisanej listy Ręczne adresy URL, ale źródła sitemap i crawl mogą wykryć ją ponownie; zmień te źródła lub skonfiguruj wykluczenie. Wyczyść wszystko anuluje aktywne zadania scrapowania i embeddingów, a zapisane strony i embeddingi usuwa partiami w tle; zachowuje zapisaną konfigurację źródła. Kolejne zadania mogą ponownie dodać strony.
Przebuduj indeks tworzy embeddingi z już zapisanego tekstu; nie pobiera witryny, nie przywraca usuniętych stron ani nie odzyskuje uciętego tekstu. Ręczne przebudowywanie podlega tygodniowemu lub dobowemu cooldownowi planu, liczonym od utworzenia najnowszego zadania embeddingów, i zużywa ten sam miesięczny budżet odświeżania stron za każdą stronę zarezerwowaną do przebudowy. Embeddingi automatycznie zakolejkowane dla zmienionych stron po scrapowaniu nie zużywają budżetu drugi raz.
Projekty z blokadą konfiguracji odrzucają skanowanie, usuwanie treści i ręczne przebudowy indeksu z panelu; użyj procesu wdrażania konfiguracji.
Ekstrakcja treści
ChattyBox preferuje tekst z <main>, potem <article> lub role="main", a na końcu body:
- Tytuł strony - Znacznik
<title> - Nagłówki - Wszystkie znaczniki od
<h1>do<h6> - Akapity - Czytelny tekst akapitów
- Listy - Elementy list
<ul>i<ol> - Kod i tabele - Treść tekstową, z zachowaniem białych znaków w preformatowanym kodzie
Ograniczony mechanizm awaryjny może pobrać dokument OpenAPI z tego samego originu, wskazany przez rozpoznaną konfigurację SwaggerUIBundle, gdy HTML zawiera zbyt mało tekstu. Nie oznacza to ogólnego renderowania JavaScriptu, przesyłania plików ani obsługi każdego widoku dokumentacji API.
Ignorowana treść
Ekstrakcja pomija typowe elementy niezawierające treści, w tym:
- Menu nawigacyjne
- Treść stopki
- Skrypty i arkusze stylów
- Elementy oznaczone
hidden,aria-hidden="true"albo mające wbudowanedisplay: none/visibility: hidden - Rozpoznane znaczniki banerów cookies lub zgody oraz role dialogu i nawigacji
- Iframe, canvas, SVG i osadzone obiekty
Są to heurystyki oparte na HTML, a nie wynik obliczonego układu przeglądarki. Nie zakładaj, że wykryją każdy wizualnie ukryty element lub baner.
Rozwiązywanie problemów
Strony nie są skanowane?
- Sprawdź, czy URL jest publicznie dostępny
- Sprawdź zwykłe żądanie HTML bez logowania, CAPTCHA ani blokady bota; dyrektywy crawlowania z
robots.txtnie są egzekwowane - Sprawdź, czy strona nie wymaga uwierzytelnienia
- Sprawdź tryb, origin, wybrane adresy, limit stron i budżet odświeżeń
- Przy awaryjnym przechodzeniu po linkach sprawdź, czy ważne linki są osiągalne od strony początkowej w granicach głębokości
Brakuje treści w odpowiedziach?
- Zeskanuj stronę ponownie po publikacji zmian, gdy pozwala na to okres karencji
- Ważny tekst podaj w początkowym HTML — JavaScript nie jest renderowany
- Upewnij się, że treść znajduje się w głównej części strony, a nie w iframe'ach
- Sprawdź ostrzeżenia o częściowej indeksacji i poczekaj na embeddingi przed ponownym testem
Potrzebujesz większej kontroli?
W przypadku nieobsługiwanych źródeł lub utrzymujących się błędów ekstrakcji skontaktuj się z support@chattybox.ai i podaj publiczny przykładowy adres URL. Nie przesyłaj danych logowania ani nie zakładaj, że pomoc techniczna może włączyć skanowanie z uwierzytelnianiem lub renderowaniem JavaScriptu.
W przypadku problemów z uruchomieniem po skanowaniu skorzystaj z listy kontrolnej uruchomienia i przewodnika rozwiązywania problemów.