Zum Hauptinhalt springen

Inhalts-Scraping

Konfigurieren Sie, wie ChattyBox Ihre Website crawlt und Inhalte für KI-Antworten indexiert.

Öffnen Sie Wissensbasis → Importieren und aktualisieren, verbinden Sie Ihre Website, prüfen Sie die gefundenen Seiten und importieren oder aktualisieren Sie ausdrücklich Ihre Auswahl. Die Website-URL und erweiterte Quelleneinstellungen werden automatisch gespeichert; prüfen Sie den Speicherstatus, beheben Sie Validierungsfehler oder wiederholen Sie einen fehlgeschlagenen Speichervorgang. Entdeckung und automatisches Speichern importieren für sich allein keine Seiten. Ein Import ausgewählter Seiten ersetzt nicht die gespeicherte Quellkonfiguration. Die separate erweiterte Aktion Jetzt scrapen speichert zuerst gültige Quelleneinstellungen und führt dann den konfigurierten Modus aus, nicht die Auswahl im Picker. Auch im Modus Manuelle URLs verlangt das Dashboard eine gespeicherte Website-URL.

:::warning Nur öffentliches HTML Der Crawler ruft HTML ohne Browser ab und führt kein JavaScript aus. Er setzt die Crawl-Anweisungen in robots.txt nicht durch; die automatische Sitemap-Erkennung kann die Datei nach Sitemap-Angaben desselben Ursprungs durchsuchen, wenn die üblichen Sitemap-Adressen keine URLs liefern. Der Link-Fallback des Crawl-Modus verwendet diese Angaben nicht. robots.txt ist keine Zugriffskontrolle. Indexieren Sie nur autorisierte Inhalte und wählen Sie Quellen ausdrücklich aus, statt unerwünschte Seiten über robots-Regeln auszuschließen. Authentifizierung, CAPTCHA-Lösung und Crawling in privaten Netzwerken werden nicht unterstützt. :::

Für einen Rollout öffentlicher Inhalte finden Sie im Leitfaden für KI-Chatbots auf Websites, wie Sie vertrauenswürdige Dokumente, Hilfeartikel, Produktseiten und FAQs auswählen, bevor Sie zitierte Antworten testen.

Scraping-Modi​

ChattyBox unterstützt vier Scraping-Modi:

1. Nur die Homepage​

Ruft nur die gespeicherte Website-URL ab, die auch eine einzelne Unterseite sein kann. Geeignet für eine Landingpage oder einen Test mit einer Seite.

2. Sitemap-Modus (Empfohlen)​

Eine Sitemap dient zur Entdeckung von Seiten, einschließlich untergeordneter Sitemaps innerhalb eines Tiefenlimits. Nur Seiten-URLs mit demselben Ursprung wie die Website-URL bleiben erhalten. Filter, Seitenlimits und Aktualisierungsbudgets gelten weiterhin; eine Sitemap garantiert keine vollständige Indexierung.

https://example.com/sitemap.xml

Bei leerer Sitemap-URL (optional) versucht ChattyBox zuerst eine bereits erkannte Sitemap, dann /sitemap.xml und /sitemap_index.xml. Liefert keine davon URLs, wird nur die gespeicherte Website-URL verwendet. Eine ausdrücklich angegebene Sitemap ohne URLs lässt den Auftrag stattdessen fehlschlagen.

3. Crawl-Modus​

Starten Sie mit einer öffentlichen URL. Der Crawl-Modus versucht zunächst die beiden üblichen Sitemaps. Liefern beide keine URLs, folgt er Links desselben Ursprungs ab der Startseite bis zur konfigurierten Tiefe (Standard 3). Liefert eine Sitemap URLs, werden keine Links zum Ergänzen fehlender Seiten verfolgt. Bei der Linksuche überspringt der Crawler einige typische Konto-, Login-, Checkout-, Such- und Ressourcen-URLs. Diese Heuristiken sind keine Datenschutzgrenze; prüfen Sie die tatsächlich indexierten Seiten.

4. Manuelle URLs​

Geben Sie die genauen URLs zum Scrapen an, eine pro Zeile. Nutzen Sie dies, wenn Sie genau steuern möchten, welche Seiten indexiert werden.

Diese öffentlichen URLs werden nicht durch Linkverfolgung erweitert; Seiten- und Aktualisierungslimits gelten weiterhin.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Erweiterte URL-Auswahl​

Das Dashboard bietet Felder für Modus, Sitemap-/manuelle URLs, maximale Seitenzahl und Aktualisierungsplan, nicht aber für Ein-/Ausschlussmuster oder maximale Crawl-Tiefe. Diese erweiterten Einstellungen unterstützt Konfiguration als Code. include/exclude sind URL-Teilstrings mit Beachtung der Groß- und Kleinschreibung, keine Globs oder regulären Ausdrücke; Ausschlüsse gewinnen. Herausgefilterte Seiten werden bei der Linksuche nicht durchlaufen. Ein Ausschluss der Startseite kann daher die gesamte Entdeckung verhindern.

Wählen Sie benötigte öffentliche Sprachversionen ausdrücklich aus. Sitemaps und Linksuche bleiben auf demselben Ursprung; eine Sprach-Subdomain benötigt eine eigene Quellenauswahl. Die Seitensprache wird anhand der Seite und URL erkannt; die Widget-Sprache übersetzt oder indexiert keine fehlenden Quellen.

Seitenlimits​

Maximale Seitenzahl ist eine angeforderte Auswahlgrenze pro Lauf und kein zusätzliches Tarifkontingent; der Dashboard-Editor prüft den Wert zusätzlich gegen die angezeigte Grenze. Wenn der Wert fehlt, entspricht die Anforderung standardmäßig dem im Tarif enthaltenen Seitenkontingent des Kontos. Vor einem Lauf prüft ChattyBox die Anbieterkapazität erneut, priorisiert bereits bekannte Projekt-URLs und begrenzt die Zulassung neuer URLs auf die verbleibende Kapazität des Eigentümers. Neue Seitenplätze werden beim Speichern der Seiten nochmals geprüft. Bei der Entdeckung können Netzwerkabfragen stattfinden, bevor die endgültige Auswahl feststeht: Kapazitätsgrenzen sind weder eine Datenschutzgrenze noch eine Grenze für ausgehende Anfragen. Die Seitenauswahl begrenzt einen ausgewählten Import separat auf 500 URLs und prüft die Kapazität vor dem Start erneut. Enthaltene gespeicherte Seiten werden von den Chatbots des Eigentümers gemeinsam genutzt; die veröffentlichten Kontingente stehen unter Preise, die aktuelle Nutzung und das verfügbare Kontingent unter Abrechnung und Nutzung.

Maximale Seitenzahl begrenzt ausgewählte URLs und Platz für neue Seiten. Bereits indexierte URLs werden bevorzugt, wenn sie erneut entdeckt werden. Ein Quellenwechsel oder kleineres Limit löscht keine alten Seiten. Gespeicherte Seiten und monatliche Aktualisierungsarbeit sind getrennte Grenzen:

TarifEnthaltene KontoseitenMonatliches AktualisierungsbudgetSchnellster Rhythmus
Free10500Wöchentlich
Starter1505.000Täglich
Pro5.000100.000Täglich
Business25.000250.000Täglich

Pro und Business können optional nutzungsabhängige Seitenüberschreitungen (PAYG) unter Abrechnung und Nutzung aktivieren. Free und Starter bleiben hart begrenzt. PAYG-Seitenkontingent erhöht das separate monatliche Aktualisierungsbudget des Crawlers nicht. Prüfen Sie vor einer größeren Ausführung Tarife und Limits sowie das aktuelle Kontingent Ihres Kontos.

Inhalte aktualisieren​

  • Automatische Aktualisierung muss aktiviert werden: Free erlaubt wöchentlich oder monatlich, bezahlte Tarife zusätzlich täglich. Monatlich bedeutet alle 30 Tage, nicht an einem festen Kalendertag.
  • Der Mindestabstand ab Erstellung des letzten Scrape-Auftrags beträgt bei Free sieben Tage und bei kostenpflichtigen Tarifen 24 Stunden, auch wenn der Auftrag fehlgeschlagen ist. Ein ausstehender oder laufender Auftrag blockiert außerdem einen weiteren manuellen Scrape.
  • Jede neue Seite und jede Seite, deren gespeicherter extrahierter Text sich ändert, verbraucht eine Einheit des monatlichen Budgets. Eine unveränderte Seite aktualisiert Metadaten ohne weitere Scrape-Einheit; bei Bedarf kann trotzdem eine Reparatur der Embeddings in die Warteschlange kommen.
  • Das Budget wird zwischen den Projekten des Eigentümers geteilt und zu Beginn jedes UTC-Kalendermonats zurückgesetzt. Es ist kein separates Kontingent pro Chatbot oder Scrape-Auftrag.
  • Ein erfolgreicher Abruf ersetzt den gespeicherten Text; fehlgeschlagene Abrufe und abgewiesene Sperr-/Fehlerseiten lassen den alten Inhalt bestehen. Das Entfernen einer URL aus Sitemap oder Quellenauswahl löscht sie nicht aus der Wissensdatenbank: Löschen Sie unerwünschte Seiten unter Wissensbasis → Seiten und entfernen Sie sie auch aus der künftigen Entdeckung.

Fortschritt und Teilindexierung​

Öffnen Sie Wissensbasis → Seiten, klappen Sie Importverlauf auf, wenn Aufträge vorhanden sind, und wählen Sie unter Scrape-Jobs einen Auftrag aus. Dort sehen Sie Status, Seitenzahlen, Zeitstempel und geschätzte Geschwindigkeit bzw. Restzeit während des Speicherns. Die Entdeckung erfolgt, bevor die endgültige Anzahl ausgewählter Seiten feststeht; eine frühe Null bedeutet daher nicht unbedingt, dass der Auftrag feststeckt. Zählwerte betreffen gespeicherte Seiten einschließlich unveränderter Seiten, nicht fertige Embeddings.

Abgeschlossen bedeutet nur, dass der Lauf endete: Fehler, Limits oder eine leere Auswahl können weniger oder null gespeicherte Seiten ergeben. Vergleichen Sie die gespeicherte Anzahl und die tatsächliche Seitenliste mit den erwarteten URLs. Auftragsdetails zeigen höchstens 8 gespeicherte Seiten. Für größere Sammlungen nutzen Sie die paginierte Dashboard-Ansicht Wissensbasis → Seiten. Sie ist kein vollständiger Fehlerbericht je URL.

Teilweise indexiert bedeutet, dass extrahierter Text das Speicherlimit von 512 KiB UTF-8 überschritt. Nur der Anfang bleibt erhalten; die Oberfläche zeigt gespeicherte und extrahierte Bytes. Mit Warnungen abgeschlossen kennzeichnet diese Kürzung, nicht alle Crawl-Fehler. Teilen Sie lange Seiten auf. HTTP-Antworten über 5 MiB und Weiterleitungsketten mit mehr als fünf Sprüngen werden separat abgewiesen.

Geänderte Inhalte starten einen eigenen Embedding-Auftrag. Prüfen Sie Indexstatus und repräsentative Antworten vor dem Start.

Inhaltspflege​

Wissensbasis → Seiten unterstützt das Löschen einzelner Seiten, Alles löschen und Index neu aufbauen. Eine Seite im Picker abzuwählen, löscht gespeicherte Inhalte nicht. Beim Löschen einer einzelnen Seite wird ihre URL auch aus einer gespeicherten Liste Manuelle URLs entfernt; Sitemap- und Crawl-Quellen können sie erneut entdecken, daher müssen Sie auch diese Quellen anpassen. Alles löschen bricht aktive Scrape- und Embedding-Aufträge ab und löscht gespeicherte Seiten und Embeddings in Hintergrund-Batches, lässt aber die gespeicherte Quellkonfiguration unverändert. Spätere Scrapes können Seiten wieder hinzufügen.

Index neu aufbauen erstellt Embeddings aus bereits gespeichertem Text neu; die Website wird dabei nicht abgerufen, gelöschte Seiten werden nicht wiederhergestellt und abgeschnittener Text wird nicht ergänzt. Die wöchentliche/tägliche Wartezeit für manuelle Neuaufbauten beginnt mit dem letzten Embedding-Auftrag; jede dafür reservierte Seite verbraucht dasselbe monatliche Seiten-Aktualisierungsbudget. Für geänderte Scrape-Seiten automatisch eingeplante Embeddings belasten dieses Budget nicht ein zweites Mal. Konfigurationsgesperrte Projekte lehnen Scrapes, Inhaltslöschungen und manuelle Neuaufbauten im Dashboard ab; verwenden Sie den Konfigurations-Deployment-Workflow.


Inhaltsextraktion​

ChattyBox liest den Seitentitel und bevorzugt <main>, dann <article>, dann role="main", zuletzt den Body. Im ausgewählten Inhalt bleiben erhalten:

  • Seitentitel - Das <title>-Tag
  • Überschriften - Text von <h1> bis <h6>
  • Absätze - Lesbarer Absatztext
  • Listen - <ul>- und <ol>-Elemente
  • Code und Tabellen - Text einschließlich Leerraum in vorformatiertem Code

Bei zu wenig HTML-Text kann ein begrenzter Fallback ein Same-Origin-OpenAPI-Dokument aus einer erkannten SwaggerUIBundle-Konfiguration abrufen. Das ist weder allgemeines JavaScript-Rendering noch Datei-Upload oder Unterstützung aller API-Viewer.

Ignorierte Inhalte​

Die Extraktion schließt unter anderem aus:

  • Navigationsmenüs
  • Inhalte im Footer
  • Skripte und Styles
  • Elemente mit hidden, aria-hidden="true" oder Inline-display: none / visibility: hidden
  • Erkannte Einwilligungsbanner und Dialog-/Navigationsrollen
  • Iframes, Canvas, SVG und eingebettete Objekte

Diese HTML-Heuristiken berechnen kein Browserlayout und erkennen nicht zwingend jedes visuell versteckte Element oder Banner.


Fehlerbehebung​

Seiten werden nicht gescraped?​

  • Prüfen Sie, ob die URL öffentlich zugänglich ist
  • Prüfen Sie, ob gewöhnliche HTML-Anfragen ohne CAPTCHA oder Bot-Challenge erlaubt sind; Crawl-Anweisungen in robots.txt werden nicht durchgesetzt
  • Prüfen Sie, ob die Seite nicht durch eine Anmeldung geschützt ist
  • Prüfen Sie Modus, Ursprung, ausgewählte URLs, Seitenkontingent und Aktualisierungsbudget
  • Prüfen Sie beim Link-Crawl-Fallback, ob wichtige Links von der Start-URL innerhalb des Tiefenlimits erreichbar sind

Fehlt Inhalt in den Antworten?​

  • Crawlen Sie nach Veröffentlichung und Ablauf der Wartezeit erneut und warten Sie auf Embeddings
  • Stellen Sie wichtigen Text im ursprünglichen HTML bereit; reine JavaScript-Inhalte werden nicht gerendert
  • Stellen Sie sicher, dass sich die Inhalte im Hauptinhalt befinden, nicht in iframes
  • Prüfen Sie Warnungen zur Teilindexierung

Mehr Kontrolle gewünscht?​

Kontaktieren Sie bei nicht unterstützten Quellen oder Extraktionsfehlern support@chattybox.ai mit einer öffentlichen Beispiel-URL. Senden Sie keine Zugangsdaten und gehen Sie nicht davon aus, dass der Support authentifiziertes Crawling oder JavaScript-Rendering aktivieren kann. Nutzen Sie auch die Startcheckliste und Fehlerbehebung.