Lewati ke konten utama

Scraping Konten

Atur cara ChattyBox merayapi situs web dan mengindeks konten untuk respons AI.

Buka Pengetahuan → Impor & segarkan, hubungkan situs web Anda, tinjau halaman yang ditemukan, lalu impor atau segarkan pilihan Anda secara eksplisit. Pengaturan situs web dan sumber lanjutan tersimpan otomatis; periksa status penyimpanan, perbaiki kesalahan validasi, atau coba simpan lagi jika penyimpanan gagal. Penemuan dan autosave tidak dengan sendirinya mengimpor halaman. Impor halaman yang dipilih tidak menggantikan konfigurasi sumber tersimpan. Tindakan lanjutan Scrape Sekarang yang terpisah terlebih dahulu menyimpan pengaturan sumber yang valid, lalu menjalankan mode yang dikonfigurasi—bukan pilihan di pemilih halaman. Dasbor tetap memerlukan URL Situs Web * tersimpan, bahkan untuk mode URL Manual.

:::warning Hanya HTML publik Crawler mengambil HTML; crawler tidak menjalankan browser atau merender JavaScript, sehingga konten dinamis yang hanya dimuat dengan JavaScript tidak dirender. Crawler tidak menerapkan direktif crawl di robots.txt. Deteksi sitemap otomatis dapat membaca file tersebut untuk menemukan deklarasi Sitemap pada origin yang sama jika lokasi sitemap konvensional tidak menghasilkan URL; deklarasi Sitemap di robots.txt tidak digunakan oleh fallback crawl tautan pada mode Perayapan. Jangan anggap robots.txt sebagai kontrol akses. Kirim hanya konten yang Anda berwenang untuk indeks, dan gunakan pemilihan sumber eksplisit—bukan aturan robots—untuk mengecualikan halaman yang tidak diinginkan. Autentikasi, penyelesaian CAPTCHA, dan crawl jaringan privat tidak didukung. :::

Untuk peluncuran konten publik, lihat panduan chatbot AI untuk situs web untuk memilih dokumentasi, artikel bantuan, halaman produk, dan FAQ yang tepercaya sebelum menguji jawaban dengan sitasi.

Mode Scraping​

ChattyBox mendukung empat mode scraping:

1. Hanya Beranda​

Hanya merayapi URL situs web yang tersimpan, yang dapat berupa halaman tertentu dan bukan root situs. Cocok untuk landing page atau evaluasi satu halaman.

2. Mode Sitemap (Direkomendasikan)​

Berikan URL sitemap untuk menemukan halaman, termasuk halaman pada sitemap turunan. Hanya URL halaman pada origin Website URL yang dipertahankan; filter, batas halaman, dan anggaran refresh tetap berlaku. Sitemap adalah sumber penemuan, bukan jaminan bahwa setiap URL di dalamnya akan diindeks.

https://example.com/sitemap.xml

Jika URL Sitemap (opsional) kosong, ChattyBox mencoba sitemap yang terdeteksi otomatis terlebih dahulu, lalu /sitemap.xml dan /sitemap_index.xml. Jika tidak ada yang menghasilkan URL, crawler kembali hanya ke URL Situs Web * tersimpan. Sitemap eksplisit yang tidak menghasilkan URL membuat tugas gagal, bukan fallback. Penemuan sitemap bertingkat memiliki batas kedalaman.

3. Mode Crawl​

Mulai dari URL publik dan biarkan ChattyBox menemukan halaman pada situs yang sama. Mode crawl pertama-tama mencoba /sitemap.xml dan /sitemap_index.xml konvensional. Jika keduanya tidak menghasilkan URL, crawler mengikuti tautan same-origin dari halaman awal hingga kedalaman yang dikonfigurasi (default: 3).

Jika sitemap konvensional menghasilkan URL, mode crawl menggunakan URL tersebut; crawler tidak mengikuti tautan untuk mengisi kekosongan sitemap yang tidak lengkap. Saat penemuan tautan, crawler melewati URL akun, login, checkout, pencarian, dan aset yang umum. Tinjau halaman yang benar-benar diindeks; heuristik ini bukan batas privasi.

4. URL Manual​

Tentukan URL publik yang tepat, satu per baris. Gunakan ini saat Anda ingin mengontrol halaman yang diindeks secara presisi. Halaman ini tidak diperluas dengan mengikuti tautan; batas halaman dan refresh tetap berlaku.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Pemilihan URL Lanjutan​

Dasbor menyediakan mode, sitemap/URL manual, jumlah halaman maksimum, dan jadwal refresh. Dasbor tidak menyediakan pola include/exclude atau kedalaman crawl maksimum; gunakan konfigurasi sebagai kode untuk pengaturan tersebut. Nilai include/exclude adalah substring URL yang peka huruf besar-kecil, bukan glob atau ekspresi reguler; kecocokan exclude menang. Saat crawl tautan, halaman yang terfilter tidak ditelusuri, sehingga mengecualikan halaman awal dapat menghentikan penemuan.

Untuk situs multibahasa, sertakan secara eksplisit versi bahasa publik yang Anda perlukan. Penemuan sitemap dan crawl tautan tetap pada origin yang sama, sehingga bahasa pada subdomain lain memerlukan pemilihan sumber sendiri. Bahasa halaman dideteksi dari halaman dan URL; locale widget tidak menerjemahkan atau mengindeks konten yang tidak ada.

Batas Halaman​

Nilai Jumlah Halaman Maksimum yang disimpan adalah batas pilihan yang diminta per proses, bukan jatah yang dijamin; editor dasbor juga memvalidasi nilai terhadap batas yang ditampilkan. Jika tidak diisi, nilai defaultnya adalah jatah halaman akun yang termasuk dalam paket. Sebelum proses berjalan, ChattyBox memeriksa ulang kapasitas penyedia, memprioritaskan URL proyek yang sudah ada dan diketahui, serta membatasi penerimaan URL baru berdasarkan kapasitas pemilik yang masih tersedia secara menyeluruh. Slot halaman baru diperiksa lagi saat halaman disimpan. Penemuan dapat membuat permintaan jaringan sebelum pilihan akhir diketahui; batas kapasitas bukan batas privasi ataupun batas permintaan jaringan keluar. Pemilih halaman Pengetahuan memiliki batas terpisah, maksimal 500 URL per impor, dan memeriksa ulang kapasitas sebelum memulai. Mengubah sumber atau menurunkan batas tidak otomatis menghapus halaman lama. Halaman tersimpan yang termasuk dalam paket dibagikan oleh chatbot milik pemilik yang sama; lihat harga untuk jatah yang dipublikasikan dan Akun & Tagihan untuk penggunaan serta jatah akun saat ini.

Bedakan halaman tersimpan dengan pekerjaan refresh bulanan. URL yang sudah diindeks diprioritaskan jika berada dalam set yang ditemukan.

PaketHalaman tercakupAnggaran refresh halaman bulananFrekuensi refresh tercepat
Free10500Mingguan
Starter1505.000Harian
Pro5.000100.000Harian
Business25.000250.000Harian

Pro dan Business dapat mengaktifkan kelebihan halaman pay-as-you-go (PAYG) opsional di Akun & Tagihan. Free dan Starter tetap memiliki batas keras. PAYG halaman saat ini tidak menaikkan anggaran refresh bulanan crawler yang terpisah. Lihat paket dan batas serta jatah akun saat ini sebelum meningkatkan ukuran proses.

Menyegarkan Konten​

  • Scraping ulang otomatis bersifat opt-in. Free mengizinkan proses mingguan atau bulanan; paket berbayar juga mengizinkan harian. Jadwal bulanan berarti interval 30 hari, bukan tanggal tertentu dalam kalender.
  • Scrape Sekarang bukan tombol retry tanpa batas. Interval minimum sejak tugas scraping terakhir dibuat adalah tujuh hari di Free atau 24 jam di paket berbayar, termasuk setelah tugas gagal. Tugas yang pending atau berjalan juga memblokir scraping manual lain.
  • Halaman baru dan halaman yang teks terekstrak tersimpannya berubah masing-masing memakai satu unit anggaran refresh bulanan. Halaman yang tidak berubah hanya memperbarui metadata scraping tanpa memakai unit tambahan; jika perlu, perbaikan embedding tetap dapat dimasukkan ke antrean. Konten yang berubah memicu tugas embedding terpisah tanpa biaya unit kedua.
  • Anggaran refresh dibagikan di seluruh proyek pemilik dan direset pada awal setiap bulan kalender UTC; ini bukan kuota per chatbot atau per scraping.
  • Pembaruan yang berhasil mengganti teks halaman tersimpan. Fetch gagal atau halaman blok/error yang ditolak mempertahankan konten lama. Menghapus URL dari sitemap atau pilihan sumber tidak menghapusnya dari basis pengetahuan; hapus halaman yang tidak diinginkan di Pengetahuan → Halaman dan keluarkan dari penemuan berikutnya.

Progres dan Pengindeksan Parsial​

Buka Pengetahuan → Halaman, perluas Riwayat impor jika ada tugas, lalu pilih tugas di bawah Job Scrape untuk melihat status, jumlah halaman, stempel waktu, serta estimasi laju/waktu tersisa saat halaman disimpan. Penemuan terjadi sebelum total halaman terpilih diketahui, sehingga jumlah nol pada awal tugas tidak selalu berarti macet. Jumlahnya adalah halaman yang disimpan, termasuk halaman tidak berubah, bukan embedding vektor yang selesai.

Completed berarti proses berakhir, bukan setiap URL terpilih berhasil. Tugas dapat selesai dengan halaman tersimpan lebih sedikit setelah fetch gagal atau batas halaman/refresh tercapai, dan pilihan kosong dapat selesai dengan nol halaman. Bandingkan jumlah tersimpan dan daftar halaman dengan URL yang Anda harapkan. Detail tugas menampilkan maksimal 8 halaman tersimpan; gunakan daftar Pengetahuan → Halaman yang berpaginasi untuk koleksi lebih besar. Detail tersebut bukan laporan kegagalan lengkap per URL.

Partially indexed berarti teks terekstrak halaman melampaui batas penyimpanan 512 KiB UTF-8. Hanya bagian awal yang disimpan, dan antarmuka menampilkan jumlah byte yang disimpan dibandingkan dengan yang diekstrak. Tugas selesai dengan halaman demikian menampilkan Completed with warnings. Peringatan ini mengenai teks yang terpotong, bukan semua URL yang gagal atau terlewati. Pisahkan referensi panjang menjadi halaman publik yang lebih kecil bila bagian penting terpotong.

Lapisan pengambilan secara terpisah menolak isi respons di atas 5 MiB dan rangkaian redirect lebih dari lima kali. Kegagalan ini berbeda dari halaman yang berhasil diambil tetapi teks terekstraknya hanya disimpan sebagian.

Konten yang berubah mengantrikan tugas embedding terpisah. Tinjau status indeks/rebuild dan uji jawaban representatif sebelum peluncuran; badge scrape selesai saja tidak memvalidasi kualitas pengambilan.

Ekstraksi dan Pemeliharaan Konten​

ChattyBox membaca judul halaman dan lebih dahulu memilih teks dari <main>, lalu <article>, kemudian elemen dengan role="main", sebelum fallback ke teks body. Crawler mempertahankan judul, heading, paragraf, daftar, serta teks kode dan tabel, termasuk spasi pada kode yang telah diformat. Navigasi, footer, skrip, gaya, elemen dengan hidden, aria-hidden="true", atau gaya inline display: none / visibility: hidden, markup banner cookie/persetujuan yang dikenali, role dialog/navigasi, iframe, canvas, SVG, dan objek embed dikecualikan melalui heuristik HTML.

Fallback terbatas dapat mengambil dokumen OpenAPI pada origin yang sama yang dirujuk oleh konfigurasi SwaggerUIBundle yang dikenali ketika teks HTML terlalu sedikit. Ini bukan rendering JavaScript umum, unggahan file, atau dukungan untuk setiap penampil referensi API. Heuristik berbasis HTML tersebut bukan hasil tata letak browser; jangan menganggap semua elemen yang tersembunyi secara visual atau setiap banner pasti terdeteksi.

Pengetahuan → Halaman mendukung penghapusan halaman satu per satu, Hapus Semua, dan Bangun Ulang Indeks. Membatalkan pilihan halaman di pemilih tidak menghapus konten tersimpan. Menghapus halaman satu per satu juga menghapus URL-nya dari daftar URL Manual tersimpan, tetapi sumber sitemap dan crawl dapat menemukannya kembali; sesuaikan sumber tersebut juga. Hapus Semua membatalkan pekerjaan scraping dan embedding yang aktif, lalu menghapus halaman serta embedding tersimpan dalam batch latar belakang, tetapi konfigurasi sumber tersimpan tetap ada. Scrape berikutnya dapat menambahkan halaman lagi.

Bangun Ulang Indeks membuat ulang embedding dari teks yang sudah tersimpan; tindakan ini tidak mengambil situs, mengembalikan halaman yang dihapus, atau memulihkan teks yang terpotong. Rebuild manual memiliki cooldown mingguan/harian sesuai paket, dihitung sejak tugas embedding terakhir, dan memakai anggaran refresh halaman bulanan yang sama untuk setiap halaman yang dicadangkan untuk rebuild. Embedding yang otomatis masuk antrean akibat perubahan halaman hasil scraping tidak dikenai biaya kedua kali. Proyek yang terkunci konfigurasi menolak scraping dari dasbor, penghapusan konten, dan rebuild manual; gunakan alur deployment konfigurasi.


Pemecahan Masalah​

Halaman tidak dikikis?​

  • Pastikan URL dapat diakses publik dan server menerima request HTML biasa tanpa login, CAPTCHA, atau tantangan bot.
  • Periksa mode, origin, URL terpilih, kuota halaman, serta anggaran refresh; crawler tidak menerapkan direktif robots dan robots.txt bukan kontrol akses.
  • Untuk fallback crawl tautan, pastikan tautan penting dapat dijangkau dari URL awal dalam batas kedalaman.

Konten tidak muncul dalam respons?​

  • Scrape ulang setelah perubahan dipublikasikan, ketika cooldown refresh mengizinkan.
  • Sajikan teks penting dalam HTML awal; konten yang hanya dimuat JavaScript tidak dirender.
  • Pastikan konten ada di body utama, bukan iframe; periksa peringatan pengindeksan parsial dan tunggu tugas embedding.

Perlu kontrol lebih?​

Untuk sumber yang tidak didukung atau kegagalan ekstraksi berulang, hubungi support@chattybox.ai dengan contoh URL publik. Jangan kirim kredensial atau mengasumsikan crawl terautentikasi maupun rendering JavaScript didukung.

Untuk masalah peluncuran setelah scraping, gunakan daftar periksa peluncuran dan panduan pemecahan masalah.