Pular para o conteúdo principal

Recolha de conteúdo

Configure a forma como o ChattyBox percorre o seu site e indexa conteúdo para respostas de IA.

Para uma implementação de conteúdo público, consulte o guia de chatbot de IA para sites para saber como escolher documentação fidedigna, artigos de ajuda, páginas de produtos e perguntas frequentes antes de testar respostas com citações.

Abra Conhecimento → Importar e atualizar, associe o seu site, reveja as páginas detetadas e importe ou atualize explicitamente a seleção. As definições do site e das fontes avançadas são guardadas automaticamente; verifique o estado da gravação, corrija erros de validação ou volte a tentar uma gravação falhada. A descoberta e a gravação automática não importam páginas por si só. A importação de uma seleção de páginas não substitui a configuração da fonte guardada. A ação avançada separada Recolher agora guarda primeiro as definições válidas e, em seguida, executa o modo configurado, não a seleção do seletor. O dashboard exige um URL de site guardado, mesmo no modo URLs manuais.

:::warning Apenas HTML público O crawler obtém HTML, mas não executa um browser nem renderiza JavaScript. O ChattyBox não aplica as diretivas de rastreamento de robots.txt. A deteção automática de sitemaps pode ler este ficheiro para encontrar declarações de sitemap da mesma origem quando as localizações convencionais não devolvem URLs. O fallback de ligações do modo Rastreio não utiliza essas declarações. robots.txt não é um mecanismo de controlo de acesso. Submeta apenas conteúdo que tenha autorização para indexar e selecione explicitamente as fontes, em vez de utilizar regras robots para excluir páginas indesejadas. A autenticação, a resolução de CAPTCHA e o rastreamento de redes privadas não são suportados. :::

Modos de recolha​

O ChattyBox suporta quatro modos: página inicial, sitemap, rastreio e URLs manuais.

1. Apenas página inicial​

Recolhe apenas o URL de site guardado, que pode corresponder a uma página específica e não à raiz do site. Adequado para uma landing page ou uma avaliação de uma só página.

2. Sitemap (Recomendado)​

Indique o URL de um sitemap para descobrir páginas, incluindo páginas em sitemaps secundários. Só são mantidos os URLs de páginas da mesma origem do URL de site; continuam a aplicar-se filtros, limites de páginas e orçamentos de atualização. Um sitemap é uma fonte de descoberta, não uma garantia de que todas as páginas listadas serão indexadas.

https://example.com/sitemap.xml

Se URL do sitemap (opcional) estiver vazio, o ChattyBox tenta primeiro um sitemap detetado e, depois, /sitemap.xml e /sitemap_index.xml. Se nenhum devolver URLs, utiliza apenas o URL de site guardado. Um sitemap indicado explicitamente que não devolva URLs faz falhar o job, sem fallback. A descoberta de sitemaps aninhados tem um limite de profundidade.

3. Rastreio​

O modo Rastreio tenta primeiro /sitemap.xml e /sitemap_index.xml. Se nenhum devolver URLs, segue ligações da mesma origem a partir do URL inicial até à profundidade configurada (predefinição: 3). Se um sitemap devolver URLs, não segue ligações para preencher páginas em falta. Durante a descoberta de ligações, o crawler ignora URLs comuns de contas, início de sessão, checkout, pesquisa e recursos. Estas heurísticas não são uma fronteira de privacidade: verifique as páginas efetivamente indexadas.

4. URLs manuais​

Indique os URLs públicos exatos a recolher, um por linha. Utilize este modo para controlar precisamente as páginas indexadas. As páginas não são expandidas através do seguimento de ligações; continuam a aplicar-se os limites de páginas e de atualização.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Seleção avançada de URLs​

O dashboard disponibiliza o modo, os URLs de sitemap/manuais, o número máximo de páginas e a frequência de atualização. Não disponibiliza padrões include/exclude nem a profundidade máxima de crawl. Estas definições avançadas estão disponíveis através da configuração como código. Os valores include/exclude são substrings de URL sensíveis a maiúsculas e minúsculas, não padrões glob nem expressões regulares; uma correspondência de exclusão prevalece. Durante o crawl de ligações, as páginas filtradas não são percorridas, pelo que excluir o URL inicial pode impedir totalmente a descoberta.

Em sites multilingues, selecione explicitamente as versões públicas necessárias. A descoberta por sitemap e o crawl de ligações mantêm-se na mesma origem; um idioma alojado num subdomínio requer uma seleção de fonte própria. O idioma da página é detetado com base na própria página e no URL. O idioma do widget não traduz nem indexa conteúdo em falta.


Limites de páginas​

Diferencie páginas armazenadas do trabalho mensal de atualização. O valor guardado em Número máximo de páginas é um limite solicitado de seleção por execução, não um direito a páginas; o editor do dashboard também valida o valor em função do limite apresentado. Se não for indicado, o pedido assume a quota de páginas incluídas na conta. Antes de cada execução, o ChattyBox volta a verificar a capacidade do fornecedor, dá prioridade aos URLs de projeto já existentes e limita a admissão de novos URLs à capacidade restante do titular da conta. Os novos lugares disponíveis são novamente verificados quando as páginas são guardadas. A descoberta pode fazer pedidos de rede antes de a seleção final ser conhecida; não utilize os limites de capacidade como fronteira de privacidade ou de pedidos de saída. O seletor de páginas em Conhecimento limita separadamente a 500 URLs uma importação selecionada e volta a verificar a capacidade antes de começar. Alterar a fonte ou reduzir o limite não elimina automaticamente páginas antigas. As páginas incluídas são partilhadas entre os chatbots do titular da conta; consulte Preços para as quotas documentadas e Conta e faturação para a utilização e capacidade atuais.

PlanoPáginas incluídas na contaOrçamento mensal de atualização de páginasFrequência máxima
Free10500Semanal
Starter1505.000Diária
Pro5.000100.000Diária
Business25.000250.000Diária

Os planos Pro e Business podem ativar excedentes opcionais de páginas pay-as-you-go (PAYG) em Conta e faturação. Free e Starter mantêm limites rígidos. O PAYG de páginas não aumenta o orçamento mensal de atualização, separado, do crawler. Consulte os planos e limites e a capacidade atual da conta antes de aumentar a dimensão de uma execução.

Atualização de conteúdo​

  • A nova recolha automática é opcional. Free permite execuções semanais ou mensais; os planos pagos também permitem execuções diárias. Uma frequência mensal corresponde a um intervalo de 30 dias, não a um dia fixo do calendário.
  • Recolher agora não é um botão para repetir sem limites. O intervalo mínimo após a criação do job de recolha mais recente é de sete dias em Free ou 24 horas nos planos pagos, mesmo que o job tenha falhado. Um job pendente ou em execução também impede outra recolha manual.
  • Cada página nova e cada página cujo texto extraído e guardado tenha sido alterado consomem uma unidade do orçamento mensal de atualização. Uma página inalterada atualiza os metadados sem consumir outra unidade de recolha; se necessário, pode ainda ser colocada em fila uma reparação dos embeddings.
  • O orçamento é partilhado entre os projetos do titular da conta e é reposto no início de cada mês civil UTC. Não é uma quota separada por chatbot ou por job de recolha.
  • Uma atualização obtida com sucesso substitui o texto guardado. Pedidos falhados e páginas de bloqueio/erro rejeitadas mantêm o conteúdo anteriormente guardado. Remover um URL de um sitemap ou da seleção da fonte não elimina a página da base de conhecimento: elimine as páginas indesejadas em Conhecimento → Páginas e impeça que voltem a ser descobertas.

Progresso e indexação parcial​

Em Conhecimento → Páginas, abra Histórico de importações quando existirem tarefas e selecione uma tarefa em Tarefas de recolha para consultar o estado, o número de páginas, as datas e as estimativas de ritmo/tempo restante enquanto as páginas são guardadas. A descoberta ocorre antes de se conhecer o total final de páginas selecionadas, pelo que um valor inicial de zero não significa necessariamente que a tarefa esteja bloqueada. Os números referem-se às páginas guardadas, incluindo as inalteradas, e não aos embeddings concluídos.

Concluído significa apenas que a execução terminou, não que todos os URLs selecionados tenham sido processados com sucesso. Falhas de obtenção ou limites podem resultar em menos páginas guardadas; uma seleção vazia pode terminar com zero páginas. Compare o total e a lista efetiva em Páginas com os URLs esperados. Os detalhes do job apresentam, no máximo, 8 páginas guardadas; para coleções maiores, utilize a lista paginada Páginas. Não se trata de um relatório completo de falhas por URL.

Indexação parcial significa que o texto extraído de uma página excedeu o limite de armazenamento de 512 KiB UTF-8. Só é guardado o início do texto e a interface mostra os bytes guardados face aos bytes extraídos. Um job concluído com estas páginas apresenta Concluída com avisos. Esse aviso diz respeito ao truncamento do texto, não a todos os URLs que possam ter falhado ou sido ignorados. Divida referências longas em páginas públicas mais pequenas se houver secções importantes cortadas.

A camada de obtenção rejeita separadamente corpos de resposta superiores a 5 MiB e cadeias de redirecionamento com mais de cinco passos. Estas falhas são diferentes das páginas obtidas com sucesso cujo texto foi guardado parcialmente.

Conteúdo alterado inicia um job de embeddings separado. Verifique o estado do índice/da reconstrução e teste respostas representativas antes do lançamento; o estado de conclusão da recolha, por si só, não valida a qualidade da recuperação.

Manutenção do conteúdo​

Conhecimento → Páginas permite eliminar páginas individuais, utilizar Eliminar tudo e Reconstruir índice. Desmarcar uma página no seletor não elimina o conteúdo guardado. Ao eliminar uma página individual, esta também é removida de uma lista guardada de URLs manuais; os sitemaps e as fontes de rastreio podem voltar a descobri-la, pelo que deve ajustar também essas fontes. Eliminar tudo cancela os jobs de recolha e de embeddings ativos e elimina páginas e embeddings guardados em lotes em segundo plano, mas mantém intacta a configuração da fonte guardada. Recolhas futuras podem voltar a adicionar páginas.

Reconstruir índice reconstrói embeddings a partir do texto já guardado; não volta a obter o site, não restaura páginas eliminadas nem recupera texto truncado. As reconstruções manuais têm o período de espera semanal/diário do plano, contado a partir do job de embeddings mais recente, e consomem o mesmo orçamento mensal de atualização de páginas por cada página reservada para reconstrução. Embeddings colocados automaticamente em fila para páginas alteradas durante a recolha não voltam a cobrar esse trabalho. Projetos com configuração bloqueada não permitem recolhas, eliminações de conteúdo nem reconstruções manuais no dashboard; utilize o fluxo de implementação da configuração.

Extração de conteúdo​

O ChattyBox lê o título da página e dá preferência ao conteúdo de <main>, depois de <article>, depois de um elemento com role="main" e, por fim, ao texto do body. No conteúdo selecionado, mantém:

  • Título da página - A tag <title>
  • Títulos - Texto das tags <h1> a <h6>
  • Parágrafos - Texto legível dos parágrafos
  • Listas - Elementos de <ul> e <ol>
  • Código e tabelas - Texto, preservando os espaços do código pré-formatado

Quando o HTML tem pouco texto, um fallback limitado pode obter um documento OpenAPI da mesma origem, referenciado numa configuração SwaggerUIBundle reconhecida. Isto não corresponde a renderização geral de JavaScript, carregamento de ficheiros ou suporte a todos os visualizadores de referências de API.

Conteúdo ignorado​

A extração exclui elementos comuns que não são conteúdo, incluindo:

  • Menus de navegação
  • Conteúdo do rodapé
  • Scripts e estilos
  • Elementos com hidden, aria-hidden="true" ou display: none / visibility: hidden inline
  • Markup reconhecido de banners de cookies/consentimento e funções de diálogo/navegação
  • Iframes, canvas, SVG e objetos incorporados

Estas são heurísticas baseadas em HTML, não num cálculo do layout do browser. Não presuma que todos os elementos visualmente ocultos ou todos os banners serão detetados.


Resolução de problemas​

As páginas não estão a ser recolhidas?​

  • Verifique se o URL está publicamente acessível
  • Confirme que o servidor permite pedidos HTML normais sem autenticação, CAPTCHA ou desafios anti-bot
  • Verifique se a página não exige autenticação
  • Verifique o modo, a origem, os URLs selecionados, a quota de páginas e o orçamento de atualização; as diretivas de rastreamento de robots.txt não são aplicadas
  • No fallback de seguimento de ligações do modo Rastreio, confirme que as ligações importantes são alcançáveis a partir do URL inicial dentro do limite de profundidade

Conteúdo ausente nas respostas?​

  • Volte a recolher a página depois de publicar as alterações, quando o período de espera o permitir, e aguarde pelos embeddings
  • Disponibilize o texto importante no HTML inicial; o conteúdo carregado apenas por JavaScript não é renderizado
  • Confirme que o conteúdo está no corpo principal da página, não em iframes
  • Verifique os avisos de indexação parcial

Precisa de mais controlo?​

Para fontes não suportadas ou falhas persistentes de extração, contacte support@chattybox.ai e indique um URL público de exemplo. Não envie credenciais nem parta do princípio de que o suporte pode ativar a recolha autenticada ou a renderização de JavaScript.

Para problemas de lançamento após a recolha, consulte a lista de verificação de lançamento e o guia de resolução de problemas.