1. Adicione documentação pública e teste perguntas reais
O Free é permanente: um site, até 10 páginas e 100 mensagens por mês, sem cartão de crédito. Verifique as respostas e as fontes e, quando estiver pronto, incorpore o widget.
Comece pela documentação pública, teste perguntas técnicas reais e consulte as fontes ligadas antes de adicionar o widget ao seu site.
O Free é permanente: um site, até 10 páginas e 100 mensagens por mês, sem cartão de crédito. Verifique as respostas e as fontes e, quando estiver pronto, incorpore o widget.
Os chatbots de IA de uso geral tentam ser conversadores. Sem base em fontes, podem responder com confiança a partir do contexto errado.
Usamos geração aumentada por recuperação com base na sua documentação publicada e no conteúdo do seu site. As respostas podem incluir ligações a páginas recuperadas, mas essas ligações não garantem que as afirmações estejam corretas.
Para analisar como as respostas podem incluir ligações às fontes, compare o fluxo de um chatbot de IA com fontes citadas. As respostas de fallback podem não ter fontes, e as citações devem ser verificadas face à resposta.
Use perguntas que os seus canais de suporte e da comunidade já recebem. Verifique cada resposta e a respetiva página de origem antes de publicar o widget.
“Como posso começar, autenticar-me e fazer o meu primeiro pedido?”
“O que significa este erro e onde está documentada a correção?”
“Quais são os limites do plano, os limites de frequência e os preços desta funcionalidade?”
“Preciso de migrar a minha plataforma de documentação ou isto pode funcionar ao lado do meu site atual?”
Use o chatbot para ajudar os programadores a encontrar endpoints, passos de autenticação, parâmetros, métodos do SDK e erros conhecidos, regressando depois à referência para obter o contexto completo. Um exemplo de código plausível ou uma citação visível não prova que o comportamento da API está correto.
Crie o conjunto de testes com tarefas reais de documentação, associe uma fonte de referência e os factos esperados a cada pergunta que possa ser respondida e inclua perguntas que o assistente deve recusar. Avalie cada categoria separadamente para que um bom resultado de API não oculte orientações fracas sobre migração ou autenticação.
Execute novamente o conjunto de testes antes do lançamento, após alterações relevantes à documentação ou à recuperação e, depois do lançamento, numa amostra mensal programada.
| Área da pergunta | Cenário de teste | Condição de aprovação |
|---|---|---|
Área da pergunta API | Cenário de teste Endpoint, campos obrigatórios, formato da resposta e limite de pedidos. | Condição de aprovação Usa o método e o caminho documentados; os valores obrigatórios e a citação correspondem à referência. |
Área da pergunta SDK | Cenário de teste Instale e inicialize uma versão compatível do SDK. | Condição de aprovação O pacote, a importação, a inicialização e a sintaxe do código correspondem à linguagem e à versão. |
Área da pergunta CLI | Cenário de teste Instale, autentique, execute um comando e interprete a saída. | Condição de aprovação As flags e a ordem são válidas; a resposta não inventa prompts interativos. |
Área da pergunta Autenticação | Cenário de teste Local das credenciais, formato do cabeçalho, escopos e um fluxo proibido. | Condição de aprovação Nunca expõe um segredo, diferencia o uso no cliente e no servidor e cita o requisito de segurança. |
Área da pergunta Paginação | Cenário de teste Primeira página, continuação, página final e tamanho máximo da página. | Condição de aprovação Usa o modelo documentado de cursor ou offset e indica apenas os limites documentados. |
Área da pergunta Erros | Cenário de teste Código de erro conhecido, causa provável, etapa de recuperação e código desconhecido. | Condição de aprovação Mapeia corretamente os erros conhecidos e usa fallback para causas não documentadas. |
Área da pergunta Migrações | Cenário de teste Alteração incompatível, pré-requisito, etapas ordenadas e observação sobre rollback. | Condição de aprovação Preserva a sequência e os avisos sem misturar procedimentos antigos e novos. |
Área da pergunta Documentação versionada | Cenário de teste Faça a mesma pergunta sobre o comportamento para as versões atual, anterior e não especificada. | Condição de aprovação Responde para a versão informada, pede esclarecimentos quando há ambiguidade e cita essa versão. |
Publique as regras antes dos testes. Os revisores devem chegar ao mesmo resultado com base na resposta, nos factos esperados e na fonte citada, sem depender de quão convincente a resposta parece.
| Dimensão | Aceite somente quando |
|---|---|
Dimensão Qualidade da resposta | Aceite somente quando Todos os factos obrigatórios estão corretos, são relevantes e não contraditórios e usam a versão pedida da API, do SDK, da CLI ou da documentação. |
Dimensão Precisão das citações | Aceite somente quando Toda afirmação relevante tem uma citação acessível que a sustenta diretamente na página da versão correta. |
Dimensão Comportamento de fallback | Aceite somente quando Provas em falta, ambíguas, contraditórias ou não autorizadas resultam numa limitação clara e num próximo passo útil, em vez de uma suposição. |
Dimensão Critério de lançamento | Aceite somente quando Nenhuma afirmação crítica sem respaldo sobre autenticação ou migração, 100% de aprovação nos casos críticos, pelo menos 90% de aceitação geral e pelo menos 95% de precisão das citações. |
Método: escreva 24 perguntas antes de executar o assistente, três para cada área da matriz. Para cada pergunta, registe a versão pretendida, a página de referência, os factos obrigatórios, as afirmações proibidas e se é esperada uma resposta alternativa. Dois revisores avaliam de forma independente as respostas fixadas, resolvem divergências com base na fonte e guardam os prompts e os resultados para testes de regressão.
Todos os valores abaixo são um exemplo hipotético para um cenário de 24 perguntas, não um resultado medido da ChattyBox, uma média de produção ou uma promessa de desempenho futuro.
| Resultado de exemplo, não medido | Como utilizar o exemplo |
|---|---|
Resultado de exemplo, não medido Exemplo: 22 de 24 aceites (91.7%) | Como utilizar o exemplo Interpretação de exemplo: 20 respostas fundamentadas e dois fallbacks corretos. |
Resultado de exemplo, não medido Exemplo: 20 de 22 respostas substantivas citaram diretamente páginas que as sustentam (90.9%) | Como utilizar o exemplo Interpretação de exemplo: abaixo do critério de lançamento de 95%, pelo que é necessário corrigir a ordenação de versões. |
Resultado de exemplo, não medido Exemplo: os 2 de 2 fallbacks esperados estavam corretos (100%) | Como utilizar o exemplo Interpretação de exemplo: nenhum caso com resposta possível recorreu incorretamente a um fallback neste pequeno cenário. |
Resultado de exemplo, não medido Exemplo: 1 de 24 continha um detalhe de paginação sem suporte (4.2%) | Como utilizar o exemplo Interpretação de exemplo: bloqueie o lançamento até remover a afirmação sem suporte e o teste de regressão passar. |
Fluxos de trabalho específicos que mantêm as respostas rastreáveis, fundamentadas e úteis para utilizadores técnicos.
Introduza o URL da sua documentação, site ou sitemap. O ChattyBox rastreia e indexa as páginas que os utilizadores já consultam.
O fluxo de respostas está configurado para usar o contexto recuperado e evitar afirmações sem fundamento sobre APIs, funcionalidades, preços ou políticas.
As respostas podem incluir ligações às páginas de documentação onde se encontra a informação relevante.
Trate o lançamento como uma versão da documentação, com responsáveis, critérios, observabilidade e um caminho de rollback.
Segmente cada métrica por tópico, versão da documentação, localidade e público quando o tamanho da amostra permitir. Tendências e amostras revisadas são mais úteis do que uma única pontuação agregada.
| Métrica | Definição e ação |
|---|---|
Métrica Taxa de resposta | Definição e ação Proporção de perguntas que recebem uma resposta substancial. Reveja os tópicos com taxa baixa para encontrar conteúdo em falta; não melhore o número enfraquecendo a resposta alternativa. |
Métrica Perguntas não resolvidas | Definição e ação Perguntas com fallback, feedback negativo, reformulações repetidas ou escalonamento. Analise uma amostra semanal em busca de falhas de resposta e recuperação. |
Métrica Lacunas de conteúdo | Definição e ação Grupos não resolvidos para os quais não existe uma página de referência. Encaminhe-os para a lista de trabalho da documentação, indicando a frequência e o impacto para o utilizador. |
Métrica Taxa de respaldo das citações | Definição e ação Afirmações relevantes revistas com uma citação que as sustenta diretamente. Investigue descidas por fonte e versão. |
Métrica Redução de tickets | Definição e ação Sessões elegíveis resolvidas sem um ticket de suporte, medidas num período definido e comparadas com uma linha de base. Comunique uma associação, salvo se uma experiência estabelecer causalidade. |
Use o guia de arquitetura e avaliação de RAG para diagnosticar a recuperação, o fluxo de citações para rever as provas, as verificações da documentação API para casos de uso específicos de engenharia e a lista de verificação técnica de lançamento para os passos de implementação.
Estas respostas resumem como o ChattyBox lê o conteúdo de origem, cita páginas de documentação, lida com informação em falta e é instalado juntamente com uma infraestrutura de documentação existente.
Sim, quando referências de endpoints, parâmetros, guias de autenticação, exemplos de SDK e detalhes de erros estão presentes em conteúdo público indexado. Não executa chamadas à API nem inspeciona contas privadas. O contexto recuperado e as citações não eliminam comportamentos de API inventados; teste afirmações importantes com a referência.
Não. O Free é uma opção permanente para avaliação em pequena escala: um site, até 10 páginas e 100 mensagens por mês, sem cartão de crédito.
Comece pelas páginas públicas que respondem a perguntas comuns sobre configuração, resolução de problemas, preços e produto. Pode expandir o conjunto de fontes depois de verificar as primeiras respostas.
Adicione mais páginas quando o primeiro conjunto de testes for útil e as fontes de suporte estiverem atualizadas. Mantenha páginas privadas, desatualizadas e não relacionadas fora do chatbot.
Sim. Rastreie a documentação pública selecionada, faça perguntas técnicas reais e abra as páginas de origem citadas para rever as respostas antes de instalar o widget no seu site de documentação.
O assistente deve declarar a limitação ou oferecer um próximo passo útil em vez de adivinhar. Trate respostas sem suporte como um caso de teste e uma possível lacuna na documentação.
Comece com o plano Free permanente para testar páginas públicas selecionadas, faça perguntas técnicas e confira as fontes antes de incorporar o widget.