1. Přidejte veřejnou dokumentaci a otestujte skutečné otázky
Free je trvalý: jeden web, až 10 stránek a 100 zpráv měsíčně bez platební karty. Zkontrolujte odpovědi a zdroje a widget vložte, až budete připraveni.
Začněte veřejnou dokumentací, otestujte skutečné technické otázky a před přidáním widgetu na web zkontrolujte odkazované zdroje.
Free je trvalý: jeden web, až 10 stránek a 100 zpráv měsíčně bez platební karty. Zkontrolujte odpovědi a zdroje a widget vložte, až budete připraveni.
AI chatboti pro obecné použití se snaží být konverzátoři. Bez opory ve zdrojích mohou sebevědomě odpovídat ze špatného kontextu.
Používáme retrieval-augmented generation nad vaší publikovanou dokumentací a obsahem webu a poté ukazujeme odkazy na zdroje, odkud odpovědi pocházejí.
Pro týmy, které potřebují viditelné důkazy v každé odpovědi, porovnejte workflow pro AI chatbot s citacemi zdrojů který udržuje návštěvnost dokumentace propojenou s podpůrnými stránkami.
Použijte otázky, se kterými se už vaše podpora a komunitní kanály setkávají. Před publikováním widgetu zkontrolujte každou odpověď a její odkazovanou zdrojovou stránku.
"Jak mohu začít, ověřit a podat první žádost?"
"Co tato chyba znamená a kde je zdokumentována oprava?"
"Jaké jsou limity plánu, limity sazeb a ceny pro tuto funkci?"
„Musím migrovat platformu dokumentů, nebo to může být vedle mého aktuálního webu?“
Použijte chatbot, aby vývojářům pomohl najít endpointy, kroky autentizace, parametry, metody SDK a známé chyby, a poté se vraťte k referenci pro úplný kontext. Pravděpodobný příklad kódu ani viditelná citace nejsou důkazem správného chování API.
Sestavte testovací sadu ze skutečných úloh v dokumentaci, ke každé zodpověditelné otázce připojte referenční zdroj a očekávaná fakta a zahrňte i otázky, které musí asistent odmítnout. Každou kategorii hodnoťte zvlášť, aby dobrý výsledek pro API nemohl skrýt slabé pokyny k migraci nebo ověřování.
Sadu spusťte znovu před uvedením do provozu, po podstatných změnách dokumentace nebo vyhledávání a po spuštění také každý měsíc na plánovaném vzorku.
| Oblast otázek | Testovací zadání | Podmínka úspěchu |
|---|---|---|
Oblast otázek API | Testovací zadání Koncový bod, povinná pole, struktura odpovědi a omezení počtu požadavků. | Podmínka úspěchu Používá zdokumentovanou metodu a cestu; požadované hodnoty a citace souhlasí s odkazem. |
Oblast otázek SDK | Testovací zadání Nainstalujte a inicializujte jednu podporovanou verzi SDK. | Podmínka úspěchu Balíček, import, inicializace a syntaxe kódu odpovídají tomuto jazyku a verzi. |
Oblast otázek CLI | Testovací zadání Nainstalujte nástroj, přihlaste se, spusťte příkaz a interpretujte výstup. | Podmínka úspěchu Přepínače a jejich pořadí jsou platné; odpověď si nevymýšlí interaktivní výzvy. |
Oblast otázek Autentizace | Testovací zadání Umístění pověření, formát záhlaví, rozsahy a jeden zakázaný tok. | Podmínka úspěchu Nikdy neodhaluje tajemství, rozlišuje použití klienta a serveru a uvádí požadavek na zabezpečení. |
Oblast otázek Stránkování | Testovací zadání První stránka, pokračování, poslední stránka a maximální velikost stránky. | Podmínka úspěchu Používá dokumentovaný model kurzoru nebo posunu a uvádí pouze dokumentované limity. |
Oblast otázek Chyby | Testovací zadání Známý kód chyby, pravděpodobná příčina, krok obnovy a neznámý kód. | Podmínka úspěchu Známé chyby vykládá správně a u nezdokumentovaných příčin přizná, že odpověď nezná. |
Oblast otázek Migrace | Testovací zadání Nekompatibilní změna, předpoklad, seřazené kroky a poznámka k návratu zpět. | Podmínka úspěchu Zachovává pořadí a varování bez prolínání starých a nových postupů. |
Oblast otázek Verzované dokumenty | Testovací zadání Položte stejnou otázku k chování aktuální, předchozí a neurčené verze. | Podmínka úspěchu Odpoví na pojmenovanou verzi, zeptá se, když je nejednoznačná, a cituje tuto verzi. |
Před testováním zveřejněte pravidla. Recenzenti by měli dosáhnout stejného výsledku z odpovědi, očekávaných faktů a citovaného zdroje, aniž by se spoléhali na to, jak přesvědčivě zní odpověď.
| Dimenze | Přijměte pouze tehdy |
|---|---|
Dimenze Kvalita odpovědi | Přijměte pouze tehdy Všechny požadované údaje jsou správné, relevantní, neodporují si a používají požadovanou verzi API, SDK, CLI nebo verzi dokumentace. |
Dimenze Přesnost citace | Přijměte pouze tehdy Každé podstatné tvrzení má funkční citaci, která je přímo dokládá na stránce správné verze. |
Dimenze Záložní chování | Přijměte pouze tehdy Chybějící, nejednoznačné, protichůdné nebo neautorizované důkazy vytvářejí jasné omezení a užitečný další krok namísto hádání. |
Dimenze Spouštěcí brána | Přijměte pouze tehdy Žádná nepodložená kritická tvrzení o ověřování nebo migraci, 100% úspěšnost kritických případů, alespoň 90% celková úspěšnost a alespoň 95% přesnost citací. |
Metoda: před spuštěním asistenta připravte 24 otázek, tři pro každou oblast matice. U každé otázky zaznamenejte zamýšlenou verzi, referenční stránku, požadovaná fakta, zakázaná tvrzení a zda se očekává odmítnutí odpovědi. Dva hodnotitelé nezávisle posoudí neměnné odpovědi, neshody vyřeší podle zdroje a zadání i výstupy uchovají pro regresní testování.
Každé níže uvedené číslo je hypotetickým příkladem pro testovací sadu s 24 otázkami, nikoli naměřeným výsledkem ChattyBox, produkčním průměrem ani příslibem budoucího výkonu.
| Ukázkový výsledek, nikoli naměřený | Jak příklad použít |
|---|---|
Ukázkový výsledek, nikoli naměřený Příklad: přijato 22 z 24 (91,7 %) | Jak příklad použít Příklad interpretace: 20 podložených odpovědí a dvě správné záložní odpovědi. |
Ukázkový výsledek, nikoli naměřený Příklad: 20 z 22 věcných odpovědí přímo citovalo podpůrné stránky (90,9 %) | Jak příklad použít Příklad interpretace: pod hranicí 95 % pro uvedení do provozu, takže je třeba opravit řazení verzí. |
Ukázkový výsledek, nikoli naměřený Příklad: správné byly 2 ze 2 očekávaných záložních odpovědí (100 %) | Jak příklad použít Příklad interpretace: v této malé testovací sadě žádný zodpověditelný případ nesprávně neskončil záložní odpovědí. |
Ukázkový výsledek, nikoli naměřený Příklad: 1 z 24 obsahoval nepodporovaný detail stránkování (4,2 %) | Jak příklad použít Příklad interpretace: zablokujte uvedení do provozu, dokud nebude nepodložené tvrzení odstraněno a regresní test neprojde. |
Účelově navržené pracovní postupy, které udržují odpovědi založené na zdrojích, dohledatelné a užitečné pro technické uživatele.
Zadejte adresu URL své dokumentace, webu nebo souboru Sitemap. ChattyBox projde a zaindexuje stránky, které vaši uživatelé už čtou.
Tok odpovědí je nastaven tak, aby používal načtený kontext a vyhýbal se nepodloženým tvrzením o API, funkcích, cenách nebo pravidlech.
Odpovědi mohou obsahovat odkazy zpět na stránky dokumentace, kde se nacházejí relevantní informace.
Ke spuštění přistupujte jako k vydání dokumentace: určete vlastníky, podmínky, sledování i postup návratu zpět.
Segmentujte každou metriku podle tématu, verze dokumentace, národního prostředí a publika, pokud to velikost vzorku dovoluje. Trendy a recenzované vzorky jsou užitečnější než jedno souhrnné skóre.
| Metrika | Definice a akce |
|---|---|
Metrika Míra odpovědí | Definice a akce Podíl otázek, které dostaly věcnou odpověď. U témat s nízkou mírou odpovědí hledejte chybějící obsah; číslo nezvyšujte oslabením pravidel pro odmítnutí. |
Metrika Nevyřešené otázky | Definice a akce Otázky s odmítnutou odpovědí, negativní zpětnou vazbou, opakovaným přeformulováním nebo eskalací. Každý týden z nich vyberte vzorek a hledejte vady odpovědí a vyhledávání. |
Metrika Obsahové mezery | Definice a akce Skupiny nevyřešených dotazů, pro které neexistuje žádná autoritativní stránka. Předejte je do plánu dokumentace spolu s četností a dopadem na uživatele. |
Metrika Míra podpory citací | Definice a akce Podíl zkontrolovaných podstatných tvrzení s přímou podpůrnou citací. Poklesy prověřujte podle zdroje a verze. |
Metrika Odklon požadavků na podporu | Definice a akce Podíl relevantních relací vyřešených bez požadavku na podporu, měřený v definovaném časovém okně a porovnaný s výchozím stavem. Pokud experiment neprokáže příčinnou souvislost, uvádějte pouze korelaci. |
Použijte Průvodce architekturou a hodnocením RAG k diagnostice vyhledávání, citační pracovní postup ke kontrole důkazů, kontroly dokumentace API pro technické případy použití a kontrolní seznam technického spuštění pro kroky nasazení.
Tyto odpovědi shrnují, jak ChattyBox čte zdrojový obsah, cituje stránky dokumentace, zpracovává chybějící informace a instaluje se vedle existujícího zásobníku dokumentů.
Ano, pokud jsou v indexovaném veřejném obsahu odkazy na endpointy, parametry, průvodce autentizací, příklady SDK a podrobnosti o chybách. Neprovádí volání API ani nekontroluje soukromé účty. Načtený kontext a citace nevylučují smyšlené chování API; důležitá tvrzení ověřte v referenci.
Ne. Free je trvalý test s malým rozsahem: jeden web, až 10 stránek a 100 zpráv měsíčně bez platební karty.
Začněte veřejnými stránkami, které odpovídají na běžné otázky k nastavení, řešení problémů, cenám a produktu. Po kontrole prvních odpovědí můžete sadu zdrojů rozšířit.
Další stránky přidejte, až bude první testovací sada užitečná a podpůrné zdroje aktuální. Soukromé, zastaralé a nesouvisející stránky do chatbota nezařazujte.
Ano. Projděte vybranou veřejnou dokumentaci, položte skutečné technické otázky a před instalací widgetu otevřete citované zdrojové stránky a odpovědi zkontrolujte.
Asistent by měl uvést omezení nebo nabídnout užitečný další krok, nikoli hádat. Nepodložené odpovědi berte jako testovací případ a možnou mezeru v dokumentaci.
Začněte s trvale dostupným plánem Free pro vybrané veřejné stránky, otestujte technické otázky a před vložením widgetu zkontrolujte zdroje.
Používáme volitelné nástroje pro analytiku a správu tagů, abychom porozuměli používání webu. Zvolte, zda povolíte Ahrefs Web Analytics, PostHog a Google Tag Manager. Vypnutí analytiky tuto stránku znovu načte, aby se změna správně projevila. Základní funkce webu a monitorování chyb nejsou touto volbou ovlivněny. Přečtěte si naše zásady ochrany soukromí.