1. Dodaj publiczną dokumentację i przetestuj rzeczywiste pytania
Plan Free jest bezterminowy: jedna witryna, do 10 stron i 100 wiadomości miesięcznie, bez karty kredytowej. Sprawdź odpowiedzi i źródła, a następnie osadź widżet, gdy będziesz gotowy.
Zacznij od publicznej dokumentacji, przetestuj rzeczywiste pytania techniczne i sprawdź powiązane źródła, zanim dodasz widżet do swojej witryny.
Plan Free jest bezterminowy: jedna witryna, do 10 stron i 100 wiadomości miesięcznie, bez karty kredytowej. Sprawdź odpowiedzi i źródła, a następnie osadź widżet, gdy będziesz gotowy.
Chatboty AI ogólnego przeznaczenia próbują być rozmówcami. Bez oparcia w źródłach mogą pewnie odpowiadać z niewłaściwego kontekstu.
Używamy retrieval-augmented generation na Twojej opublikowanej dokumentacji i treściach witryny, a następnie pokazujemy linki źródłowe, z których pochodzą odpowiedzi.
Dla zespołów, które potrzebują widocznych dowodów w każdej odpowiedzi, porównaj proces dla chatbota AI z cytowanymi źródłami który kieruje ruch z dokumentacji do stron źródłowych.
Korzystaj z pytań, które już pojawiają się w kanałach wsparcia i społeczności. Przed opublikowaniem widżetu sprawdź każdą odpowiedź i jej powiązaną stronę źródłową.
„Jak zacząć, uwierzytelnić się i złożyć pierwszą prośbę?”
„Co oznacza ten błąd i gdzie jest udokumentowana poprawka?”
„Jakie są limity planu, limity stawek i ceny tej funkcji?”
„Czy muszę przeprowadzić migrację mojej platformy dokumentów, czy może ona znajdować się obok mojej obecnej witryny?”
Użyj chatbota, aby pomóc programistom znaleźć endpointy, kroki uwierzytelniania, parametry, metody SDK i znane błędy, a następnie wróć do dokumentacji po pełny kontekst. Prawdopodobny przykład kodu ani widoczne cytowanie nie dowodzą poprawnego działania API.
Zbuduj zestaw testowy na podstawie rzeczywistych zadań dokumentacyjnych, do każdego pytania, na które można odpowiedzieć, dołącz źródło wiedzy i oczekiwane fakty oraz uwzględnij pytania, które asystent musi odrzucić. Oceń każdą kategorię osobno, aby dobry wynik API nie mógł ukryć słabych wskazówek dotyczących migracji lub uwierzytelniania.
Uruchom ponownie pakiet przed uruchomieniem, po zmianach w dokumentacji materiałowej lub pobraniu oraz w ramach zaplanowanej comiesięcznej próbki po uruchomieniu.
| Obszar pytań | Urządzenie testowe | Warunek zaliczenia |
|---|---|---|
Obszar pytań API | Urządzenie testowe Punkt końcowy, wymagane pola, kształt odpowiedzi i limit szybkości. | Warunek zaliczenia Używa udokumentowanej metody i ścieżki; wymagane wartości i cytat są zgodne z odniesieniem. |
Obszar pytań SDK | Urządzenie testowe Zainstaluj i zainicjuj jedną obsługiwaną wersję SDK. | Warunek zaliczenia Składnia pakietu, importu, inicjalizacji i kodu jest zgodna z tym językiem i wersją. |
Obszar pytań CLI | Urządzenie testowe Zainstaluj, uwierzytelnij, uruchom polecenie i zinterpretuj dane wyjściowe. | Warunek zaliczenia Obowiązują flagi i porządek; odpowiedź nie wymyśla interaktywnych podpowiedzi. |
Obszar pytań Uwierzytelnianie | Urządzenie testowe Lokalizacja danych uwierzytelniających, format nagłówka, zakresy i jeden zabroniony przepływ. | Warunek zaliczenia Nigdy nie ujawnia tajemnicy, rozróżnia użycie klienta i serwera i powołuje się na wymagania bezpieczeństwa. |
Obszar pytań Paginacja | Urządzenie testowe Pierwsza strona, kontynuacja, strona końcowa i maksymalny rozmiar strony. | Warunek zaliczenia Używa udokumentowanego modelu kursora lub przesunięcia i określa tylko udokumentowane limity. |
Obszar pytań Błędy | Urządzenie testowe Znany kod błędu, prawdopodobna przyczyna, etap odzyskiwania i nieznany kod. | Warunek zaliczenia Prawidłowo mapuje znane błędy i cofa się w przypadku nieudokumentowanych przyczyn. |
Obszar pytań Migracje | Urządzenie testowe Przerywająca zmiana, wymagania wstępne, uporządkowane kroki i uwaga dotycząca wycofania. | Warunek zaliczenia Zachowuje sekwencję i ostrzeżenia bez łączenia starych i nowych procedur. |
Obszar pytań Wersjonowane dokumenty | Urządzenie testowe Zadaj to samo pytanie dotyczące zachowania w przypadku wersji bieżącej, wcześniejszej i nieokreślonej. | Warunek zaliczenia Odpowiada na nazwaną wersję, pyta, kiedy jest niejednoznaczna, i cytuje tę wersję. |
Opublikuj reguły przed testowaniem. Recenzenci powinni osiągnąć ten sam wynik na podstawie odpowiedzi, oczekiwanych faktów i cytowanego źródła, nie polegając na tym, jak przekonująca brzmi odpowiedź.
| Wymiar | Akceptuj tylko wtedy, gdy |
|---|---|
Wymiar Jakość odpowiedzi | Akceptuj tylko wtedy, gdy Wszystkie wymagane fakty są prawidłowe, istotne, niesprzeczne i korzystają z żądanej wersji API, SDK, CLI lub dokumentacji. |
Wymiar Dokładność cytowania | Akceptuj tylko wtedy, gdy Każde istotne twierdzenie ma rozstrzygający cytat, który bezpośrednio je potwierdza, na odpowiedniej stronie z odpowiednią wersją. |
Wymiar Zachowanie rezerwowe | Akceptuj tylko wtedy, gdy Brakujące, niejednoznaczne, sprzeczne lub nieautoryzowane dowody powodują wyraźne ograniczenie i użyteczny kolejny krok zamiast domysłów. |
Wymiar Kryterium dopuszczenia do wdrożenia | Akceptuj tylko wtedy, gdy Zero niepopartych twierdzeń dotyczących krytycznych kwestii uwierzytelniania lub migracji, 100% zaliczonych przypadków krytycznych, co najmniej 90% ogólnej akceptacji i co najmniej 95% dokładności cytowań. |
Metoda: przed uruchomieniem asystenta przygotuj 24 pytania, po trzy dla każdego obszaru macierzy. Dla każdego pytania zapisz docelową wersję, wzorcową stronę, wymagane fakty, niedozwolone twierdzenia oraz informację, czy oczekiwana jest odpowiedź zastępcza. Dwóch recenzentów niezależnie ocenia zapisane odpowiedzi, rozstrzyga różnice na podstawie źródła oraz zachowuje prompty i wyniki do testów regresyjnych.
Każda poniższa liczba to hipotetyczny przykład dla zestawu 24 pytań, a nie zmierzony wynik ChattyBox, średnia produkcyjna ani obietnica przyszłej skuteczności.
| Przykładowy wynik, nie wynik pomiaru | Jak korzystać z przykładu |
|---|---|
Przykładowy wynik, nie wynik pomiaru Przykład: zaakceptowano 22 z 24 (91.7%) | Jak korzystać z przykładu Przykładowa interpretacja: 20 odpowiedzi opartych na źródłach i dwa poprawne przypadki zastosowania odpowiedzi zastępczej. |
Przykładowy wynik, nie wynik pomiaru Przykład: 20 z 22 merytorycznych odpowiedzi zawierało bezpośrednie odnośniki do stron potwierdzających odpowiedź (90.9%) | Jak korzystać z przykładu Przykładowa interpretacja: wynik jest poniżej progu 95% uruchomienia, więc ranking wersji wymaga korekty. |
Przykładowy wynik, nie wynik pomiaru Przykład: 2 z 2 oczekiwanych odpowiedzi zastępczych było poprawnych (100%) | Jak korzystać z przykładu Przykładowa interpretacja: w tym niewielkim zestawie żaden przypadek, na który można było odpowiedzieć, nie zakończył się błędnie odpowiedzią zastępczą. |
Przykładowy wynik, nie wynik pomiaru Przykład: 1 z 24 zawierał niepopartą informację o paginacji (4.2%) | Jak korzystać z przykładu Przykładowa interpretacja: wstrzymaj uruchomienie, dopóki niepoparte twierdzenie nie zostanie usunięte, a test regresji nie zakończy się pomyślnie. |
Specjalnie zaprojektowane przepływy pracy, dzięki którym odpowiedzi są oparte na źródłach, możliwe do prześledzenia i przydatne dla użytkowników technicznych.
Wpisz adres URL swojej dokumentacji, witryny lub mapy witryny. ChattyBox przeszukuje i indeksuje strony, które użytkownicy już czytają.
Przepływ odpowiedzi jest skonfigurowany tak, aby używać pobranego kontekstu i unikać niepopartych twierdzeń o API, funkcjach, cenach lub zasadach.
Odpowiedzi mogą zawierać linki do stron dokumentacji, na których znajduje się odpowiednia informacja.
Traktuj uruchomienie jako wydanie dokumentacji z właścicielami, bramami, obserwowalnością i ścieżką wycofywania.
Segmentuj wszystkie dane według tematu, wersji dokumentacji, lokalizacji i odbiorców, jeśli pozwala na to wielkość próbki. Trendy i sprawdzone próbki są bardziej przydatne niż jeden zbiorczy wynik.
| Metryka | Definicja i działanie |
|---|---|
Metryka Odsetek odpowiedzi | Definicja i działanie Odsetek pytań otrzymujących merytoryczną odpowiedź. Przejrzyj tematy z niskim wynikiem pod kątem brakujących treści; nie poprawiaj wyniku przez osłabianie reguł odpowiedzi zastępczej. |
Metryka Nierozwiązane pytania | Definicja i działanie Pytania zakończone odpowiedzią zastępczą, negatywną opinią, wielokrotnym przeformułowaniem lub eskalacją. Co tydzień analizuj ich próbkę pod kątem błędów odpowiedzi i wyszukiwania. |
Metryka Luki w treści | Definicja i działanie Nierozwiązane klastry, w których nie istnieje żadna wiarygodna strona. Przekaż je do zaległości w dokumentach, podając częstotliwość i wpływ na użytkowników. |
Metryka Wskaźnik wsparcia cytowań | Definicja i działanie Sprawdzone istotne twierdzenia z bezpośrednim cytatem potwierdzającym. Zbadaj spadki według źródła i wersji. |
Metryka Ograniczenie liczby zgłoszeń | Definicja i działanie Kwalifikujące się sesje zakończone rozwiązaniem problemu bez zgłoszenia do pomocy technicznej, mierzone w określonym oknie czasowym i porównywane z wartością bazową. Raportuj korelację, chyba że eksperyment potwierdzi związek przyczynowy. |
Skorzystaj zPrzewodnik po architekturze i ewaluacji RAG do diagnozowania wyszukiwania, przepływ cytowańw celu przeglądu dowodów,kontrole dokumentacji APIdla zastosowań specyficznych dla inżynierii orazlista kontrolna uruchomienia technicznegodla etapów wdrażania.
Odpowiedzi te podsumowują sposób, w jaki ChattyBox odczytuje treść źródłową, cytuje strony dokumentacji, obsługuje brakujące informacje i instaluje się wraz z istniejącym stosem dokumentów.
Tak, gdy w zindeksowanych publicznych treściach znajdują się opisy endpointów, parametrów, uwierzytelniania, przykłady SDK i szczegóły błędów. Chatbot nie wykonuje wywołań API ani nie sprawdza prywatnych kont. Pobrany kontekst i cytowania nie eliminują wymyślonego zachowania API; ważne twierdzenia testuj względem dokumentacji.
Nie. Free to stały test o małym zakresie: jedna witryna, do 10 stron i 100 wiadomości miesięcznie, bez karty kredytowej.
Zacznij od publicznych stron, które odpowiadają na częste pytania dotyczące konfiguracji, rozwiązywania problemów, cen i produktu. Po sprawdzeniu pierwszych odpowiedzi możesz rozszerzyć zestaw źródeł.
Dodaj więcej stron, gdy pierwszy zestaw testowy jest już użyteczny, a źródła pomocnicze są aktualne. Nie uwzględniaj w chatbocie stron prywatnych, nieaktualnych ani niezwiązanych z tematem.
Tak. Przeszukaj wybraną publiczną dokumentację, zadaj prawdziwe pytania techniczne i otwórz cytowane strony źródłowe, aby sprawdzić odpowiedzi przed instalacją widżetu.
Asystent powinien wskazać ograniczenie lub zaproponować pomocny kolejny krok zamiast zgadywać. Traktuj takie odpowiedzi jako przypadek testowy i możliwą lukę w dokumentacji.
Zacznij od stale dostępnego planu Free dla wybranych stron publicznych, przetestuj pytania techniczne i sprawdź źródła przed osadzeniem widżetu.
Używamy opcjonalnych narzędzi analitycznych oraz narzędzi do zarządzania tagami, aby rozumieć sposób korzystania z witryny. Wybierz, czy zezwalasz na Ahrefs Web Analytics, PostHog i Google Tag Manager. Wyłączenie analityki spowoduje ponowne załadowanie tej strony, aby zmiana została prawidłowo zastosowana. Podstawowe funkcje witryny i monitorowanie błędów nie zależą od tego wyboru. Przeczytaj naszą politykę prywatności.