| Hoe dit te meten Aandeel beantwoordbare vragen waarbij een referentiepassage in de top k-resultaten verschijnt. | Fout die hierdoor zichtbaar wordt Ontbrekende crawldekking, zwakke chunks, niet-overeenkomende woordenschat of verouderde embeddings. |
2Signaal Rangschikkingskwaliteit | Hoe dit te meten Registreer reciprocal rank of nDCG voor als relevant beoordeelde passages. | Fout die hierdoor zichtbaar wordt Er bestaat een relevante pagina, maar ruis of een verouderde versie staat hoger gerangschikt. |
3Signaal Ondersteuning van claims | Hoe dit te meten Beoordeel elke wezenlijke claim aan de hand van de passages die aan het model zijn verstrekt. | Fout die hierdoor zichtbaar wordt Het antwoord combineert aannames met bewijs of overdrijft wat de bron zegt. |
4Signaal Nauwkeurigheid van bronvermeldingen | Hoe dit te meten Controleer of elke bronvermelding werkt en de bijbehorende claim rechtstreeks ondersteunt. | Fout die hierdoor zichtbaar wordt Het juiste antwoord linkt naar een slechts gerelateerde pagina of de verkeerde versie. |
5Signaal Precisie en recall van fallback | Hoe dit te meten Neem onbeantwoordbare vragen en vragen met tegenstrijdige bronnen op; beoordeel correcte weigeringen en gemiste antwoorden. | Fout die hierdoor zichtbaar wordt De bot gokt zonder bewijs of weigert ondanks voldoende bewijs. |
6Signaal Actualiteitsvertraging | Hoe dit te meten Meet de tijd vanaf een gepubliceerde bronwijziging tot een correct antwoord op basis van opgehaalde informatie. | Fout die hierdoor zichtbaar wordt Vertraging bij opnieuw crawlen, dubbele verouderde chunks of mislukte doorvoering van verwijderingen. |