En public
Justesse
Comment EXISTS, SAYS et HOLDS se comportent face à un jeu de vraies citations contestées, notre pire chiffre d’abord. Mis à jour par la campagne nocturne ; la part que nous marquons INSUFFICIENT_EVIDENCE est rapportée comme telle, jamais fondue dans une réussite.
trop peu de réponses pour noter
no method answered on enough of the benchmark to score it — insufficient evidence on EXISTS 61% of 197, SAYS 62% of 123
Citations in the Wild v0.2 · 13 documents · 197 affirmations · généré le 2026-09-11
registre des décisions · recherche ouverte 105 · recherche par nom 66 · sans réponse 26
Par niveau
| niveau | n | justesse équilibrée | part INSUFFICIENT_EVIDENCE | intervalle à 95 % |
|---|---|---|---|---|
| EXISTS | 197 | — | 61% | — |
| SAYS | 123 | — | 62% | — |
| HOLDS | 0 | — | — | — |
part INSUFFICIENT_EVIDENCE ce mois-ci : 100%
Mois par mois
| mois | reçus | affirmations | citations | non contrôlées | INSUFFICIENT_EVIDENCE (des citations) | échec EXISTS (des affirmations) | échec SAYS (des affirmations) |
|---|---|---|---|---|---|---|---|
| 2026-09 | 2 | 2 | 2 | 0 | 100% | 0.0% | 0.0% |
Comment lire ceci
EXISTS et SAYS sont quasi déterministes : une source répond ou non ; les mots attribués s’y trouvent à une position de caractère ou non. Leurs fautes sont des échecs de récupération et des écarts, non des jugements.
HOLDS obtient 64–77 % sur les sous-ensembles difficiles. Il contredit souvent les experts, rend souvent INSUFFICIENT_EVIDENCE et c’est voulu, est désactivé par défaut, et n’entre jamais dans le constat scellé.
Les chiffres de référence externes pour la même classe de tâche se situent autour de 70 à 75.
EXISTS interroge le registre des décisions de deux façons : par la recherche de la référence, plafonnée par jour, puis au-delà du plafond par la recherche ouverte du registre, un instrument plus grossier. La part de chaque façon dans une campagne est imprimée sous la ligne du jeu de données.
mis à jour chaque nuit par la campagne ; un écart de plus de 3 points change cette page tout seul