En public
Justesse
Comment EXISTS, SAYS et HOLDS se comportent face à un jeu de vraies citations contestées, notre pire chiffre d’abord. Mis à jour par la campagne nocturne ; la part que nous marquons INSUFFICIENT_EVIDENCE est rapportée comme telle, jamais fondue dans une réussite.
trop peu de réponses pour noter
no method answered on enough of the benchmark to score it — insufficient evidence on EXISTS 80% of 197, SAYS 81% of 123
Citations in the Wild v0.2 · 13 documents · 197 affirmations · généré le 2026-10-27
registre des décisions · recherche par référence 34 · recherche ouverte 124 · recherche par nom 20 · sans réponse 19
sans verdict · volume non indexé 4 · le registre nous a refusés 119 · existe, copie refusée 6 · plusieurs candidats 9 · référence illisible 18 · année non imprimée 1
Par niveau
| niveau | n | justesse équilibrée | part INSUFFICIENT_EVIDENCE | intervalle à 95 % |
|---|---|---|---|---|
| EXISTS | 197 | — | 80% | — |
| SAYS | 123 | — | 81% | — |
| HOLDS | 0 | — | — | — |
part INSUFFICIENT_EVIDENCE ce mois-ci : 73%
Mois par mois
| mois | reçus | affirmations | citations | non contrôlées | INSUFFICIENT_EVIDENCE (des citations) | échec EXISTS (des affirmations) | échec SAYS (des affirmations) |
|---|---|---|---|---|---|---|---|
| 2026-09 | 28 | 67 | 67 | 0 | 73% | 0.0% | 0.0% |
Comment lire ceci
EXISTS et SAYS sont quasi déterministes : une source répond ou non ; les mots attribués s’y trouvent à une position de caractère ou non. Leurs fautes sont des échecs de récupération et des écarts, non des jugements.
HOLDS obtient 64–77 % sur les sous-ensembles difficiles. Il contredit souvent les experts, rend souvent INSUFFICIENT_EVIDENCE et c’est voulu, est désactivé par défaut, et n’entre jamais dans le constat scellé.
Les chiffres de référence externes pour la même classe de tâche se situent autour de 70 à 75.
EXISTS interroge le registre des décisions de deux façons : par la recherche de la référence, plafonnée par jour, puis au-delà du plafond par la recherche ouverte du registre, un instrument plus grossier. La part de chaque façon dans une campagne est imprimée sous la ligne du jeu de données.
Une référence sans verdict n'est pas une référence sur laquelle nous nous sommes trompés. La deuxième ligne sous la fiche du corpus indique pourquoi chacune en manque : un volume que le registre n'a pas intégré, un enregistrement dont il ne livre pas la copie, un nom auquel répondent plusieurs affaires, une référence qu'on ne peut pas analyser, ou notre propre quota et nos propres échecs. Nous préférons imprimer ce détail plutôt que de faire passer le silence du registre pour une négation.
mis à jour chaque nuit par la campagne ; un écart de plus de 3 points change cette page tout seul