Em público
Exatidão
Como EXISTS, SAYS e HOLDS pontuam diante de um banco de citações reais em disputa, começando pelo nosso pior número. Atualizado pela rodada noturna do banco de testes; a parcela que marcamos INSUFFICIENT_EVIDENCE é informada como tal, nunca dobrada dentro de um acerto.
respostas insuficientes para pontuar
no method answered on enough of the benchmark to score it — insufficient evidence on EXISTS 80% of 197, SAYS 81% of 123
Citations in the Wild v0.2 · 13 documentos · 197 afirmações · gerado em 2026-10-27
registro de casos · busca pela citação 34 · busca aberta 124 · busca por nome 20 · sem resposta 19
sem veredito · volume não indexado 4 · o registro nos recusou 119 · existe, cópia não entregue 6 · vários candidatos 9 · citação ilegível 18 · sem ano impresso 1
Por nível
| nível | n | exatidão balanceada | parcela de INSUFFICIENT_EVIDENCE | intervalo de 95 % |
|---|---|---|---|---|
| EXISTS | 197 | — | 80% | — |
| SAYS | 123 | — | 81% | — |
| HOLDS | 0 | — | — | — |
parcela de INSUFFICIENT_EVIDENCE neste mês: 73%
Mês a mês
| mês | comprovantes | afirmações | citações | não conferidas | INSUFFICIENT_EVIDENCE (das citações) | falha de EXISTS (das afirmações) | falha de SAYS (das afirmações) |
|---|---|---|---|---|---|---|---|
| 2026-09 | 28 | 67 | 67 | 0 | 73% | 0.0% | 0.0% |
Como ler isto
EXISTS e SAYS são quase determinísticos: uma fonte responde ou não responde; as palavras atribuídas estão nela, em uma posição de caracteres, ou não estão. Os erros deles são erros de download e desvios, não de julgamento.
HOLDS pontua entre 64 % e 77 % nos subconjuntos difíceis. Discorda dos peritos com frequência, devolve INSUFFICIENT_EVIDENCE com frequência e de propósito, vem desligado e nunca entra no registro selado.
Os números de referência externos para essa mesma classe de tarefa ficam na casa dos setenta e poucos.
EXISTS consulta o registro de casos de duas maneiras: pela busca da citação, que tem um limite diário, e passado o limite pela busca aberta do registro, um instrumento mais grosseiro. Como uma rodada se dividiu entre as duas está impresso sob a linha do banco de testes.
Uma citação sem veredito não é uma citação em que erramos. A segunda linha sob a ficha do corpus diz por que falta a cada uma: um volume que o registro não incorporou, um assento cuja cópia ele não entrega, um nome ao qual respondem vários casos, uma citação que não se consegue analisar, ou a nossa própria cota e as nossas próprias falhas. Preferimos imprimir esse detalhamento a apresentar o silêncio do registro como uma negação.
atualizado toda noite pela rodada do banco de testes; um desvio de mais de 3 pontos muda esta página automaticamente