На виду
Точность
Как EXISTS, SAYS и HOLDS показывают себя на наборе настоящих спорных цитат — начиная с худшего показателя. Обновляется ночным прогоном набора; долю, помеченную INSUFFICIENT_EVIDENCE, мы так и показываем и никогда не засчитываем в пройденные.
ответов слишком мало, чтобы оценивать
no method answered on enough of the benchmark to score it — insufficient evidence on EXISTS 80% of 197, SAYS 81% of 123
Citations in the Wild v0.2 · документов: 13 · утверждений: 197 · сформировано 2026-10-27
реестр дел · запрос по ссылке 34 · открытый поиск 124 · поиск по названию 20 · без ответа 19
без вердикта · тома нет в индексе 4 · реестр нам отказал 119 · есть, копию не отдали 6 · несколько кандидатов 9 · ссылка не разобрана 18 · год не напечатан 1
По уровням
| уровень | n | сбалансированная точность | доля INSUFFICIENT_EVIDENCE | интервал 95 % |
|---|---|---|---|---|
| EXISTS | 197 | — | 80% | — |
| SAYS | 123 | — | 81% | — |
| HOLDS | 0 | — | — | — |
доля INSUFFICIENT_EVIDENCE за этот месяц: 73%
По месяцам
| месяц | протоколы | утверждения | цитаты | не проверено | INSUFFICIENT_EVIDENCE (от цитат) | провалы EXISTS (от утверждений) | провалы SAYS (от утверждений) |
|---|---|---|---|---|---|---|---|
| 2026-09 | 28 | 67 | 67 | 0 | 73% | 0.0% | 0.0% |
Как это читать
EXISTS и SAYS почти детерминированы: источник либо открывается, либо нет; приписанные ему слова либо стоят в нём по конкретному смещению, либо нет. Их ошибки — это ошибки загрузки и расхождения, а не суждения.
HOLDS даёт 64–77 % на трудных подвыборках. Он часто расходится с экспертами, часто и намеренно возвращает INSUFFICIENT_EVIDENCE, по умолчанию выключен и никогда не попадает в запечатанную запись.
Внешние ориентиры по задачам того же класса лежат между 70 и 75 %.
EXISTS спрашивает реестр дел двумя способами: запросом по ссылке, на который есть дневной лимит, а после лимита — открытым поиском по реестру, инструментом более грубым. Как прогон разделился между ними, напечатано под строкой набора.
Цитата без вердикта — не цитата, в которой мы ошиблись. Вторая строка под описанием набора говорит, почему вердикта нет у каждой: тома нет в фондах реестра, запись есть, а копию он не отдаёт, на имя отзывается несколько дел, ссылку нельзя разобрать, либо это наш лимит запросов и наши сбои. Мы предпочитаем напечатать этот разбор, а не выдать молчание реестра за отрицание.
обновляется ночным прогоном набора; отклонение больше 3 пунктов меняет эту страницу само