На виду
Точность
Как EXISTS, SAYS и HOLDS показывают себя на наборе настоящих спорных цитат — начиная с худшего показателя. Обновляется ночным прогоном набора; долю, помеченную INSUFFICIENT_EVIDENCE, мы так и показываем и никогда не засчитываем в пройденные.
ответов слишком мало, чтобы оценивать
no method answered on enough of the benchmark to score it — insufficient evidence on EXISTS 61% of 197, SAYS 62% of 123
Citations in the Wild v0.2 · документов: 13 · утверждений: 197 · сформировано 2026-09-11
реестр дел · открытый поиск 105 · поиск по названию 66 · без ответа 26
По уровням
| уровень | n | сбалансированная точность | доля INSUFFICIENT_EVIDENCE | интервал 95 % |
|---|---|---|---|---|
| EXISTS | 197 | — | 61% | — |
| SAYS | 123 | — | 62% | — |
| HOLDS | 0 | — | — | — |
доля INSUFFICIENT_EVIDENCE за этот месяц: 100%
По месяцам
| месяц | протоколы | утверждения | цитаты | не проверено | INSUFFICIENT_EVIDENCE (от цитат) | провалы EXISTS (от утверждений) | провалы SAYS (от утверждений) |
|---|---|---|---|---|---|---|---|
| 2026-09 | 2 | 2 | 2 | 0 | 100% | 0.0% | 0.0% |
Как это читать
EXISTS и SAYS почти детерминированы: источник либо открывается, либо нет; приписанные ему слова либо стоят в нём по конкретному смещению, либо нет. Их ошибки — это ошибки загрузки и расхождения, а не суждения.
HOLDS даёт 64–77 % на трудных подвыборках. Он часто расходится с экспертами, часто и намеренно возвращает INSUFFICIENT_EVIDENCE, по умолчанию выключен и никогда не попадает в запечатанную запись.
Внешние ориентиры по задачам того же класса лежат между 70 и 75 %.
EXISTS спрашивает реестр дел двумя способами: запросом по ссылке, на который есть дневной лимит, а после лимита — открытым поиском по реестру, инструментом более грубым. Как прогон разделился между ними, напечатано под строкой набора.
обновляется ночным прогоном набора; отклонение больше 3 пунктов меняет эту страницу само