Где ошибается нейросеть: тест на проверку фактов

Нейросеть может уверенно назвать несуществующую цитату, правильно оформить ссылку на статью, которая не подтверждает вывод, или ошибиться в простом проценте. В этом тесте 18 таких ситуаций. В каждой выбирайте конкретную проверку или исправление. Одного ответа «доверяю» или «не доверяю» недостаточно.

Что нужно проверять

В каждом задании уже есть ответ нейросети. Найдите, где он подвёл: в факте, дате, расчёте или выводе из источника.

NIST называет уверенно изложенные ошибочные сведения конфабуляциями. К ним относятся неверные факты, выдуманные ссылки и внутренние противоречия. Ответ звучит складно, а проверку всё равно не прошёл.

Какие ошибки встретятся

Правильные варианты перемешиваются. После прохождения можно открыть ответы и увидеть, на каком этапе проверки вы чаще спешите.

Короткий алгоритм проверки ответа ИИ

1. Разбейте ответ на утверждения Отдельно выпишите факт, число, дату и цитату. У них могут быть разные источники.
2. Дойдите до первоисточника Для стандарта это текст стандарта, для исследования сама работа, для решения организации её официальный документ.
3. Найдите подтверждающий фрагмент Работающий URL и совпадающее название ещё не означают, что публикация поддерживает пересказ.
4. Проверьте период Дата выхода отчёта может быть новее последнего года в наборе данных.
5. Пересчитайте числа Проценты, доли, средние и переводы единиц быстрее проверить заново, чем разбирать объяснение модели.
6. Запишите границу вывода Отсутствие подтверждения не всегда доказывает обратное. Иногда честный итог проверки звучит как «данных недостаточно».

Почему ссылка ещё не доказательство

Настоящий DOI ещё не спасает ответ: нейросеть могла перепутать название, авторов или вывод статьи. В Crossref можно сверить название работы и сведения об авторах. Затем откройте саму статью и найдите фрагмент, который подтверждает ваш тезис.

То же относится к цитатам. Если фразы нет в указанном документе, авторитетность домена её не спасает. Нужны точное место, контекст и, если это перевод, оригинальная формулировка. Удаление кавычек не превращает неподтверждённую цитату в подтверждённый факт.

Коды ответа сайта, алгоритмы и таблицы можно отдельно разобрать в тесте по информатике.

Четыре факта из заданий

• Конституция ВОЗ описывает здоровье шире, чем простое отсутствие заболевания.
• NASA не подтверждает миф о видимости Великой Китайской стены с Луны.
• Резолюции IAU 2006 года относят Плутон к карликовым планетам.
• В системе SI префикс «кило» означает 1000, а для 1024 существует «киби».

Как читать результат

Посмотрите, какая ошибка повторяется. Пропускаете проценты? Пересчитывайте их отдельно; для тренировки есть тест на чтение графиков. Доверяете красивому списку ссылок? Выберите один тезис и найдите абзац, который его подтверждает.

Здесь можно проверить выводы из данных, причинность и аргументы. А в тесте на когнитивные искажения разобрать ловушки, из-за которых мы сами принимаем удобный ответ за верный.

Первоисточники заданий

• NIST AI 600-1: Generative AI Profile, 26 июля 2024 года, раздел 2.2 о конфабуляциях и выдуманных ссылках.
• Конституция Всемирной организации здравоохранения, принята 22 июля 1946 года, вступила в силу 7 апреля 1948 года.
• NASA: Great Wall, 2 апреля 2009 года.
• IAU Resolutions B5 и B6, приняты 24 августа 2006 года.
• RFC 9110, раздел 15.5.5, июнь 2022 года.
• Crossref REST API, документация по проверке метаданных DOI.
• BIPM: Международная система единиц, девятое издание, обновлено в 2026 году.
• C2PA Specification 2.0, Harms Modelling, раздел 6.2 о границах Content Credentials.

Частые вопросы

Почему нейросеть придумывает факты и ссылки?

Генеративная модель продолжает текст вероятным образом, а не извлекает гарантированно истинное утверждение из базы. Поэтому правдоподобный ответ может содержать фактическую ошибку, внутреннее противоречие или несуществующую ссылку.

Достаточно ли попросить нейросеть указать источники?

Нет. Каждую важную ссылку нужно открыть, сверить автора, дату и найти фрагмент, который подтверждает конкретный тезис.

Какие ответы нужно проверять особенно тщательно?

Те, от которых зависят здоровье, деньги, права, безопасность или важное рабочее решение. Для них нужен актуальный профильный источник и, при необходимости, специалист.

Как быстро проверить число из ответа?

Выпишите исходные значения и единицы, затем повторите вычисление отдельно. Для процентов уточните, идёт ли речь об относительном изменении или процентных пунктах.

Сколько вопросов в тесте?

В тесте 18 сценариев: факты, ссылки и цитаты, даты, расчёты, единицы и границы доказательства. Прохождение занимает около пяти минут.