Где ошибается нейросеть: тест на проверку фактов

Нейросеть может уверенно назвать несуществующую цитату, правильно оформить ссылку на статью, которая не подтверждает вывод, или ошибиться в простом проценте. В этом тесте 18 таких ситуаций. В каждой нужно выбрать конкретную проверку или исправление, а не просто решить, доверяете вы искусственному интеллекту или нет.

Чем этот тест отличается от общего критического мышления

Здесь не нужно разбирать абстрактный спор или угадывать название логической ошибки. В каждом задании уже есть ответ, похожий на результат работы генеративной модели. Ваша задача практическая: открыть первоисточник, различить дату события и публикации, пересчитать число, проверить единицу или не сделать вывод сильнее найденного доказательства.

NIST называет уверенно представленные ошибочные сведения генеративных систем конфабуляциями. В профиль риска входят не только неверные факты, но и выдуманные ссылки, правдоподобные объяснения ошибочного ответа и внутренние противоречия. Поэтому гладкий язык и список источников сами по себе не являются проверкой.

Какие ошибки встретятся

Правильные варианты перемешиваются. После прохождения можно открыть ответы и увидеть, на каком этапе проверки вы чаще спешите.

Короткий алгоритм проверки ответа ИИ

1. Разбейте ответ на утверждения Отдельно выпишите факт, число, дату и цитату. У них могут быть разные источники.
2. Дойдите до первоисточника Для стандарта это текст стандарта, для исследования сама работа, для решения организации её официальный документ.
3. Найдите подтверждающий фрагмент Работающий URL и совпадающее название ещё не означают, что публикация поддерживает пересказ.
4. Проверьте период Дата выхода отчёта может быть новее последнего года в наборе данных.
5. Пересчитайте числа Проценты, доли, средние и переводы единиц быстрее проверить заново, чем разбирать объяснение модели.
6. Запишите границу вывода Отсутствие подтверждения не всегда доказывает обратное. Иногда честный итог проверки звучит как «данных недостаточно».

Почему ссылка ещё не доказательство

У научной статьи может существовать настоящий DOI, но модель способна перепутать название, авторов или вывод. Crossref позволяет сверить библиографические метаданные DOI. После этого всё равно нужно открыть публикацию и найти место, которое подтверждает именно ваш тезис. Проверка метаданных отвечает на вопрос «что это за работа», а чтение работы отвечает на вопрос «что в ней действительно показано».

То же относится к цитатам. Если фразы нет в указанном документе, авторитетность домена её не спасает. Нужны точное место, контекст и, если это перевод, оригинальная формулировка. Удаление кавычек не превращает неподтверждённую цитату в подтверждённый факт.

Четыре факта из заданий

• Конституция ВОЗ описывает здоровье шире, чем простое отсутствие заболевания.
• NASA не подтверждает миф о видимости Великой Китайской стены с Луны.
• Резолюции IAU 2006 года относят Плутон к карликовым планетам.
• В системе SI префикс «кило» означает 1000, а для 1024 существует «киби».

Эти примеры выбраны потому, что их можно сверить с устойчивыми первичными или нормативными документами. Они не зависят от того, кто сегодня занимает должность, сколько стоит подписка или какая версия приложения выпущена последней.

Как читать результат

Общий балл менее полезен, чем повторяющаяся ошибка. Если вы хорошо находите неверные факты, но пропускаете проценты, добавьте обязательный пересчёт чисел. Если ловите арифметику, но доверяете красивому списку ссылок, проверяйте один ключевой тезис до уровня конкретного абзаца.

Он проверяет выводы из данных, причинность и устройство аргумента. Новый тест уже и практичнее: он посвящён контролю ответа нейросети перед использованием.

Источники и дата проверки

Внешние факты сверены 15 сентября 2026 года. Для меняющихся сведений этот список не заменяет повторную проверку на дату использования.

• NIST AI 600-1: Generative AI Profile, 26 июля 2024 года, раздел 2.2 о конфабуляциях и выдуманных ссылках.
• Конституция Всемирной организации здравоохранения, принята 22 июля 1946 года, вступила в силу 7 апреля 1948 года.
• NASA: Great Wall, 2 апреля 2009 года.
• IAU Resolutions B5 и B6, приняты 24 августа 2006 года.
• RFC 9110, раздел 15.5.5, июнь 2022 года.
• Crossref REST API, документация по проверке метаданных DOI.
• BIPM: Международная система единиц, девятое издание, обновлено в 2026 году.
• C2PA Specification 2.0, Harms Modelling, раздел 6.2 о границах Content Credentials.

В инструкции показано, как отметить правильные ответы, перемешать варианты и настроить понятные диапазоны результата для собственного теста знаний.

Частые вопросы

Почему нейросеть придумывает факты и ссылки?

Генеративная модель продолжает текст вероятным образом, а не извлекает гарантированно истинное утверждение из базы. Поэтому правдоподобный ответ может содержать фактическую ошибку, внутреннее противоречие или несуществующую ссылку.

Достаточно ли попросить нейросеть указать источники?

Нет. Это полезный первый шаг, но каждую важную ссылку нужно открыть, сверить автора, дату и найти фрагмент, который поддерживает конкретный тезис.

Какие ответы нужно проверять особенно тщательно?

Те, от которых зависят здоровье, деньги, права, безопасность или важное рабочее решение. Для них нужен актуальный профильный источник и, при необходимости, специалист.

Как быстро проверить число из ответа?

Выпишите исходные значения и единицы, затем повторите вычисление отдельно. Для процентов уточните, идёт ли речь об относительном изменении или процентных пунктах.

Сколько вопросов в тесте?

В тесте 18 сценариев: факты, ссылки и цитаты, даты, расчёты, единицы и границы доказательства. Прохождение занимает около пяти минут.