Современные системы искусственного интеллекта сталкиваются с серьезными вызовами при попытке объяснить свои выводы. Несмотря на высокую способность нейросетей находить верные решения, их объяснения зачастую не отражают реальных процессов принятия решений и могут показаться нелогичными или ненадежными. Исследователи провели серию экспериментов для оценки достоверности аргументации, предоставляемой ИИ.
Эти эксперименты показали, что крупные языковые модели часто достигают правильных результатов интуитивно или благодаря скрытым зависимостям в данных. Однако их объяснения могут быть убедительными, не отражая реального процесса принятия решений. Это явление специалисты называют «галлюцинацией рассуждений». Пользователи воспринимают логическую последовательность шагов, хотя алгоритм действовал иначе. Эта непрозрачность создает значительные риски при использовании ИИ в критически важных областях.
Причина заключается в том, что нейросети обучены имитировать человеческую речь, а не моделировать человеческое мышление. При запросе объяснений ИИ просто предсказывает наиболее вероятные слова, создавая иллюзию осмысленного анализа. Эксперты предостерегают о возможных последствиях слепого доверия к таким объяснениям, особенно в сложных вычислительных задачах или юридических вопросах, где важен не только результат, но и методы его получения.