Эффект Манделы в LLM: Почему галлюцинации — это не баг, а архитектурная неизбежность

Закройте глаза и вспомните знаменитое новогоднее обращение Бориса Ельцина 31 декабря 1999 года. В голове сразу звучит хриплый голос и культовая фраза «Я устал, я ухожу».

Однако любой, кто хоть раз интересовался природой памяти, прекрасно знает об отсутствии этих слов в реальности. В оригинальной записи звучит лишь:

Мы привыкли называть подобное Эффектом Манделы или массовым искажением восприятия. Но давайте отбросим социологию и взглянем на ситуацию как на чисто технический процесс обработки данных.

Что именно произошло в тот момент? Биологическая нейросеть получила контекст в виде интонации и пауз, обнаружила пропущенный фрагмент и запустила процедуру предиктивного автодополнения. Мозг просто добавил токен устал, так как тот имел наивысшую вероятность в этом семантическом ряду.

Сегодня мы ловим LLM на выдуманных судебных прецедентах, называем это галлюцинациями и считаем критическим дефектом. Но при сравнении человеческой памяти и трансформеров становится не по себе, ведь ошибаются они абсолютно одинаково и используют одни и те же принципы сжатия информации.

Давайте разберем, почему память работает как lossy-сжатие и почему мы не хотим, чтобы ИИ перестал врать.

Память как генеративный процесс

Нам приятно думать, что наш мозг является надежным SQL-хранилищем. Что где-то в гиппокампе лежит неизменный блоб данных «Воспоминание о выпускном», и мы делаем к нему SELECT *.

Нейробиология разрушила этот миф еще в 90-х. Память представляет собой не воспроизведение, а реконструкцию.

Если представить, что мозг является компьютером, то он хранит не сами файлы (события), а только хеши и веса связей между ними. Когда мы вспоминаем событие, мозг запускает генеративный процесс. Он собирает сцену заново из разрозненных фрагментов: запах, звук, эмоция.

И здесь вступает в дело процесс реконсолидации. Если каких-то данных не хватает для цельной картины, мозг интерполирует их, беря паттерны из соседних кластеров. «Тяжелый вздох» + «Контекст прощания» = «Я устал». Это логичное вероятностное дополнение, которое мозг считает фактом.

По сути, каждое наше воспоминание становится галлюцинацией, основанной на реальных весах.

Архитектура вранья: Database vs LLM

Большие языковые модели (LLM) наследуют эту биологическую уязвимость.

Многие пользователи до сих пор антропоморфируют ИИ, считая его умным поисковиком. Но внутри ChatGPT нет базы знаний в привычном понимании. Там нет текста «Войны и мира».

LLM является, по сути, заархивированным интернетом. Но это сжатие с потерями.

Модель хранит не факты, а вероятности следования токенов друг за другом в многомерном векторном пространстве.

Когда мы спрашиваем: «Кто написал "Муму"?», модель не делает запрос к базе. Она предсказывает следующий токен. После последовательности векторов [Кто, написал, Муму] вектор [Тургенев] имеет вероятность 99%.

Но как только мы уходим в область низких вероятностей, модель начинает вести себя ровно так же, как наш мозг в примере с Ельциным.

Вместо ответа «NULL» или «Error 404» она генерирует токен, который семантически близок и имеет наибольший вес в данном контексте. Она подставляет слово, которое выглядит правдиво.

Технически она не врет, а просто автокомплитит реальность там, где у нее недостаточно данных.

Галлюцинация = Temperature > 0

Инженеры бьются над RAG и графами знаний, чтобы снизить уровень галлюцинаций. Но есть философский и архитектурный вопрос: хотим ли мы убрать их полностью?

В настройках API любой LLM есть параметр Temperature.

• Если *Temperature = 0**, модель становится детерминированной и скучной. Она выдает только самые вероятные токены

• Если *Temperature = 0.8**, мы добавляем стохастичности. Модель может выбрать не самый вероятный токен, а соседний.

Именно этот шум мы называем креативностью.

Способность модели (и человека) придумать несуществующее — это основа творчества, метафор и гипотез. Если зажать параметры в тиски строгой фактологии, мы получим идеальный телефонный справочник, но потеряем искру.

Та самая способность, которая позволяет нейросети писать код нестандартным способом или придумывать сюжеты, по сути, тот же самый механизм, который заставляет её выдумывать судебные прецеденты. Это две стороны одной медали под названием вероятностная генерация.

Резюме

Ошибки LLM представляют собой не баг софта, а встроенную особенность архитектуры любых нейронных сетей. Мы не можем полностью устранить галлюцинации и сохранить при этом способность к обобщению или творчеству.

Поэтому, когда в следующий раз модель припишет Эйнштейну цитату, которую тот никогда не говорил, не спешите ее ругать. В этот момент она максимально похожа на человека, так как проявила фантазию там, где ей не хватило весов.

Прямо как мы с той самой фразой про усталость.