Общий

В.С. Заборовский

ИИ: компетентность без понимания – источник галлюцинаций

Нам не дано предугадать,

Как слово наше отзовётся...

Ф.Тютчев

        В системах искусственного интеллекта, впрочем как и в сознании человека, возникают галлюцинации, суть которых в реакции или ответах, основанных на ранее сформированных при обучении ассоциациях, но в контексте текущих данных не имеющих отношения к действительности. Например, галлюцинирующий ИИ бот при оценке какого-либо параметра модели классифицируемых данных может сгенерировать любое случайное число, которое сочтёт правдоподобным, а затем будет настаивать на сделанном выборе, без каких-либо признаков критического пересмотра того, что полученное число есть лишь продукт его «воображения», поэтому не имеет никакого отношения к реальности. Можно сказать, что «галлюцинации» – это реакция системы, которая обрела компетентность в некоторой области знаний, но не имеет понимания места этой области в структуре реальности.
Проблема галлюцинаций.
        У человека наиболее распространённое проявление галлюцинаций характеризуется словом «показалось» и связано с тем, что мозг пытается сформировать, а точнее угадать, правильный ответ или реакцию на воздействие в условиях дефицита времени и на основе ограниченных знаний, неполных данных, первоначальных впечатлений или данных, представленных в легко воспринимаемой форме. У человека такое угадывание ответа реализуется вне сознания, позволяя де-факто мозгу экономить ресурсы на выработку логически обоснованных ответов, ограничивая для этого их точность и смысловую согласованность. Современные системы ИИ не пытаются экономить энергию, но имеют ограниченные объёмы памяти и ресурсы вычислений, чтобы строить «большие модели» окружающего мира. В случае систем ИИ «галлюцинации», например, чаще всего есть ошибочная попытка предсказания следующего слова или предложения в генерируемом тексте, а требования к скорости ответа приводит к тому, что ИИ бот старается писать как можно проще.
Возможности таксонометрической классификации.
        Обсуждаемая проблема восходит к расширенной интерпретации теорем Геделя. Так, между логическими основами теории классических вычислителей – программно-управляемыми конечными автоматами и современными квантовыми компьютерами существует принципиальные различия, а именно:
     – результат вычислений у первых детерминированный, а у вторых случайный или даже спорадический;
     – результаты программных вычислений принципиально необратимы, изменяются дискретно, все промежуточные результаты вычислений могут быть контролируемыми, но при этом в окружающую среду диссипируется тепло;
     – квантовые вычисления обратимы, а результаты могут изменяться непрерывно.
        Какое место в таксономии компьютеров занимают «интеллектуальные вычисления»? Говоря о классическом программном компьютере, мы считаем, что загруженное в него программное обеспечение работает так, как предписывает код программы, так как состояние процессора детерминированным образом меняется только в соответствии с исполняемым кодом программы. Если текст программы составлен правильно, а точность входных данных согласована с реализуемым алгоритмом, то результат работы программы не будет зависеть от того, на каком конкретном компьютере из выбранного класса вычислителей этот код исполняется. Сами коды программ для конечных автоматов можно копировать и передавать по сети на любые расстояния, не меняя их алгоритмического содержания.
        При переходе от программно-управляемых платформ к современные ИИ системам или интеллектуальным ботам, ситуация меняется. Эти системы в качестве программного обеспечения используют нейронные сети, случайные деревья или большие языковые модели. Выполняемые вычисления в процессе обучения привносят случайный характер, поэтому ИИ боты могут не только «уверенно» выдать неверную информацию, но и «упорствовать» в этом, доказывая, что всё так и есть. Такое поведение отражает суть «галлюцинации ИИ». Природа этих галлюцинаций в том, что для генерации ответов используются статистические закономерности в потоке данных, а поступающие данные могут содержать ошибки, намеренные искажения или семантический «мусор».
        В таксономии вычислительных технологий системы ИИ и интеллектуальные боты занимают промежуточное положение между детерминированной машиной Тьюринга – упрощённой интерпретацией возможностей логической системы Геделя, и квантовым компьютером. Результаты работы систем ИИ не обязательно является строго истинными или строго ложными, генерируемые ими данные могут быть просто галлюцинациями. Проблема галлюцинаций усугубляется, если сисемы ИИ «обучаются», используя другие галлюцинации, генерируемые другими ИИ системами. В этом случае может возникнуть эффект резонанса «правдоподобных фейков», когда все сгенерированные ИИ системами данные являются лишь фантазиями самих ботов.

        Сами галлюцинации ИИ могут принимать самые разные формы: от создания ложных новостей до неправильных (но правдоподобных!) утверждений, ошибок в исторических событиях или научных фактах. Галлюцинации ИИ не являются продуктом сознательной или подсознательной работы «разума» чат-бота. Галлюцинации возникают из-за того, что для обучения и разработки системы ИИ используются некорректные или недостаточно проверенные данные. Применяя технологии обучение с подкреплением, системы ИИ могут обрести навыки фильтрации таких «фантазий», то есть научиться ещё и решать задачу регуляризации генерируемых решений на основе построения модального вывода, логически обосновывая, что следует, а что не следует делать. В промышленных системах ИИ необходимо учитывать риски возникновения таких галлюцинаций, особенно при использовании их генеративных возможностей в задачах управления и планирования.
Выводы.
        Современные ИИ системы или интеллектуальные боты могут быть полезными инструментами, но к выдаваемой ими информации надо относиться критически, проверяя её контекстную корректность. Практический результат проведённого анализа заключается в том, что системы ИИ, обретая фактологическую компетентность, не достигают понимания природы появления этих фактов. По мере развития технологии ИИ крайне важно учитывать эту их особенность, рассматривая технологии ИИ как экзо интеллектуальный инструментарий, который может расширить возможности людей обрабатывать информацию с помощью средств вычислительной техники. Однако при этом надо помнить, что современные системы ИИ, впрочем как и квантовые компьютеры, принципиально могут ошибаться, поэтому их использование в сложных промышленных приложениях всегда должно быть под контролем человека.
        Внутри больших языковых моделей ИИ систем заложены не глубокие знания о мире, а лишь основанное на статистике понимание, как должны строиться тексты и как должны соотноситься между собой запросы и ответы.

В оглавление