Рис. 1. Параметрическое пространство и область “существования”
а) эмпирическая система, содержащая процедуры принятия решений, должна содержать элементы, которые моделируют ее контекст (окружающую среду) и оценивают ее собственную роль в системе;Пункты (а) - (г) звучат довольно абстрактно, и я не собираюсь излагать всю статью в том же стиле. Вместо этого, я хотел бы как можно более наглядно проиллюстрировать реальную жизнь этих принципов в проектировании реальных систем и в продолжающейся долгое время дискуссии специалистов в разных областях о поведении сложных систем и потенциальных возможностях инженерных решений.
б) повышение степени адаптивности такой системы сверх некоторого уровня возможно при условии, что "внутренняя" модель системы в значительной мере есть модель самой себя;
в) при дальнейшем развитии итеративно совершенствующаяся система "открывает" для себя значимость собственной стабильности как части всей системы;
г) если "внутренняя" модель модуляризуется и критерий стабильности рефлексивной части становится весьма отличным от критерия стабильности всей системы, такое расхождение становится значительным фактором, определяющим состояние целого;
В 1991 г. др. Джон Дойль, работавший тогда в МИТ и изучавший проблемы применения ИИ ко многим областям (языку, управлению, физике, гуманитарным дисциплинам и др.), опубликовал статью [2], в которой взялся объяснить гуманитарам-психологам, что такое психология, и сумел это сделать весьма убедительно, то есть конструктивно.С одной стороны, анализируя точки зрения и доминирующий фокус психологов, а с другой, - достижения теории алгоритмов, он пришел к выводу, что ни успехи в ИИ и традиционной психологии в отдельности, ни подавно интеграция и взаимопомощь этих областей невозможны без устранения антропоцентрической ориентации психологии - вывод, шокирующий психологов, понимающих психологию как науку о человеческом разуме. По мнению Дойля, пока мы не стали изучать всерьез “психологии” и “разумы” (во множественном числе), нам не удастся превратить психологию в более точную науку, а ИИ в отрасль, эффективно использующую достижения человеческой психологии.
Я еще вернусь к концепции Дойля, но уже сейчас скажу, что в его понимании система заслуживает названия (квалификации) разумной, если она поддерживает спецификацию самой себя и окружения. Самое оригинальное в дойлевской теории "возможных умов" то, что она не о подразделении систем на разумные и неразумные (почти любая система может быть рассмотрена как разумная), но в новом подходе к сравнению систем, при котором многие "причудливые" черты человеческого поведения и восприятия становятся понятными, естественными и присущими не только людям. Так, вселенную можно рассматривать как разумную систему, и если законы природы существуют, то они суть ее психология.Я в свое время был весьма заинтригован работами Дойля и работой [2] в частности. В своей собственной деятельности мне не раз приходилось убеждаться, что основные принципы [2] могут быть перенесены в более общие ситуации и использованы для анализа информационных связей в сложных системах. Мой следующий шаг - небольшой экскурс в типичные описания систем, используемых для отыскания действующих в них законов методами ИИ. Весьма вероятно, читатель знаком со многими понятиями следующего раздела. Я их привожу не в роли новинки, а для пояснения на каких аспектах будут сфокусированы мои описания приложений.
Заметим, что в зависимости от среды (или от значений неуправляемых параметров) область допустимых внутренних (при другом принципе подразделения - управляемых) параметров может стать шире или значительно уже, как показано на уровнях С4, С2 и их проекциях.Совокупность всех используемых параметров описывает "состояние" системы. Так, если неуправляемые параметры меняются как показано горизонтальной стрелкой на рис. 2, то системе угрожает "уничтожение". Однако, если удается сместить управляемые параметры уровнем "выше", система может выжить.
Наша способность поддерживать устойчивость может зависеть (и чаще всего зависит) от состояния, поэтому в итоге критерий успеха определяется вероятностью ухода за пределы области E. Следующим шагом, приближающим нас к реальности, заметим, что акты управления занимают время, которое может быть достаточно большим, чтобы вынудить нас "стрелять с упреждением”. В таких случаях нам придется включить предсказания в наши планы. Экономические и экологические системы, а также человеческий организм - хорошие примеры в этом отношении.На рис. 3 показано предсказание изменения среды в направлении горизонтальной стрелки и действительное значение параметров, отличающееся от предсказанного. Соответственно, управляющее изменение приводит к худшим шансам на выживание, чем ожидалось (штриховая зона на рис. 3).
Неопределенность временной природы становится еще более значительной по следующим двум причинам:Дело выглядит так, как будто система слабо реагирует на умеренные воздействия и внезапно "ломается", когда воздействия превышают некоторый порог.
а) реалистические процедуры предсказания, в отличие от идеализированных и более всего изучаемых в теории случайных процессов, обладают пределом точности, который не может быть преодолен увеличением объема наблюдений, так как сбор и обработка информации занимают время, в течение которого информация устаревает. Возникает своеобразный принцип неопределенности. (Читатель может познакомиться с некоторыми подробностями этого явления в [4].)
б) Системы, являющиеся гомеостатами, или еще хуже - набором взаимосвязанных гомеостатов, противоречащих один другому (как человеческий организм), реагируют на воздействия как триггеры замысловатых процессов, стабилизация которых тоже занимает время (см. зеленую криволинейную траекторию на рис. 3). Эта замысловатость не столько объективная, сколько феноменологическая, так как возникает в результате интерференции нескольких более простых процессов с разными временами стабилизации (которые, конечно, требуют изучения).
в) Изучение статистических свойств гомеостатов требует достаточно тонких средств анализа, так как стабилизация часто воспринимается как отсутствие статистической зависимости между воздействиями и внутренними состояниями.
Например, в системах защиты перекос делается в более осторожную сторону. Если S имеет нетривиальную структуру (например, не сводится к простой области в Эвклидовом пространстве), то в каждом состоянии (точке пространства S) имеется, вообще говоря, свое понятие об управляемых и неуправляемых параметрах, т.е. своя декомпозиция на части C и N. Назначение тех или иных управляемых параметров вызывает некоторую реакцию R системы (вроде траектории на рис. 3). Результат реакции - переход в новое состояние. В усложнение диаграммы могут делать вклад такие дополнительные детали, как вероятностные распределения на С5 х N5, иллюстрировавшиеся рисунком 2.Рефлексивные части могут быть двух видов. Первый вид описывает поведение анализатора, который преследует нашу собственную цель управления и схематически изображен на рис. 6.
Рефлексивные компоненты второго рода - это внутренняя рефлексия самой управляемой системы, если мы допускаем возможность, что ее составляющие тоже изучают систему (в том числе поведение нашего анализатора). В свете дойлевской идеологии, возможности такого толкования гораздо шире, чем кажется на первый взгляд.
Рефлексивная часть (первого рода) была нацелена в этом проекте на поиск наиболее широкой области применения устройства, а также на определение правил его эксплуатации и информационного мониторинга.Несмотря на множество сильно усложняющих работу черт, оптимизация управления оказалась возможной. Однако добиться этого удалось только за счет радикального изменения как набора аналитических средств, так и самой организации разработки.
Я отмечу несколько наиболее важных черт этого и нескольких похожих проектов:Поскольку человек является невообразимо активным мутантом в околоземной среде, я воспринимаю пересмотр консервативного взгляда на "совершенство" нашего организма положительно. Если бы у предшествующих нам приматов по несчастью была медицина с ее нашей теперешней ориентацией на буквальное сохранение вида, человек бы скорее всего не появился.
а) Большая сложность структуры области Е приводит к тому, что чисто аналитический или даже аналитико-аппроксимационный подход невозможен (за исключением отдельных простых аспектов). С другой стороны, некоторые методы автоматической генерации гипотез (“Machine Learning” подход в ИИ) оказываются весьма эффективными.
б) Большая роль случайных факторов в комбинации со сложностью структуры заставляет больше ориентироваться на операторные средства, предсказывающие изменение состояний и наличие устойчивых состояний. Трудно отделаться от впечатления, что результаты исследования весьма похожи на описания квантово-механических систем.
в) Схожесть с квантово-механическими описаниями еще более усиливается ввиду инерционности реакций системы. Система ведет себя так, как будто она подчиняется принципам неопределенности.
г) Приходится (мучительно) бороться с фрагментарностью знаний междисциплинарного коллектива. Трудности здесь носят как психологический характер (профессиональная предвзятость), так и объективный: пробелы в фактическом знании "ничейных" областей.
д) Парадоксы социальной организации: применение тех или иных новых методов иногда противоречит профессиональным, а порой - и законодательным нормам, несмотря на факт, что оно ведет к благоприятным состояниям.
е) Меняются сами критерии благоприятных состояний. Рад заметить, что хотя и с сопротивлением, но уходит в прошлое идеология нормативов, понимаемых как нахождение параметров в некоторых узаконенных пределах независимо друг от друга. С точки зрения системного взгляда (в духе Раздела 3) попадание многомерного состояния в параллелепипед, полученный усреднением популяции, может находиться в резком конфликте с геометрией области выживания. Кроме того, формы благоприятных областей часто оказываются различными вокруг различных устойчивых состояний.
ж) В свете пункта (е) даже вопрос о сохранении структуры “улучшаемого” объекта (в медицинском случае - человеческого организма) не кажется бесспорным. В таких экстремальных ситуациях, как предстоящая пересадка сердца, это воспринимается без особого сопротивления, но постепенно даже и в умеренных случаях начинает уменьшаться диспропорция между параноическим отношением к вмешательству в организм и слишком легким отношением к вмешательству в природу вообще.
Рефлексивные системы второго рода обладают тем свойством, что после определения оптимального управления законы, мотивировавшие это управление, перестают быть справедливыми. В известной степени все адаптивные системы обладают такими свойствами, но социальные системы (напр., биржа) и сети искусственного интеллекта обнаруживают эти свойства особенно быстро.В случае систем защиты идет постоянная игра "кто кого", непрерывно изобретаются новые подходы, против которых бессильны сравнительно недавно найденные средства. В ранний период разработок защиты подходы основывались на знании наиболее часто встречающихся и наиболее вредоносных способов обмана. Они не были упреждающими.
Позднее (и в этом сыграли значительную роль шаги компании Microsoft) задача стала изучаться более систематично: стали в основном искать ключевые точки входа в системы и потенциальные возможности вторженцев (intruders). Несмотря на простоту и очевидность этого шага, он произвел своего рода революцию. Разницу в эффективности можно сравнить с отвержением изобретения после его тщательного анализа или же "с порога" в силу того, что он нарушает закон сохранения энергии (т.е. является очередным perpettum mobile).Новый период, лично для меня особенно интересный, включает попытки симуляции изобретательного вторженца.
Встречается много скепсиса по поводу возможностей этого направления. Мое мнение состоит в трех пунктах:Из моего описания должно быть видно, что системы защиты третьего поколения по существу инициируют рефлексию рефлексии.
а) Во-первых, это бесконечная игра, и нет другого выхода, как только её продолжать (в этом отношении скепсис обоснован, но не отменяет необходимости защиты).
б) Во-вторых, электронные системы противодействия развиваются более быстрыми шагами, чем пресловутая игра с машиной в шахматы, насчет которой тоже было много пессимистических прогнозов (в этом отношении скепсис необоснован).
в) В-третьих, справедливости ради отмечу, что как только машинные системы значительно превзойдут вторженцев, высокообразованная часть мошенников (передовой отряд хакеров, нёрдов и гиков) начнут использовать такие же (если не лучшие) системы искусственного интеллекта для изобретения новых способов обмана. Спираль продолжится.
Мне хотелось поделиться с читателями мнением о направлениях прикладной и изобретательской деятельности, в которых смыкаются:К первой категории можно отнести общую теорию систем, сколь-нибудь осмысленное применение которой в практических разработках медицинской аппаратуры или для синтеза новых лекарств еще недавно казалось сомнительным.
а) области, ранее казавшиеся слишком абстрактными и потому не очень содержательными
б) средства исследования, ранее воспринимавшиеся как применимые только в узко определённых ситуациях
в) пересмотр критериев, определяющих работоспособность и полезность устройств или сервисных процессов
г) пересмотр исследовательских направлений, поддерживающих (а), (б) и (в)
Осмысление становится возможным вследствие интеграции информации, циркулирующий в сильно фрагментированном обществе, и в то же время вследствие интерпретируемости результатов анализа на языке состояний системы и на конструктивном уровне - в виде работающих программ.Как только старые привычки браться за дело дают трещину, начинаются процессы третьей категории: критерии допустимости реализаций, процедур, точек приложения наибольших ресурсов и т.п. меняются.
Касательно направлений исследования, возвращаясь к дойлевской теории, я бы хотел подчеркнуть три момента:Материал большей части этой статьи включен именно для того, чтобы эти тезисы не прозвучали ни голословно (ибо они опираются на широкий круг работающих моделей), ни тривиально (поскольку за ними стоит большое число конкретных способов решения проблем).
1) Понятийные системы типа дойлевской позволяют перекинуть мостик между на первый взгляд несхожими информационными системами (напр. компонентами человеко-машинных комплексов) и в то же время могут быть поддержаны программными средствами (как я надеялся показать в этой статье). Так обстоит дело в общем, в частных областях имеется очень широкое поле нехоженных троп и работы по конкретизации эффективных средств в конкретных ситуациях.
2) Применение средств ИИ рефлексивного типа особенно эффективно в случае, когда сложность систем велика и рефлексивность второго рода существенна. Здесь возможно вторжение ИИ в социальные сети в самых
неожиданных ролях. Одним из примеров может служить система защиты, эскизно упомянутая в разделе 3.2. Интересно, что понимание схожее с изложенным здесь, независимо описано (в отнюдь не формальном и не техническом виде) Джорджем Соросом в его недавней книге [3]. Сорос анализирует "человеческий фактор" и его влияние на экономику, в частности кризисы. В центре модели Сороса - рефлексивные системы, которые стремятся понять происходящее и использовать полученную информацию. Одним из следствий является систематическое сведение на нет предсказаний, особенно если они становятся широко известны, но одна из главных движущих сил таких систем - степень непонимания действительности (точнее расхождение между реальностью и ее восприятием и интерпретацией участниками деятельности). Знаменательно также, что Сорос обсуждает “человеческий принцип неопределенности”. Книга интересна тем, что ее автор - до мозга костей прагматик, хорошо осведомленный обо всех существенных событиях, связанных с обсуждаемыми им кризисами. С моей точки зрения, рассматриваемые им принципы - это старые добрые принципы теории систем и в первую очередь обратные связи, роль которых неустанно подчеркивал еще Норберт Винер, основатель кибернетики. Если бы социальные и, в частности, законодательные "правила игры" в экономической системе хотя бы в малой степени считались с простейшими законами кибернетики, положительные обратные связи, выливающиеся в катастрофические экономические пузыри (bubbles) были бы своевременно замечены и ослаблены. Кризисов, подобных нынешнему не было бы, хотя системы продолжали бы колебательные движения.
3) Изобретательская деятельность, особенно в случае, когда технические системы призваны быть частью сложных рефлексивных систем, может быть хорошо поддержана анализом оптимальной роли и количественно оцененной критики структуры в духе проекта, описанного мной в 3.1.
Конечно, мои выводы о перспективности направлений могут показаться спорными. На этот счет мне вспоминается название одной из книг Боба Фрисселла [5]: "Все в этой книге неправда, но порядок вещей именно таков ". Сама книга вряд ли заслуживает внимания наших читателей, но заглавие вполне годится для любой работающей модели.5. Литература