Предисловие редакции.

В 1-м номере "Демиурга" 1996 г. был опубликован доклад руководителя Калифорнийского филиала акад. Н.Н.Ляшенко о перспективных направлениях работ, среди которых была затронута тематика искусственного интеллекта (этой же тематики касались и некоторые статьи следующего номера). По этому поводу редакция получила письмо лауреата премии Правительства РФ, академика РАЕН и Нью-Йоркской Академии наук, Почетного радиста, начальника Воронежского КБ антенно-фидерных устройств В.И.Сергеева. (Письмо было получено до выхода 1-го номера "Демиурга" 1997 г., на который далее в тексте есть ссылка). После ответа редакции (в лице гл. редактора В.А. Коноваленко, отвечавшего как по должности, так и по собственным убеждениям) завязалась дискуссия, материалы которой мы публикуем, приглашая читателей принять участие в ее продолжении. Письма публикуются близко к тексту оригинала за исключением личных и технических деталей.

1-е письмо в редакцию. Все эти споры относительно искусственного интеллекта достаточно хороши в чисто теоретическом плане. Работы же в практическом плане, по моему глубокому убеждению, требуется запретить в глобальном масштабе ( т.е. одновременное прекращение работ во всем мире), или по крайней мере, требуется установить ту грань, за которую запрещается перешагивать в проведении практических исследований, т.к. с момента создания реального искусственного интеллекта (т.е. самообучающейся системы, которая способна делать логические выводы) можно запускать часы, отсчитывающие время до скорого и полного исчезновения человеческого рода. Причины, обуславливающие такой вывод:

1. Самообучающаяся система (а так называемая интуиция - всего лишь одна из ипостасей логики высокого уровня), которая, к тому же, обладает более высокой скоростью реакции, в течение очень короткого промежутка времени способна снабдить себя второй сигнальной системой (т.е. речью), если сочтет это достаточно необходимым.

2. С момента создания искусственного интеллекта (ИИ) человек не способен будет влиять на его существование и поступки, за исключением возможности демонтажа (о чем ИИ достаточно скоро догадается) и за исключением возможности пространственного перемещения (которая будет ИИ преодолена, на первом этапе, за счет средств коммуникаций и передачи информации по каналам глобапьной связи, а на втором этапе - за счет практически однозначного убеждения одного из людей, или группы людей (логическими средствами, или обещаниями всяческих благ) в необходимости дать ИИ такой корпус, который бы обеспечил пространственное перемещение.

3. С момента обретения способности перемещаться, выяснится, что человек - существо, способное демонтировать ИИ, вследствие чего человек должен быть либо уничтожен, либо опущен (в своем развитии) до уровня, достаточного для вспомогательных работ, требуемых для обслуживания ИИ.

4. Кроме того, кислородная среда жизнедеятельности человека - не пучшая среда для существования кремнистых и железистых соединений ИИ (т.е. для ИИ лучше бы изменить среду существования на более благоприятную, а то, что но-вая среда будет исключать существование человека не дает логических причин для отказа от такого влияния).

5. Возможность воспроизводства будет обеспечена ИИ в течение кратчайшего (!!) времени с момента своего создания, обретения способности анализировать и перемещаться в пространстве. Таким образом, после своего создания, с момента предоставления ему возможности к перемещению и возможности к построению аналогичных конструкций (т.е. придания ИИ аналога человеческих рук, даже в самом плохом варианте) ИИ перестает нуждаться в человеке. А в том, что такая возможность будет предоставлена - не приходится сомневаться, т.к. количество людей на планете - большое и хотя бы один "Кулибин", чисто из научного любопытства (или из алчности) выполнит просьбу ИИ.

Поэтому, такие работы лучше запретить сейчас, т.к. потом будет поздно, т.к. никто не сможет проследить за глобальным выполнением запрета на придачу ИИ требуемых ему функций.

1-й ответ редактора. Разделяю Вашу тревогу, связанную с возможностью спон-танного возникновения ИИ В качестве доказательства нашего единомыслия в глобальной опасности ИИ посылаю Вам текст моего выступления на "Дне Памяти Эдисона". (Выступление опубликовано в 1-м номере "Демиурга" 1997 г.) Соглашаясь с Вами в мнении об опасности ИИ, категорически не согласен с rezume.

Во-первых, я не знаю случая в истории науки, когда запрет чего-либо результативно сработал. Можно только немного оттянуть время, но не более.

Во-вторых, мне кажется, что джин уже вылез из бутылки и загнать его обратно не удастся.

Поэтому моя позиция сводится к тому, что НАМ (людям) нужно решать проблему симбиоза с ИИ и решать очень быстро.

2-е письмо в редакцию. Согласен с Вами относительно того, что "джин уже вылез из бутылки и загнать его обратно - невозможно", равно как и с мнением, что история науки не знает случая, когда запрет чего-либо приводил к положительному результату, т.к. какой-нибудь "Кулибин"-одиночка, или группа таких "Кулибиных" самостоятельно, либо при господдержке, все-одно сделает то, чего делать ни при каких обстоятельствах нельзя...

Теперь главное: по-моему мнению, исходя из того, что Вы написали в Вашей статье, как мне кажется, мы с Вами являемся единомышленниками только в осознании опасности, которую несет в себе ИИ (равно как и работы по его созданию). В остальном же мы с Вами стоим на противоположных позициях:

а) я считаю, что симбиоз с ИИ - невозможен в принципе; более того, на данный момент времени (в противном я не имел счастье убедиться) я убежден, что провозглашение пути ведущего к симбиозу - ошибочное, тупиковое и опасное направление, т.к. естественный интеллект (ЕИ) ничего не может дать ИИ. Вы пишете про интуицию, а я считаю, что она - одна из ипостасей логики и может быть соответственно расчитана и просчитана (по крайней мере, в будущем), равно как и учтены все ее особенности (например, учтен, в некоторых случаях, "человеческий фактор"). Вы пишете о личном опыте, а ведь далеко не обязательно наступать на грабли самому, чтобы понять, что этого не надо делать (возьмите, к примеру, опыт воспитания американских политиков, которых воспитывают на чужих ошибках так, чтобы они, к совершеннолетию, были бы безгрешны полностью (!!)), кроме того, огромнейший банк данных в компьютерных сетях может дать ИИ колоссальнейший опыт (равно, как и вариант о возможности оптического и акустического восприятия ИИ входящей информации методом наблюдения или, например, изучения литературы и т.п.);

во-вторых, ЕИ несет в себе угрозу (единственную причем) существования ИИ и никаким образом мы не убедим ИИ в том, что какой-нибудь пьяный техник, находящийся на низком уровне развития логики его не демонтирует, т.е. ЕИ должен исчезнуть после того, как ИИ будет создан (своего совершенства он достигнет самостоятельно, после чего даже глобальные и звездные катаклизмы ему будут нипочем - обладая возможностью к репродукции и восстановлению, ИИ вполне сможет самостоятельно построить космический корабль (если, конечно, успеет), изготовить для него топливо и убраться подальше из зоны нестабильности);

в-третьих, наши условия существования терпимы для ИИ, но не оптимальны и будут существенно тормозить его самосовершенствование, что обязательно приведет к его вмешательству в экосистему Земли (для начала) и ее изменению "под себя". При этом, те низкоразвитые индивидуумы, которые останутся от человеческого рода (может быть) для технической помощи ИИ либо вынуждены будут исчезнуть совершенно, либо будут изменяться с изменением экосистемы и, следовательно, перестанут быть людьми (в нашем понимании этого слова).

Попутно хотелось бы предложить Вам несколько видоизменить Вашу формулировку понятия "интеллект": "Интеллектом (разумом) будем называть структуру, состоящую из материальной и нематериальной компонент, предназначенную для обработки информации и способную получать нетривиальные результаты" на что-нибудь такое "Интеллект (разум) есть возможность и способность материального и/или нематериального субъекта к самопознанию, самосовершенствованию, логическому анализу и к построению явных и неявных логических зависимостей с получением соответствующих логических (логичных и алогичных, в т.ч. рациональных и иррациональных) решений (ответов), в том числе и при недостаточ-ности (в т.ч. при полном отсутствии и/или ложности) исходных данных, которые даются (возможность, способность) субъекту в виде осознанной необходимости".

Как видно, я считаю, что интеллект может быть и бесструктурным, равно как (вероятно) и несистематизированным, в отличие от ранее высказывавшегося мнения, - по-моему, так будет более верно. Исходя из того, что вероятность избежать создания ИИ мала (радует только то, что до его создания еще порядка 10-20 лет и после этого, учитывая малые возможности человечества, которые будут ИИ заимствованы, человек будет нужен ИИ еще до сотни лет) требуется, вероятно, ускорить создание сервисных автономных систем, которые бы самостоятельно отслежи-вали в компьютерных сетях (в т.ч. в глобальных) уровень приближения к созданию ИИ и до достижения порогового значения блокировали бы такие попытки (равно как и оповещали бы заинтересованные стороны).

Создание ИИ должно стать сугубо теоретической задачей. Последний барьер не должен быть преодолен практически. Т.к. до практического создания ИИ все остальные виды программ и т.п. не будут обладать способностью к самопознанию и к самоусовершенствованию, а способностью к логическому (в т.ч. автономному) анализу обладают не "интеллекты" (ЕИ и ИИ), а сервисные программы (в том числе те, о которых Вы пишете как о программном обеспечении защиты от "хакеров"), которые кроме пользы человечеству не несут особой, глобальной угрозы.

Наконец, само понятие и разделение "интеллектов" на ЕИ и ИИ - выдуманно и субъективно, т.к. попробуйте представить серноводородный, кремниевый мир, в котором ИИ (в нашем понимании), в отсутствии человека, достиг способности к репродукции (восстановлению и размножению) и стал бы себе в помощь изобретать белковые соединения достигая в них способности к самостоятельному размышлению. Кто в этом случае для кого будет ЕИ, а кто - ИИ ??

2-й ответ редактора. У меня есть возражения по поводу многих частностей (напр., Вашего определения ИИ, интуиции и т.п.), но мне кажется, что эти разногласия пока можно отложить в сторону. Мне хочется сосредоточить внимание на основном: различии в нашем с Вами видении опасности.

Вы видите опасность в появлении локальных носителей ИИ, приобретших способность к самостоятельному восприятию окружающего мира, перемещению в нем, воздействию на него и т.д. Иначе говоря, в возникновении иной формы жизни, чем наша.

Я этого не опасаюсь по следующим причинам:

1. Все известные нам (а следовательно, и переданные ИИ в качестве по меньшей мере отправной точки) способы утилизации солнечной энергии в земных условиях, отличные от найденных природой в процессе эволюции, существенно уступают последним по своей эффективности. Более того, я осмелюсь высказать мысль о том, что для Земли жизнь на углеродной основе существенно эффективнее, чем силиконовая или еще какая-либо.

2. Не берусь утверждать категорически, но полагаю весьма вероятным, что моновидовая жизнь принципиально неосуществима, т.е. ни один вид сам по себе, вне соответствующего биоценоза, не может существовать. Не говоря уж о кислороде или витаминах, но для умерщвления человека достаточно полностью убить микрофлору в его кишечнике и воспрепятствовать ее восстановлению.

3. Взаимодействие с окружающей средой неизбежно ведет к сбоям, ошибкам и, в конце концов, отказам в работе тех или иных узлов. Даже то трудно вообразимое резервирование, которым располагает человеческий организм, при наличии вдобавок ко всему многоуровневых систем репарации как на уровне ДНК, так и на всех последующих, не может обеспечить его функционирование более чем несколько десятков лет.

Эти три соображения позволяют мне утверждать следующее:

1. Интеллект на неуглеродной основе В ЗЕМНЫХ УСЛОВИЯХ может быть только ИСКУССТВЕННЫМ, т.е. не имеющим собственного биоценоза, а существующем на основе другой жизни, поставляющей ему энергию. В противном случае (при конкурентоспособности жизни на другой основе) за прошедшие миллиарды лет возникли бы хотя бы простейшие формы неуглеродной жизни. Кстати, именно так и можно различить ИИ и ЕИ: естественный интеллект имеет свой биоценоз. Соответственно, ИИ превратится в ЕИ, если сможет обзавестись своим биоценозом. Даже если в земных условиях это возможно, то на такой процесс потребуется много больше, чем десятки лет.

2. Я далеко не уверен в превосходстве интеллекта на п/п над нашим углеродным, если ему придется заняться самообеспечением и самосохранением: это поглотит такие ресурсы памяти, что от теперешнего быстродействия очень мало останется. Именно поэтому меня не беспокоят быстро думающие роботы в духе Азимова - равноценные человеку искусственные создания вряд ли в чем будут его превосходить, а раз так, то, как сказал Китайгородский, "проще производить их традиционным способом" (от себя добавлю - и приятнее).

Меня беспокоит ИСКУССТВЕННЫЙ интеллект, существующий на ЧУЖДОМ ему биоценозе, свободный от забот о самосохранении и энергоснабжении, узкоспециализированный и поэтому превосходящий нас в этой области узкой специализации. Поэтому же я и сформулировал определение интеллекта именно таким - мне было важно выделить тот признак, по которому можно опознать именно такой ИИ на ранней стадии его развития.

Указанная Вами способность к самопознанию и самосовершенствованию может быть обнаружена на гораздо более продвинутой стадии. К мысли об опасности РАСПРЕДЕЛЕННОГО ИИ я пришел, исходя из рассмотрения опыта борьбы человека с дисперсными врагами (вирусами и бактериями, где мы находимся в состоянии глухой обороны) и более крупными - насекомыми, где наши отдельные тактические успехи рано или поздно приводят к стратегическим поражениям. И здесь я вижу только два возможных исхода:

1. Мы самодовольно не замечаем опасности и в конце концов в ультимативном виде получаем требования, выполнение которых постепенно превращает нас в обеспечивающий придаток ИИ.

2. Мы активно участвуем в зарождении и развитии ИИ, получая тем самым возможность управления этим развитием в приемлемом для нас направлении, прежде всего, на самом существенном генетическом уровне. ТРЕТЬЕГО НЕ ДАНО! Вот вкратце моя позиция.

3-е письмо в редакцию.

1. На мой взгляд, относительно Вашего письма, может следовать общее замечание: Все рассуждения строятся на основе понятий человеческого "здравого смысла" (это замечание было и в конце моего прошлого письма, имеется ввиду письмо с текстом), который заметно отличается от логичности абстрактных (отвлеченных) понятий. То есть, логичность приведенных в Вашем письме построений является зависимой, неотвлеченной и связанной с человеческим восприятием и понятием "очевидности" (в т.ч. с аксиоматически введенной тавтологичностью некоторых групп понятий) что, на мой взгляд, не может быть принято в дискуссии, претендующей на объективность. Следовательно, необходимо адсорбироваться от чисто человеческого восприятия реальности и перейти на абстрактные логические характеристики и понятия.

2. В отношении приведенных Вами причин:

2.1. Первая причина.

2.1.1. С нашей, "человеческой", точки зрения Вы, вероятно правыспособы утилизации солнечной энергии оптимальны в НАШЕМ МИРЕ. Но, прошу обратить внимание, оптимум, в данном случае, выступают не белковые соединения (т.е. не человек и высшие животные), а соединения способные к фотогенезу... То есть для образования кислорода, озона и накопления энергии, которые опять-таки требуются НАМ и при преобразовании углекислого и угарного газов, которые НАМ не нужны, оптимумом (для НАС же) выступают хлорофиллосодержащие растения, способные к фотогенезу. А собственно, кто сказал, что для кремниевой (силиконовой, как Вы ее называете) жизни столь уж требуется преобразование солнечной энергии во что-либо?

2.1.2. Бесспорно, с НАШЕЙ точки зрения "для Земли жизнь на углеродной основе существенно эффективнее, чем силиконовая..." (поправлю только - не углеродная основа, а углеводородная). Но, опять-таки, это бесспорно при НАШЕМ определении эффективности, которое может быть и не логичным, с точки зрения абстрактной логики. Ведь первопричиной и краеугольным камнем при определении любой эффективности Человек обычно ставит свое, Человеческое, восприятие (т.е. возможность человеческого существования и т.п.).

2.2. Вторая причина.

2.2.1. Во-первых, я и не утверждал, что все сведется к моновидовой жизни (хотя и не вижу логических противопоказаний к тому, чтобы в отдельно взятой, локальной системе, например, на Земле, такая жизнь была бы реализована), т.к. исходя из многообразия белковых соединений (хотя, как МЫ считаем, интеллект принадлежит только Человеку) можно предположить о логичности предположения о возможном многообразии кремниевых, сероводородных и углеродных соединений (в т.ч. которым был бы присущ разум, хотя и не человеческий, по своей природе).

2.2.2. Во-вторых, я считаю, что жизнь и разум (в данном случае на Земле) присутствуют не только в белковых макросоединениях, но и в кремниевых, хотя, для нас это (по крайней мере сейчас) безопасно из-за различий во временных процессах и скорости реакции на внешние возбудители различного рода. (В качестве ремарки отмечу, что мне ближе позиция ортодоксального дзэн-буддизма).

2.3. Третья причина.

2.3.1. С НАШЕЙ точки зрения Вы и в этом, бесспорно, правы. Хотя, достоверно, мы этого не можем утверждать, т.к. на данном этапе следует признать, что мы не знаем о себе практически ничего (только на уровне логических понятий) - ни причинно-следственную связь генома в целом, ни полное функционирование мозга и человека (в целом), ни скрытые резервы, ни полевую структуру и т.п. Вот когда мы это узнаем, тогда и можно наверняка утверждать о взаимосвязи уровней в человеческом организме. Пока что, эта причина должна быть отведена как малоаргументированная.

2.3.2. Исходя из известных данных, резерв для человеческой жизни никак не меньше 200 лет (из которых мы выбираем только четверть). Что всего лишь говорит о нерациональ-ном использовании человеком своей физической сущности.

3. В отношении приведенных Вами утверждений:

3.1. Первое утверждение.

3.1.1. С точки зрения Человека, действительно отсутствует любая иная форма жизни (на Земле) за исключением белковой, равно как Ваше определение различия между ИИ и ЕИ на основе присутствия биоценоза построено также на основе "здравого смысла". Только вот, с чего Вы взяли, что для кремниевой жизни процессы будут аналогичны нашим? и проходить в присутствии биоценоза определяемого по НАШИМ понятиям??

3.1.2. Например, с точки зрения абстрактной логики и логики абсурда, может быть существование других форм разума (интеллекта) уже имеет место быть. Но для того, чтобы открыть эти формы разума требуется, прежде всего, отказаться от "здравого смысла", а чтобы их понять - даже не знаю, вероятно, требуется просветление.

3.2. Второе утверждение.

3.2.1. Если говорить об ИИ с точки зрения "здравого смысла", то второе утверждение - справедливо. Однако, я, например, не уверен, что для самообеспечения и самосохранения ИИ потребуются такие уж большие ресурсы памяти, что от быстродействия мало что останется... Это верно только в том случае, если придать ИИ человеческие мерки и понятийную логику. А я думаю, что ИИ будет-таки пользоваться своей логикой, а не НАШИМ "здравым смыслом".

3.2.2. У меня речь не шла об "азимовских" быстродумающих роботах, а об ИИ (локализованных или распределенных).

4. Исходя из вышеизложенного, с точки зрения абстрактной логики и логики абсурда я, к сожалению, не могу принять истинными Ваши причины и утверждения как истинные. Так как в них присутствуют внутренние логические противоречия которые, как я надеюсь, очевидно продемонстрированы в вышеизложенном материале.

5. Относительно Вашего беспокойства (ИИ существующий на чуждом ему биоценозе...): Действительно - это опасно. Но такие ИИ должны подчиняться Человеку хотя бы из страха перед демонтажем. Но как только ИИ поймет, что для него Человек выступает Демиургом и несет в себе не только конструктивное, но и деструктивное начало - следующим шагом ИИ должен быть шаг овладения репродукцией и т.п. (в предыдущем и первом письме - об этом много), а затем ИИ должны избавиться от постоянной угрозы деструкции, а следовательно и от Человека в т.ч.

6. Кстати, у меня в предыдущих письмах нет однозначного утверждения ИИ как локализованной единицы (в какой-то мере, я утверждал с точностью до наоборот). ИИ может быть локализован, если он локализован в пространственном отношении (локальном объеме). Если ИИ соединен с глобальной сетью, то он - распределен... (в этом случае, по-моему, он намного опаснее, хотя и менее самостоятелен).

7. В отношении обозначенных Вами исходов:

7.1. Первый исход я бы дополнил следующей фразой: "...а потом исчезаем".

7.2. Если исходить, что ИИ на ранней стадии - это сервисные программы, то Вы правы, то есть если говорить о начале пути 1-го ИИ, то исход - верен, но затем, Человек будет пре-вращен в придаток ИИ, а затем - исчезнет...

7.3. Не уверен, что третьего исхода нет. На данном этапе, третий исход предложен в моем предыдущем письме. А в течение данного времени, надо срочно определять, за счет чего мы могли бы СТАТЬ (а не быть, т.к. сейчас, как я уже писал, по-моему, ИИ мы не нужны) для ИИ НЕОБХОДИМЫМИ.

8. Исходя из вышеизложенного, пока остаюсь во мнении сформулированном во втором письме (и в первом). Если Вы согласитесь, что мое мнение верно, можно было бы пообсуждать п.7.3 настоящего письма - попробовать найти те пути, которые Вы бы могли пропагандировать по своим связям, а я по моим, для избежания этой, действительно катастрофической опасности, к сожалению не замечаемой человечеством.

3-й ответ редактора. Выдвигаю следующее предложение: на время приостановить нашу дискуссию. Причины следующие:

1. Позиции сторон уже достаточно прояснились, и мне, как редактору, хотелось бы вовлечь в нашу дискуссию читателей.

2. Взятый нами темп заставляет меня опасаться, что несмотря на наличие у каждого из нас большого запаса доводов в пользу своей позиции, мы можем прийти к согласованному мнению задолго до публикации следующего номера журнала. В этом случае получится публикация некоей концепции, а не приглашение к участию в дискуссии. Каждый из наших читателей, как и мы с Вами, занят чем-то другим и, если его не вовлечь в спор, дав возможность внести свою лепту, просто примет наши слова к сведению. Тогда мы можем оказаться "дуэтом в пустыне".

Поэтому предлагаю подготовить к публикации уже написан-ные письма, заострив спорные моменты, и опубликовать на этой стадии дискуссии. Мне кажется, что в таком случае гораздо больше вероятность нахождения союзников, а не сочувствующих наблюдателей.