Билл Джой

ПОЧЕМУ МЫ НЕ НУЖНЫ БУДУЩЕМУ

В предыдущей статье Курцвейль делится оптимистическими прогнозами насчет потенциальных возможностей технологии, способных изменить знакомый нам мир. В этой статье Билл Джой, руководитель исследовательских работ в Sun и один из вождей революции, связанной с распространением Интернета, более мрачно смотрит на вещи. Разделяя мнение Курцвейля относительно тенденций будущего развития, Джой находит больше поводов для волнения. Ужасы «Матрицы» — это лишь одна сторона возможных кошмаров… Самые мощные технологии XXI века — робототехника, генная инженерия и нанотехнология — угрожают превратить людей в вымирающий вид.

С того момента, как я увлекся разработкой новых технологий, меня стала занимать их этическая сторона. Но лишь осенью 1998 года я с тревогой осознал, насколько велика опасность, подстерегающая нас в двадцать первом столетии. Я начал беспокоиться об этом с того дня, когда встретил Рея Курцвейля, заслуженно известного изобретателя первой читающей машины для слепых и многих других поразительных вещей.

Мы с Реем выступали на Телекосмической конференции Джорджа Джилдера. Я случайно повстречал его в баре отеля после того, как секции, где мы выступали, закончили свою работу. Я сидел с Джоном Серлем, философом из Беркли, занимающимся изучением сознания. Мы с ним мирно беседовали, и тут к нам подошел Рей. Завязался разговор, предмет которого не дает мне покоя по сей день.

Я пропустил выступление Рея и вообще ту дискуссию, в которой они с Джоном принимали участие на конференции. Они начали с того, на чем тогда остановились: Рей сказал, что скорость совершенствования технологий будет возрастать и в недалеком будущем мы станем роботами или объединимся с ними, — в общем, что-то в этом роде, — а Джон опроверг его, сказав, что это невозможно, поскольку роботы не могут обладать сознанием.

Когда я слышал подобные разговоры раньше, мне всегда казалось, что разумные роботы существуют лишь в произведениях научной фантастики. Но теперь от человека, которого я уважал, я слышал убедительные доказательства в пользу того, что появление таких роботов можно ожидать в ближайшем будущем. Я был захвачен врасплох. Особенно меня потрясла знаменитая способность Рея изображать и моделировать будущее. Я уже знал, что новые технологии, наподобие генной инженерии и нанотехноло-гии, наделяют нас силой, позволяющей переделывать мир, однако реалистичный и неотвратимый сценарий, по которому появятся обладающие интеллектом роботы, сразил меня наповал.

Пресытиться информацией о таких достижениях довольно легко. Почти каждый день мы слышим в новостях о каких-нибудь прорывах в сфере технологии или науки. Однако предсказание Рея было не из числа привычных. В баре отеля Рей дал мне часть препринта своей книги «Эпоха одухотворенных машин», которая вот-вот должна была появиться. В этой книге Рей описывал предсказанную им утопию. По его мнению, в будущем люди станут почти бессмертными, слившись с роботизированной технологией. Чтение препринта книги Рея лишь усилило мою тревогу. Я был уверен, что он должен представлять себе все связанные с такой перспективой опасности и учитывать возможность плохого исхода.

Больше всего меня встревожил отрывок, в котором подробно излагался следующий дистопичный сценарий:

Новый луддитcкий вызов

Прежде всего давайте допустим, что специалисты по вычислительной технике преуспели в разработке разумных машин, способных делать все лучше человека. Предполагается, что при таких условиях вся работа будет выполняться многочисленными высокоорганизованными системами машин, и при этом в каких-либо усилиях со стороны человека не будет необходимости. Здесь становятся возможными два варианта. Машины могут получить разрешение принимать свои решения без вмешательства человека, либо человеческий контроль над машинами может быть сохранен.

Если машинам позволят принимать решения самостоятельно, мы не можем делать никаких предположений относительно результатов этих решений, поскольку предугадать действия таких машин невозможно. Подчеркнем лишь то, что судьба человечества в этом случае окажется во власти машин. Можно было бы утверждать, что человечество никогда не будет настолько глупым, чтобы передать машинам всю полноту власти. Однако мы не рассчитываем ни на то, что люди добровольно отдадут власть машинам, ни на то, что машины умышленно захватят власть. Мы как раз предполагаем, что человечество может с легкостью дойти до такой зависимости от машин, что у него не останется другого реального выбора, кроме как соглашаться со всеми решениями машин. По мере того как общество и проблемы, с которыми оно сталкивается, будут усложняться, а машины становиться все умнее и умнее, люди будут позволять машинам принимать за них все больше решений просто потому, что решения, принятые машинами, будут давать лучшие результаты, чем решения, принятые самими людьми. В конечном итоге может настать такой момент, когда решения, необходимые для поддержания системы в рабочем состоянии, достигнут такой сложности, что люди окажутся не способны принимать их. На этом этапе машины приобретут эффективный контроль. Люди просто не смогут выключить их, потому что их зависимость от машин будет настолько сильна, что отключение машин будет равнозначно самоубийству. С другой стороны, возможно, что люди сохранят контроль над машинами. В этом случае среднестатистический человек может контролировать определенные машины, находящиеся в его личном пользовании, например свою машину или свой компьютер, в то же время контроль над крупными системами машин будет находиться в руках крайне немногочисленной элиты — прямо как сейчас, но только с двумя отличиями. Благодаря улучшенной технологии элита приобретет больший контроль над массами, а поскольку человеческий труд перестанет быть необходимостью, массы станут ненужным, бесполезным бременем для системы. Если элита будет отличаться беспощадностью, она может просто решить ликвидировать большую часть человечества. Если элите будет свойствен гуманизм, она может воспользоваться пропагандой или другими психологическими либо биологическими приемами для сокращения уровня рождаемости до такого уровня, при котором большая часть человечества вымрет сама, оставив мир элите. Есть другой вариант. Если элита будет состоять из мягкосердечных либералов, они могут начать играть роль доброго пастыря по отношению к остальному человечеству. Они будут следить за тем, чтобы удовлетворялись физические потребности всех и каждого, чтобы все дети росли в психологически безопасных условиях, чтобы у каждого человека было полезное хобби и он не слонялся без дела, и чтобы каждый, если вдруг почувствует себя неудовлетворенным, получал соответствующее «лечение», помогающее ему выздороветь и избавиться от этой «проблемы». Разумеется, человеческая жизнь станет настолько бесцельной, что людей придется настраивать биологически или психологически, либо ликвидировать их потребность в обретении власти. Либо заставить их сублимировать стремление к власти в какое-нибудь безвредное увлечение. Возможно, эти управляемые человеческие существа и будут счастливы в таком обществе, однако почти точно можно сказать, что они не будут свободны. Людей сведут до уровня домашних животных.[182]

В книге этот отрывок дается так, что, лишь прочтя его целиком, вы узнаете, что его автор — Теодор Качинский (Унабомбер). Я не защищаю Качинского. За семнадцатилетнюю террористическую кампанию его бомбы лишили жизни троих и причинили ранения многим другим людям. Во время взрыва одной из его бомб был серьезно ранен мой друг Дэвид Джелернтер, один из самых выдающихся и проницательных специалистов по вычислительной технике нашего времени. Как и многие мои коллеги, я чувствовал, что легко могу стать следующей мишенью Унабомбера.

Действия Качинского отличались крайней жестокостью и, на мой взгляд, являлись преступным безумием. Он явный луддит, однако просто констатировать этот факт не значит опровергнуть его аргументы. Мне было трудно это признать, но я увидел нечто убедительное в рассуждениях, изложенных в вышеприведенном отрывке. И я почувствовал себя обязанным опровергнуть их.

В мрачных предвидениях Качинского описываются непреднамеренные последствия, широко известная проблема в разработке и использовании технологий, та самая, которая имеет очевидное отношение к закону Мерфи — «если что-то может пойти не так, то это обязательно случится». (На самом деле это закон Финейгла, что само по себе уже доказывает, что Финейгл был прав.) Наше злоупотребление антибиотиками привело к тому, что может оказаться самой большой проблемой на данный момент, — к появлению устойчивых к антибиотикам и куда более опасных бактерий. То же самое случилось, когда были предприняты попытки уничтожить малярийных москитов при помощи ДДТ, что вынудило их развить устойчивость к этому препарату. Более того — малярийные паразиты приобрели гены, посредством которых наследуется устойчивость ко многим химическим веществам.[183]

Причина многих подобных сюрпризов, по-видимому, ясна: дело в том, что речь идет о сложных системах, между частями которых существует взаимодействие и обратная связь. Любые изменения в подобной системе вызовут целый поток труднопредсказуемых последствий; это утверждение особенно справедливо для деятельности человека.

Я начал с того, что показал друзьям цитату Качинского из книги «Эпоха одухотворенных машин». Я дал им книгу Курцвейля, открыв ее на нужном месте, а потом отметил их реакцию, когда они узнали, кому принадлежит авторство этого отрывка. Примерно в это же время я открыл для себя книгу Ганса Моравека «Робот: От простой машины к трансцедентному разуму». Моравек является одним из ведущих исследователей в области робототехники, а также основателем самой крупной в мире исследовательской программы в рамках робототехники. Эта программа запущена в университете Карнеги-Меллон. Книга Моравека дала мне еще больше материала для апробирования его на моих друзьях. Он удивительным образом подтверждал доводы Качинского. К примеру:

Вскоре (начало XXI века)

Биологические виды почти никогда не выживают после встречи с превосходящим их соперником. Десять миллионов лет назад Южная и Северная Америки были разделены затонувшим Панамским перешейком. Подобно сегодняшней Австралии, Южная Америка была тогда населена сумчатыми млекопитающими, включая сумчатых животных, похожих на современных крыс, оленей и тигров. Когда перешеек, соединявший Северную Америку с Южной, поднялся, северным плацентарным видам, обладавшим чуть более эффективным метаболизмом, а также репродуктивной и нервной системами, потребовалось всего лишь несколько тысяч лет для того, чтобы вытеснить и уничтожить почти всех южных сумчатых.

На абсолютно свободном рынке более совершенные роботы, без сомнения, будут воздействовать на людей так, как североамериканские плацентарные виды на южноамериканских сумчатых (и точно так же, как люди, уничтожившие бесчисленное множество биологических видов). Завязанные на робототехнику отрасли будут яростно конкурировать между собой за сырье, энергию и пространство, в результате чего цена на них выйдет за пределы возможностей человека. Поскольку биологические люди не смогут позволить себе предметы первой необходимости, они будут лишены права на существование. Не исключено, что здесь есть какой-то выход, поскольку мы живем в условиях не абсолютно свободного рынка. Правительство сдерживает нерыночное поведение, особенно посредством сбора налогов. Если применять эти методы сдерживания благоразумно, то это поможет поддерживать жизнь людей на высоком уровне благодаря плодам труда роботов, причем, возможно, в течение долгого времени.

Всего-то мрачные фантазии автора, а у читателя уже дрожат коленки. Далее Моравек пишет, что нашей главной заботой в XXI веке станет «обеспечение непрерывного сотрудничества с отраслями робототехнической промышленности» путем принятия законов, предписывающих им «хорошее поведение».[184] Моравек не упускает случая описать, насколько опасным может оказаться человек, «однажды трансформированный в ничем не ограниченного сверхразумного робота». По мнению Моравека, в конечном итоге роботы сменят людей, и человечеству придется столкнуться с вымиранием.

Я решил, что пришла пора переговорить с моим другом Дэнни Хиллисом. Дэнни прославился как соучредитель Thinking Machine Corporation, в которой был создан очень мощный параллельный суперкомпьютер. Несмотря на то что моя сегодняшняя должность звучит как руководитель исследовательских работ в компании Sun Microsystems, я в большей степени практик, чем ученый. Так что я уважаю познания Дэнни в области информатики и физики больше, чем любого другого знакомого мне человека. К тому же Дэнни — весьма уважаемый футуролог, делающий долгосрочные прогнозы. Четыре года назад он основал Long Now Foundation. Фонд занимается созданием часов, способных функционировать 10 000 лет, с целью привлечь внимание к ничтожно малой продолжительности существования нашего общества.[185]

Так что я полетел в Лос-Анджелес. У меня была конкретная цель — отобедать с Дэнни и его женой Пэти. Я изложил им все свои соображения, заостряя внимание на идеях и эпизодах, так меня волновавших. Свой ответ, особенно по отношению к версии Курцвейля относительно слияния людей с роботами, Дэнни сформулировал быстро. Этот ответ порядком удивил меня. Дэнни сказал, что изменения будут происходить настолько постепенно, что мы свыкнемся с ними.

Ответ этот не так уж сильно потряс меня. Я уже видел цитату Дэнни, приведенную в книге Курцвейля. «Я точно так же люблю свое тело, как любой другой, но если я смогу жить двести лет с телом из кремния, то я пойду на это», — сказал Дэнни. Похоже, он вполне соглашался с этим процессом и связанным с ним риском, тогда как я — нет.

Беседуя и размышляя о Курцвейле, Качинском и Моравеке, я неожиданно вспомнил роман, который прочел почти двадцать лет назад. Это был роман Фрэнка Герберта «Белая чума». Герой этого произведения, молекулярный биолог, сходит с ума, потому что его семья гибнет в результате бессмысленного убийства. Охваченный жаждой мести, он выводит и распространяет новых и очень заразных возбудителей чумы, убивающих в больших масштабах, но избирательно. (Нам повезло, что Качинский оказался математиком, а не молекулярным биологом.) Мне также вспомнился Борг из «Звездного пути», улей, населенный частично биологическими, частично роботизированными созданиями с сильным деструктивным началом. Описание ужасов вроде Борга — это главный элемент научной фантастики. Почему же меня не заботили подобные дисто-пические перспективы роботизации раньше? Почему эти кошмарные сценарии не привлекли внимания остальных людей?

В какой-то степени ответ на этот вопрос, конечно, лежит в нашем отношении ко всему новому — в нашем пристрастии к мгновенной близости и полному согласию. Несмотря на то что мы привыкли жить в условиях, когда крупные научные открытия стали почти обыденными, нам необходимо свыкнуться с тем фактом, что самые привлекательные технологии XXI века — робототехника, генная инженерия и нанотехнологии — представляют качественно иную угрозу, чем ранее освоенные человеком технологии. Конкретно говоря, роботы, искусственно запрограммированные организмы и наноботы отличаются опасным свойством: они могут самовоспроизводиться. Бомба взрывается лишь однажды, а вот один бот может расплодиться и быстро выйти из-под контроля.

В основном моя работа на протяжении последних двадцати пяти лет была связана с организацией сетей вычислительных машин, в которых отправление и получение сообщений создает возможность для неуправляемого дублирования. Но хотя дублирование в компьютере или в компьютерной сети и может доставить какие-то неприятности, в худшем случае оно выводит машину из строя либо разрушает сеть или сетевую службу. Неконтролируемое же самовоспроизводство, характерное для передовых технологий, угрожает куда большим риском — риском нанесения существенного вреда в физическом мире.

Кроме того, каждая из этих технологий предлагает баснословные перспективы: скорое бессмертие, которое предвидит Курцвейль в своих робототехнических мечтах, манит нас; генная инженерия может вскоре обеспечить лечение, если не полное уничтожение, большинства болезней; а нанотехнология и наномедицина могут справляться с еще большим количеством заболеваний. Вместе они могли бы значительно продлить среднюю продолжительность нашей жизни и улучшить ее качество. В то же время результаты мелких, лично ощутимых продвижений, совершаемых благодаря каждой из этих технологий, ведут к накоплению большой власти и, соответственно, возникновению большой опасности.

Чем отличался XX век? Разумеется, технологии, лежавшие в основе оружия массового поражения — ядерного, биологического и химического (NBC-технологии), были мощными, а оружие представляло собой чудовищную угрозу. Однако создание ядерного оружия требовало, по крайней мере какое-то время, доступа к двум редким — и в действительности не всегда имевшимся в распоряжении — источникам: сырью и тщательно защищаемой информации. Программы по созданию биологического и химического оружия также требовали масштабной деятельности.

Технологии XXI века — генетика, нанотехнология и робототехника (GNR-технологии) — настолько мощны, что могут вызвать новые разновидности катастроф и злоупотреблений. В первую очередь опасность представляет доступность этих технологий отдельным лицам или небольшим группам. Им не потребуется много оборудования или редкое сырье. Одно лишь знание сделает возможным использование этих технологий.

Таким образом, мы получаем возможность создавать не просто оружие массового уничтожения, а формулировать знание, позволяющее производить массовое уничтожение. Его разрушительная сила будет значительно усилена способностью самовоспроизводства.

Думаю, не будет преувеличением сказать, что мы находимся на пике дальнейшего усовершенствования предельного зла — зла, возможности которого выходят далеко за пределы оружия массового уничтожения, находящегося в распоряжении государств-наций, и могут привести к непредсказуемому и ужасному могуществу отдельных экстремистов.

Моя работа с компьютерами никогда не наводила меня на мысль о том, что мне придется столкнуться с подобными проблемами.

С самого начала моей жизнью руководила потребность задавать вопросы и находить на них ответы. В возрасте трех лет я уже умел читать, поэтому отец отвел меня в начальную школу. Меня усадили на колени к директору, и я прочел ему какой-то текст. В школу я пошел рано, потом стал «перепрыгивать» через классы и с головой уходил в книги: мною двигало невероятное желание познавать. Я задавал много вопросов и нередко сбивал взрослых с толку.

Подростком меня очень интересовала наука и технология. Я хотел стать радиолюбителем, но у меня не было денег для покупки необходимого оборудования. Для той поры радиолюбительство было подобно Интернету: на него быстро «подсаживались», и в то же время это было одинокое занятие. Помимо финансовых трудностей, моему намерению помешала твердая позиция моей матери. Она решила, что я ни за что не буду радиолюбителем. Я и без того был достаточно замкнут.

Может, у меня и не было много близких друзей, зато меня переполняли идеи. К началу средней школы я открыл для себя великих авторов научно-фантастических произведений. Особенно мне запомнились такие произведения, как «Будет скафандр — будут и путешествия» Хайнлайна и «Я, робот» Азимова, где были сформулированы три закона робототехники. Я был очарован описаниями космических путешествий, и мне хотелось иметь телескоп для того, чтобы смотреть на звезды. Поскольку у меня не было денег на покупку телескопа или его сборку, вместо этого я стал искать в библиотеке книги по конструированию телескопов и штудировать их. Я парил в своем воображении.

По четвергам вечером родители уходили играть в боулинг, и мы, дети, оставались дома одни. В один из таких вечеров я посмотрел оригинальную версию «Звездного пути» Джина Родденберри. Эта программа произвела на меня неизгладимое впечатление. Я согласился с ее идеей о том, что у человечества есть будущее в космосе, на манер вестернов — с великими героями и приключениями. Представление Родденберри о будущих столетиях было наполнено твердыми моральными ценностями, выраженными в таких закодированных посланиях, как «главная директива» — не вмешиваться в судьбу цивилизаций с менее развитой технологией. Это намерение казалось мне необычайно привлекательным, потому что получалось, что будущее будут определять люди с определенными духовными ориентирами, а вовсе не роботы. Так что мечта Родденберри стала и моей.

Учась в средней школе, я преуспел в математике, а поступив в Мичиганский университет на инженерный факультет, я записался на продвинутый курс высшей математики. Решение математических задачек было захватывающим испытанием для меня. Однако когда я открыл для себя компьютеры, то нашел нечто более интересное — машину, в которую можно было заложить программу. И уже программа пыталась решить задачу, после чего машина быстро проверяла решение. У компьютера было четкое понимание правильного и неправильного, истинного и ложного. Были ли мои идеи верными? Машина могла бы ответить на этот вопрос. Это было очень соблазнительно.

Мне повезло, и я получил работу, связанную с программированием первых суперкомпьютеров, и открыл поразительную способность больших машин к числовому моделированию сложных систем. Когда в середине 1970-х я поступил в аспирантуру Калифорнийского университета в Беркли, я начал поздно ложиться спать и часто просиживал всю ночь, изобретая новые миры внутри машин. Решая задачи. Сочиняя программы, которые так и напрашивались на то, чтобы их написали.

В биографическом романе о Микеланджело «Муки и радости», принадлежащем перу Ирвинга Стоуна, автор очень ярко описал, как Микеланджело высекал свои статуи из камня, «разбивая чары мрамора», следуя за образами, которые были у него в уме.[186] В мои самые экстатические моменты программа возникала на компьютере так же, как статуя под рукой Микеланджело. Однажды мне показалось, будто я ощущаю, что программа уже в машине и ждет, чтобы ее выпустили на волю. Бессонные ночи казались малой ценой, которую надо было заплатить для освобождения программы — для того, чтобы придать идеям конкретную форму.

Стоун так описывает протекание творческого процесса у Микеланджело: «Он работал не на основе набросков или глиняных моделей; они все отставлялись в сторону. Он высекал скульптуру по образу, который был у него в голове. Его глаза и руки знали, где должна пройти каждая линия, каждый изгиб и возникнуть масса и на какой глубине в сердце камня нужно высекать барельеф» (Stone, p. 144).

После нескольких лет обучения в Беркли я стал отсылать некоторые написанные мною программы — учебную систему для Паскаль, утилиты для UNIX и текстовый редактор под названием «vi» (который, к моему вящему удивлению, все еще используется, хотя с момента его создания прошло больше двадцати лет) — другим людям, у которых были похожие на мой небольшие миникомпьютеры PDP-11 и VAX. Эти достижения в области программного обеспечения в конечном итоге привели к созданию в Беркли своей версии операционной системы UNIX, ставшей личным «успешным бедствием»: так много людей жаждало ее, что я рисковал никогда не закончить свою докторскую. Вместо этого я получил работу в DARPA,[187] отладив берклийскую версию системы UNIX для работы с Интернетом и сделав так, чтобы она заслуживала доверия и хорошо поддерживала большие исследовательские приложения. Все это доставило мне немало удовольствия и было по достоинству вознаграждено. И, честно говоря, роботы не встречались мне ни там, ни где бы то ни было поблизости.

И все-таки к началу 1980-х годов я находился в кризисе. Релизы UNIX были очень успешными, и вскоре мой небольшой проект получил деньги и кое-какой персонал. Однако в Беркли всегда было больше проблем с офисным пространством, чем с финансированием. У них не нашлось вспомогательного помещения, необходимого для реализации проекта. Так что, когда на горизонте появились другие учредители будущей Sun Microsystems, я не упустил этот шанс. Благодаря долгим часам работы в Sun рождались первые рабочие станции и персональные компьютеры. Я наслаждался тем, что принимал участи в разработке технологий, позволяющих создавать усовершенствованные микропроцессоры, и таких Интернет-технологий, как Java и Jini.

Надеюсь, что благодаря всему вышесказанному понятно, что я не луддит. Скорее, наоборот. Я всегда верил в ценность научно-исследовательского поиска, стремящегося к истине, и в способность великих инженерных разработок способствовать материальному прогрессу. Промышленный переворот неизмеримо улучшил повседневную жизнь людей за последнюю пару столетий, и я всегда ожидал, что моя собственная карьера будет связана с выработкой результативных решений реальных проблем.

И я не был разочарован. Моя работа оказалась даже более плодотворной, чем я когда-либо мог надеяться, и ее результаты использовались гораздо шире, чем я мог объективно ожидать. Последние двадцать лет я потратил на поиск способа, при помощи которого можно сделать компьютеры настолько надежными, насколько мне это необходимо (пока они еще не совсем соответствуют этому представлению). Кроме того, я пытался сделать их простыми в использовании (здесь я добился еще меньшего успеха). Несмотря на некоторый прогресс, проблемы, остающиеся на повестке дня, кажутся еще более устрашающими.

Но хотя я и осознавал моральные дилеммы, связанные с последствиями использования технологии в таких областях, как разработка вооружения, я не ожидал, что столкнусь с теми же затруднениями в области своих исследований. Или, по крайней мере, столкнусь так скоро.

Пожалуй, всегда трудно разглядеть отдаленные последствия, когда ты находишься в самом вихре перемен. Неспособность осознать последствия наших изобретений, пока мы пребываем в восторге от своих открытий и новаторских разработок, похоже, является обычной ошибкой ученых и технологов; нас так долго подталкивало всеохватное желание познать природу, что у нас не оставалось времени заметить, как технологический прогресс начал жить своей собственной жизнью.

Мне потребовалось немало времени на осознание того, что крупные прорывы в области информационных технологий происходят не благодаря работе специалистов по вычислительной технике, разработчиков архитектуры вычислительных машин или электротехников, а благодаря труду физиков. Физики Стивен Уол-фрам и Бросл Хасслакер познакомили меня в начале 1980-х с теорией хаоса и нелинейными системами. В 1990-х из разговоров с Дэнни Хиллисом, биологом Стюартом Кауффманом, лауреатом Нобелевской премии физиком Мюрреем Гелл-Манном и другими я узнал о сложных системах. Совсем недавно Хасслакер вместе с электротехником и физиком-экспериментатором Марком Ридом просветили меня насчет невероятных возможностей молекулярной электроники.

В ходе моей собственной работы в качестве соразработчи-ка архитектуры трех микропроцессоров — SPARC, picoJava и MAJC — и разработчика нескольких реализаций на их основе мне представилась возможность основательно и непосредственно познакомиться с законом Мура. Целыми десятилетиями закон Мура верно предсказывал экспоненциальное ускорение, с которым совершенствовалась полупроводниковая технология. Вплоть до последнего года я считал, что скорость прогрессивных достижений, предсказанная законом Мура, будет держаться примерно лишь до 2010 года, когда мы начнем наталкиваться на физические ограничения. Для меня было вовсе не очевидно, что для поддержания беспрепятственного развития прогресса появится новая технология и произойдет это вовремя.

Однако благодаря быстрому и радикальному прогрессу в молекулярной электронике, достигнутому в последнее время — когда напыленные при помощи литографии транзисторы были заменены отдельными атомами и молекулами, — и связанными с молекулярной электроникой нанотехнологиями мы должны суметь покрыть или превысить предсказанный законом Мура уровень прогресса за следующие тридцать лет. Весьма вероятно, что к 2030 году мы сможем в большом количестве создавать машины, мощность которых будет превышать мощность сегодняшних компьютеров в миллион раз. Этого будет достаточно, чтобы воплотить грезы Курцвейля и Моравека в жизнь.

Если эти огромные вычислительные возможности совместить с достижениями в разработке методов манипуляции в физических науках, а также с новыми глубокими открытиями в области генетики, чудовищный импульс, направленный на тотальную трансформацию, будет неудержим. Это сочетание открывает возможность полной переделки мира в хорошую или плохую сторону: человек скоро приложит руку к процессам воспроизводства и эволюции, которые раньше ограничивались пределами естественного мира.

Когда я разрабатывал программное обеспечение и микропроцессоры, у меня никогда не было чувства, будто я создаю разумную машину. Софт и хардвер настолько хрупки, а возможности машины, позволяющие ей «думать», с такой очевидностью отсутствуют, что возможность появления разумной машины всегда казалась мне делом очень далекого будущего.

Но теперь с учетом перспективы достижения колоссальных вычислительных мощностей лет за тридцать сама собой напрашивается новая идея: возможно, я работаю над созданием инструментов, которые позволят разработать технологию, способную заменить наш вид. И как я себя чувствую при этой мысли? Мне очень неуютно. При том, что всю свою карьеру я боролся за создание надежных систем программного обеспечения, мне кажется, что вероятнее всего будущее будет не настолько радужным, как кое-кто может себе представлять. Мой личный опыт подсказывает мне, что мы склонны переоценивать свои способности контролировать новые технологии.

Заполучив в свое распоряжение невероятные возможности новых технологий, не должны ли мы задаться вопросом о том, как нам лучше всего сосуществовать с ними? И если наше исчезновение с лица земли является вероятным или даже возможным итогом развития наших технологий, разве нам не следует двигаться вперед с большей осторожностью?

Мечта о роботах в первую очередь подразумевает, что разумные машины смогут делать за нас всю работу, освободив все наше время для досуга и вернув нас в Эдем. В то же время, излагая историю подобных идей в работе «Дарвин среди машин», Джордж Дайсон предупреждает: «В игре жизни и эволюции принимают участие три игрока: люди, природа и машины. Я твердо стою на позиции природы. Однако я подозреваю, что природа занимает сторону машин». Как мы видели выше, с этим согласен и Моравек, полагающий, что мы можем и не пережить встречу с видом роботов, превосходящих нас.

Как скоро можно было бы создать разумного робота? Судя по всему, надвигающиеся прорывы в области вычислительных технологий позволяют сделать это к 2030 году. А от разумного робота остается всего лишь маленький шаг до создания самостоятельного вида роботов, то есть разумных роботов, способных воспроизводить самих себя.

Вторая мечта робототехники предполагает, что мы постепенно заменим самих себя своей роботизированной технологией, достигнув почти бессмертия при помощи загрузки своего сознания в машину; именно к этому процессу, по мнению Дэнни Хиллиса, мы с течением времени привыкнем, и именно этот процесс со вкусом описывает Рей Курцвейль в книге «Эпоха одухотворенных машин».[188]

Но если мы загрузимся в нашу технологию, сколько остается шансов того, что мы останемся после этого сами собой или даже людьми? Куда вероятнее, как мне кажется, что роботизированное существование не будет похоже на человеческое бытие в любом нашем понимании, что роботы ни в каком отношении не будут нашими детьми, что на этом пути мы можем утратить нашу человеческую природу.

Генная инженерия обещает настоящую революцию в сельском хозяйстве: увеличить урожаи и сократить использование пестицидов; вывести десятки тысяч новых видов бактерий, растений, вирусов и животных; заменить воспроизводство или дополнить его клонированием; придумать способы лечения многих заболеваний; увеличить продолжительность жизни и ее качество и многое, многое другое. Сейчас мы знаем наверняка, что эти кардинальные перемены в биологических науках неизбежны, и они бросят вызов всем нашим представлениям о жизни.

Такие технологии, как клонирование людей, особенно заставляют нас задуматься о серьезных морально-этических проблемах, с которыми мы сталкиваемся. Например, если бы мы создали на основе самих себя несколько отдельных и неравных видов, воспользовавшись возможностями генной инженерии, тем самым мы поставили бы под угрозу само понимание равенства, которое является краеугольным камнем нашей демократии.

Если принять во внимание невероятные возможности генной инженерии, тогда можно не удивляться тому, что ее применение ставит перед нами важные вопросы безопасности. Недавно мой друг Эмори Ловинс совместно с Хантером Ловинсом написал редакционную статью. В этой статье отдельные из опасных последствий использования генной инженерии рассматриваются с точки зрения экологии. Авторов статьи в том числе тревожит, что «новая ботаника оценивает развитие растений по их экономическому, а не эволюционному успеху».[189] На протяжении долгого времени Эмори занимался изучением эффективности использования энергии и ресурсов, используя системный подход к созданным человеком системам. Этот подход часто помогает находить простые и разумные решения проблем, которые кажутся трудными, и он с пользой применяется и в этой области.

Ознакомившись со статьей Ловинса, я увидел в New York Times статью Грегга Истербрука о генетически улучшенных продуктах под заголовком «Пища будущего: когда-нибудь в рисе будет содержаться витамин А. Если луддиты не победят».

Принадлежат ли Эмори и Хантер Ловинс к луддитам? Конечно нет. Я считаю, что мы все согласились бы с тем, что золотой рис, содержащий витамин А, — это, пожалуй, хорошая штука, если этот рис выводить с надлежащей осторожностью и с учетом возможных опасных последствий, связанных с переносом генов за пределы конкретных видов.

Понимание опасностей, неотъемлемо присущих генной инженерии, начинает возрастать, как сказано в статье Ловинсов. Общественность осознает их и тревожится по поводу генетически улучшенных продуктов. Судя по всему, люди отвергают идею о том, что можно выпускать подобные продукты без соответствующей маркировки.

Однако генная инженерия успела уйти далеко вперед. Как отмечают Ловинсы, Министерство сельского хозяйства США уже одобрило неограниченное производство около пятидесяти генетически улучшенных сортов зерновых. В наше время более половины мирового урожая соевых бобов и треть кукурузы содержат гены, внедренные из других форм жизни.

Хотя здесь существует еще много важных проблем, мой собственный интерес к генной инженерии более узок: генная инженерия волнует меня потому, что она дает возможность — это может быть военная разработка, случайность или намеренный террористический акт — создать «белую чуму».

Многие чудеса нанотехнологии впервые описал в своем выступлении 1959 года нобелевский лауреат, физик Ричард Фейн-ман. Впоследствии текст его выступления был опубликован под заголовком «На дне есть много места». В середине 1980-х на меня оказала огромное впечатление книга Эрика Дрекслера «Машины созидания», в которой он прекрасно описал, как манипулирование материей на атомном уровне может создать утопическое будущее всеобщего изобилия. В таком обществе все производится задешево, и почти со всеми болезнями, которые только можно вообразить, или физическими проблемами справляются при помощи нанотехнологии и искусственных интеллектов.

В следующей книге под названием «Раздвигая пределы будущего: Нанотехнологическая революция» (здесь Дрекслер выступил в качестве соавтора) описываются отдельные изменения, которые могут произойти в мире, где мы будем располагать молекулярными ассемблерами.[190] Ассемблеры позволили бы нам получать невероятно дешевую солнечную энергию, лечить рак и простуду, стимулируя иммунную систему человека, существенным образом помочь очистить окружающую среду от загрязнения, производить потрясающе недорогие карманные суперкомпьютеры — на самом деле ассемблеры производили бы любой продукт по цене не больше, чем цена изделий из дерева. Космические полеты стали бы доступнее сегодняшних трансокеанских путешествий. Можно было бы возродить исчезнувшие биологические виды.

Я помню, что после прочтения «Машин созидания» я хорошо относился к нанотехнологи. Как технологу она давала мне ощущение спокойствия. Другими словами, нанотехнология показывала нам, что немыслимый прогресс возможен и, наверное, неизбежен. Раз нанотехнология была нашим будущим, я не чувствовал особого давления со стороны многочисленных проблем, требующих решения в настоящем. Я бы добрался до утопичного будущего Дрекслера в свое время. Возможно, я наслаждался жизнью больше, живя здесь и сейчас. С учетом таких представлений о будущем было бессмысленно не спать ночами.

Кроме того, взгляд Дрекслера на будущее позволил мне изрядно повеселиться. Время от времени я принимался разрисовывать чудеса нанотехнологии другим, кто еще не слышал о них. Подразнив их всеми диковинными вещами, описанными Дрекс-лером, я давал слушателям свое собственное домашнее задание: «Используйте нанотехнологию для создания вампира; в качестве дополнительного задания изобретите противоядие против него».

Все эти чудесные достижения несли с собой и явные опасности. Я остро осознавал их. Как сказал я на конференции по нанотехнологии в 1989 году: «Мы не можем просто заниматься своей наукой и не беспокоиться об этических проблемах».[191] Однако мои последующие беседы с физиками убедили меня в том, что нанотехнология может не заработать — или, по крайней мере, в рабочее состояние она придет нескоро. Вскоре после конференции я поехал в Колорадо, в «норку скунса»,[192] которую сам же основал. Мое внимание переключилось с программного обеспечения на Интернет. Особенно меня занимали идеи, впоследствии воплотившиеся в таких продуктах, как Java и Jini.

А потом, прошлым летом, Бросл Хасслакер сообщил мне, что молекулярная электроника наноуровня перешла в практическую плоскость. Это была настоящая новость, по крайней мере лично для меня и, как мне думается, для многих людей. Она радикально изменило мое мнение о нанотехнологии и заставила обратиться к «Машинам созидания». Перечитывая книгу Дрекслера спустя более десяти лет, я был потрясен, поняв, насколько мало я запомнил из длинной главы под названием «Опасности и надежды», где обсуждалась возможность того, что нанотехнологии могут стать «машинами разрушения». И действительно — когда я перечитываю эти предостерегающие строки сегодня, я испытываю потрясение, осознавая, насколько наивными кажутся некоторые меры предосторожности, предложенные Дрекслером, и насколько серьезнее, на мой взгляд, эта опасность сегодня, чем даже по оценкам Дрекслера. (Предвидев и описав многие технические и политические проблемы, касающиеся нанотехнологии, в конце 1980-х Дрекслер начал работать в Институте Форсайта, чтобы «помочь подготовить общество к спрогнозированным передовым технологиям» — самое главное, к нанотехнологии.)

Похоже, весьма вероятно, что несущий с собой многие возможности прорыв к ассемблерам произойдет в течение следующих двадцати лет. Следует ожидать быстрое развитие молекулярной электроники — нового раздела нанотехнологии, где отдельные молекулы являются элементами схемы. За это десятилетие молекулярная электроника станет чрезвычайно прибыльной отраслью, что вызовет увеличение инвестиций во всю сферу нанотехнологии.

К сожалению, как и в случае с ядерной технологией, куда легче изобретать деструктивные способы применения нанотехнологии, чем конструктивные. Очевидно, что нанотехнологию можно использовать в военных и террористических целях; чтобы запустить нанотехнологическое устройство массового уничтожения, не надо идти на самоубийство. Можно сделать так, чтобы подобные устройства работали избирательно, поражая, к примеру, лишь определенную географическую территорию либо группу людей с определенным набором генов.

Непосредственный результат фаустовской сделки по обретению могущества через нанотехнологию состоит в возникновении серьезнейшей опасности — риска того, что мы можем уничтожить биосферу, от которой зависит жизнь на планете. Как объяснял Дрекслер:

«Растения» с «листьями», чья эффективность не превышает сегодняшние солнечные элементы, могли бы вытеснить настоящие растения, заполонив биосферу немыслимой листвой. Буйные всеядные «бактерии» могли бы вытеснить настоящих бактерий: они могли бы распространяться как разносимая ветром пыльца, стремительно размножаться и превратить биосферу в пыль за считанные дни. Опасные репликаторы тоже могли бы с легкостью оказаться непокорными, небольшими и быстро распространяющимися, и их будет невозможно остановить — по крайней мере, если мы не подготовимся должным образом. У нас и без того немало проблем со сдерживанием вирусов и плодовых мушек.

Среди знатоков нанотехнологии эта угроза приобрела название «проблема серой слизи». Хотя массы неконтролируемых репликаторов не обязательно могут оказаться серыми или липкими, термин «серая слизь» подчеркивает, что репликаторы, способные уничтожить жизнь, могут оказаться менее приятными, чем обыкновенные сорняки. Они могут стоять выше по эволюционной лестнице, но это не обязательно делает их ценными.

Угроза «серой слизи» четко говорит об одном: мы не можем допустить, чтобы с воспроизводящимися ассемблерами происходили катастрофы.

«Серая слизь» была бы, без сомнения, угнетающим завершением нашей человеческой истории на Земле. Это было бы гораздо хуже простого огня или льда или чего-нибудь такого, что может произойти в результате обычной аварии в лаборатории.[193] Мдаа!..

Именно сила деструктивного воспроизводства, кроющаяся в генетике, нанотехнологии и робототехнике, заставляет нас делать перерыв. Самовоспроизводство — это образ действия генной инженерии, которая использует клеточную структуру для воспроизводства облика клетки. Именно самовоспроизводство представляет собой главную опасность, лежащую в основе угрозы «серой слизи» в нанотехнологии. Истории об обезумевших роботах наподобие Борга, размножающихся либо мутирующих для того, чтобы выйти из-под ограничений, заложенных в них их создателями, заняли прочное место в наших научно-фантастических книгах и фильмах. Может даже статься так, что самовоспроизводство — более фундаментальный процесс, чем мы думаем. Следовательно, его труднее — или даже невозможно — контролировать. В недавней статье Стюарта Кауффмана «Самовоспроизводство: Даже пептиды делают это», опубликованной в журнале Nature, обсуждается следующее открытие: оказывается, состоящий из 32 аминокислот пептид способен «автокатализировать свой собственный синтез». Мы не знаем, насколько распространена такая способность, однако Кауффман отмечает, что это может намекать на «путь к самовоспроизводящимся молекулярным системам на основе гораздо более широкой, чем парные основания нуклеиновых кислот по принципу комплементарности Уотсона-Крика».[194]

На самом деле мы уже давно располагаем не вызывающими сомнений предупреждениями об опасностях, которые таятся в широком распространении знания о GNR-технологиях. Нам также известно о возможности такого знания в одиночку спровоцировать массовое уничтожение. Однако эти предупреждения не были широко опубликованы, так что публичное обсуждение этой проблемы явно не соответствовало действительному положению дел. Публиковать предупреждения о грозящих опасностях — дело невыгодное.

NBC-технологии, использовавшиеся в оружии массового уничтожения в XX веке, были и остаются, в основном, военными и разрабатываемыми в правительственных лабораториях. GNR-тех-нологии XXI века резко отличаются от своих предшественниц: их явно можно использовать в коммерческих целях, и за редким исключением они разрабатываются в различных частных корпорациях. В наш век триумфальной коммерциализации технология — вместе со своей служанкой наукой — обеспечивает нас чередою почти волшебных изобретений, обладающих феноменальной эффективностью. Мы активно добиваемся осуществления обещаний, заявленных этими новаторскими технологиями, в рамках теперь уже не вызывающей возражений системы глобального капитализма, его разнообразных экономических стимулов и давления конкуренции.

Впервые в истории нашей планеты настал такой момент, когда в результате собственных сознательных действий наш вид начинает представлять опасность для самого себя — равно как и для огромного количества других видов.

Знакомая последовательность событий может разворачиваться во многих мирах: новая планета безмятежно вращается вокруг своей звезды; на ней начинает медленно формироваться жизнь; раскручивается калейдоскопическая процессия, состоящая из многообразных живых существ; возникает интеллект, который, по крайней мере, до самого последнего времени обладал огромной ценностью для выживания; а потом на планете изобретают технологию. Их осеняет, что есть такая вещь, как законы Природы, что эти законы можно открыть при помощи эксперимента и что знание этих законов может как спасать, так и отнимать жизни, причем в беспрецедентных масштабах. Они осознают, что наука дает огромные возможности. В мгновение ока они создают приспособления, способные изменить мир. Некоторые существующие на планете цивилизации видят, что это движение напролом, накладывают ограничения на то, что можно делать и что категорически нельзя, и благополучно переживают это опасное время. Другие, не настолько удачливые или не настолько осторожные, погибают.

Это написал Карл Саган в книге «Бледная голубая точка» (1994). В книге представлен его взгляд на будущее человечества. Я лишь сейчас начинаю понимать, насколько глубоки оказались его прозрения и насколько меня мучает то, что я больше никогда не услышу этот голос. При всем его красноречии голос Сагана всего лишь голос обычного здравого смысла — этого качества, как и умеренности, похоже, недостает ведущим апологетам технологий XXI века.

Я помню, когда был маленьким, моя бабушка была настроена резко против злоупотребления антибиотиками. Еще до Первой мировой войны бабушка начала работать медсестрой, и здравый смысл подсказывал ей, что прием антибиотиков, пока он не стал абсолютной необходимостью, может повредить.

Не то что бы она была врагом прогресса. За свою почти семидесятилетнюю карьеру медсестры она повидала немало достижений прогресса; мой страдавший диабетом дед много выиграл от усовершенствованных методов лечения этой болезни, которое стало возможным уже на его веку. Но бабушка, как многие рассудительные люди, наверное, подумала бы, что сейчас мы поступаем очень самоуверенно, разрабатывая роботизированные «виды-заменители», когда очевидно, что мы не вполне справляемся и с относительно более простыми вещами. И не меньше усилий у нас уходит на то, чтобы справляться с самими собой, — или даже на понимание самих себя.

Теперь я знаю, что она чувствовала суть жизненного порядка и ощущала необходимость жить с уважением к этому порядку. С этим уважением приходит и необходимая умеренность, которой нам с нашей наглостью начала XXI века, не хватает — нам на беду. Основанный на этом уважении здравомыслящий взгляд на вещи нередко оказывается верным и обгоняет научные доказательства. Очевидная хрупкость и различная неэффективность созданных человеком систем должны заставить нас сделать паузу; хрупкость систем, над которыми я работаю, несомненно сдерживает меня.

Нам следовало бы выучить урок, полученный в результате создания первой атомной бомбы и последовавшей за этим гонки вооружений. Мы не очень-то хорошо усвоили его, и его сходство с нашей теперешней ситуацией вызывает беспокойство.

Разработкой первой атомной бомбой руководил выдающийся физик Дж. Роберт Оппенгеймер. Естественно, Оппенгеймера не интересовала политика, однако он начал болезненно осознавать, по его мнению, серьезную угрозу западной цивилизации со стороны Третьего рейха, угрозу действительно нешуточную из-за возможности попадания ядерного оружия в руки Гитлера. Побуждаемый этим опасением, Оппенгеймер приехал в Лос-Аламос, отдав в распоряжение союзников весь свой мощный интеллект, страсть к физике и харизматические качества руководителя. Он возглавил осуществленную в кратчайший срок программу исследований, в которой приняли участие величайшие умы современности, и добился быстрого создания бомбы.

Поражает то, насколько естественно продолжились эти исследования после того, как первоначальный их стимул исчез. Вскоре после победы в Европе у Оппенгеимера состоялась встреча с несколькими физиками, полагавшими, что, возможно, эти исследования следует прекратить, но Оппенгеймер доказал необходимость их продолжения. Его доводы могут показаться несколько странными: разработки по созданию ядерной бомбы нужно продолжать не из-за опасности крупных военных потерь при высадке в Японии, а потому, что Организации Объединенных Наций, которая в то время создавалась, следует учитывать возможности атомного оружия. Более вероятный аргумент в пользу продолжения проекта представлял накопленный к тому моменту движущий импульс исследований: первое атомное испытание, «Тринити», вот-вот должно было состояться.

Известно, что первое атомное испытание физики продолжали готовить, несмотря на существование множества потенциальных опасностей. Изначально их беспокоило то, что результатом атомного взрыва могло стать воспламенение атмосферы. Это показывали расчеты Эдварда Теллера. Новые, исправленные, вычисления свели риск уничтожения мира к вероятности три из миллиона. (По словам Теллера, позже он смог вообще отбросить вероятность поджога атмосферы.) Оппенгеймер очень волновался за результаты «Тринити» и поэтому договорился насчет возможной эвакуации населения юго-западной части штата Нью-Мексико. И, разумеется, существовала несомненная опасность развязывания гонки ядерных вооружений.

Не прошло и месяца после первого успешно завершившегося испытания, как две атомные бомбы камня на камне не оставили от Хиросимы и Нагасаки. Некоторые ученые предполагали, что бомба предназначалась просто для демонстрации силы, а не для бомбардировки японских городов, указывая на то, что этот шаг мог бы существенно повысить шансы установления контроля над вооружениями после войны. Однако это ни к чему не привело. Трагедия Пёрл-Харбора была все еще свежа в памяти американцев, и поэтому президенту Трумэну было бы чрезвычайно трудно приказать провести всего лишь демонстрацию нового оружия, а не использовать его так, как это было сделано: желание быстро покончить с войной и спасти жизни людей, которые могли бы погибнуть при любом варианте войны с Японией, оказалось сильнее. Однако не исключено, что на самом деле все было гораздо проще. Как впоследствии признался физик Фримен Дайсон: «Причина того, что она была сброшена, заключалась на самом деле в том, что ни у кого недостало ни мужества, ни дальновидности для того, чтобы сказать "нет"».

Важна понять, насколько были шокированы физики последствиями бомбардировки Хиросимы 6 августа 1945 года. По их собственным словам, они переживали самые разные эмоции: сначала они ощутили удовлетворение от того, что бомба сработала; потом их охватил ужас при мысли о том, что все люди на месте взрыва погибли; затем у них появилась уверенность в том, что ни в коем случае нельзя сбрасывать вторую бомбу. Но вторая бомба все же была сброшена — на Нагасаки, всего лишь спустя три дня после бомбардировки Хиросимы.

В ноябре 1945 года, когда прошло три месяца после ядерной бомбардировки двух японских городов, Оппенгеймер по-прежнему занимал твердую научную позицию, утверждая следующее: «Невозможно быть ученым, если вы не будете считать, что знание о Вселенной и могущество, которое это знание дает, — это нечто, обладающее существенной ценностью для человечества, и что вы будете всячески распространять это знание и готовы нести ответственность за последствия».

Вместе с другими учеными Оппенгеймер продолжил работать над докладом Ачесона-Лилиенталя, в котором, как пишет в своей последней книге «Видение технологии» Ричард Роде, «был найден способ предотвратить секретную гонку ядерных вооружений без обращения за помощью к вооруженному всемирному правительству». Доклад предлагал отказаться от разработок ядерного оружия в отдельных государствах в пользу международного агентства.

Из этого предложения родился план Баруха, который в июне 1946 года был поддержан ООН. Однако этот план так никогда и не был принят (возможно, потому, что, как предполагает Роде, Бернард Барух «настаивал на обременении плана договорными санкциями» и тем самым обрек его на неизбежную гибель, хотя «почти наверняка он и без того был бы отвергнут сталинистской Россией»). Другие попытки совершить ощутимые шаги к интернационализации ядерного потенциала с целью предотвращения гонки вооружений наталкивались либо на американских политиков и внутреннее недоверие, либо на недоверие со стороны Советов. Возможность избежать гонки вооружений была утрачена, причем довольно быстро.

Два года спустя, в 1948 году, судя по всему, Оппенгеймер стал думать по-другому: «В каком-то грубом смысле, который не могут полностью уничтожить ни вульгарность, ни юмор, ни преувеличение, физики познали грех; и от этого знания они уже не смогут избавиться».

В 1949 году Советы взорвали свою атомную бомбу. К 1955 году и Соединенные Штаты, и Советский Союз провели испытания водородной бомбы, которую можно было доставить к месту взрыва самолетом. Так началась гонка ядерных вооружений.

Почти двадцать лет назад в документальном фильме «День после "Тринити"» Фримен Дайсон суммировал научные позиции, которые подвели нас к ядерной пропасти:

«Я сам это почувствовал. Яркий блеск ядерного оружия. Перед этим блеском невозможно устоять, когда подходишь к ядерному оружию как ученый. Ощущать, что оно вот здесь, в твоих руках, освобождать его энергию, питающую звезды, позволить ей выполнить твой приказ. Совершить эти чудеса, поднять миллион тонн горной породы в небо. Это нечто такое, что вызывает у людей иллюзию безграничной власти, и в каком-то отношении это чувство ответственно за все наши неприятности: именно то, что можно назвать техническим высокомерием, овладевает людьми, когда они видят, чту они способны сделать при помощи своего разума».[195]

Как и тогда, сейчас мы являемся создателями новых технологий и вершителями судеб воображаемого будущего. На этот раз нами движут огромные финансовые интересы и глобальная конкуренция, и мы идем вперед, несмотря на явный риск и на то, что мы вряд ли понимаем, что это значит — жить в мире, представляющем собой практический результат того, что мы сейчас создаем и изобретаем.

В 1947 году на обложке The Bulletin of the Atomic Scientists начали печатать «Часы конца света». На циферблате этих часов была выведена оценка относительной ядерной опасности, с которой мы столкнулись, больше чем на пятьдесят лет вперед с учетом изменений международной обстановки. Стрелки часов передвигали пятнадцать раз. Сегодня они показывают без девяти минут полночь, отражая не исчезнувшую и реальную опасность, проистекающую от ядерного оружия. Недавнее пополнение перечня стран, обладающих ядерным оружием, за счет Индии и Пакистана повысило угрозу провала концепции нераспространения ядерного оружия. Эту опасность и отражают стрелки, в 1998 году приблизившиеся к полуночи.

Насколько велика грозящая нам опасность со стороны не только ядерного оружия, но и со стороны новых технологий в наше время? Насколько велик риск вымирания человечества?

Изучением этого вопроса занимался философ Джон Лесли. Он пришел к выводу, что риск исчезновения человечества составляет по крайней мере 30 %,[196] тогда как Рей Курцвейль полагает, что у нас есть «больше, чем даже шанс, справиться с этим», да еще и с той оговоркой, что «его всегда обвиняли в оптимизме». Эти оценки нельзя никак назвать ободряющими. Ко всему прочему, они не учитывают возможность множества иных ужасных последствий помимо окончательного вымирания.

Столкнувшись с подобными оценками, кое-кто из серьезных людей уже говорит о том, что нам нужно просто как можно быстрее осваивать внеземные просторы. Мы бы колонизировали галактику, используя автоматические зонды фон Неймана, которые перелетали бы из одной звездной системы в другую, самовоспроизводясь во время перелетов. Этот шаг станет почти необходимостью через пять миллиардов лет (или раньше, если наша солнечная система испытает катастрофические потрясения в результате неминуемого столкновения нашей галактики с галактикой Андромеды через три миллиарда лет). Но если мы поверим на слово Курцвейлю и Моравеку, то подобное мероприятие станет необходимостью в середине этого столетия.

Каковы его моральные последствия? Если мы будем должны быстро покинуть Землю, чтобы спастись как вид, кто будет нести ответственность за судьбу оставшихся на планете (как-никак, это будет большая часть человечества)? И даже если мы рассеемся по звездам, не может ли случиться так, что мы увезем свои проблемы с собой, чтобы впоследствии обнаружить, что они никуда не делись? Судьба нашего вида на Земле и наша галактическая судьба кажутся неразрывно связанными друг с другом.

Другая идея заключается в том, чтобы воздвигнуть систему барьеров, защищающих нас от каждой из опасных технологий. Стратегическая оборонная инициатива, предложенная администрацией Рейгана, была попыткой разработки такого рода заслона от угрозы ядерной атаки со стороны Советского Союза. Однако, как заметил Артур Кларк, привлеченный к обсуждению этого проекта: «Хотя сооружение местных оборонительных систем, которые пропустили бы "всего лишь" несколько процентов баллистических ракет, может, и станет возможным при капиталовложениях, широко разрекламированная идея о создании "национального зонтика" была чушью. Луис Альварес, пожалуй, величайший ученый нашего столетия в области экспериментальной физики, сказал мне, что защитники этих концепций были "очень способными парнями, абсолютно лишенными здравого смысла"».

«Всматриваясь в свой часто замутненный магический кристалл, — продолжал Кларк, — я думаю, что тотальная оборона может стать реальной возможностью через столетие или около того. Однако разрабатываемая технология будет производить в качестве побочных продуктов оружие настолько опасное, что никого уже не будет заботить такая мелочь, как баллистические ракеты».[197]

В «Машинах созидания» Эрик Дрекслер предложил создать активный нанотехнологический щит — нечто вроде иммунной системы для биосферы — для защиты от опасных всевозможных репликаторов, которые могут выбраться из лабораторий или созданы с каким-нибудь злым умыслом. Однако предложенный им щит будет представлять опасность сам по себе: ничто не сможет помешать ему вызвать сбой внутри иммунной системы и атаковать биосферу самостоятельно.[198]

Те же самые проблемы касаются и создания защитных средств от робототехники и генной инженерии. Данные технологии слишком мощны, чтобы от них можно было отгородиться в оставшееся для этого время; даже если бы существовала возможность ввести оборонительные средства в действие, их побочные эффекты стали бы представлять, по меньшей мере, такую же опасность, как те технологии, от которых мы пытаемся защититься.

Таким образом, все эти варианты являются или нежелательными, или невозможными, либо и тем, и другим вместе. Единственная реальная альтернатива, которую я вижу, — это ограничить разработки слишком опасных технологий путем ограничения нашего стремления к определенным видам знания.

Да, я знаю, что знание — это хорошо, и поиск новых истин — тоже. Мы ищем нового знания с древних времен. Аристотель начинает свою «Метафизику» с простого утверждения: «Все люди по своей натуре жаждут знания». На протяжении долгого времени мы соглашались с достоинствами открытого доступа к информации, потому что открытый доступ является основополагающей ценностью в нашем обществе. Мы признавали проблемы, связанные с попытками ограничения этого доступа и ограничения накопления новых знаний. В последнее время мы дошли до настоящего обожествления научного знания.

Однако если беспрепятственный доступ к информации и, следовательно, неограниченное познание ставит всех нас под угрозу исчезновения, элементарный здравый смысл требует, чтобы мы пересмотрели даже эти основные и существующие долгое время принципы, несмотря на отрицательные исторические прецеденты.

Именно Ницше предупреждал нас в конце XIX века не только о том, что Бог умер, но и о том, что «вера в науку, предстающая нынче неоспоримой, не могла произойти из такой калькуляции выгод — скорее вопреки ей, поскольку вере этой постоянно сопутствовали бесполезность и опасность "воли к истине", "истине любой ценой"».[199] Именно с этой неисчезающеи опасностью мы и столкнулись сейчас лоб в лоб — с последствиями наших поисков истины. Истину, поисками которой занята наука, можно, без сомнения, рассматривать как весьма опасную замену Бога, если существует вероятность того, что она приведет нас к вымиранию.

Если бы мы как вид могли договориться о том, чего мы хотим, куда идем и почему, мы сделали бы свое будущее гораздо менее опасным: тогда мы, возможно, поняли бы, от чего мы можем и должны отказаться. В противном случае мы можем с легкостью втянуться в гонку вооружений на основе GNR-технологий, как это произошло с NBC-технологиями в двадцатом столетии. Может быть, в этом заключена основная опасность, потому что если подобная гонка начнется, остановить ее будет очень сложно. На этот раз — в отличие от ситуации во время проекта «Манхэттен» — мы не находимся в состоянии войны с непримиримым врагом, угрожающим нашей цивилизации. Вместо этого нас подгоняют наши привычки, наши желания, наша экономическая система, наше любопытство и соревновательный азарт.

На мой взгляд, все мы хотим, чтобы направление нашего развития определялось нашими общими ценностями, этикой и моралью. Если бы мы накопили больше коллективной мудрости за последние несколько тысяч лет, тогда наш сегодняшний диалог протекал бы в более практической плоскости, а невероятные силы, которые мы вот-вот выпустим, как джинна из бутылки, не причиняли бы столько беспокойства.

Можно было бы допустить, что к подобному диалогу нас приведет инстинкт самосохранения. У отдельных индивидуумов этот инстинкт срабатывает, однако как биологический вид мы ведем себя, похоже, во вред самим себе. Имея дело с ядерной угрозой, мы часто вели нечестный диалог с самими собой и друг с другом и таким образом значительно повышали риск. То ли это было обусловлено политикой, то ли мы просто не думали о будущем, то ли, сталкиваясь с подобными серьезными угрозами, мы от страха действуем нерационально, — я не знаю. Только это не сулит нам ничего хорошего.

Новые ящики Пандоры, созданные генетикой, нанотехнологией и робототехникой, уже почти открыты, и все-таки, по-видимому, мы едва обратили на это внимание. Идеи нельзя запихать обратно в ящик; в отличие от урана или плутония их не нужно добывать и очищать, и их можно свободно копировать. Если однажды они появляются, то это навсегда. В своем знаменитом сомнительном комплименте Черчилль заметил, что американский народ и его вожди «всегда поступают правильно после того, как испробуют все другие альтернативы». Однако в этом случае мы должны действовать с большей предусмотрительностью, поскольку поступить правильно лишь в последней попытке может означать утрату шанса сделать это вовсе.

Как сказал Торо: «Это не мы ездим по железной дороге; это она ездит на нас». И вот против этого-то мы и должны бороться в наше время. Действительно, на повестку дня встает вопрос: кто будет хозяином? Переживем ли мы наши технологии?

Нас вталкивают в этот новый век без плана, без руля, без тормозов. Неужели мы зашли уже так далеко, что не можем изменить курс? Я так не считаю, но мы еще даже и не пытались это сделать, между тем как последняя возможность установить контроль — отказобезопасная точка — быстро приближается. У нас есть первые роботы, играющие роль домашних любимцев, плюс коммерчески доступные методы генной инженерии, а наши нанотехнологии вообще стремительно совершенствуются. Поскольку развитие этих технологий проходит через несколько стадий, совсем необязательно — как в проекте «Манхэттен» и испытании «Тринити», — что последняя стадия в апробировании технологии окажется затяжной и трудной. Прорыв к неограниченному самовоспроизводству в робототехнике, генной инженерии или нанотехнологии может произойти внезапно и удивить нас так же, как мы удивились, узнав о клонировании млекопитающего.

И все-таки я верю в то, что у нас есть основания надеяться. Наши попытки справиться с оружием массового уничтожения в прошедшем столетии обеспечивают яркий пример самоограничения, который нам следует принять во внимание: Соединенные Штаты в одностороннем порядке и без предварительных условий отказались от дальнейшей разработки биологического оружия.

К отказу от исследований в области биологического оружия американцев подтолкнуло осознание того, что вдобавок к огромным затратам, необходимым для создания этого ужасного оружия, может оказаться так, что его смогут без труда воспроизвести и оно попадет в руки неподконтрольных стран или террористических группировок.

Был сделан ясный вывод: стремясь разработать подобное оружие, мы можем создать дополнительные угрозы, а если мы откажемся от этой цели, то обеспечим себе более безопасную жизнь. Мы воплотили свой отказ от биологического и химического оружия в Конвенции о биологическом оружии 1972 года и в Конвенции о химическом оружии 1993 года.[200]

Что касается неисчезающей угрозы со стороны ядерного оружия, в условиях которой мы живем уже больше пятидесяти лет, недавнее отклонение американским сенатом Договора о запрещении комплексных испытаний ядерного оружия недвусмысленно дает понять, что отказ от ядерного оружия с политической точки зрения будет делом нелегким. Однако завершение «холодной войны» предоставляет нам уникальную возможность предотвратить многополюсную гонку вооружений. Основанная на вышеупомянутых Конвенциях успешная ликвидация ядерного оружия могла бы помочь нам приблизиться к отказу от опасных технологий. (На самом деле, избавившись ото всех, кроме примерно сотни ядерных вооружений по всему миру, а это приблизительно равняется всей разрушительной силе, примененной во Второй мировой войне, — что является куда более легкой задачей, — мы могли бы ликвидировать угрозу исчезновения.[201])

Контроль над соблюдением запрета будет представлять сложную, однако разрешимую проблему. К счастью, мы уже проделали значительную работу в рамках Конвенции о биологическом оружии и в рамках других договоров. Нашей главной задачей станет применение достигнутых результатов по отношению к технологиям, которые изначально обладают большим коммерческим, а не военным потенциалом. Здесь вырисовывается существенная потребность в прозрачности, поскольку сложности с контролем прямо пропорциональны трудностям различения между легальной и нелегальной деятельностью.

Я искренне верю, что ситуация в 1945 году была проще, чем та, с которой мы сталкиваемся сейчас: коммерческое и военное использование ядерных технологий было разумно отделено друг от друга, а мониторингу за ними способствовала сама природа атомных испытаний и легкость измерения радиоактивности. Исследование возможностей использования ядерных технологий в военных целях можно было проводить лишь в национальных лабораториях наподобие Лос-Аламоса, и результаты этих исследований сохранялись бы в секрете как можно дольше.

Коммерческое и военное использование GNR-технологий не имеет такого четкого разделения; учитывая тот потенциал, которым они обладают на рынке, сложно вообразить, что их будут разрабатывать исключительно в национальных лабораториях. С учетом широко распространенной коммерческой выгоды вынужденный запрет потребует введения режима контроля, схожего с тем, который был введен для биологического оружия, но только в беспрецедентном масштабе. Это неизбежно приведет к конфликтам между неприкосновенностью нашей частной жизни, стремлением к получению информации, являющейся собственностью фирмы, и необходимостью установления контроля для защиты человечества. Несомненно, мы встретимся с сильным сопротивлением этого ограничения личных свобод.

Наблюдение за реализацией запрета от определенных GNR-технологий должно проходить как в киберпространстве, так и в физическом мире. Решающее значение при этом приобретает обеспечение необходимой прозрачности, приемлемой для мира, в котором информация является собственностью. Возможно, для этого будут востребованы новые формы защиты интеллектуальной собственности.

Осуществление контроля также потребует того, чтобы ученые и инженеры приняли строгий кодекс этического поведения, напоминающий клятву Гиппократа, и чтобы они имели смелость в случае необходимости передавать информацию куда следует, даже если им это будет дорого стоить. Это стало бы ответом на призыв — спустя пятьдесят лет после Хиросимы — нобелевского лауреата Ганса Бете, одного из самых главных доживших до наших дней участников проекта «Манхэттен». Он призывал всех ученых к тому, чтобы «прекратить и воздерживаться от работы по созданию, разработке, улучшению и производству ядерного и другого оружия, обладающего потенциалом массового уничтожения».[202] В XXI веке для этого потребуется бдительность и личная ответственность от всех, кто работает как в области NBC-, так и в области GNR-технологий, чтобы избежать использования оружия массового уничтожения и распространения знаний, позволяющих массовое уничтожение.

Торо также говорил, что мы «богатеем прямо пропорционально количеству вещей, без которых мы можем обойтись». Каждый из нас стремится быть счастливым, но при этом, кажется, стоит задаться вопросом о том, нужно ли нам идти на такой огромный риск, грозящий полным уничтожением, чтобы получить еще больше знаний и вещей. Здравый смысл подсказывает, что наши материальные потребности все-таки ограничены какими-то пределами, и что определенное знание слишком опасно, и лучше бы совсем отказаться от него.

Точно так же мы не должны стремиться к практическому бессмертию, не подумав о том, чего нам будет это стоить, и не приняв во внимание связанное с ним возрастание угрозы вымирания. Бессмертие — это, конечно, основная, но не единственная осуществимая утопическая мечта.

Недавно мне удалось встретиться с известным автором и ученым Жаком Аттали. Его книга «Линии горизонтов» (в английском издании она называется «Миллениум») помогла приспособить отраженный в Java и Jini подход к наступающей эпохе распространяющихся повсюду компьютерных технологий. В своей новой книге «Братство» Аттали описывает, как наши представления об утопии изменились с течением времени: «На заре формирования общества люди считали свой земной путь не чем иным, как лабиринтом страданий, в конце которого находилась дверь, через которую после своей смерти человек попадал в компанию богов, и у него начиналась Вечная жизнь. Среди евреев, а потом и греков нашлось несколько людей, осмелившихся освободиться от теологических требований и создать мечту об идеальном Городе, где процветает Свобода. Другие, обращая внимание на развитие рыночного общества, поняли, что свобода одних приведет к отчуждению других, и поэтому искали Равенства».

Жак помог мне осознать, в каких конфликтных отношениях находятся эти три различные утопические цели в нашем современном обществе. Он описывает и четвертую утопию — Братство, основой которого является альтруизм. Лишь Братство связывает индивидуальное счастье со счастьем других, обещая самоподдержку.

Благодаря этим выводам мое отношение к грезам Курцвей-ля окончательно кристаллизовалась. Технологический подход к вечной жизни — практическому бессмертию при помощи робототехники — может оказаться не самой желательной утопией. Преследование этой цели чревато очевидными опасностями. Возможно, нам следует пересмотреть свои утопические приоритеты.

Где же мы можем отыскать новую этическую основу для нашего дальнейшего развития? Я пришел к выводу о том, что здесь очень могут помочь идеи, содержащиеся в книге Далай-ламы «Этика для нового тысячелетия». Как, наверное, всем хорошо известно, но мало кем востребовано, Далай-лама доказывает, что самое главное для нас — это жить с любовью и состраданием к другим людям. Он говорит и о том, что нашему обществу необходимо развивать более глубокое понимание всеобщей ответственности и взаимозависимости. Далай-лама предлагает образец положительного этического поведения для отдельного человека и для общества, который, похоже, совпадает с утопией Братства, описанной Аттали.

Далай-лама указывает на то, что мы должны понять, что делает людей счастливыми, и признать убедительные доказательства того, что ни материальный прогресс, ни стремление к силе знания не являются золотым ключиком к счастью, что возможности науки и научного поиска не безграничны.

По-видимому, представление о счастье Запад унаследовал от греков. Греки определяли счастье как «использование (упражнение) жизненных сил с целью их совершенствования, предоставляющего им полную свободу действий».[203]

Очевидно, мы нуждаемся в существовании важных сложных задач, бросающих нам вызов, и в широком просторе для деятельности, чтобы обрести счастье. Однако я считаю, что мы должны найти альтернативное приложение для своих творческих сил — за пределами культуры бесконечного экономического роста; этот рост во многом был настоящим благом на протяжении нескольких сотен лет, однако он не принес нам счастья, чистейшего, без обмана, и сейчас мы должны выбирать между стремлением к неограниченному и ненаправленному росту, обеспечиваемому наукой и технологией, и очевидными сопутствующими этому опасностями.

Прошло уже больше года с момента моей первой встречи с Реем Курцвейлем и Джоном Серлем. Голоса, призывающие к осторожности и ограничениям, дарят мне надежду. Повод надеяться дают мне и люди, с которыми я познакомился. Они не меньше меня обеспокоены нашим сегодняшним затруднительным положением. Я тоже испытываю обострившееся чувство личной ответственности — не за уже проделанную мною работу, а за то, что я мог бы еще сделать в науке.

Однако, похоже, многие другие люди, которым известно о существующих опасностях, по-прежнему хранят странное молчание. Если на них надавить, они огрызаются, что, мол, «ничего нового в этом нет», словно уже достаточно одного понимания того, что может случиться. Они говорят мне: «Есть университеты, набитые биоморалистами, изучающими эту фигню целыми днями». Они заявляют: «Обо всем этом уже писали, причем специалисты». Они выражают недовольство: «Причины для твоих тревог и твои аргументы уже давным-давно известны».

Я понятия не имею, где эти люди прячут свой страх. Как архитектор сложных систем я обсуждаю эти проблемы как дилетант. Однако разве мое беспокойство должно от этого уменьшиться? Я прекрасно сознаю, как много об этом писали, говорили и официально рассуждали. Но разве из этого следует, что эта информация дошла до людей? Разве это означает, что мы можем махнуть рукой на угрожающие нам опасности?

Опыт ученых-атомщиков ясно указывает на необходимость личной ответственности, на опасность того, что события будут развиваться слишком стремительно, причем их развитие может принять независимый характер. Вслед за ядерщиками мы можем создать неразрешимые проблемы в один момент. Мы должны больше думать о том, что будет дальше, если не собираемся быть точно так же удивлены и поражены последствиями наших изобретений.

Я продолжаю профессионально работать над улучшением надежности программного обеспечения. Программы — это инструмент, и как создатель инструментов я должен бороться с некоторыми способами использования изобретенных мною инструментов. Я всегда считал, что разработка более надежного и многопрофильного компьютерного обеспечения улучшит мир и сделает его более безопасным местом; если бы я думал совершенно иначе, я был бы морально обязан прекратить эту работу. Сейчас я уже могу представить себе, что когда-нибудь такой день может настать.

Все это заставляет меня не злиться, а, скорее, немного опечалиться. Так что для меня прогресс — это горько-сладкое слово.

Помните ли вы великолепную предпоследнюю сцену в «Манхэттене», где Вуди Аллен лежит на диване и записывает свою речь на магнитофон? Он говорит о людях, создающих лишнюю головную боль самим себе, потому что это отвлекает их от более трудных, устрашающих проблем, связанных со Вселенной.

Он приходит к вопросу о том, почему стоит жить, и перечисляет то, что придает смысл его собственной жизни: Граучо Маркс, Уилли Мейс, вторая часть 41-й симфонии Моцарта, «Потейто хед блюз» Луи Армстронга, шведское кино, «Воспитание чувств» Флобера, Марлон Брандо, Фрэнк Синатра, яблоки и груши у Сезанна, крабы в ресторанчике «У Сэма Во» и наконец заключительный номер — лицо его любимой девушки Трейси.

У каждого из нас есть свои дорогие сердцу вещи, и, заботясь о них, мы реализуем суть человеческой природы. В конечном счете, именно из-за нашей способности проявлять заботу о других я с оптимизмом думаю о том, как мы встретим опасности, встающие перед нами сейчас.

Я очень надеюсь принять участие в более широком обсуждении затронутых здесь вопросов. Мне бы хотелось, чтобы в нем участвовали люди с самым различным образованием и чтобы они не были заранее настроены против технологии или в ее пользу.

Для начала я дважды поднимал эти проблемы на конференциях, спонсором которых выступал Аспенский институт, и отдельно предложил Американской академии искусств и науки сделать рассмотрение этих проблем продолжением ее сотрудничества с Пагоушскими конференциями. (Эти конференции проводятся с 1957 года; на них обсуждается контроль над вооружениями, особенно ядерными, и формируется реальная политика в этой сфере).

К несчастью, эти конференции стали проводиться уже после того, как ядерный джинн был выпущен из бутылки, — они задержались лет на пятнадцать. Мы также запоздало начинаем серьезно обращаться к вопросам, связанным с технологиями двадцать первого века, что должно положить начало предотвращению распространения знания, позволяющего массовое уничтожение. Похоже, дальнейшее промедление смерти подобно.

Так что я продолжаю свой поиск: объектов для познания полно. Добьемся ли мы успеха или потерпим неудачу, выживем или станем жертвой этих технологий — еще не решено. Я снова рано встаю — в шесть утра. Я пытаюсь находить подходящие ответы, разрушать чары и освобождать их от оков камня.

Bethe H.: www.fas.org/bethecr.htm (1997).

Clarke А. С. Presidents, Experts, and Asteroids//Science. 1998. June, 5.

Doty P. The Forgotten Menace: Nuclear Weapons Stockpiles Still Represent the Biggest Threat to Civilisation // Nature. 1999. December, 9 (402).

DrexlerE. Engines of Creation. Anchor, 1987.

Drexier E., Peterson Ch., Pergamint G. Unbounding the Future: The Nanotechnology Revolution. Quill, 1993.

Dyson G. Darwin Among the Machines. Perseus Publishing, 1998.

Easterbrook G. Food for the Future: Someday, rice will have built-in vitamin A. Unless the Luddites win // The New York Times. 1999. November, 19.

Else J. The Day After Trinity: J. Robert Oppenheimer and The Atomic Bomb: www.pyramiddirect.com.

Forrest D. Regulating Nanotechnology Development: www.foresight.org/NanoRev/Forrest1989.html.

Garrett L The Coming Plague: Newly Emerging Diseases in a World Out of Balance. Penguin, 1994.

GelernterD. Drawing Life: Surviving the Unabomber. Free Press, 1997.

Hamilton E. The Greek Way. W. W. Norton, 1942.

HillisD. Test of Time //Wired. 2000. March (8.03).

Kauffman S. Self-replication: Even Peptides Do It// Nature. 1996. August, 8 (382): www.santafe.edu/sfi/People/kauffman/sak-peptides.html.

Leslie J. The End of the World: The Scince and Ethics of Human Extinction. Routledge, 1996.

LovinsA. A Tale of Two Botanies//Wired. 2000. April (8.04).

Meselson M. The Problem of Biological Weapons. Presentation to the 1818th State Meeting of the American Academy of Arts and Sciences, January 13, 1999: minerva.amacad.org/archive/bulletin4.htm.

Примечания:

1

# Имеется в виду книга Алана Уоттса, англиканского священника и пропагандиста дзен-буддизма, весьма авторитетного философа эпохи new аge, «Высшая индентичность: Эссе о восточной метафизике и христианской религии». Здесь и далее примечания редактора русского издания обозначены символом #.

2

# Дилберт — герой популярных американских комиксов, офисный клерк.

18

Я не знаю ни одного философа, защищающего солипсизм. Если кто-нибудь серьезно и верит в солипсизм, то держит это при себе.

19

Как говорит Морфеус как раз перед тем, когда Нео собирается принять красную пилюлю: «Все, что я предлагаю, — это правда и ничего больше».

20

Как Тринити указывает Сайферу: «Матрица не реальна». На что Сайфер отвечает: «Думаю, Матрица может быть более реальна, чем этот мир» (Сайфер в замешательстве; об этом персонаже еще будет сказано ниже).

182

Курцвейль цитирует отрывок из «Манифеста Унабомбера» Качинского, который был одновременно опубликован, причем под давлением, в New York Times и Washington Post, чтобы попытаться положить конец террору. Я согласен с Дэвидом Джелернтером, так высказавшимся об этом решении: «Газеты столкнулись с трудным требованием. Сказать «да» значило пойти на поводу у терроризма, несмотря на то, что они знали — он в любом случае лжет. С другой стороны, ответ «да» мог остановить убийцу. Кроме того, существовала возможность, что кто-нибудь, прочитав газету, поймет, кто мог это написать. Именно так и случилось. Брат подозреваемого прочел публикацию, и это стало звонком. Я бы посоветовал им не публиковать. Хорошо, что они меня не спросили. Так мне кажется» (Gelernter, p. 120).

183

Garrett, p. 47–52, 414,419,452.

184

В книга «Я, робот» (1950) Айзек Азимов описал ставшее самым известным представление об этических нормах поведения для роботов, которое нашло выражение в Трех законах для роботов: 1. Робот не может действием или бездействием повредить человеку. 2. Робот должен исполнять приказы, отданные людьми, за исключением тех приказов, которые противоречат Первому закону. 3. Робот должен защищать самого себя, пока эта защита не входит в противоречие с Первым или Вторым законом.

185

Hillis, p. 78.

186

Как-то Микеланджело написал сонет, который начинается со следующих слов:

И высочайший гений не прибавит
Единой мысли к тем, что мрамор сам
Таит в избытке, — и лишь это нам
Рука, послушная рассудку, явит.

(Перевод А. М. Эфроса)

187

# Управлении перспективных исследовательских программ Министерства обороны США.

188

Мы начинаем усматривать намеки на это в имплантации компьютерных устройств в человеческое тело, как показано на обложке журнала Wired за февраль 2002 года.

189

Lovins, p. 247.

190

# В данном случае ассемблер — это сборщик.

191

Первая конференция по нанотехнологии в институте Форсайта в октябре 1989 года. Доклад назывался «Будущее вычислений». Опубликован в книге: Crandall В. С, Lewis J. (eds.) Nanotechnology: Research and Perspectives. MIT Press, 1992. P. 269. См. также: www.foresight.org/Conferences/MNT01/ Nano1.html.

192

# Маленький, часто изолированный исследовательский отдел какого-либо предприятия, функционирующий полусамостоятельно, практически без контроля начальства.

193

В своем романе «Колыбель для кошки» (1963) Курт Воннегут описал катастрофу, в ходе которой замерзает Мировой океан и которая происходит в результате распространения похожей на «серую слизь» разновидности льда под названием «лед-9», твердеющей при более высокой, чем обычно, температуре.

194

Kauffman, p. 496.

195

Else.

196

Эта оценка содержится в книге Лесли «Конец мира: Наука и этика человеческого вымирания». Лесли отмечает, что возможность исчезновения человечества значительно возрастает, если мы согласимся с аргументом Брэн-дона Картера в пользу Судного дня. Вкратце он звучит так: «Мы должны с неохотой признать, что мы появились исключительно рано, к примеру, на 0,001 % раньше всех цивилизаций, которые когда-нибудь будут существовать. Это могло бы заставить нас задуматься о том, что человечество не просуществует еще много столетий, если будет в одиночку осваивать галактику. Аргумент Картера в пользу Судного дня не говорит о новых опасностях, если взять его как таковой. Это просто довод для пересмотра оценок, которые мы выводим, рассматривая различные возможные опасности».

197

Clarke, p. 526.

198

И, как предлагает Дэвид Форрес в докладе «Регулируемое развитие нанотехнологии», с которым можно ознакомиться на сайте www.foresight.org/NanoRev/Forrest1989.html: «Если бы мы использовали строгую ответственность в качестве альтернативы для регулирования, ни один исследователь не смог бы взять на себя издержки риска (разрушения биосферы), так что теоретически деятельность по разработке нанотехнологии не следует продолжать вообще». Анализ форреста оставляет в качестве альтернативы лишь правительственное регулирование — мысль не слишком приятная.

199

# Ницше Ф. Веселая наука, аф. 344.

200

Meselson.

201

Doty, p. 583.

202

См. также написанное в 1997 году письмо Ганса Бете к президенту Клинтону, размещенное на сайте www.fas.org/betherc.htm.

203

Hamilton, p. 35.