Франкенштейна; убийцы-обезьяны и взбунтовавшийся ЭАЛ из фильма «Космическая одиссея 2001 года». В период с 1950-х по 1980-е годы появились бесчисленные фильмы на тему вышедших из подчинения компьютеров; все они были выражением распространенной идеи о том, что вычислительные машины, воспринимавшиеся в те годы как нечто экзотическое, постепенно станут более умными и могущественными и в один прекрасный день восстанут против человека.
Теперь, когда компьютеры действительно стали умнее и могущественнее, беспокойство поутихло. Учитывая, что в наши дни компьютеры вездесущи и объединены в сети, им как раз ничто не мешает натворить неприятностей, если они решат пуститься во все тяжкие. Но пока если с ними и бывают связаны неприятности, то причиной их становится либо непредвиденный сбой, либо злой умысел со стороны людей, создающих вирусы. Мы уже не боимся электронных серийных убийц или заговора микросхем; мы начинаем понимать, что злой умысел – как и зрение, и моторика, и здравый смысл – не может появиться сам собой в электронном разуме; его нужно запрограммировать. Компьютер, на котором вы работаете с документами в текстовом редакторе, будет заполнять страницы буквами до тех пор, пока сохраняет способность функционировать. Его программное обеспечение не может незаметно мутировать в некое исчадие ада, как портрет Дориана Грея.
Да даже если бы компьютер и мог это сделать, зачем ему это нужно? Чтобы получить что? Все диски мира? Контроль над железными дорогами страны? Возможность утолить свое желание бессмысленной жестокости по отношению к мастеру по ремонту лазерных принтеров? А как же вероятность возмездия со стороны технического персонала? Один поворот отвертки, и бунтарю бы пришлось запеть свою лебединую песню – «А Bicycle Built for Two» (песня «Daisy Bell», известная также по своей заключительной строке как «А Bicycle Built For Two», была одной из первых песен, исполненных с помощью компьютерной программы синтезирования речи; ее «пел» ЭАЛ из фильма «Космическая одиссея 2001 года» перед своим отключением. – Прим. пер.). Может быть, сеть компьютеров и смогла бы спланировать организованный захват власти, но чего ради одна машина решила бы заявить о себе на весь мир, рискуя незамедлительно пасть смертью храбрых? А кто может гарантировать, что планы электронных заговорщиков не будут сорваны из-за того, что кое-кто из них откажется воевать по идейным соображениям? Агрессию, как и любой элемент человеческого поведения, который мы воспринимаем как должное, очень непросто запрограммировать16.
Впрочем, так же нелегко запрограммировать и более высокие и добрые побуждения. Как заставить робота подчиняться предписанию Азимова никогда не допускать бездействием, чтобы человеку был нанесен вред? Действие написанного в 1965 году романа Майкла Фрейна «Оловянные солдатики» разворачивается в робототехнической лаборатории, где работники отдела этики – Мак-Интош, Голдвассер и Синсон – проверяют своих роботов на альтруизм. Они восприняли слишком буквально гипотетическую моральную дилемму, приводимую в пример во