неправильно изначально составлен алгоритм логически-вычислительного блока. Задан алгоритм не навредить человеку, служить ему, но не задан алгоритм – не навредить человечеству. Для машины важно, чтобы остались живы и невредимы те люди, кому она служит, а все остальное человечество она может принести в жертву.
– Но разве мы требуем этого от нее, разве мы сообщаем, что нас надо от них спасать?
– Мы, возможно, нет.
– Что-то ты говоришь загадками. Тогда кто?
– Тот, кто составлял ее логически-алгоритмическую систему.
– Нет, этого не может быть. В таком случае у нее была бы возможность развязать мировую войну уже давно. Ты, надеюсь, знаешь, что этот мир несколько раз был на пороге этого. В последний раз, когда Путин фактически инициировал этот вопрос, именно данные ИСУ-А2 остановили его рассмотрение.
– Почему же он теперь рассматривается?
– Он рассматривается как ситуация, которой быть не может, рассматривается теоретически, с научной точки зрения. Риск всегда есть, сейчас он низок, потому что сейчас приостановлены модернизация и создание новых средств преодоления, одновременно созданы и усилены средства ПРО. Этими данными она как раз и оперирует.
– А запрос на исследование ситуации и последствий в случае подрыва всего боезапаса лодок?
– По правилам – мы должны это делать.
– Почему сейчас, когда лодки уже там?
– Слушай, ты меня начинаешь пугать. Это без нас невозможно в принципе.
– А кто имеет допуск к редактированию лиц, чьи команды должна принять система в случае ее боевого взвода?
Хент сел, показал жестом, чтобы Рутра тоже сел на стул.
– Зачем тебе это?
– Раз Вы хотите, чтобы я докопался до истины, я должен знать это.
– Зачем это тебе сейчас?
– Я подозреваю, что в программу суперкомпьютера введен преднамеренно код, который сработает совсем не так, как мы ожидаем.
– Ты думаешь, что система не запустится при ситуации, когда сложатся соответствующие обстоятельства?
– Да.
– И в чем же смысл? Нет-нет, этого не может быть. Ты меня совсем запутал.
– Позвольте мне проверить программный блок суперкомпьютера.
– Яровитович будет крайне возмущен такой постановкой вопроса. Получается, или я ему не доверяю, или мы считаем, что его обманывают, причем свои, или его одурачили создатели системы.
– Я думал, в наши взаимоотношениях слово «обидеться» не входит.
– Ну, тогда второй и третий вариант.
– Ну, так что, пойду?
– В такой момент? Все уже на взводе.
– Поэтому нужно торопиться.
– Хорошо, тогда и ты выполнишь условие.
Рутра молчал, он приблизительно знал, о чем попросит (или прикажет) Хент. В рамках дружеских отношений приказы высказывались как просьбы, Рутра к этому уже привык.
– Надо обыграть эту ситуацию в «виртуале». И еще – программный комплекс создавался совместно многими учеными, о которых