лишь одно правило за раз будет недостаточно. Спичка дает свет; пилой можно резать дерево; закрытую дверь открывают ключом. В то же время мы посмеемся над человеком, если он зажжет спичку, чтобы заглянуть в цистерну с бензином, если он будет пилить сук, на котором сидит, или если закроет ключи в машине и будет еще целый час думать, как открыть двери. Мыслящее создание должно предугадывать не только непосредственный результат каждого действия, но и его побочные последствия13.
С другой стороны, все возможные побочные последствия мозг не может предугадать. Философ Дэниел Деннетт предлагает нам представить робота, задача которого – принести запасной аккумулятор из комнаты, в которой установлена бомба с часовым механизмом. Робот № 1 увидел, что аккумулятор находится на тележке, и если тележку выкатить из комнаты, то вместе с ней выкатится и аккумулятор. К сожалению, бомба тоже была на тележке, и робот не смог вычислить, что вместе с аккумулятором выкатится и бомба. Робот № 2 был запрограммирован таким образом, чтобы предугадывать побочные эффекты своих действий. Он как раз только закончил вычислять, что если вывезти тележку из комнаты, то от этого не изменится цвет стен в комнате, и перешел к доказательству того, что количество оборотов колес при этом превысит количество колес на тележке, когда бомба взорвалась. Робот № 3 был запрограммирован на то, чтобы устанавливать различия между существенными и несущественными последствиями. Когда время в часовом механизме подошло к концу, он по-прежнему стоял и генерировал миллион за миллионом возможных последствий, занося все релевантные последствия в список фактов, которые нужно учесть, а все нерелевантные – в список фактов, которые нужно проигнорировать.
Разумное существо логическим путем вычисляет последствия того, что ему известно, но только лишь значимые последствия. Деннетт отмечает, что это требование представляет колоссальную проблему не только с точки зрения робототехники, но и с точки зрения эпистемологии – науки, исследующей знание. Целые поколения философов обошли эту проблему своим вниманием, теша себя иллюзорным представлением о том, что их собственный здравый смысл дается им без всяких усилий. И лишь когда исследователи искусственного интеллекта попытались создать компьютерную копию нашего здравого смысла, исходную tabula rasa, перед ними встала головоломка, ныне известная как «проблема фреймов». И все же мы, люди, каким-то образом решаем проблему фреймов, когда используем свой здравый смысл14.
Представим, что нам все же удалось справиться со всеми этими трудностями и создать машину, которая обладает зрением, координацией движений и здравым смыслом. Теперь нам осталось выяснить, как робот будет все это использовать. Для этого у него должны быть мотивы.
К чему же робот должен стремиться? Классический ответ – предложенные Айзеком Азимовым Три Закона робототехники: «три правила, которые прочно закреплены в позитронном мозгу»[2].
1. Робот