2.7. Решение без ответственного

Взлом: март 2020 года, Ливия

В марте 2020 года в ливийской пустыне к югу от Триполи произошло событие, которое эксперты ООН спустя год квалифицировали как историческое. Турецкий беспилотный летательный аппарат Kargu-2 атаковал отступающие колонны. Ключевая деталь, зафиксированная в докладе Совета Безопасности ООН: дрон действовал в полностью автономном режиме, без оперативного управления со стороны человека (UN Security Council, 2021: 17).
Текст доклада содержит формулировку, имеющую принципиальное значение для философского анализа: «Смертоносные автономные системы вооружения были запрограммированы на атаку целей без требования наличия связи между оператором и боеприпасом». Оператор задал лишь район патрулирования; дальнейшие действия — идентификация целей на основе алгоритмов машинного обучения, их классификация как военных, принятие решения об ударе — осуществлялись дроном самостоятельно.
Никто не нажимал на кнопку. Впервые в истории решение о применении летальной силы было делегировано алгоритму.
Данный инцидент не является просто очередным этапом в эволюции военных технологий. Он обнажает фундаментальный сдвиг в структуре действия, решения и ответственности — сдвиг, который требует философской концептуализации, выходящей за рамки как технооптимизма, так и моральной паники. Европейская философская традиция от античности до XX века строилась на неэксплицированном допущении: действие, имеющее моральное значение, предполагает субъекта, который это действие совершает. Инцидент в ливийской пустыне ставит это допущение под вопрос, обнаруживая конфигурацию, в которой решение принимается, действие совершается, последствия наступают — но субъект, которому можно было бы приписать это действие, отсутствует.

Аристотель и исчезновение сознательного выбора

Аристотель в «Никомаховой этике» закладывает основания европейской теории действия, которые будут воспроизводиться в различных модификациях на протяжении последующих двух тысячелетий. Ключевое различение, проводимое Стагиритом, — между действиями, совершаемыми по принуждению, и действиями, совершаемыми сознательно. Подлинно человеческий поступок, согласно Аристотелю, требует наличия двух компонентов: обдумывания (βούλευσις) и выбора (προαίρεσις). Человек, совершающий поступок, взвешивает обстоятельства, оценивает возможные последствия и принимает решение, которое становится началом действия (Аристотель, 1983: 1112a 15–20).
Принципиальным для аристотелевской модели является тезис о неразрывной связи выбора с желанием. «Выбор — или ум, охваченный желанием, или желание, охваченное мыслью», — формулирует Аристотель, подчеркивая единство интеллектуального и аффективного в структуре поступка (Аристотель, 1983: 1139b 5). Человек выбирает то, что ему представляется благим, и стремится к этому. Действие укоренено в субъекте, который не только совершает поступок, но и относится к нему как к своему, принимает его как выражение собственных интенций.
В ливийской пустыне эта структура элиминируется. Беспилотник Kargu-2 не обдумывает ситуацию, не взвешивает альтернативы, не имеет желаний. Его «решение» есть результат классификации объектов на основе статистических закономерностей, извлеченных из обучающей выборки.
Необходимо уточнить концептуальное различие, которое часто упускается в популярных дискуссиях. Алгоритм машинного обучения имитирует некоторые внешние аспекты принятия решений — он обрабатывает информацию, сравнивает с образцами, выдает результат. Но эта имитация не схватывает главного: аристотелевский выбор предполагает отношение к благу, к цели, которая мыслится как ценность. Алгоритм не имеет отношения к благу; для него существует только правильная классификация — соответствие выходного сигнала обучающей выборке. Это различие не количественное, а качественное: алгоритм находится по ту сторону блага и зла, по ту сторону желания и отвращения, по ту сторону жизни и смерти в их экзистенциальном измерении.
Мы сталкиваемся с поступком без предшествующего ему обдумывания, с действием, которое не укоренено ни в разуме, ни в желании. Аристотелевская этика, строившаяся вокруг фигуры сознательно выбирающего субъекта, оказывается бессильной перед событием, которое эту фигуру элиминирует. Более того, сама возможность приписывания действия кому-либо — оператору, программисту, командиру — оказывается проблематизированной: действие совершилось, но ни одно из лиц, причастных к его возможности, не может быть названо его автором в аристотелевском смысле.

Кант и апория автономии без субъекта

Иммануил Кант доводит идею автономного субъекта до ее логического предела, одновременно обнаруживая границы этой модели при столкновении с феноменом алгоритмического решения. В «Основах метафизики нравственности» он утверждает: моральный закон возможен только потому, что у человека есть свободная воля, способная давать себе закон независимо от внешних обстоятельств и природных склонностей (Кант, 1995: 250). Автономия воли — это способность субъекта быть источником собственных действий, определять себя к поступку из чистого разума.
Кант подчеркивает: даже если действие внешне соответствует моральному закону, но совершается не из уважения к закону, а под влиянием склонности или внешнего принуждения, оно не имеет подлинной моральной ценности. Мораль требует, чтобы субъект сам полагал основание своего поступка. Это требование делает морального субъекта не просто исполнителем, но законодателем — источником нормы, которой он добровольно подчиняется.
Автономный беспилотник представляет собой зловещую пародию на эту конструкцию. Он тоже «автономен» в том смысле, что не требует внешнего управления. Он тоже «сам принимает решения» в том смысле, что алгоритм классификации замещает человеческую команду. Однако это автономия без свободы, решение без субъекта, поступок без морального измерения.
Как показано в фундаментальном исследовании Р. Спарроу «Роботы с моральным статусом?», различие между автономией кантовского субъекта и автономией алгоритма носит не градуальный, а категориальный характер. Кантовская автономия предполагает способность к рефлексии, к самозаконодательству, к выходу за пределы причинно-следственных связей. Алгоритм полностью детерминирован своей обучающей выборкой и правилами классификации. Его «автономия» — это лишь отсутствие непосредственной связи с оператором, но не свобода в кантовском смысле (Sparrow, 2017: 276).
Здесь возникает принципиальный вопрос: может ли событие, имеющее моральные последствия, быть произведено механизмом, лишенным морального измерения? И если да, то где в этой конструкции место для категорического императива? Кантовская этика строится на различении лица и вещи: лица обладают достоинством, вещи — ценой. Лица никогда не должны быть использованы только как средства, но всегда также как цели.
Алгоритм, принимающий решение о жизни и смерти, превращает человека в вещь — в объект классификации, в цель, в статистическую единицу. Но парадокс в том, что это превращение совершается не лицом, а другой вещью. Безличное осуществляет дегуманизацию, которую традиционно приписывали субъекту произвола.
А. Матиас в классической работе «Автономные агенты и проблема ответственности» формулирует эту апорию следующим образом: «Мы сталкиваемся с ситуацией, которую можно назвать "вакуумом ответственности": действие совершено, последствия наступили, но ни один агент не может быть признан ответственным в морально релевантном смысле, поскольку ни один агент не обладал ни интенцией, ни контролем, требуемыми для вменения» (Matthias, 2004: 178).
Инцидент в Ливии ставит вопрос, который Кант не мог предвидеть: что происходит с моральным законом в ситуации, где нет того, кто мог бы ему следовать или его нарушать? Где действие совершается, но совершается никем?

Хайдеггер: смерть как технический инцидент

Мартин Хайдеггер в «Бытии и времени» делает смерть центральной категорией экзистенциальной аналитики, одновременно в поздних работах о технике предвосхищая проблему, которая в ливийском инциденте обретает зримые очертания. Согласно Хайдеггеру, человеческое существование есть бытие-к-смерти. Смерть не просто завершает жизнь, но структурирует ее изнутри: знание о конечности существования делает возможным подлинное отношение к бытию (Хайдеггер, 1997: 252–253).
Хайдеггер проводит важное различие, которое часто упускается в упрощенных интерпретациях: различие между смертью как событием в мире (то, что фиксирует врач или статистик) и смертью как экзистенциалом (то, что определяет способ существования Dasein). Первая доступна объективации, вторая требует личного присвоения. Человек умирает не тогда, когда останавливается сердце, а тогда, когда принимает свою конечность как условие подлинного существования. Смерть в экзистенциальном смысле — это всегда моя смерть, неотчуждаемая, нередуцируемая к общему случаю.
В ливийской пустыне смерть возвращается к чистой событийности, утрачивая экзистенциальное измерение. Алгоритм не знает, что такое смерть. Для него «поражение цели» — операция в цепи других операций: идентифицировать, классифицировать, активировать боеголовку. Смерть человека становится техническим инцидентом, параметром обратной связи, точкой в статистическом распределении.
Хайдеггер в «Вопросе о технике» описывает «постав» (Gestell) как способ существования, при котором все сущее становится состоящим-в-наличии, ресурсом для манипуляции. В режиме постава лес перестает быть лесом и становится древесиной, река перестает быть рекой и становится гидроресурсом, человек перестает быть человеком и становится человеческим капиталом (Хайдеггер, 1993: 234–238). Но даже в этом тексте Хайдеггер сохранял различие между человеком, который может иметь иное отношение к бытию (поэтическое, мыслящее, благодарственное), и машиной, которая этого отношения лишена.
Инцидент в Ливии показывает, что это различие может стать нерелевантным: человек оказывается в ситуации, где его смерть наступает от решения, которое не было ничьим решением. Алгоритмическое решение не принадлежит порядку бытия-к-смерти; оно принадлежит порядку функционирования. Но его последствия — смерть — принадлежат порядку экзистенции. Возникает чудовищный гибрид: экзистенциальное событие, произведенное механизмом, лишенным экзистенции.

Проблема ответственности и концепция «многих рук»

Инцидент в Ливии ставит проблему, которая не имеет решения в рамках классической этики и юриспруденции: проблему ответственности в отсутствие ответственного. Если решение принято алгоритмом, если никто не нажимал на кнопку, если цепочка причинности размыта между разработчиками, военными, программистами и машиной, — кто несет ответственность за смерть?
Возможна попытка распределенной ответственности. Разработчики создали алгоритм с определенными параметрами. Военные задали район патрулирования. Программисты написали код. Производитель продал оружие. Командир отдал приказ на применение системы. Но ни одно из этих действий не является решением об ударе в том смысле, в каком это понятие функционирует в моральном дискурсе. Каждое из них создавало условия возможности, но не было причиной в юридически или морально релевантном смысле.
Однако в случае автономного оружия ситуация усугублена тем, что последнее звено в цепи — само решение об ударе — принадлежит не человеку, а алгоритму. Классическая проблема многих рук предполагает распределение действия между людьми, каждый из которых мог бы (в принципе) нести частичную ответственность. Здесь же действие вообще не принадлежит человеку — оно принадлежит машине.
Ханна Арендт анализировала феномен, при котором зло совершается не чудовищами, а бюрократами, просто исполняющими свои обязанности. Адольф Эйхман, по Арендт, не испытывал ненависти к евреям — он просто хорошо делал свою работу (Арендт, 2016: 152). Но у Эйхмана была возможность рефлексии, возможность остановиться, возможность сказать «нет». Алгоритм лишен даже этой возможности. Его «банальность» абсолютна — это банальность функционирования, а не банальность зла.
Юридические системы, построенные на принципе личной ответственности, оказываются неготовыми к такой конфигурации. Уголовное право предполагает субъекта, которому можно вменить деяние. Когда субъект исчезает, исчезает и сама возможность вменения.
Событие в ливийской пустыне обнажает то, что скрыто в менее драматичных ситуациях, но что составляет фундаментальную характеристику современного способа существования: решение не дано как акт субъекта, но существует в режиме напряжения, удержания и постоянного воспроизводства. Классическая онтология от Парменида до Гуссерля искала то, что есть само по себе, независимо от обстоятельств, наблюдателей и технических опосредований. Эта установка позволяла мыслить мир как нечто устойчивое, на что можно опереться. Субъект с его способностью принимать решения мыслился как такая же устойчивая инстанция.
Но беспилотник, принимающий решение о смерти, демонстрирует иное. Решение не «есть» в том смысле, в каком есть камень или дерево. Оно возникает в точке пересечения множества гетерогенных сил: военной логики, технических параметров, обучающей выборки, конкретной ситуации в пустыне, пыли, ветра, угла падения солнца. Оно есть, только пока эти силы удерживаются в определенной конфигурации. Чуть сместился угол — и алгоритм классифицировал бы объект иначе. Чуть изменилась обучающая выборка — иначе были бы определены критерии военной цели. Чуть иначе написан код — иначе сработал бы порог принятия решения.
Решение оказывается не субстанцией, не актом субъекта, а напряжением. Оно не принадлежит никому — ни оператору, ни программисту, ни машине. Оно возникает как временная кристаллизация в поле сил, которое само по себе не является ничьей собственностью. Эта кристаллизация требует постоянного удержания — но удерживают ее не субъекты, а конфигурация обстоятельств.
Если решение существует в режиме напряжения, если оно не принадлежит никому, а возникает в пересечении сил, то вопрос о контроле над решениями приобретает принципиально иное измерение. Классическая политическая философия спрашивала: кто должен принимать решения? Монарх, аристократия, народ, партия, суверен? Предполагалось, что решение может и должно быть присвоено кем-то, что у него должен быть автор, которому можно приписать ответственность.
В ситуации автономного оружия этот вопрос трансформируется. У решения нет автора. Но у него есть условия возможности. Вопрос политики — не в том, чтобы найти того, кто принимает решение (этого того больше нет), а в том, чтобы контролировать условия, при которых решения возникают.
Кто определяет обучающую выборку? Кто задает критерии классификации? Кто устанавливает порог срабатывания? Кто решает, в каких условиях автономное оружие может применяться? Кто контролирует качество данных? Кто отвечает за архитектуру нейросети? Эти вопросы не сводятся к традиционному вопросу о суверене. Они требуют нового политического языка — языка контроля над условиями производства решений, а не над самими решениями.
Мишель Фуко в лекциях о биополитике показал, как власть смещается от суверенного решения (казнить или миловать) к управлению вероятностями, рисками, популяциями. Власть больше не говорит «ты умрешь», она говорит «я обеспечу условия, при которых ты будешь жить» (Фуко, 2005: 285–287). Автономное оружие представляет собой следующую ступень этой трансформации: решение о смерти принимается на уровне управления вероятностями, а не на уровне суверенного акта.
Алгоритм не решает убить этого конкретного человека. Он классифицирует объект как соответствующий критериям. Решение о жизни и смерти оказывается встроено в статистическую логику, в логику распознавания образов, в логику эффективности. Это не делает его менее смертоносным, но делает его принципиально иным по структуре.
Ж. Бодрийяр предвосхитил эту ситуацию, анализируя, как война становится симулякром, медиасобытием, лишенным реальности. В случае автономного оружия война становится алгоритмическим событием, лишенным субъекта. Солдат на другой стороне перестает быть врагом, которого нужно ненавидеть или бояться — он становится целью, которую нужно классифицировать (Бодрийяр, 2016: 45).
Инцидент в ливийской пустыне позволяет сформулировать вывод, имеющий значение не только для понимания автономного оружия, но и для всей антропологической и онтологической проблематики, разворачиваемой в настоящем исследовании.
Если решение может существовать без ответственного, если событие может совершаться без субъекта, если бытие может проявляться в режиме чистого напряжения, то, возможно, мы должны пересмотреть само понятие бытия. Возможно, бытие — это не то, что есть само по себе, а то, что удерживается в напряжении между разнонаправленными силами. Возможно, субстанциальная онтология, искавшая устойчивые основания, должна уступить место онтологии удержания, для которой существование есть всегда временный, хрупкий, требующий усилий результат.
Жизнь оказывается не обладанием, а удержанием. Мы не имеем бытие, мы его поддерживаем — ценой энергии, внимания, усилия, технической инфраструктуры, социальных институтов. И вопрос, который встает после ливийской пустыни, — не «кто виноват?», а «как долго мы сможем удерживать ту конфигурацию, в которой смерть перестала быть чьим-то решением?».
Этот вопрос не имеет ответа в традиционных этических и политических категориях. Но именно его постановка открывает пространство для новой философии — философии, для которой бытие не дано, а задано, не субстанциально, а проектно, не вечно, а временно. Философии, которая начинает не с удивления перед тем, что есть, а с тревоги перед тем, что может перестать быть.