Autonome Waffensysteme und menschliche Kontrolle

Die CCW als Kristallisationspunkt für die Debatte über menschliche Kontrolle

Die oben genannten Unklarheiten werden im Rahmen der Konvention über bestimm­te konventionelle Waffen (Convention on Certain Conventional Weapons, CCW) be­sonders deutlich. Die Übereinkunft hat zum Ziel, Waffen, die übermäßige Leiden ver­ursachen, zu beschränken oder zu verbie­ten. Seit 2014 sprechen Vertreterinnen und Vertreter der Vertragsstaaten und der Zivil­gesellschaft dort auch über LAWS, seit 2017 in einer Gruppe von Regierungsexperten (Group of Governmental Experts, GGE), der alle CCW-Staaten angehören. Die deutsche Delegation besteht aus Repräsentanten und Repräsentantinnen des Verteidigungsminis­teriums und – federführend – des Aus­wärtigen Amtes.

Die GGE hat das Mandat, Elemente eines normativen und operativen Rahmenwerks zu erarbeiten, also einer Vorstufe zu einem rechtsverbindlichen CCW-Protokoll. Ob es zu einem neuen Protokoll kommt, ist noch offen und erscheint unter anderem an­gesichts der Opposition der USA und Russ­lands eher unwahrscheinlich (siehe Grafik 1).

Ein Baustein des Rahmenwerks sind die elf unverbindlichen Leitprinzipien, auf die sich die CCW-Staaten 2019 verständigt haben. In diesen Grundsätzen bekräftigen die Vertragspartner unter anderem die essentielle Rolle der Mensch-Maschine-Inter­aktion. Dies ist der Oberbegriff für verschie­dene Konzepte, mit denen die GGE-Teil­nehmerstaaten die Art des menschlichen Einflusses auf die Steuerung von Waffensystemen beschreiben. Derzeit sind die GGE-Treffen pandemiebedingt ausgesetzt, während Forschung und Entwicklung im Bereich KI und Autonomie voranschreiten. Umso wichtiger ist es, dass Deutschland die Pause nutzt, um seine Konzepte für eine Operationalisierung der menschlichen Kon­trolle und für Regu­lie­rungsoptionen weiter­zuentwickeln. Dies kann mit Blick auf die CCW geschehen, aber auch im Rahmen der Nato und der EU und auf nationaler Ebene.

Unterschiedliche Konzepte zur Mensch-Maschine-Interaktion in der GGE

Zahlreiche GGE-Mitglieder sprechen sich für die Verwendung des Konzepts der »(be­deutsamen) menschlichen Kontrolle« aus. In einem gemeinsamen Papier bekräftigten Belgien, Brasilien, Deutschland, Irland, Luxemburg, Mexiko, Neuseeland und Öster­reich die Notwendigkeit dieses Ansatzes. Sie fordern, dass die Grundlagen für die menschliche Kontrolle bei der Zielauswahl und ‑bekämpfung bereits in der Entwicklungsphase gelegt werden.

Deutschland setzt sich für eine inter­nationale Ächtung von AWS ein, »die der Verfügung des Menschen entzogen sind«. Dies muss dem Wortlaut nach jedoch kein rechtlich verbindliches Verbot sein. Die deutsche GGE-Delegation definierte mensch­liche Kontrolle zuletzt dahingehend, dass die bedienende Person ausreichende Kennt­nisse über das System, die Umgebung des Ziels und die sich aus diesen Faktoren er­gebende Wechselwirkung habe. Eine kon­stante physische Kontrolle sei nicht zwin­gend geboten. Dennoch sollte die bedienen­de Person darauf vertrauen können, dass das System in der intendierten Art – und damit im Rahmen des Rechts – agiere. Das erforderliche Maß an menschlicher Kon­trolle bemesse sich an den Fähigkeiten des Sys­tems und dem operativen Kontext. Eine ähnliche Position nimmt die EU ein, deren Delegation, vertreten durch den Auswärtigen Dienst, innerhalb der GGE aktiv mit­wirkt. Das Europäische Parlament fordert ein Verbot von LAWS und die Wahrung der menschlichen Kontrolle. Zudem schließt das vorläufige Konzept des Europäischen Verteidigungsfonds (EDF) die Förderung von Waffen aus, die die Ausübung der menschlichen Kontrolle untergraben.

Auch Russland und China haben sich im Rahmen der GGE prinzipiell für die Un­abdingbarkeit menschlicher Kontrolle über autonome Waffensysteme ausgesprochen. Ob China an diesem Prinzip tatsächlich festhält, ist angesichts seiner militärischen Bestrebungen bei Techniken der KI fraglich. Russland hat angemerkt, dass die Ausdiffe­renzierung des Konzepts den Staaten selbst überlassen sein soll. Eine Erarbeitung uni­verseller Standards hält es für nicht ziel­führend. Im Gegensatz dazu hat sich die Bewegung blockfreier Staaten nicht nur für eine Verpflichtung zur menschlichen Kon­trolle im Waffeneinsatz ausgesprochen; sie fordert auch, diese Verpflichtung, verbunden mit einem Verbot von LAWS, rechtlich zu verankern.

Die USA ziehen hingegen das Konzept der »angemessenen menschlichen Beurteilung« (judgment) vor und lehnen die Formel von der »menschlichen Kontrolle« ab. Letzt­lich gehe es um die effektive Übertragung der Intention des Kommandeurs auf das Gefecht. Gerade dies könne durch auto­nome Funktionen und automatisierte Infor­mationsgewinnung und -verarbeitung sogar gefördert werden. Menschliche Kontrolle – hier allerdings verstanden als direkter, manueller Eingriff – könne hingegen für die Durchführung einer Militäroperation hinderlich sein. Der Fokus der USA liegt eher auf der Kontrolle von Effekten, also der Überprüfung der Wirkungen militärischer Schläge. Außerdem betonen die USA mögliche Vorteile autonomer Funktionen, während andere Länder, zum Beispiel Deutschland, tendenziell auf die Gefahren schauen und den Entscheidungsprozess engmaschiger regulieren wollen. Besonders anschaulich wird die amerikanische Posi­tion durch das neue Führungskonzept Joint All-Domain Command and Control (JADC2). Dieses zielt darauf ab, durch einen vernetz­ten Datenaustausch der unterschiedlichen Teilstreitkräfte und eine KI-basierte Daten­auswertung ein integriertes Lagebild in Echtzeit zu generieren, das frühzeitig auf Bedro­hungen hinweist, effiziente Reak­tionsmöglichkeiten vorschlägt und damit Entscheidungszyklen beschleunigt. Auch wenn Automatisierung dabei nicht Ziel, son­dern Mittel zum Zweck ist, spielt mensch­liches Entscheiden – verglichen mit heu­tigen Führungskonzepten und Pla­nungs­zyklen – hier eine weit geringere Rolle.

Insgesamt wird deutlich, dass die Teilnehmerstaaten der GGE recht unterschiedliche Vorstellungen davon haben, welche Mensch-Maschine-Interaktion angemessen ist. Dennoch gibt es Gemeinsamkeiten. So sollten die Aktionen von Waffensystemen für einen (oder mehrere) Menschen vorher­sehbar und den Anwendern zurechenbar sein. Die Art des menschlichen Einflusses wird von diversen Faktoren während der gesamten Entwicklung und Nutzung des Systems bestimmt. Der Einfluss muss nicht die Form einer direkten Steuerung anneh­men, sich aber mindestens in gewissen Ein­griffsmöglichkeiten ausdrücken. Über die genaue Ausgestaltung der Mensch-Maschine-Interaktion besteht gleichwohl noch Ge­sprächsbedarf.

Gründe für menschliche Kontrolle über den Gewalteinsatz

Die Verpflichtung zur Aufrechterhaltung menschlicher Kontrolle beim Einsatz von Waffen ist bisher nicht Gegenstand eines völkerrechtlichen Vertrags, auch wenn das Prinzip schon im Zusammenhang mit Chemiewaffen und Antipersonenminen diskutiert wurde. Dennoch lässt sie sich zumindest mittelbar aus dem humanitären Völkerrecht ableiten.

Das Gebot der menschlichen Kontrolle kann sich beispielsweise aus dem Unter­scheidungsgrundsatz ergeben. Dieser ver­pflichtet die Konfliktparteien, zwischen Zivilisten und Kombattanten zu unterschei­den und militärische Angriffe nur gegen militärische Ziele durchzuführen. Der Grund­satz der Verhältnismäßigkeit wiederum verpflichtet Konfliktparteien, im Falle eines Angriffs auf ein legitimes militärisches Ziel, bei dem auch mit Schäden an der Zivilbevöl­kerung zu rechnen ist, darauf zu achten, dass der zu erwartende konkrete und un­mittelbare militärische Vorteil die Schäden an der Zivilbevölkerung übertrifft. Zudem verpflichtet das Vorsichtsprinzip Konflikt­parteien unter anderem dazu, einen Angriff zu beenden, wenn sich herausstellt, dass das angegriffene Ziel kein militärisches ist.

In vielen Szenarien ist fraglich, ob LAWS diesen Vorgaben entsprechend eingesetzt werden können, da juristische Abwägungen in dynamischen Situationen ein Kontextverständnis voraussetzen, zu dem Maschinen nicht imstande sind. Diese können je­doch den Menschen durch Datensammlung und Datenaufbereitung dabei unterstützen.

Auch die Frage nach individueller und staatlicher Zurechenbarkeit und Verantwort­lichkeit steht im Raum. Während zahl­reiche Stimmen in der Literatur im Hin­blick auf den Einsatz von LAWS von mög­lichen Verantwortungslücken sprechen, sehen andere Fachleute weniger Probleme und verweisen auf das Konzept der Befehls­verantwortung, eine Kategorie des humanitären Völkerrechts. Demzufolge sind mili­tärische Befehlshaber immer für die Recht­mäßigkeit des von ihnen angeordneten Waffeneinsatzes verantwortlich, und zwar unabhängig davon, ob ein AWS zur An­wendung gelangt. Dem ist allerdings ent­gegenzuhalten, dass eine Verantwortungs­zurechnung nur sinnvoll ist, wenn die durch ein AWS erzielten Effekte durch den Befehlsverantwortlichen vorhergesehen werden können.

Darüber hinaus spielen bei der Ausgestal­tung des Grundsatzes der menschlichen Kontrolle auch ethische Fragen eine Rolle. So hat das Argument Gewicht, dass bei solch schwerwiegenden Entscheidungen wie jener zu einem militärischen Schlag immer ein Mensch, der den Angriff durchführt bzw. den Einsatz leitet, sein Gewissen belasten muss. Zudem kommt es darauf an, dass die Zielperson nicht zu einem beliebigen Daten­punkt degradiert und so in seiner Würde verletzt wird. Dieser deontologischen Ethik steht eine eher utilitaristische Perspektive gegenüber, die ausschließlich auf die Effekte des Waffeneinsatzes blickt. Hier ist also nicht die Frage, ob eine ethische Ab­wägung stattfand, sondern ob durch den Einsatz autonomer Waffensysteme bessere Ergeb­nisse erzielt wurden, die deren Ein­satz rechtfertigen. Eine Verletzung der Würde wäre demnach gerechtfertigt, wenn zahl­reiche Leben gerettet wurden. Wenn man jedoch der in der deutschen Rechtsprechung verbreiteten deontologischen Sichtweise folgt und außerdem annimmt, dass eine zu starke Automatisierung der Zielauswahl die Menschenwürde verletzt, wäre die Verwen­dung autonomer Waffen wohl keine Op­tion für die Bundeswehr.

Schließlich gibt es auch aus militärischer Sicht ein Interesse, die Effekte von Angrif­fen kontrollieren zu können, um das Mis­sionsziel zu erreichen. Eine Eskalation von Konfliktsituationen aufgrund unvorhersehbarer Aktionen des Waffensystems ist un­erwünscht. Daher ist auch aus einem rein militärischen Blickwinkel die menschliche Kontrolle im Entscheidungsprozess un­abdingbar, wobei zu diskutieren ist, wann und in welcher Form der Mensch seinen Einfluss geltend macht (siehe Grafik 2). Da­mit zeigt sich, dass bei der Ausgestaltung des Konzepts der menschlichen Kontrolle der weitere militärische Entscheidungs­prozess und der Angriff selbst, aber auch die technischen Gegebenheiten in den Blick genommen werden müssen.

Lösungsansätze für die Operatio­nalisierung der menschlichen Kontrolle

Eine zentrale Frage in der Diskussion über die Operationalisierung menschlicher Kon­trolle lautet: Kontrolle worüber und durch wen? So kann man den Fokus auf den enge­ren Zielkreislauf richten und die Kontrolle während des Angriffs oder zumindest un­mittelbar davor ansetzen. Kontrolle kann aber auch im größeren Prozess der Ziel­auswahl oder gar im Produktzyklus des Waffensystems zum Tragen kommen. Eine noch weitere Perspektive ist der Blick auf die Effekte des Angriffs. Eine abschließende Lösung der Frage, wann die menschliche Kontrolle umgesetzt werden muss, drängt sich also nicht auf, doch gibt es Konzepte, menschliche Kontrolle so zu operationali­sieren, dass diese zentralen Aspekte ein­bezogen werden.

Die Nichtregierungsorganisation (NGO) Article 36, ein Mitglied der internationalen Campaign to Stop Killer Robots, prägte den Begriff »meaningful human control« und machte ihn zu einem wichtigen Baustein der CCW-Gespräche. Demnach muss ein Mensch (oder müssen mehrere Menschen) nicht nur in den Prozess der Zielauswahl eingebunden sein, der menschliche Einfluss muss auch eine bestimmte Qualität haben. Dies sei noch nicht dadurch gewährleistet, dass ein Mensch lediglich den Angriff frei­gibt, nach­dem er automatisiert gefilterte Informationen erhalten hat, denn damit ist der Mensch nicht wirklich in den Entscheidungs­prozess eingebunden. Kritiker wenden allerdings ein, dass diese Forderung zu weit geht, da schon heute viele Informationen gefiltert und automatisiert bei militärischen Entscheidern einträfen. Dieser Sachverhalt ist sicher zu berücksichtigen, um ein diffe­renziertes Bild menschlicher Kontrolle zu erhalten; er spricht aber nicht gegen den Ansatz der »meaningful human control«.

So orientiert sich auch das Internationale Komitee vom Roten Kreuz (IKRK) an einem ähnlichen Konzept. Das IKRK betont, dass menschliche Kon­trolle eine Voraussetzung für die Um­setzung des humanitären Völ­kerrechts ist. Notwendige Elemente dieser Kon­trolle seien eine gewisse zeitliche und räumliche Nähe zwischen letzter mensch­licher Entscheidung und Waffenwirkung. Zudem müssten die Aktionen des Waffensystems für den Nutzer vorhersehbar sein.

Das vom Auswärtigen Amt finanzierte International Panel on the Regulation of Autonomous Weapons (iPRAW), in dem die Autorinnen federführend mit­arbeiten, baut auf der Definition des IKRK auf und leitet daraus Mindestanforderungen ab: Demnach be­steht menschliche Kontrolle aus zwei Ele­menten, nämlich dem Situationsverständ­nis und der Eingriffsmöglichkeit mindestens eines Menschen. Beide Vorgaben müs­sen bereits im Design des Waffensystems berücksichtigt werden (control by design) und während der Nutzung erfüllbar sein (control in use). Die menschliche Kontrolle kann sich auf den engeren Prozess der Zielauswahl auf taktischer Ebene beziehen, sollte aber auch schon bei früheren Entscheidungsschritten zum Tragen kommen (siehe Grafik 2).

All diesen Anforderungskatalogen ist implizit gemeinsam, dass nur eine formel­hafte Annäherung an den Begriff der menschlichen Kontrolle möglich ist, es aber keine abschließende Definition gibt, die sich für alle Einsatzszenarien eignet. Die jeweils angemessene Ausgestaltung des Konzepts hängt von drei Faktoren ab, die den operativen Kontext umreißen: (1) Para­meter, wie die Vorgaben für das Ziel und der Zeitrahmen des Angriffs, (2) die Um­gebung des militärischen Ziels, (3) die Mensch-Maschine-Interaktion. Diese drei Faktoren bedingen sich gegenseitig. Wenn zum Beispiel von einem Angriff auf ein legi­times militärisches Ziel Zivilpersonen be­troffen sein könnten (Ziel) und das Waffen­system über Tage hinweg in einem großen Gebiet eingesetzt wird (Umgebung), sollte die Mensch-Maschine-Interaktion recht eng sein, damit militärische Entscheider auf unvorhergesehene Ereignisse reagieren und ihre recht­lichen Abwägungen anpassen können. So benötigt ein Waffensystem, das auf offener See Flugkörper abwehren soll, wohl eine weniger eng­maschige Über­wachung als eines, das an Land Kombattan­ten von Grenzübertritten abhalten soll. Bei bereits in Nutzung befindlichen Waffen­systemen wie dem deutschen MANTIS, die unter die oben genannte Definition von AWS fallen, käme man also in vielen Kon­texten zu dem Ergebnis, dass es auch im Modus ohne menschliche Eingriffe ausrei­chend mensch­licher Kontrolle unterliegt.

Empfehlungen

Die Diskussion über die Operationalisierung der menschlichen Kontrolle bei AWS zielt nicht darauf ab, technische Unter­stützung für menschliche Entscheidungen zu beschränken, solange menschlichem Ver­ständnis bei der Anwendung der Waffe aus­reichend Gewicht zugemessen wird. So sind viele sinnvolle Anwendungen von KI und Automatisierung denkbar und auch bereits im Einsatz. Hinzu kommt, dass eine moderne, vernetzte Kriegsführung auf Datensammlung und Datenauswertung aufbaut. Im Fokus stehen also vielmehr ein kritischer Umgang mit den technischen Mög­lichkeiten und ein ständiges Hinter­fragen, welche Rolle der Mensch spielt und aus operativer, rechtlicher und ethischer Sicht spielen sollte. So kann die Kom­bina­tion von an sich unproblematischen Assis­tenzsystemen und automatisierten Schrit­ten bei der Zielauswahl zu einem schleichenden Ver­lust menschlicher Kontrolle führen.

Mit einem relativ simplen Verbot, wie es zum Beispiel bei Streumunition und ande­ren Waffenkategorien möglich war, ist es darum nicht getan. Das Besondere an dem Fokus auf die Mensch-Maschine-Interaktion ist, dass hier nicht die Anzahl oder Reich­weite einer bestimmten Waffe begrenzt werden soll, sondern es Regeln für den militärischen Entscheidungsprozess bedarf. Auch wenn sich die Aufmerksamkeit der »humanitären Abrüstung« häufig auf die Art der Nutzung einer Waffe richtet, ist dies doch ein neuartiger Ansatz. Die Regu­lie­rung von AWS über ein Gebot der menschlichen Kontrolle birgt darum einige kon­zeptionelle Herausforderungen, erscheint aber nicht unmöglich.

Eine Regulierung im CCW-Rahmen könnte ein allgemein formuliertes Gebot enthalten. Die Anwendung autonomer Funktionen würde dadurch stark begrenzt, was ein Verbot für LAWS – verstanden als Waffensystem ohne ausreichende menschliche Kontrolle – bedeuten würde. Details zum Verhältnis von menschlicher Kontrolle und operativem Kontext könnten beispielsweise in Best-Practices-Sammlungen und anderen, rechtlich unverbindlichen Doku­menten behandelt werden.

Ein zentrales Problem ist allerdings, dass beispielsweise die USA und andere Nato-Mit­glieder sowie Russland und vermutlich auch China einer rechtlich verbindlichen Regulierung nicht zustimmen würden. Deutschland bleiben daher drei Möglich­keiten: Erstens könnte es die Verabschiedung eines verbindlichen Dokuments ohne diese Staaten – also außerhalb der CCW – vorantreiben. Damit würde jedoch die Chance vertan, durch einen normativen Rah­men Rüstungsdynamiken zumindest ein wenig einzuschränken.

Zum Zweiten könnte Deutschland diese Pattsituation einfach akzeptieren und in Kauf nehmen, dass es keine internationale Regelung zu LAWS und menschlicher Kon­trolle gibt. Dies wäre jedoch keine sinnvolle Option, denn zumindest innerhalb der EU und auch der Nato bedarf es eines gemeinsamen Konzepts. So verlangen zum einen die Richtlinien des EDF menschliche Kon­trolle, ohne dass geklärt wäre, nach welchen Kriterien das Vorliegen dieser Bedingung geprüft wird. Dies schafft Unklarheiten bei der Vergabe von Mitteln. Zum anderen setzt die Weiterentwicklung des FCAS eine fran­zösisch-spanisch-deutsche Verständigung über den Grad der essentiellen mensch­lichen Kontrolle voraus.

Drittens könnte Deutschland den Verhandlungsprozess in Genf über politisch sanftere und weniger spannungsgeladene Mechanismen weiter beleben. Es könnte beispielsweise die Verabschiedung nicht verbindlicher Dokumente fördern, auf die detailliertere Ausgestaltung der Leitprinzipien der GGE hinwirken und so seiner auch in anderen Bereichen praktizierten Vermitt­lerrolle nachkommen. Gleichzeitig könnte es mit diesem Ansatz auch wichtige Staaten wie die USA, Russland und China eher an Bord holen und zu Zugeständnissen be­wegen.

Deutschland könnte die internationale Normentwicklung zudem national auf ver­schiedenen Wegen voranbringen. Ein Ver­bot von LAWS fand im Bundestag keine Mehrheit, da verschiedene Fraktionen die fehlende Definition beklagten und tech­nische Entwicklungen nicht zu früh be­grenzen wollten. Jedoch könnte sich das Parlament für ein Gebot menschlicher Kontrolle aussprechen, denn hier scheint sich fraktionsübergreifend ein Konsens abzuzeichnen.

Daran anschließen könnten sich ent­sprechende Formulierungen zur militä­rischen Nutzung von KI in der KI-Strategie der Bundesregierung und eine klare Posi­tionsbestimmung von Seiten der Bundeswehr. Dabei ist ins­besondere zu klären, in welchem Verhältnis menschliche Kon­trolle und die denkbare Notwendigkeit zum Kämpfen bei Maschinengeschwindigkeit (Fight-at-Machine-Speed und Deploy-at-Machine-Speed) stehen sollten, ein Dilemma, das ein Arbeitspapier des Amtes für Heeresentwicklung bereits problematisiert. In diesem Kon­text wäre auch zu erörtern, wie sich eine Verpflichtung zur Gewährleistung mensch­licher Kontrolle auf Deutschlands Verteidigungs- und Bündnisfähigkeit auswirkt, wenn andere Staaten eine stärkere Automatisie­rung ihrer Waffensysteme und Entschei­dungsprozesse akzeptieren und Deutschland angriffen. Auch in diesem Fall wären jedoch rechtliche und ethische Grenzen sowie Möglichkeiten der Rüstungskontrolle zu berücksichtigen.

Auch der Koalitionsvertrag der nächsten Bundesregierung könnte neben bzw. an­stelle einer Ächtung autonomer Waffen­systeme die Notwendigkeit menschlicher Kontrolle über den Gewalteinsatz bekräftigen und dieses Prinzip zu einem zentralen Prüfstein zukünftiger Waffenentwicklungen machen. Mit solchen Leitlinien im Gepäck könnte die deutsche Delegation in der GGE noch klarer auftreten und in der internationalen Gemeinschaft das humanitäre Völkerrecht durch die Ausgestaltung des Konzepts der menschlichen Kontrolle weiter stärken.