Anja Dahlmann ist Wissenschaftlerin in der Forschungs-gruppe Sicherheitspolitik

Dr. Marcel Dickow ist Forschungsgruppenleiter der Forschungsgruppe Sicherheitspolitik

Autonome Waffensysteme bzw. Waffensysteme mit autonomen Funktionen – sogenannte Lethal Autonomous Weapon Systems (LAWS) – sind Waffen, die keine menschliche Intervention für die Auswahl und Bekämpfung des Ziels benötigen. Ermöglicht wird dies durch neuere Entwicklungen bei Sensortechnik, Rechenleistung und Softwarefähigkeiten. Besonders relevant sind hierbei mathematische Verfahren, die häufig unter dem Begriff »künstliche Intelligenz« zusammengefasst werden.

Anja Dahlmann und Marcel Dickow beleuchten die Debatte um die Regulierung von LAWS auf internationaler, europäischer und nationaler Ebene und leiten daraus Handlungsempfehlungen für Bundestag und Bundesregierung ab. Dabei haben sie drei Perspektiven im Blick: die technologisch-operationale, die rechtliche und die ethische.

Die Autorin und der Autor argumentieren, dass die Bundesregierung, um ihrem Anspruch auf internationale Ächtung von LAWS gerecht zu werden, zunächst den Begriff »menschliche Kontrolle« ausdifferenzieren sollte, beispielsweise in einem Strategiedokument des Bundesministeriums der Verteidigung. Ziel sollte sein, eine Regulierung von Entwicklung und Einsatz von LAWS zu ermöglichen – und zwar auf internationaler Ebene – und damit das Thema militärische Robotik politisch handhabbar zu machen.

Der völkerrechtliche Verhandlungsrahmen zur Regulierung von LAWS ist derzeit die Waffenkonvention der Vereinten Nationen. Ein Gemeinsamer Standpunkt der EU-Mitgliedsstaaten, welcher die menschliche Kontrolle einfordert oder – besser noch – Vorschläge zu deren Ausgestaltung macht, könnte einen entscheidenden Einfluss auf die Verhandlungen haben.

Inhaltsverzeichnis

1 Problemstellung und Empfehlungen

2 Autonome Waffensysteme als Gegenstand der politischen Debatte

3 Die Entwicklung und Nutzung von Waffensystemen mit autonomen Funktionen: politische und militärische Implikationen

3.1 Maschinelle Autonomie und menschliche Kontrolle

3.2 Der technische Stand von LAWS und die politische Wahrnehmung

3.3 Auswirkungen auf die Streitkräfte

3.3.1 Wachsende Datenmengen und maschinelles Lernen

3.3.2 Militärische Abläufe und Strukturen

3.4 Der Einfluss technischer Möglichkeiten auf politische Entscheidungen

3.5 Die sicherheitspolitischen Implikationen von LAWS

4 Die Regulierung von LAWS: Stand und Perspektiven

4.1 Die Vereinten Nationen

4.2 Die Europäische Union

4.3 Bundestag und Bundesregierung

5 Schlussfolgerungen und Empfehlungen

5.1 Die EU als wichtiger Akteur bei der Regulierung von LAWS

5.2 Die Transformation der CCW-Gespräche in einen Verhandlungsprozess

6 Abkürzungen

6.1 Literaturhinweise

Problemstellung und Empfehlungen

Autonome Waffensysteme bzw. Waffensysteme mit autonomen Funktionen – sogenannte Lethal Autonomous Weapon Systems (LAWS) – sind Waffen, die keine menschliche Intervention für die Auswahl und Bekämpfung des Ziels benötigen. Schon heute wird dieses Prinzip in der Flugabwehr verwendet, bezieht sich aber auf einfach und recht eindeutig strukturierte Umgebungen. LAWS hingegen wären in der Lage, in komplexen, dynamischen Umgebungen zu agieren.

Ermöglicht wird dies durch neuere Entwicklungen bei Sensortechnik, Rechenleistung und Softwarefähigkeiten. Besonders relevant sind hierbei mathematische Verfahren, die häufig unter dem Begriff »künstliche Intelligenz« (KI) zusammengefasst werden.

Technologie bestimmt unseren Alltag – unser Verhältnis zu ihr müssen wir stets aufs Neue ausloten. Dies gilt auch an der Schnittstelle von Technologie und Sicherheitspolitik: Die Frage des Einsatzes und der Auf- und Abrüstung von Nuklearwaffen sowie die Frage von offensiven und defensiven Cyberfähigkeiten, also nach Sicherheit im Cyberspace, stehen stellvertretend für eine Vielzahl von Themen, die sich in gesellschaftlichen und politischen Debatten niederschlagen. Mit der Robotik und der Anwendung künstlicher Intelligenz halten neue Technologien Einzug in die aktuellen militärischen und völkerrechtlichen Debatten in der Sicherheitspolitik.

Wenn zukünftig autonome Fahrzeuge auf Deutschlands Straßen unterwegs sind, liegt es auf der Hand, dass die dafür nötige Technologie und ihr Einsatz bestimmten Regeln unterworfen werden müssen, um die allgemeine Sicherheit zu gewährleisten und den gesetzlichen Bestimmungen zu genügen. Wird dies auch für den Einsatz autonomer Waffensysteme gelten? Um diese Frage und um die dahinterliegenden technologischen, völkerrechtlichen, ethischen und sicherheitspolitischen Teilaspekte ist auf internationaler Ebene eine Debatte entbrannt.

Die vorliegende Studie stellt zunächst kurz dar, inwiefern autonome Waffensysteme Gegenstand der politischen Debatte sind. Anschließend untersucht sie die möglichen Auswirkungen der Entwicklung und Nutzung von LAWS. Auf dieser Basis beleuchtet sie die Debatte um ihre Regulierung auf internationaler, europäischer und nationaler Ebene und leitet daraus Handlungsempfehlungen für Bundestag und Bundesregierung ab. Dabei hat sie drei Perspektiven im Blick: die technologisch-operationale, die rechtliche und die ethische.

Unter technologisch-operationalen Gesichtspunkten sind unbemannte Waffensysteme, insbesondere solche mit autonomen Fähigkeiten, von Bedeutung, weil sie die militärische Vorgehensweise im Gefecht beispielsweise schon dadurch verändern, dass im Einsatz weniger Personal benötigt wird. Die Steuerung eines unbemannten Systems ist gerade nicht an das Schlachtfeld gebunden; Systeme mit autonomen Fähigkeiten erfordern nur noch einen Überwacher, der unter Umständen einen ganzen Roboterschwarm beobachtet. Der Wegfall der Kommunikationsverbindung ermöglicht zudem kürzere Reaktionszeiten und Einsätze in schwer erreichbaren Gebieten. Gleichzeitig macht diese neue Technologie eine Anpassung von militärischen Strukturen und Abläufen nötig, um die Chancen voll auszuschöpfen und mögliche Risiken zu minimieren.

Für die rechtliche Betrachtung autonomer Waffensysteme ist besonders das humanitäre Völkerrecht relevant. Hier gelten Grundsätze wie das Gebot, zwischen Zivilisten und Kriegsteilnehmern zu unterscheiden, die Verhältnismäßigkeit von Mittel und Zweck sowie die militärische Notwendigkeit des Gewalteinsatzes. Manche Abwägungen lassen sich bereits im Vorfeld eines Angriffs vornehmen, anderes muss in der konkreten Situation entschieden werden. Gerade in dynamischen Entscheidungskreisläufen bei der militärischen Zielauswahl (targeting cycle) entstehen rechtliche Bedenken bei der Nutzung von LAWS. So existieren zumindest bisher keine technischen Lösungen für die Umsetzung abstrakter Rechtsbegriffe (wie zum Beispiel des Unterscheidungsgebots) in maschinelle Regeln – doch selbst wenn dies eines Tages möglich sein sollte, bleibt der Mensch das Rechtssubjekt, muss also die Entscheidung treffen. Ohne ausreichende menschliche Kontrolle im Zielkreislauf ist dies nicht möglich.

Aus ethischer Perspektive sind LAWS vor allem hinsichtlich der Menschenwürde problematisch, denn Roboter verstehen nicht, was es bedeutet, einen Menschen zu töten. Ohne diese Reflexion wird der als Ziel ausgewählte Mensch jedoch zu einem reinen Datenpunkt, mithin einem Objekt. Die Nutzung autonomer Waffensysteme würde damit die Würde des Opfers verletzen – auch technische Verbesserungen können dieses Problem nicht lösen.

Die Berücksichtigung dieser technisch-operationalen, rechtlichen und ethischen Perspektiven zeigt, dass sich eine neue Qualität der Kriegsführung ergibt, wenn der Mensch die Entscheidung zum Gewalteinsatz, also zum Töten von Menschen, an Maschinen abtritt. Trotz operativer Vorteile überwiegen die problematischen Konsequenzen – menschliche Kontrolle ist unabdingbar. Sowohl international als auch in Deutschland zeichnet sich ein Konsens für dieses Prinzip der menschlichen Kontrolle ab, die konkrete Ausgestaltung rechtlicher Regelungen ist aber unklar bzw. umstritten.

Das Eintreten der Bundesregierung für eine völkerrechtliche Ächtung von Waffen ohne menschliche Kontrolle ist also weiterhin geboten. Hilfreich wäre dabei eine Positionierung der Bundesregierung, wie sie den Begriff »menschliche Kontrolle« versteht, beispielsweise in einem Strategiedokument des Bundesverteidigungsministeriums (BMVg). Ziel sollte sein, eine Regulierung von Entwicklung und Einsatz von LAWS zu ermöglichen – und zwar auf internationaler Ebene – und damit das Thema militärische Robotik politisch handhabbar zu machen.

Der völkerrechtliche Verhandlungsrahmen zur Regulierung von LAWS ist derzeit die Waffenkonvention der Vereinten Nationen (Convention on Certain Conventional Weapons, CCW). Die Treffen der CCW-Vertragsstaaten bilden also das Forum, in dem eine Norm zur menschlichen Kontrolle über den Gewalteinsatz geschaffen werden sollte. Ein Gemeinsamer Standpunkt der Mitgliedsstaaten der Europäischen Union (EU), welcher diese menschliche Kontrolle einfordert oder – besser noch – Vorschläge zu deren Ausgestaltung macht, könnte einen entscheidenden Einfluss auf die Verhandlungen haben.

Autonome Waffensysteme als Gegenstand der politischen Debatte

Die Debatte um die Entwicklung und Nutzung von Robotern hat sich in den vergangenen Jahren verändert. Autonome Fahrzeuge bilden ein Mainstream-Thema in der deutschen Industriepolitik, Anwendungen von künstlicher Intelligenz haben Einzug in kommerzielle und militärische Hard- und Software gehalten. Neue Smartphones kommen mit Hardware für KI-Anwendungen auf den Markt, Algorithmen lernen und spielen Computerspiele und klassische Brettspiele mittlerweile besser als der Mensch. Datengetriebenes maschinelles Lernen eröffnet neue Einsatzmöglichkeiten in fast allen Lebensbereichen. Im April bzw. November 2018 veröffentlichten die Europäische Kommission und die deutsche Bundesregierung zum ersten Mal dezidierte KI-Strategien.¹ Es verwundert nicht, dass die nationale wie internationale politische Diskussion inzwischen intensiv und facettenreich geführt wird. Sie findet aber vor allem in Bezug auf die zivile Nutzung statt, beispielsweise durch die deutsche Ethikkommission zum autonomen Fahren. Die militärischen Implikationen diskutiert die breite Öffentlichkeit hingegen kaum.

Auch der Deutsche Bundestag hat das sicherheitspolitische und völkerrechtliche Problem militärischer Robotik noch nicht entschieden aufgegriffen. Im Gegensatz dazu hat beispielsweise das belgische Parlament im Juni 2018 eine Resolution verabschiedet, welche ein Verbot autonomer Waffen einfordert.²

Das Europäische Parlament (EP) hat im September 2018 seine erste eigene Resolution zu autonomen Waffensystemen beschlossen, die für die Mitgliedsstaaten aber nicht bindend ist.

Begriffserklärungen

Wo komplexe Sachverhalte wissenschaftlicher, gesellschaftlicher und politischer Einordnung bedürfen, helfen allgemein anerkannte Definitionen. Ein Hauptproblem der Debatte um zivile und militärische Nutzung von KI und Robotik ist gerade das Fehlen solcher Definitionen. Diese Studie verwendet den allgemeinen Begriff »unbemanntes militärisches System« (UMS) für jede Form von militärischer robotischer Hardware, sei sie rein ferngesteuert oder mit autonomen Funktionen ausgestattet. Im Kontext der internationalen Gespräche über diese Systeme hat die Waffenkonvention der Vereinten Nationen den Begriff »LAWS« (Lethal Autonomous Weapon System) aufgegriffen, den wir speziell für Waffensysteme mit autonomen Funktionen gebrauchen. Auf fachlicher Ebene sprechen wir nicht von »autonomen Waffensystemen«, sondern von »Waffensystemen mit autonomen Funktionen«, da nicht der Autonomiegrad entscheidend ist, sondern die Funktionen, bei denen der Mensch durch die Maschine unterstützt bzw. ersetzt wird.

Je mehr das Thema international an Bedeutung gewinnt, desto notwendiger erscheint es, dass das deutsche Parlament sich damit befasst, um die sicherheits- und rüstungskontrollpolitischen Implikationen der Technologie zu erfassen.

Die politische Beschäftigung mit Autonomie in Waffensystemen steht in Deutschland noch am Anfang.

Die Bundeswehr bezieht schließlich bereits heute stärker automatisierte und teilweise autonome Waffensysteme in ihre Streitkräfteplanung mit ein und könnte zukünftig in den Bündnissen oder auf dem Schlachtfeld diesen Systemen gegenüberstehen. Während das Auswärtige Amt (AA) seit 2013 die internationalen Debatten zum Beispiel im Rahmen der Waffenkonvention der Vereinten Nationen mitgeprägt hat, hat sich die politische Debatte im Parlament fast ausschließlich auf bewaffnete Drohnen fokussiert. Eine Anhörung im Unterausschuss für Abrüstung und Rüstungskontrolle im Jahr 2016 bildete die Ausnahme. Die Bewilligung des Bundestages im Sommer 2018 für die Beschaffung von bewaffnungsfähigen Drohnen lässt zahlreiche technische und organisatorische Fragen offen (Ausbildung und Training der Streitkräfte, Beschaffung der Munition etc.). Unklar bleibt auch, welche politischen Auswirkungen dieses Beschaffungsvorhaben auf die Nutzung von autonomen Funktionen in zukünftigen Generationen fliegender Waffensysteme haben wird.

Die Idee der Klassifizierung von Autonomiegraden erschwert die Debatte um militärische Robotik zusätzlich. Wie genau einzelne Abstufungen von Autonomie definiert werden können und welche Konsequenzen sich daraus ergeben, ist völlig unklar. Roboter sind nicht entweder vollständig unter menschlicher Kontrolle oder vollautonom. Die Menschen, die sie bedienen, werden in erheblichem Maße von Assistenzsystemen unterstützt, die wichtige Aufgaben übernehmen. Schon allein deswegen verwischt die Grenze zwischen Begriffen wie »automatisiert«, »teilautonom« und »autonom«, die gerne in der politischen Debatte benutzt werden.

Die Entwicklung und Nutzung von Waffensystemen mit autonomen Funktionen: politische und militärische Implikationen

Die Technologie unbemannter Systeme kann sowohl für zivile als auch für militärische Zwecke genutzt werden (Dual Use). Da der zivile Markt für Robotik erheblich größer ist, stammen viele technische Bausteine militärischer Anwendungen (zum Beispiel Sensoren oder Software) aus zivilen Entwicklungen. Dieser Umstand fordert nicht nur die Zivilklausel³ deutscher Universitäten heraus – auch Exportkontrollen, die Verhinderung von Proliferation und die Verifikation werden dadurch praktisch unmöglich: Die einzelnen Bestandteile können auf dem zivilen Markt beschafft und mit relativ wenig Aufwand militärisch nutzbar gemacht werden.

Mit »unbemannten Systemen« oder »Robotern« können sowohl ferngesteuerte als auch autonom agierende Maschinen gemeint sein; der Fokus der vorliegenden Studie liegt auf letzteren. Technologien wie ferngesteuerte Drohnen sind in diesem Zusammenhang nur als Vorläufer relevant. Maschinelle Autonomie bedeutet, dass die Maschine ohne menschliches Eingreifen in dynamischen Umgebungen bestimmte Aufgaben erfüllen kann.

Eine Voraussetzung für diese Fähigkeit sind die Techniken der künstlichen Intelligenz, einem Oberbegriff für zahlreiche Programmiermethoden. Die Inhalte dieses Forschungsgebietes wandeln sich stetig, basieren aber immer auf mathematischen, oft statistischen, Verfahren. Die Expertinnen und Experten der KI-Forschung sind sich uneinig, ob und wann die Nachbildung menschlicher Intelligenz möglich sein wird. Aktuell übertreffen die Kompetenzen von Software zwar einzelne menschliche Fähigkeiten, bilden aber keinen menschenähnlichen Geist. Die Betonung liegt also eher auf dem Künstlichen als auf der Intelligenz, der Begriff »künstliche Intelligenz« sollte entsprechend sparsam und mit Bedacht verwendet werden.

Die Verfahren der KI sind von maßgeblicher Bedeutung für die Umsetzung autonomer Fähigkeiten von Maschinen. Insbesondere maschinelles Lernen⁴ benötigt dabei eine große Menge relevanter, (vor)strukturierter Daten zum Trainieren der mathematischen Modelle. Diese Daten können für bestimmte Anwendungsfälle seit den 2000er-Jahren leicht im Internet gewonnen werden; das Internet der Dinge (Internet of Things, IoT)⁵ wird die Verfügbarkeit von Daten weiter steigern. Das gilt aber nicht in gleichem Maße für Daten zum Training maschinell lernender militärischer Systeme, da sie nicht oder nur sehr eingeschränkt aus dem zivilen Leben gewonnen werden können.

Preiswerte Speichersysteme, gestiegene Rechenleistung und Big Data haben den Einzug des maschinellen Lernens in das Alltagsleben ermöglicht. Anwendungen dieser Technologien finden sich mittlerweile in allen Industriesparten, im Dienstleistungssektor, im Versicherungs- und Finanzwesen, in Behörden wie zum Beispiel bei der Kriminalpolizei, aber auch in Wissenschaft und Forschung. Verfahren der KI werden seit einigen Jahren auch in den Streitkräften eingesetzt, beispielsweise bei Assistenzsystemen auf Schiffen oder in der Auswertung von Bilddaten von Aufklärungsdrohnen.⁶

Maschinelle Autonomie und menschliche Kontrolle

Aus rechtlicher, aber vor allem aus operativer Perspektive auf Waffensysteme mit autonomen Funktionen ist die Mensch-Maschine-Beziehung von großer Bedeutung. Zentral erscheint dabei die Gestaltung der menschlichen Rolle in der Bedienung, also wie viel Autonomie dem Waffensystem eingeräumt wird und was der Mensch entscheiden muss. Daher dominierte lange Zeit die Frage nach einer geeigneten Definition von Autonomie die nationalen und internationalen Debatten – verbunden mit der definitorischen Unschärfe, was genau LAWS sind. Der multilaterale Gesprächsprozess zu diesen Waffensystemen bei der CCW spiegelt diesen Verlauf gut wider. In der dortigen Debatte und sukzessive auch in der medialen Berichterstattung ist die Notwendigkeit einer wie auch immer gearteten menschlichen Kontrolle über solche Systeme inzwischen in den Mittelpunkt gerückt. Diese Idee lässt sich unmittelbar aus dem humanitären Völkerrecht ableiten und der darin festgeschriebenen Notwendigkeit, beim Einsatz von Waffengewalt bestimmte Abwägungen vorzunehmen. Allerdings prägen weiterhin einige wenige Szenarien, wie etwa die vollautonome Drohne⁷ oder der »fahrende Kampfroboter«,⁸ die Debatte. Sie besitzen jedoch nur beschränkte Aussage- und Prognosekraft bezüglich der technischen Entwicklung und des Einsatzes künftiger LAWS. Wirklich relevant sind dagegen die Entwicklungen im Softwarebereich (insbesondere tiefe neuronale Netze und künstliche Intelligenz),⁹ bei Schwarmsystemen und bei Assistenzsystemen für das Mensch-Maschine-Teaming. Um der Breite der technologischen Entwicklung Rechnung zu tragen, fordern viele Akteure ein generelles Verbot des Einsatzes von LAWS und setzen die Grenze folgendermaßen: Dass die Entscheidung zu töten auf einen bewaffneten Roboter übertragen wird, gilt als nicht mehr akzeptabel.

Dieser Fokus auf die Funktionen der Zielauswahl und -bekämpfung – das Internationale Komitee vom Roten Kreuz nennt sie die kritischen Funktionen (critical functions) – lässt allerdings eine breite Grauzone außer Acht. So müssen die Entscheidung zu töten und ihre Ausführung nicht notwendigerweise durch denselben autonomen Roboter geschehen. Stattdessen können sie in einem komplexen Waffensystem, einem sogenannten system of systems, von unterschiedlichen Teilen durchgeführt werden. Die genauen »Zuständigkeiten« können dabei gegebenenfalls unklar werden.

Assistenzsysteme verwischen die Grenzen zwischen Fernsteuerung, Automatisierung und Autonomie.

Noch problematischer sind Assistenzsysteme, wie sie bereits heute in zivilen und militärischen Systemen eingesetzt werden. Sie nehmen dem Menschen bestimmte Entscheidungen ab oder bereiten sie vor und filtern dabei die gesammelten Daten, um Entscheidungsoptionen anzubieten. Dabei ist fraglich, ob der Mensch tatsächlich nachvollziehen kann, dass bzw. wie diese Optionen durch Algorithmen entstanden sind. Diese Kompetenzverlagerung ist eine schleichende Entwicklung, die als zwangsläufige Begleiterscheinung oder auch innere Logik zu (steigender) Autonomie angesehen werden kann. Dieser Autonomisierungstrend ergibt sich aus technischen, aber auch militärischen Überlegungen.

Technisch ist die Übertragung von Entscheidungskompetenzen an Maschinen aus zwei Gründen sinnvoll: Erstens führt bei ferngesteuerten UMS der Abbruch der Kommunikationsverbindung zwischen Station und Gerät in der Regel zum Missionsabbruch, was zu Verzögerungen, eventuell sogar zur Gefährdung der eigenen Soldatinnen und Soldaten führen kann. Zweitens steigt mit dem Einsatz unbemannter Systeme die Datenmenge, da immer mehr Sensoren verwendet oder Schwärme eingesetzt werden. Menschen sind von dieser Informationsflut überfordert, sodass schon heute Assistenzsysteme als Filter genutzt werden. Mit steigender Datenmenge werden diese Systeme mehr und mehr Entscheidungskompetenzen bekommen, während der Mensch vom Entscheider zum Aufseher (supervisor) wird.

Beide Aspekte spielen auch bei militärischen Überlegungen eine Rolle und werden dabei durch die steigende Geschwindigkeit im Einsatz forciert. Diese ergibt sich, wenn eine Konfliktpartei LAWS einsetzt, welche deutlich schneller reagieren können (oder zumindest bald können werden) als Menschen. Schon um nicht militärisch benachteiligt zu sein, erscheint die Verwendung autonomer Systeme darum für alle anderen (potentiellen Konfliktparteien) ebenso geboten, zumindest aus taktischen Gründen.

Der technische Stand von LAWS und die politische Wahrnehmung

Assistenzsysteme begegnen uns inzwischen täglich in der Mobilität (Spurhalte- und Bremsassistent, Navigation), im Privaten (zum Beispiel auf mobilen Endgeräten wie Apples Siri oder Microsofts Cortana) und im Arbeitsumfeld (zum Beispiel in Produktionsprozessen und der Logistik). Sie sind für manche zu einem so selbstverständlichen Teil des Lebens geworden, dass sie ihren Einfluss auf Entscheidungsprozesse nicht mehr in vollem Umfang wahrnehmen.

Dieses Unterschätzen geht einher mit einem teilweisen Überschätzen der derzeit möglichen kognitiven Fähigkeiten von maschinellen Systemen, insbesondere von Robotern. Wie groß der mathematische und algorithmische Aufwand ist, um einem Roboter ein annähernd ausreichendes Abbild der Umgebung zu »vermitteln«, ist meist nur Experten bekannt. Dass die informierten und sehr menschlich wirkenden Antworten von Alexa und ähnlichen Programmen nicht auf einer generellen maschinellen Intelligenz beruhen, sondern aus einer Summe von vorprogrammierten Einzelfällen zusammengesetzt werden, bleibt dem Nutzer in der Regel verborgen. Die begrenzte Anwendbarkeit der zugrunde liegenden mathematischen Modelle zeigt sich erst bei kuriosen Antworten auf Fragen, die subtilen Kontext beinhalten.¹⁰ Maschinelle Intelligenz besitzt eben gerade kein Verständnis der Umwelt (Kognition), zumindest nicht auf absehbare Zeit.

Diese technischen Grenzen gelten auch für den militärischen Einsatz solcher Systeme. In den vergangenen Jahren ist ein unvollständiges Bild der Möglichkeiten, Herausforderungen und Risiken von LAWS entstanden, das sich in der deutschen wie internationalen Debatte zur Regulierung von LAWS widerspiegelt. Insbesondere wird die Rolle von Assistenzsystemen in politischen Debatten kaum hervorgehoben, obwohl sie in der zivilen Welt fast zum Alltag gehören und die Funktionalität von Systemen wesentlich mitbestimmen. Ihre Berücksichtigung wäre aber wichtig, da Assistenzsysteme in der Grauzone zwischen »automatisiert« und »vollautonom« liegen. Diese Grauzone verkompliziert die Grenzziehung für ein Verbot von LAWS zusätzlich (vgl. Seite 8, letzter Absatz).

Gleichzeitig formulieren Staatenvertreterinnen und -vertreter in der CCW die Erwartung an die Verfahren der künstlichen Intelligenz, die Implementierung von humanitär-völkerrechtlichen Prinzipien beim Einsatz von Waffengewalt verbessern zu können. Beispielhaft sei hierzu auf das Unterscheidungsgebot (Militär versus Zivilbevölkerung), die Verhältnismäßigkeit (von Mittel und Zweck) sowie die militärische Notwendigkeit (des Gewalteinsatzes) verwiesen. Diese Begriffe sind rechtlich abstrakt definiert und entsprechend kontextgebunden, was die Umsetzung in maschinelle Regeln erschwert – vielleicht sogar unmöglich macht. Doch selbst wenn dies eines Tages möglich sein sollte, bleibt der Mensch das Rechtssubjekt, muss also die Entscheidung treffen. Ohne ausreichende menschliche Kontrolle im Entscheidungskreislauf bei der militärischen Zielauswahl (targeting cycle) ist dies nicht möglich.¹¹

Entscheidungskreislauf bei der militärischen Zielauswahl (targeting cycle)

Exemplarisch sei hier der Entscheidungskreislauf für dynamische Zielauswahl des US-amerikanischen Militärs beschrieben. Dieser besteht aus sechs Schritten, nämlich

1) Find: Auffinden möglicher Ziele nach bestimmten Kriterien in einem festgelegten Gebiet

2) Fix: Festlegen des Ziels

3) Track: Verfolgen des Ziels

4) Target: Zielen im engeren Sinne; hier werden auch rechtliche Abwägungen zu Verhältnismäßigkeit der Mittel, möglichen Kollateralschäden und anderen Aspekten getroffen

5) Engage: Bekämpfen des Ziels

6) Assess: Auswertung des Ergebnisses; eventuell beginnt der Kreislauf dann von vorn

Darüber hinaus sind die völkerrechtlichen Prinzipien ethische und damit menschliche Konzepte einer humanitären Regelung des Krieges und darum ganz grundsätzlich nicht maschinell reproduzierbar. Nichtsdestotrotz setzen Planer in Streitkräften ihre Hoffnung darauf, dass Algorithmen zukünftig zum Beispiel das Gebot, zwischen Militärangehörigen und Zivilbevölkerung zu unterscheiden, besser einhalten könnten als Menschen.¹² Dem zugrunde liegt oft die Vorstellung, dass sich ethisch-humanitäre Vorgaben in maschinelle Regeln und Kausalzusammenhänge übersetzen ließen, selbst wenn die Maschine den Menschen nur bei der Abwägung unterstützen soll.¹³ Dies mag unter speziellen Randbedingungen tatsächlich in einigen Fällen denkbar sein, beispielsweise in einfach strukturierten Räumen ohne Menschen. Solche Spezialfälle werden gern verallgemeinert. Auch besteht das Risiko, dass sich die Annahme, dass so ein Spezialfall vorliegt, durch Dynamiken in der Einsatzumgebung und durch Taktik der gegnerischen Seite als falsch erweist. Dies bleibt auch im Rahmen der CCW-Diskussion ein wenig thematisierter Aspekt.

Im »Rausch« der Berechenbarkeit der Welt – und nichts anderes ist die Digitalisierung und Robotisierung – wird leicht übersehen, dass der Mensch selbst, und damit sein Handeln, alles andere als berechenbar ist. Dies ist eine der größten Herausforderungen für die Mensch-Maschine-Interaktion, sei sie kooperativ (das heißt zum Beispiel, die Maschine liefert im Gefecht ihrem Bediener Informationen) oder unkooperativ (das heißt, die Maschine bleibt für die gegnerische Seite intransparent) – und diese Herausforderung spiegelt sich in der politischen Debatte nur schemenhaft wider.

Auswirkungen auf die Streitkräfte

Roboter verändern militärische Vorgehensweisen im Gefecht bereits dadurch, dass im Einsatz weniger Personal benötigt wird: Unbemannte Systeme können im Prinzip von jedem Ort der Welt aus gesteuert werden, bei wachsender Autonomie reicht theoretisch ein einzelner »Pilot« für die Überwachung ganzer Roboterschwärme aus. Vor allem Landroboter können die Soldatinnen und Soldaten unterstützen und ermöglichen schon heute Einsätze, die für Menschen zu gefährlich sind. Dennoch haben Roboter nicht nur Vorteile. Die oft zitierten Argumente wie Kostenersparnis, geringerer Personaleinsatz und höhere Präzision im Einsatz treffen nicht immer zwangsläufig zu. Zudem verhindert das Argument des Schutzes der eigenen Streitkräfte oft die Berücksichtigung anderer Aspekte und damit eine Abwägung.

Neuere Forschungen¹⁴ belegen die Verbindung von Robotik und Verwundbarkeiten im Datenraum bzw. in den Command and Control-Infrastrukturen auf taktischer wie auf strategischer Ebene. Mangels menschlicher Gegnerinnen und Gegner könnten Konfliktparteien auf die technologische Infrastruktur der Gegenseite als Angriffsziel ausweichen. Gerade typische Robotiknutzer, nämlich hochtechnisierte Staaten, sind hierbei besonders verletzlich, weil sie von diesen Strukturen abhängig sind.

Wachsende Datenmengen und maschinelles Lernen

Roboter benötigen für ihre Funktion eine große Menge an Sensor- und Trainingsdaten, insbesondere maschinell lernende bzw. angelernte Systeme. Dies schafft sowohl quantitative als auch qualitative Herausforderungen. Zunächst ist generell fraglich, ob mehr Sensorik und damit mehr Daten tatsächlich konsistenteres und vorhersehbareres Verhalten der Maschine bzw. bessere Entscheidungen des Menschen ermöglichen. Ab einem gewissen Punkt kann die Informationsflut die Entscheiderinnen und Entscheider verunsichern, Inkonsistenzen verursachen und Entscheidungen verzögern. Deswegen setzen moderne robotische Systeme Sensordatenfusion und Informationsfilterung ein. Die Auswahl der Filtermethoden ist dabei entscheidend für das Ergebnis und kann die Zuordnung von Verantwortung erschweren. Wenn Filter die Informationen, die den Bediener bzw. Kommandeur erreichen, derart beeinflussen können, ohne selbst vom Menschen kontrollierbar zu sein, ist zweifelhaft, ob im Einsatz selbst bedeutende Kontrolle und damit militärisch zuordenbare Entscheidungen getroffen werden (können).

Die Regulierung von LAWS muss schon bei der Datengrundlage beginnen.

Datengetriebene Algorithmen werfen zudem die Frage nach Repräsentativität und Neutralität der Trainingsdaten auf. Das Ergebnis der eingesetzten mathematischen Verfahren hängt maßgeblich davon ab, ob die Trainingsdaten der Anwendungswirklichkeit entsprechen oder nicht. Sind Trainingsdaten verzerrt, versagen die Algorithmen in der realen Anwendung und produzieren unvorhersehbare Ergebnisse. Forschungen zur zivilen Nutzung zeigen solche Einschränkungen bereits heute eindrucksvoll.¹⁵

Ebenso offen ist die Frage, wie militärische Trainingsdaten für lernende Systeme überhaupt in genügendem Maße und ausreichender Repräsentativität erzeugt werden können. Während das Internet und das Internet der Dinge stetige Lieferanten vorstrukturierter ziviler Daten sind, fehlen solche Datensätze für militärische Anwendungen. Die Schaffung synthetischer Trainingsdaten könnte Abhilfe schaffen. Auch sie unterliegt aber von Menschen konstruierten Modellen der realen Welt. Damit bleiben synthetische Trainingsdaten fehlerhaft und unvollständig, vor allem wenn es um unvorhersehbare Interaktionen im (realen) Kriegsfall geht.

Dies wäre ein möglicher Ansatzpunkt für die völkerrechtliche Regulierung von LAWS: sich (als Erstes) mit den für Waffensysteme notwendigen Daten, ihrer Beschaffung und Nutzung zu beschäftigen.

Militärische Abläufe und Strukturen

Während die Versorgung mit passenden Trainingsdaten also schwierig sein kann, führt der Einsatz unbemannter Systeme zu einer wahren Informationsflut für den Anwender. Das hat Auswirkungen auf militärische Strukturen und Entscheidungsabläufe.

Auf unterster Ebene könnten Entscheiderinnen und Entscheider von der wachsenden Informationsflut überfordert sein. Sofern nicht mehr und mehr Kompetenzen auf Computer übertragen werden sollen (vgl. Problematik der Assistenzsysteme, Seite 10), müssen die Soldatinnen und Soldaten in ihrer Ausbildung darauf vorbereitet werden. Die Ansprüche an die kognitiven Fähigkeiten des Personals steigen damit. Dies ist so lange unproblematisch, wie nur ein kleiner Teil der Streitkräfte robotische Systeme nutzt. Lösen die Maschinen aber nicht nur ältere Transportsysteme ab, sondern auch bemannte Kampfjets, Panzer und Schiffe, entsteht Handlungsbedarf: Sollen Entscheidungen für den Menschen nachvollziehbar und kontrollierbar bleiben, wachsen die Informationsdichte und damit die Komplexität von Entscheidungen. Dieser Komplexitätszuwachs verändert die Anforderungen an die Menschen: Entweder kann nur hochqualifiziertes Personal eingestellt werden, das möglicherweise schwierig zu finden ist, oder Aufgaben, die höhere intellektuelle Anforderungen stellen, müssen gebündelt auf eine übergeordnete Hierarchieebene verlagert werden. Dies würde die Rekrutierungsstrategien von Streitkräften verändern.

Nicht nur für höhere Hierarchieebenen oder Technikspezialisten ergeben sich neue Ansprüche, auch die Zusammenarbeit von Mensch und Maschine im Feld wird sich ändern. Schon ferngesteuerte Roboter werden in den Streitkräften teilweise anders wahrgenommen als herkömmliche Waffen und Werkzeuge;¹⁶ bei robotischen Systemen mit autonomen Funktionen ist mittlerweile erkennbar, dass sie Kommunikationsverhalten und soziale Beziehungen in militärischen Einheiten verändern. Soziologische Forschung zu diesen Phänomenen thematisiert bislang hauptsächlich zivile Anwendungsfelder. Ihre Ergebnisse sind nicht direkt auf den Einsatz von Waffensystemen übertragbar, sie sind aber für die Gestaltung der Mensch-Maschine-Schnittstelle bedeutsam. Schon in der anwendungsbezogenen zwischenmenschlichen Kommunikation beim Einsatz von Technologie entstehen trotz entsprechender Fachsprache und festgelegter Kommunikationsprozesse immer wieder Verständigungsprobleme. Die Interaktion von Soldat und Roboter im Feld über Sprache und Bewegung – und eben nicht bloß die Bedienung der Maschine – ist daher nicht nur eine technische Herausforderung, sondern muss auch in der Ausbildung der Soldatinnen und Soldaten berücksichtigt werden.

Durch die technische Komplexität von robotischen Systemen werden Streitkräfte in Zukunft noch abhängiger von privaten Unternehmen. Beispielsweise darf die von der Bundeswehr geleaste Drohne Heron aus Versicherungsgründen nur vom Personal des Herstellers gestartet und gelandet werden. Die Infrastruktur zur Datenübertragung ferngesteuerter Systeme ist ebenfalls oft in privater Hand, weil ein eigenes militärisches Satellitennetz mit ausreichender Bandbreite zu teuer wäre. Diese konkreten Fälle entfielen zwar bei vollständig autonomen Systemen, allerdings besteht aus operativ-militärischer Sicht durchaus ein Interesse, Fernsteuerung bei Bedarf zu ermöglichen. Die Abhängigkeit von privatwirtschaftlicher Expertise wird zudem nicht abnehmen. Im Gegenteil: Der Einfluss ziviler Unternehmen, vor allem ziviler Programmierer, auf die militärischen Anwendungen wächst. Das Bundesministerium der Verteidigung und deutsche Rüstungsunternehmen diskutieren zum Beispiel die Möglichkeit, im Bereich von Cybersicherheit und ‑verteidigung einzelne Aufgaben durch zivile Unternehmensbeschäftigte und nicht durch staatliches (hoheitliches) Personal durchführen zu lassen, denn gut ausgebildete Experten und Expertinnen für militärische Hochtechnologie sind knapp.

Der Einfluss technischer Möglichkeiten auf politische Entscheidungen

Mit Blick auf den militärischen Einsatz von Waffensystemen mit autonomen Funktionen steht immer wieder die Frage nach der Veränderung von Hemmschwellen im Raum. Die Debatten der CCW belegen, dass einige der auf diesem Gebiet technologisch führenden Staaten, wie die USA, mittlerweile eigene Untersuchungen in ihren Streitkräften durchführen. Ohne die Ergebnisse dieser Analysen zu kennen, lässt sich konstatieren, dass auch Skepsis darin enthalten sein dürfte, denn alle Staaten betonen die Notwendigkeit von menschlicher Kontrolle beim Einsatz von LAWS. Weil aber das Ausmaß der erforderlichen menschlichen Kontrolle bislang nicht ausreichend bestimmt wurde, bleiben die Konsequenzen für die Kriegsführung an sich und für die (politische wie militärische) Schwelle zum Einsatz von Gewalt weitgehend unreflektiert.

Dies ist umso problematischer, weil es für ein mögliches Absinken der militärischen Hemmschwelle bisher keine veröffentlichten empirischen Untersuchungen gibt. Die in den 2000er- und zu Beginn der 2010er-Jahre viel zitierte Joystick-Mentalität ist eher durch eine Debatte über posttraumatische Belastungsstörungen bei Piloten abgelöst worden.¹⁷

LAWS könnten zum Absinken der militärischen und vor allem der politischen Hemmschwelle zum Gewalteinsatz führen.

Aus politikwissenschaftlicher Sicht gibt es jedoch Hinweise, dass unbemannte Waffensysteme die Wahrscheinlichkeit bewaffneter Konflikte erhöhen – also die politische Hemmschwelle zum Gewalteinsatz senken. Die deutschen Politikwissenschaftler Sauer und Schörnig argumentieren beispielsweise auf Grundlage der Theorie des demokratischen Friedens,¹⁸ dass unbemannte militärische Systeme für Demokratien attraktiver erscheinen als andere Waffen und so auch die Hemmschwelle zum Militäreinsatz senken können. Das Interesse von Demokratien an UMS liege darin begründet, dass die politischen Akteure die tatsächlichen und politischen Kosten geringer einschätzten als bei anderen Waffensystemen. Vor allem die niedrigeren Verluste in den eigenen Truppen und die geringeren – oder jedenfalls weniger sichtbaren – Kollateralschäden lassen laut Sauer / Schörnig militärische Roboter attraktiver erscheinen und könnten langfristig zu einem Absinken der politischen Hemmschwelle zum Gewalteinsatz führen.¹⁹

In den deutschen Diskursen zur Begründung des Einsatzes bewaffneter Drohnen ist jedenfalls der Schutz der eigenen Truppen das dominierende Element, nicht die neuen potentiellen Einsatzformen.²⁰ Allerdings können sowohl ferngesteuerte als auch autonome Systeme eine neue Qualität der Distanzierung vom Kriegsgeschehen darstellen – neben einer körperlichen und emotionalen jetzt auch eine intellektuelle Distanzierung. Bereits durch ferngesteuerte Systeme wurden Einsätze möglich, die mit bemannten Systemen nicht stattgefunden hätten. Die Entfernung der Soldatinnen und Soldaten aus dem Einsatzgeschehen hat die gezielten Tötungen durch die CIA als wesentlichen Bestandteil der US-Strategie im Anti-terrorkampf, zum Beispiel in Pakistan und in Jemen, erst ermöglicht. Mit Spezialtruppen am Boden wären die eigenen Verluste jedenfalls sehr viel höher ausgefallen, eine dauerhafte Präsenz von Kampfjets vor Ort hätte eine zu offensichtliche Souveränitätsverletzung der Drittländer bedeutet. So bereitet die Technologie der bewaffneten Drohnen den Boden für eine räumlich und zeitlich entgrenzte Strategie im Kampf gegen den internationalen Terrorismus und dehnt damit die Definition eines bewaffneten Konflikts: Zum einen kann die lokale Begrenzung gänzlich entfallen. Zum anderen sinkt die Zahl der sichtbaren Opfer, was Konflikte unter die öffentliche oder auch rechtliche Wahrnehmungsschwelle verschiebt und somit die Kontrolle des Militärs erschwert.²¹

Die sicherheitspolitischen Implikationen von LAWS

Unbemannte militärische Systeme sind nicht nur für das humanitäre Völkerrecht schwer zu fassen, sie können auch sicherheitspolitische Probleme hervorrufen und stellen die Rüstungskontrolle vor große Herausforderungen. Durch den oben beschriebenen Dual-Use-Charakter ist das Proliferationspotential hoch, doch zu strenge Handelsbeschränkungen könnten wiederum sinnvolle zivile und friedliche Technologieentwicklung und die daraus entstehenden Anwendungen hemmen.

Aus sicherheitspolitischer Sicht ergeben sich vor allem Bedenken bezüglich der internationalen Stabilität: Mit wachsender Autonomie unbemannter Systeme steigt die Geschwindigkeit ihrer Aktionen im Einsatz, während die Vorhersagbarkeit des Verhaltens der Maschinen sinkt, da dieses sich zum Beispiel auf lernende Algorithmen stützt. Fehleinschätzungen der Roboter bzw. der robotischen Waffensysteme könnten darum kaum korrigiert werden, was in krisenhaften Situationen zu einer Eskalation des Konfliktes führen könnte.²² Zusätzlich führt das hochtechnologische Aufrüsten zu einer Rüstungsspirale – immerhin gehört für einige Staaten die technologische Überlegenheit zum Kern ihrer Militärdoktrin.²³ Bei den CCW-Expertentreffen, die bisher stattgefunden haben, wurden diese Aspekte nur am Rande diskutiert, auch Menschenrechte haben in den Gesprächen eine untergeordnete Rolle gespielt. Eine entsprechend gestaltete internationale Regulierung zur Entwicklung und Nutzung von LAWS könnte dennoch mildernde Auswirkungen auf die geschilderten Risiken haben, ohne sie explizit anzusprechen. So würden zum Beispiel bestimmte, definierte Formen von menschlicher Kontrolle im Zielauswahlprozess und beim Auslösen von Waffen die maschinelle Geschwindigkeit im Gefecht begrenzen und könnten daher Eskalationsrisiken im militärischen Konflikt dämpfen.

Die Regulierung von LAWS: Stand und Perspektiven

Die Vereinten Nationen

In der zwischenstaatlichen Debatte um Robotik geht es um technologische, völkerrechtliche, ethische und sicherheitspolitische Aspekte. Der Fokus liegt dabei auf den militärischen Anwendungen, während die Regulierung ziviler Roboter vorwiegend auf nationaler, teils auch europäischer Ebene diskutiert wird. Für die Debatte zur militärischen Nutzung autonomer Systeme haben sich vor allem zwei Foren der Vereinten Nationen (VN) etabliert: der Menschenrechtsrat und die CCW.

Der Sonderberichterstatter des VN-Menschenrechtsrats Christof Heyns thematisierte LAWS in seinem Bericht von 2013 und spricht sich deutlich gegen ihre Entwicklung und Nutzung aus.²⁴

Auch infolge dieser Empfehlung wird die Regulierung von LAWS seit 2014 vor allem im Rahmen der CCW beraten. Diese Debatte ist mandatsgemäß stark auf das humanitäre Völkerrecht fokussiert. Die Teilnehmer der Treffen diskutieren zwar auch andere Themen wie Ethik und internationale Stabilität – diese werden für eine eventuelle Regulierung von LAWS aber eine untergeordnete Rolle spielen, so viel ist durch den bisherigen Verlauf der Gespräche absehbar.

Eine solche Regulierung könnte unterschiedliche Reichweiten aufweisen und zum Beispiel in Form eines Zusatzprotokolls zur eigentlichen Waffenkonvention verabschiedet werden. Vergleichbare Zusatzprotokolle existieren bereits für Waffen mit nicht entdeckbaren Splittern, für Landminen, Brandwaffen, blindmachende Laserwaffen und explosive Kriegsmunitionsrückstände. Allerdings ist das Ziel von Gesprächen bzw. Verhandlungsprozessen, die in der CCW begonnen und – in diesem oder einem anderen Forum – fortgeführt werden, oft selbst Gegenstand der politischen Auseinandersetzung, ebenso wie das jeweils geeignete Forum an sich. Beispielsweise begannen die Verhandlungen über Streumunition und Antipersonenminen ebenfalls in der CCW, die Abkommen wurden aber mangels Konsens schließlich außerhalb der CCW im Kreise der Staaten beschlossen, die dazu bereit waren. Wichtig ist, dass die bisher existierenden CCW-Protokolle nicht die genannten Waffentypen generell verbieten, sondern lediglich ihren Einsatz begrenzen, um die Einhaltung des humanitären Völkerrechts (insbesondere zum Schutz der Zivilbevölkerung) zu gewährleisten. Ein präventives Nutzungsverbot hat die CCW bislang nur bei blindmachenden Laserwaffen erreicht.

Zu LAWS fanden seit 2014 in der CCW drei informelle Expertentreffen und drei Treffen von Regierungsexperten mit Staatenvertretern, Nichtregierungsorganisationen (NRO) und Sachverständigen statt. Das Ziel dieser Treffen war es, den Staatenvertreterinnen und -vertretern die technischen Möglichkeiten mit ihren Vor- und Nachteilen aufzuzeigen und so die Grundlage für eine informierte Debatte über eine mögliche Regulierung von LAWS zu schaffen.

Die Notwendigkeit der Regulierung von LAWS ist umstritten – aber auch der Regelungsgegenstand.

In der CCW-Debatte sind drei Diskussionsstränge zentral. Sie betreffen erstens die Frage nach der generellen Notwendigkeit einer internationalen Regulierung, zweitens die genaue Definition von LAWS als Ausgangspunkt der Regulierung und drittens die weiteren Kriterien für eine mögliche Regulierung.

Zum ersten Diskussionsstrang lässt sich konstatieren, dass schon der Nutzen einer Regulierung umstritten ist. So wäre ein Verbot für die Entwicklung von LAWS denkbar, könnte aber gleichzeitig die zivile Entwicklung autonomer Systeme behindern. Praktikabler scheint darum eine Nutzungsbeschränkung von LAWS, auch wenn die Systeme dann in einzelnen Fällen eingesetzt werden könnten. Eine »schwächere« Lösung wären nationale Moratorien für die Entwicklung von LAWS oder eine gemeinsame politische Erklärung zu Elementen der Regulierung, bis eine umfassende (internationale) Regulierung gefunden ist.

Vor der Formulierung einer Definition von LAWS, dem zweiten Schwerpunkt in der CCW-Debatte, steht die grundsätzliche Frage, ob überhaupt eine Definition nötig und möglich ist. Zahlreiche Staaten sind der Ansicht, dass eine Arbeitsdefinition zunächst ausreicht.

Bei der Formulierung der Definition beziehen sich die Schwierigkeiten auf alle Elemente des Terminus »LAWS«: »tödlich«, »autonom«, »Waffensystem«. Der Fokus der Debatte liegt auf der Definition von Autonomie. Wird sie sehr breit gefasst, könnten auch bestehende Systeme eingeschlossen sein und müssten gegebenenfalls verboten werden. Die Mehrheit der CCW-Mitglieder, darunter auch die Bundesrepublik, lehnt dies ab. Eine Lösungsmöglichkeit wäre, einen Stichtag anzusetzen. Unbemannte Systeme, die davor entwickelt und genutzt wurden, wären dann nicht von dem Verbot erfasst. Unklar ist dabei, ob Softwareupdates bestehender Systeme erlaubt wären, denn sie könnten relativ einfach die Autonomie erhöhen, ohne dass notwendigerweise mehr Kontrolle gegeben wäre. Wie bei vielen Überlegungen zu autonomen Fähigkeiten von Maschinen entstünde also auch hier ein Verifikationsproblem, sollte eine bindende Regelung überhaupt einen Überprüfungsmechanismus vorsehen.

Um diese Problematik zumindest teilweise zu umgehen, hat sich als ein denkbares Kriterium der Regulierung – dritter zentraler Diskussionsstrang – im Laufe der CCW-Treffen besonders das Konzept der bedeutsamen menschlichen Kontrolle (meaningful human control) durchgesetzt. Dies bedeutet, dass die Zielauswahl und der Waffeneinsatz in einer Form festgelegt werden, bei der die Bedienerin oder der Bediener ausreichend über den Einsatzkontext informiert ist und die Handlungen der Maschine sowie die Konsequenzen des Waffeneinsatzes realistisch abschätzen und gegebenenfalls verändern kann.²⁵ So wäre auch sichergestellt, dass die notwendigen humanitär-völkerrechtlichen Abwägungen durch Menschen vorgenommen und nicht an die Maschine delegiert bzw. vernachlässigt würden.

Einige Sachverständige im CCW-Prozess fordern, dass sich die Regulierung von LAWS auf einzelne Funktionen der Maschine konzentrieren sollte, anstatt eine umfassende Definition von Autonomie aufzunehmen.²⁶ Gemeint sind hier Funktionen, die für die Zielauswahl und den Waffengebrauch notwendig sind und damit für die Einhaltung des humanitären Völkerrechts als besonders problematisch gelten (critical functions). Bei solchen Entscheidungen müsse immer ein Mensch die Kontrolle haben, um die völkerrechtlich notwendigen Abwägungen bezüglich der Angemessenheit der eingesetzten militärischen Mittel sowie der Unterscheidung zwischen Militär und Zivilbevölkerung vorzunehmen. Fraglich ist jedoch, ob nicht auch andere Faktoren für die Ausübung einer bedeutsamen menschlichen Kontrolle relevant sind.²⁷ Insbesondere eine Betrachtung über das humanitäre Völkerrecht hinaus legt nahe, weitere Charakteristika der Waffenplattformen, wie Reichweiten, Geschwindigkeiten, Stehzeiten und Bewaffnungstypen, zu berücksichtigen. Die Analyse dieser Kriterien könnte unter anderem das Risiko für Rüstungsdynamiken oder die Eskalation eines Konfliktes (modellhaft) abbilden. Für diese beiden Phänomene sind auch die Ausgestaltung der Mensch-Maschine-Schnittstelle und die Art der automatisierten Datenauswertung relevant, deren Operationalisierung sich jedoch schwierig gestaltet.²⁸

Obwohl der CCW-Prozess auf das humanitäre Völkerrecht, also die rechtliche Dimension von LAWS, fokussiert ist, spielt auch die ethische Dimension eine nicht unwichtige Rolle in der Debatte. Zum einen sind verfasstes und Gewohnheitsrecht oft die Folge ethischer Vorstellungen, zum anderen findet sich in der Präambel der CCW ein Verweis auf die Martens’sche Klausel. Sie besagt, dass auch Brauch, öffentliches Gewissen und die Vorgaben der Menschlichkeit völkerrechtliche Bewertungskriterien sein können, sofern keine anderen Regularien bestehen.

Dem öffentlichen Gewissen versuchen sich einige Meinungsumfragen empirisch anzunähern; alle zeigen jedoch inhärente methodische Schwächen. So sind die Umfragen in der Regel nicht repräsentativ für die gesamte Weltbevölkerung, auch sind die Fragen häufig, ob beabsichtigt oder nicht, suggestiv formuliert. Darüber hinaus reichen Umfragen als Abbildung des öffentlichen Gewissens nicht aus, sie werden zum Beispiel ergänzt durch die mediale Debatte oder künstlerische Auseinandersetzungen mit dem Thema.²⁹

Autonomie in Waffensystemen würde die Menschenwürde der Opfer verletzen.

Die zentrale Frage der ethischen Debatte ist jedoch die Verletzung der Menschenwürde durch autonome Waffensysteme. Die Würde ist Bestandteil der Menschlichkeit. Sie setzt voraus, dass der Mensch nie zum Objekt oder Mittel zum Zweck gemacht wird. Fällt im Krieg die Entscheidung zu töten, ist es darum wichtig, dass ein moralisch handelnder Mensch versteht und reflektiert, dass er einen anderen Menschen tötet. Eine Maschine kann das nicht, da ihr das Verständnis für Sterblichkeit und den Wert des Lebens grundsätzlich fehlt.³⁰ Durch die Nutzung autonomer Waffensysteme würde damit die Würde der Opfer, seien es Angehörige der Streitkräfte oder der Zivilbevölkerung, verletzt – auch technische Verbesserungen können dieses Problem nicht lösen.

Was die Perspektiven des CCW-Prozesses angeht, so könnte er verschiedene Ergebnisse hervorbringen – nicht alle sind gleich wahrscheinlich. Ein neues Protokoll zur Waffenkonvention mit einem rechtlich bindenden Verbot der Entwicklung und Nutzung von LAWS wäre die umfassendste Lösung – sie ist aber mit Blick auf den bisherigen Verlauf der Gespräche unwahrscheinlich. Bisher haben sich 28 Staaten für ein solches Verbot ausgesprochen,³¹ zahlreiche Staaten sehen dies aber skeptisch oder sind explizit gegen jegliche Form von Regulierung in der CCW. Die Konfliktlinie lässt sich recht deutlich an dem Kriterium festmachen, ob ein Staat die Möglichkeiten und ein Interesse daran hat, LAWS zu entwickeln und einzusetzen, oder eher nicht. So sind die USA, Südkorea und Israel, aber auch Russland gegen ein Verbot, während sich viele Entwicklungs- und Schwellenländer dafür aussprechen.

Aufgrund des Konsensprinzips erscheint eine Kompromisslösung also wahrscheinlicher. Diese könnte in einer politischen Erklärung liegen, wie Deutschland und Frankreich sie 2017 vorgeschlagen haben.³² Sie könnte wesentliche Prinzipien, zum Beispiel das der menschlichen Kontrolle, festschreiben und näher ausformulieren, wie die Staaten diese implementieren sollen. Die von den CCW-Staaten im August 2018 verabschiedeten »möglichen Prinzipien«³³ (possible guiding principles) schließen einen solchen nächsten Schritt hin zu einer politischen Erklärung jedenfalls nicht explizit aus – im Gegenteil: Sie stellen einen ersten vorsichtigen und unverbindlichen Einigungsversuch dar.

Die Diplomaten verhandeln unter Zeitdruck, denn zum einen schreitet die technische Entwicklung voran und beispielsweise die USA und Australien investieren viel Geld in die Entwicklung von Waffensystemen mit autonomen Fähigkeiten. Zum anderen könnte – falls in den nächsten ein bis zwei Jahren keinerlei Einigung zustande kommt – der Verhandlungsprozess in ein anderes Forum (außerhalb der VN) überführt werden. Dies war bereits bei den Abkommen zu Antipersonenminen (Inkrafttreten 1999) und zu Streumunition (Inkrafttreten 2010) der Fall. Ein Verbotsvertrag außerhalb der VN könnte zwar auch eine normative Wirkung entfalten, hätte aber zunächst einmal keinen Effekt auf Staaten, die ihm nicht beitreten.

Die Europäische Union

Auch auf europäischer Ebene wird der Umgang mit autonomen Waffensystemen diskutiert. So hat das Europäische Parlament im September 2018 eine Resolution³⁴ verabschiedet, in der es mit großer Mehrheit ein Verbot von Waffen verlangt, die im Gewalteinsatz keiner menschlichen Kontrolle unterliegen. Auch fordert das EP den Europäischen Rat darin auf, einen entsprechenden Gemeinsamen Standpunkt der EU-Mitgliedsstaaten für den CCW-Prozess zu formulieren. Diese Resolution hat jedoch keine bindende Wirkung, die Mitgliedsstaaten müssen sich also selbst dazu entschließen, eine gemeinsame Position zu entwickeln. Die bislang sehr unterschiedlichen Haltungen der einzelnen Staaten erschweren das: Das Vereinigte Königreich stellt sich gegen eine Regulierung, Deutschland und Frankreich schlagen einen Mittelweg vor, Österreich fordert ein umfassendes Verbot.

In der Debatte des Europäischen Parlaments zum Entschließungsantrag bekräftigte die Hohe Vertreterin für Außenpolitik, Federica Mogherini, den Bedarf an gemeinsamen Grundsätzen für den Einsatz von LAWS.³⁵ Insbesondere müsse der Einsatz gemäß den Regeln des humanitären Völkerrechts stattfinden und Entscheidungen zum Einsatz von tödlicher Gewalt sollten immer von Menschen und nicht von Maschinen getroffen werden. Mogherini verwies in ihrer Rede auf eine Expertengruppe zu Technologiefragen (Global Tech Panel), die sie im Frühjahr 2018 ins Leben gerufen hat. Die Gruppe soll Antworten auf Fragen an der Schnittstelle von Technologie und Sicherheit liefern. Die Zusammensetzung dieser Expertengruppe – es sind überwiegend Vertreterinnen und Vertreter der Privatwirtschaft – lässt jedoch vermuten, dass das Thema LAWS keine besondere Rolle spielen wird.³⁶ In einem offenen Brief an die Hohe Vertreterin kritisierten daher mehrere Fraktionen des EP im Oktober 2018 das Fehlen von unabhängigen LAWS-Experten aus Wissenschaft und Zivilgesellschaft.³⁷ Der Regulierungsbedarf bezüglich LAWS wurde auch von der Mehrzahl der Sachverständigen unterstrichen, die im Oktober 2018 in einer öffentlichen Anhörung des Unterausschusses für Sicherheit und Verteidigung (SEDE) des Europäischen Parlaments zur Rolle von KI im Verteidigungsbereich geladen waren.³⁸

Die Uneinigkeit der EU-Mitgliedsstaaten hinsichtlich der Entwicklung und Nutzung von LAWS hat sich zum ersten Mal öffentlich in der Ausgestaltung des Europäischen Verteidigungsfonds gezeigt. Er soll auf Wunsch des EP eine Ausschlussliste für nicht finanzierungswürdige Technologiebereiche enthalten, zu denen in den Augen einiger Fraktionen auch autonome Waffensysteme gehören. In einer ersten Fassung schloss dieser daher die Förderung solcher Technologien explizit aus. Die Folgeversion vom November 2018, welche die Position des Europäischen Rates berücksichtigt, enthält nur noch einen Verweis auf die Notwendigkeit, dass geförderte Forschung und Entwicklung keinesfalls zu Waffensystemen führen darf, die geltendes Völkerrecht verletzen.

Bundestag und Bundesregierung

In der deutschen Debatte um Robotik – sei es für militärische oder zivile Anwendungen – sind bei der Bundesregierung und im Parlament erste Schritte erkennbar. Ein Referenzpunkt ist der Koalitionsvertrag der Bundesregierung aus dem Jahr 2013. Darin bekunden die Koalitionspartner ihre Absicht, »sich für eine völkerrechtliche Ächtung vollautomatisierter Waffensysteme [einzusetzen], die dem Menschen die Entscheidung über den Waffeneinsatz entziehen«,³⁹ aber auch unbemannte Systeme unterhalb dieser Schwelle international zu regulieren. Ähnliches sieht auch der Koalitionsvertrag zwischen CDU / CSU und SPD von 2018 vor; dieser verwendet allerdings den gebräuchlicheren Terminus »autonome Waffensysteme«.⁴⁰ Außenminister Heiko Maas griff diese völkerrechtliche Ächtung mehrfach auf, hat aber klargestellt, dass Deutschland ein schrittweises Vorgehen über die oben genannte politische Erklärung mit dem langfristigen Ziel des verbindlichen Verbots verfolgt.⁴¹

Das Plenum des Deutschen Bundestages hat sich bis Ende 2018 noch nicht mit dem Thema LAWS befasst, aber der Unterausschuss für Abrüstung und Rüstungskontrolle, und zwar zuletzt im Jahr 2015. Das Plenum beschäftigte sich jedoch im November 2018 mit dem EU-Verteidigungsfonds und der erwähnten Technologie-Ausschlussliste. Ein Änderungsantrag der Fraktion Bündnis 90 / Die Grünen, die Bundesregierung solle sich dafür einsetzen, LAWS wieder auf die Ausschlussliste zu setzen, wurde in die Ausschüsse verwiesen.

In der Bundeswehr steht eine grundlegende strategische Debatte zum Für und Wider von Waffensystemen mit autonomen Funktionen ebenfalls noch aus. Während die Nutzung bewaffneter ferngesteuerter Drohnen innerhalb der Bundeswehr durchaus auf Zustimmung trifft, ist die Sicht auf autonome Systeme eine andere: Der Kontrollverlust der Soldatin oder des Soldaten wird eher negativ beurteilt. Hinzu kommt das fehlende Vertrauen in die kognitiven und kommunikativen Fähigkeiten zukünftiger »Kampfroboter«. Sie würden den Anforderungen der Bundeswehr nicht gerecht und schmälerten darum den Nutzen dieser Technologie.⁴² Das Bundesverteidigungsministerium erwähnt im Weißbuch von 2016 die militärische Robotik nicht. Zudem fehlt eine deutsche (Arbeits-)Definition, um LAWS näher einzugrenzen und die deutsche Position in den internationalen Verhandlungen im Rahmen der CCW zu präzisieren.

Größere Aufmerksamkeit erfährt die zivile Nutzung von Robotern und künstlicher Intelligenz, besonders prominent in der KI-Strategie der Bundesregierung⁴³ vom November 2018. Die zivile Nutzung von Robotik ist vielfältig und umfasst unter anderem (jetzt oder in naher Zukunft) Industrieroboter, Haushaltshilfen, Autopiloten, Kameraplattformen und Lieferdienste. Gerade in Verbindung mit dem Internet der Dinge, also der Vernetzung von Gegenständen mit Menschen und untereinander, entstehen hier viele Chancen und Herausforderungen. Zwei Entwicklungen werden in Deutschland besonders umfassend diskutiert: die Nutzung und Regulierung kleiner Drohnen für unterschiedliche Zwecke⁴⁴ und das autonome Fahren.

Zur Einschätzung von LAWS ist der Blick auf zivile Entwicklungen notwendig, aber nicht hinreichend.

In Deutschland ist besonders die Automobilbranche ein Treiber für (zivile) Entwicklungen in der Robotik: Das autonome Fahren hat in den letzten Jahren große Fortschritte gemacht.⁴⁵ Allerdings bleiben die rechtlichen Voraussetzungen in vielen Ländern, so auch in Deutschland, weiterhin zurück und so manche Zeitprognose hat sich als unrealistisch herausgestellt.⁴⁶ Klar ist jedoch, dass die Debatte zum autonomen Fahren den Autonomiebegriff und den Umgang mit Robotern in der gesellschaftlichen Auseinandersetzung prägt.⁴⁷ Darüber hinaus nimmt der zivile Sektor mögliche militärische Entwicklungen vorweg und zeigt Probleme auf. Dazu gehören unter anderem die Gestaltung der Mensch-Maschine-Schnittstelle und die Ausgestaltung von menschlicher Kontrolle. Dafür muss geklärt werden, welche Erwartungen der Mensch an autonome Systeme oder auch an Assistenzsysteme hat – und welche davon realistischerweise erfüllt werden können.

Bezüglich ziviler Anwendungen spielen zunehmend auch ethische Fragen eine zentrale Rolle. Dabei geht es nicht nur um die Beschaffung von Daten für maschinell lernende Systeme und die damit verbundenen datenschutzrechtlichen Anforderungen, sondern auch um das Problem, dass Kernbereiche der menschlichen Würde durch maschinelle Entscheidungen betroffen sein können.⁴⁸ Wichtige Akteure in der deutschen Debatte um die Ethik von Robotern im Allgemeinen und speziell von LAWS sind die katholische und die evangelische Kirche. Sie haben zwischen 2013 und 2016 häufig Konferenzen und Diskussionen zu diesem Aspekt der Robotik organisiert und Publikationen herausgegeben. Insgesamt haben ethische Aspekte in der öffentlichen Debatte um militärische Robotik aber nur oberflächlich einen Platz, eine fundierte Auseinandersetzung gibt es selten.

Im Bereich ziviler Anwendungen lässt sich ein Wandel hin zu einer vertieften Auseinandersetzung mit ethischen Fragen erkennen: Das Bundesministerium für Verkehr und digitale Infrastruktur (BMVI) hat zum Beispiel im September 2016 eine Ethikkommission für autonomes Fahren berufen. Sie bestand aus 14 Experten unterschiedlicher Fachgebiete und hat im Juni 2017 Leitlinien für die Programmierung und Nutzung autonomer Fahrzeuge veröffentlicht.⁴⁹ Darin geht es unter anderem um Haftungsfragen und um die Abwägung von Schäden bei drohenden Unfällen – ein bekanntes Dilemma, das durch die Übertragung von Entscheidungen auf Maschinen neue Relevanz erhält. Der Abschlussbericht der Kommission thematisiert auch das sogenannte Trolley-Dilemma, eine Situation, in der ein Mensch (oder eine Maschine) zwischen Menschenleben abwägen muss – allerdings ohne Lösungsansätze aufzuzeigen. Dass in solchen Fällen ein Mensch die Entscheidung treffen sollte, ist naheliegend. Wie dies jedoch unter den gegebenen Umständen und bei autonomen Systemen umgesetzt werden kann, bleibt offen, denn eine Übertragbarkeit dieser Leitlinien auf die militärische Nutzung autonomer Systeme ist von den Verfassern nicht vorgesehen.⁵⁰ Einige der Aussagen tangieren jedoch auch Probleme der militärischen Nutzung, wie etwa die Frage der Verantwortung des Menschen bei der Nutzung bestimmter autonomer Funktionen. Ein Expertengremium, das ethische Fragen der militärischen Nutzung autonomer Systeme oder der generellen Nutzung von KI in allen gesellschaftlichen Bereichen ausführlich diskutiert, haben bisher weder Bundesregierung noch Bundestag eingesetzt. Bislang werden zivile und militärische Anwendungen in der Regel voneinander getrennt betrachtet.

Schlussfolgerungen und Empfehlungen

Auf dem Weg zu einer nationalen Strategie für die Regulierung von LAWS

Die politischen, rechtlichen und ethischen Fragen, die die Entwicklung und Nutzung von LAWS aufwerfen, sind drängend und von hoher Bedeutung für die Gestaltung der deutschen Sicherheits- und Verteidigungspolitik. Die Antworten auf diese Fragen werden schon heute, aber auch in Zukunft von der gesellschaftlichen Debatte über die zivilen Anwendungen von Robotern mitgeprägt. Schreiten die Gespräche und ein möglicher Verhandlungsprozess im Rahmen der CCW voran, bleibt die bestehende politische Festlegung des aktuellen Koalitionsvertrags zwar richtungsweisend, aber inhaltlich nicht mehr ausreichend. Um den multilateralen internationalen Prozess weiterhin aktiv mitgestalten zu können, ist Folgendes nötig: Die gesamte Bundesregierung, insbesondere das Auswärtige Amt und das Bundesministerium der Verteidigung, müssen sich intensiv und gemeinsam mit dem Thema LAWS befassen. Ein daraus resultierendes Dokument sollte drei Aufgaben erfüllen:

Erstens sollte es die definitorischen Fragen benennen und beantworten. Das BMVg erscheint hier – unter Berücksichtigung der Tradition der Ethik in den Streitkräften – als ein wichtiger Akteur, die Konsequenzen der Technologie für die Definition von LAWS und umgekehrt zu erörtern. Als potentieller Anwender solcher Waffensysteme erscheint es als notwendige Voraussetzung, dass das BMVg eine eigene Definition dieser Systeme erarbeitet, wie zum Beispiel geschehen in der Directive 3000.09⁵¹ des US-amerikanischen Verteidigungsministeriums (Department of Defense, DoD), und sich damit einer politischen Diskussion stellt.
Zweitens sollte dieses Dokument den politischen und rechtlichen Rahmen setzen für die Nutzung von autonomen Funktionen in Waffensystemen der Bundeswehr.
Dadurch würde drittens die schon existierende Forschung zu militärischer Autonomie so ausgerichtet und begrenzt werden, dass die bestehenden völkerrechtlichen Prinzipien gewahrt und die entstehende Norm menschlicher Kontrolle berücksichtigt würde.

Der Entwurf eines solchen »Strategiepapiers der Bundesregierung zu Waffensystemen mit autonomen Funktionen« kann die Grundlage für eine parlamentarische Auseinandersetzung darstellen, die in diesem Papier enthaltenen völkerrechtlichen Grundsätze könnten durch eine Resolution weiter legitimiert werden. Auf dem Weg dahin müssen allerdings noch einige Hürden überwunden werden:

Erstens fehlt in der politischen Debatte an einigen Stellen immer noch gesichertes Wissen über die der Robotik zugrundeliegende Technologie. Wo das wissenschaftlich-technologische Know-how vorhanden ist, ist weiterhin Übersetzungsarbeit vom technisch-akademischen in den politisch-diskursiven Raum nötig. Hier könnte es helfen, bestehende Strukturen an der Schnittstelle von Wissenschaft, Politik und Wirtschaft zu stärken oder gegebenenfalls neu zu schaffen. Die (militärische) Nutzung von künstlicher Intelligenz im Allgemeinen und von Waffensystemen mit autonomen Funktionen im Besonderen werden auf längere Zeit eine politische Herausforderung, nicht nur in Bezug auf die Regulierung, darstellen.
Zweitens mangelt es wegen der starken Interdisziplinarität oft am Handwerkszeug zur Beschreibung der spezifischen Funktionalitäten der Technologie. Die verwendete Sprache zur Charakterisierung von Robotern ist häufig nicht eindeutig, zu stark vereinfachend, anthropomorph und wertend. Zudem bedient und festigt sie die Vorstellung, dass die fraglichen Systeme über menschliche Eigenschaften verfügen, bzw. schreibt ihnen solche zu. Begriffe wie »entscheiden«, »bewerten« oder »auswählen« benennen den von Menschen beabsichtigten Zweck der Maschinen, nicht aber ihre tatsächliche Funktionsweise und schon gar nicht ihre Fähigkeiten.

Es ist daher ratsam, eine Sprache zu finden, die diese Technologie angemessen beschreibt, und sie in der Politik zu etablieren. Das International Panel on the Regulation of Autonomous Weapons (iPRAW) schlägt zum Beispiel vor, den Begriff »künstliche Intelligenz« durch eine konkrete Benennung der benutzten algorithmischen Verfahren zu ersetzen. Obwohl sich der Begriff »Maschinenlernen« mittlerweile durchgesetzt hat, ist es angeraten, hier eher von »Training« und »datengetriebenen Algorithmen« zu sprechen – oder diese rein technische Bedeutung zumindest immer mitzudenken.
Drittens bleibt es unumgänglich, dass sich Entwickler, militärische Anwender und letztlich auch politische Entscheidungsträger aus ethischer und völkerrechtlicher Sicht intensiv mit Art und Umfang der autonomen Fähigkeiten von Waffensystemen auseinandersetzen. Der schleichende Prozess hin zu immer mehr autonomen Funktionen – Assistenzsystemen – bedarf einer Reflexion auf politischer Ebene, auch im Deutschen Bundestag. Eine öffentliche Anhörung des Verteidigungsausschusses könnte wichtige Akzente setzen und eine Debatte anstoßen, die auch die technischen Hintergründe der Entwicklungen und die daraus entstehenden militärischen Konsequenzen beleuchtet. Besonders wichtig ist dabei eine tiefgreifende Analyse der jeweiligen Mensch-Maschine-Schnittstelle. Nur so ist sichergestellt, dass die Übertragung von Handlungskompetenzen auf die Maschine wie gewünscht verläuft und dass die menschliche Kontrolle im Zielkreislauf erhalten bleibt.

Die Bundesregierung positioniert sich mit dem deutsch-französischen Arbeitspapier vom Herbst 2017 klarer bezüglich der schrittweisen Vorgehensweise, um eine internationale Regulierung von LAWS zu erreichen.⁵² Die Zeit dafür ist knapp, denn mit der technischen Entwicklung steigt nicht nur der Druck, zu einer Regulierung zu gelangen, sondern auch das Interesse vieler Staaten, die militärischen Möglichkeiten der technologischen Entwicklung auszuschöpfen. Gerade deshalb sind Regeln nötig – und dies ist in der deutschen politischen Debatte mittlerweile erkannt.

Im Lichte des selbst formulierten Anspruchs und der normativen Grundlage deutscher Außenpolitik, vor allem im Bereich der Rüstungskontrolle, ist es sinnvoll, dass die Bundesregierung ihre Anstrengungen zum Erreichen von international verbindlichen Regeln fortführt und intensiviert. Die weltweite Ächtung von LAWS als Systeme ohne menschliche Kontrolle ist mit Blick auf das bestehende humanitäre Völkerrecht ein ethisches und rechtliches Gebot. Nur so, also mit der unbedingten Wahrung von menschlicher Kontrolle, kann die Achtung der Menschenwürde beim Einsatz von Waffensystemen mit autonomen Funktionen im Sinne des Artikels 1 Grundgesetz sichergestellt werden.

Denn es geht für Deutschland um mehr als einige militärische Vorteile durch den Einsatz solcher Systeme, wie zum Beispiel – und dies ist unbestritten ein hohes Gut – den Schutz der eigenen Soldatinnen und Soldaten: Was auf dem Spiel steht, ist die Kontrolle über den Konflikt, die der Mensch, zumindest teilweise, verlieren kann, wenn die militärischen Auseinandersetzungen in Zukunft von Maschinen ausgetragen werden.

Die EU als wichtiger Akteur bei der Regulierung von LAWS

Mit Frankreich und Deutschland treffen bei der Frage der Regulierung von LAWS zwei divergierende nationale Standpunkte aufeinander. Das deutsch-französische Arbeitspapier aus dem Jahr 2017 verdeutlicht aber, dass es durchaus eine gemeinsame Basis für eine Regulierung gibt: die Sicherstellung der menschlichen Kontrolle.

Auch wenn das Ziel eines internationalen Verhandlungsprozesses zwischen diesen beiden Partnern durchaus umstritten ist – während die politische Erklärung für Berlin lediglich einen ersten Schritt darstellt, zeigt sich Paris für rechtlich bindende Instrumente bislang nicht offen –, ist hier dennoch der Kristallisationspunkt für einen Gemeinsamen Standpunkt der EU erkennbar. Diesen gilt es auszubauen, zu schärfen und dann im Rahmen der CCW als kritische Kompromissmasse einzusetzen.

Die EU kann dabei flankierende Maßnahmen ansetzen, um die Glaubwürdigkeit werteorientierter europäischer Außenpolitik zu wahren. Besonders bei zwei Themen könnte die Bundesregierung diesbezüglich in Brüssel aktiv werden:

Erstens sollte die EU keine Forschung finanziell fördern, zum Beispiel über den Europäischen Verteidigungsfonds, die indirekt oder direkt zur Entwicklung von LAWS beiträgt. Umso wichtiger ist es, Forschung voranzutreiben, die zum Ziel hat, menschliche Kontrolle über Waffensysteme mit autonomen Funktionen sicherzustellen und gleichzeitig potentielle militärische Vorteile solcher Systeme zu erhalten.
Zweitens ist es notwendig, die fortschreitende Technologieentwicklung im zivilen und militärischen Bereich kritisch zu analysieren und politisch zu begleiten. Das Europäische Parlament fordert in seiner ersten Resolution zu (ziviler) Robotik vom Februar 2017 eine europäische Agentur zur Erforschung der Auswirkungen dieser Technologie.⁵³ Das Mandat einer solchen Agentur solle die interdisziplinäre, kritische Erforschung der Auswirkungen einer potentiellen militärischen Nutzung beinhalten. Die sich daraus entwickelnden Normen könnte die EU mit ihrer Marktmacht und ihrem politischen Einfluss in internationale Standardisierungsprozesse und letztlich in die Umsetzung einer völkerrechtlichen Regulierung einbringen.

Die Transformation der CCW-Gespräche in einen Verhandlungsprozess

Der Gesprächsprozess im Rahmen der CCW verlangsamt sich zunehmend und droht am Widerstand einzelner Staaten zu scheitern, während ebendiese die technische Entwicklung weiter vorantreiben. Um der neuen Qualität von LAWS Rechnung zu tragen und ihre negativen Implikationen abzumildern, ist darum eine zeitnahe Kompromisslösung nötig. Der Fokus sollte dabei auf der menschlichen Kontrolle über den Gewalteinsatz liegen, um diese international als Norm zu verankern. Eine politisch verbindliche Erklärung könnte dabei helfen, beinhaltet aber einige Herausforderungen. So würde sie viele wichtige Weichenstellungen zunächst auf nationaler Ebene belassen, obwohl diese globale Interessen berühren. Darüber hinaus birgt sie das Risiko, einen weiteren Verhandlungsprozess zu stoppen. Einigen sich die CCW-Staaten also auf diese Option, ist weiterer politischer Druck nötig, um die Norm »menschliche Kontrolle über den Gewalteinsatz« international zu stärken und auszugestalten.

Abkürzungen

AA	Auswärtiges Amt
BMVg	Bundesministerium der Verteidigung
BMVI	Bundesministerium für Verkehr und digitale Infrastruktur
CCW	Convention on Certain Conventional Weapons (Waffenkonvention der Vereinten Nationen)
CIA	Central Intelligence Agency (US-amerikanischer Geheimdienst)
DoD	Department of Defense (US-amerikanisches Verteidigungsministerium)
EP	Europäisches Parlament
EU	Europäische Union
IoT	Internet of Things (Internet der Dinge)
iPRAW	International Panel on the Regulation of Autonomous Weapons
KI	Künstliche Intelligenz
LAWS	Lethal Autonomous Weapon System (Letales / tödliches autonomes Waffensystem)
NRO	Nichtregierungsorganisation
SEDE	Unterausschuss für Sicherheit und Verteidigung des Europäischen Parlaments
UMS	Unbemanntes militärisches System
VN	Vereinte Nationen

Literaturhinweise

Marcel Dickow / Daniel Jacob

Das globale Ringen um die Zukunft der künstlichen Intelligenz

Berlin: Stiftung Wissenschaft und Politik, April 2018 (SWP Aktuell 24/2018)

International Panel on the Regulation of Autonomous Weapons

Concluding Report

Dezember 2018

Endnoten

1

Vgl. Europäische Kommission, Mitteilung der Kommission an das Europäische Parlament, den Europäischen Rat, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen: Künstliche Intelligenz für Europa {SWD(2018) 137final}, 25.4.2018, <https://ec.europa.eu/transparency/regdoc/rep/1/ 2018/DE/COM-2018-237-F1-DE-MAIN-PART-1.PDF> (eingesehen am 7.12.2018); Deutsche Bundesregierung, Strategie Künstliche Intelligenz der Bundesregierung, November 2018, <https://www.bmbf.de/files/Nationale_KI-Strategie.pdf> (eingesehen am 7.12.2018).

2

Vgl. Belgische Abgeordnetenkammer, DOC 54 3203/001, 27.6.2018, <http://www.dekamer.be/FLWB/PDF/54/3203/ 54K3203001.pdf> (eingesehen am 7.12.2018).

3

Als Zivilklausel werden Passagen in den Satzungen deutscher Universitäten bzw. Hochschulen bezeichnet, die ihre Forschung auf rein zivile Anwendungen beschränken. Strittig sind dabei unter anderem Fragen von Dual-Use-Anwendungen, also ob Technologieentwicklung auch dann durchgeführt werden soll, wenn sich eine militärische Nutzung bereits abzeichnet.

4

Maschinelles Lernen beschreibt eine Reihe von mathematisch-statistischen Verfahren, bei denen Algorithmen nach Gemeinsamkeiten bzw. Mustern in großen Datenmengen suchen. Sie können zum Beispiel zum Klassifizieren von Objekten, aber auch zum Auffinden neuer Regeln benutzt werden. Einen guten Überblick bietet Ben Buchanan/ Taylor Miller, Machine Learning for Policymakers. What It Is and Why It Matters, Juni 2017, <https://www.belfercenter.org/sites/ default/files/files/publication/MachineLearningforPolicy
makers.pdf> (eingesehen am 14.1.2019).

5

Der Begriff Internet of Things beschreibt die Vernetzung von technischen Geräten, wie zum Beispiel Haushaltsgeräten, über Datenverbindungen mit dem Internet. Die Hersteller versprechen den Nutzerinnen und Nutzern eine bessere Benutzbarkeit und Synergieeffekte im Zusammenspiel mit anderen Geräten, gleichzeitig können solche IoT-Geräte eine Vielzahl von Daten erfassen und übermitteln. Da sie ständig online sind, besteht zudem die Gefahr, dass solche Geräte über das Internet elektronisch angegriffen werden.

6

Besondere Aufmerksamkeit erfuhr in Bezug auf die Auswertung von Bilddaten das Projekt Maven des Pentagon in Zusammenarbeit mit Google. Auf Druck der Google-Belegschaft und öffentlicher Berichterstattung wird Google diese Zusammenarbeit mit dem Pentagon über das Jahr 2019 hinaus nicht verlängern. Vgl. Daisuke Wakabayashi/Scott Shane, »Google Will Not Renew Pentagon Contract That Upset Employees«, in: The New York Times, 1.6.2018, <https:// www.nytimes.com/2018/06/01/technology/google-pentagon-project-maven.html/> (eingesehen am 7.12.2018).

7

Beispielhaft ist dafür das britische Taranis (BAE) Demonstrator-Projekt. Einen Einblick gibt das folgende Interview mit dem Chef-Ingenieur für bewaffnete Drohnen des Konzerns BAE Systems: Beth Stevenson, »ANALYSIS: Taranis Developers Reveal Test Flight Specifics«, in: Flight Global, 16.5.2016, <https://www.flightglobal.com/news/articles/analysis-taranis-developers-reveal-test-flight-spec-425347/> (eingesehen am 7.12.2018).

8

Einen knappen Überblick gibt der folgende Artikel anlässlich der Entwicklung eines ferngesteuerten, bewaffneten russischen Panzers: Florian Rötzer, »Russischer Kampfroboterpanzer soll bald von Armee eingesetzt werden«, in: Telepolis, 30.3.2016 <https://www.heise.de/tp/features/ Russischer-Kampfroboterpanzer-soll-bald-von-Armee-eingesetzt-werden-3379287.html> (eingesehen am 7.12.2018).

9

Eine Erläuterung von »tiefen neuronalen Netzen« und »künstlicher Intelligenz« findet sich zum Beispiel in: Marcel Dickow/Daniel Jacob, Das globale Ringen um die Zukunft der künstlichen Intelligenz, Berlin: Stiftung Wissenschaft und Politik, April 2018 (SWP Aktuell 24/2018), <https://www.swp-berlin.org/fileadmin/contents/products/aktuell/2018A24_
dkw_job.pdf> (eingesehen am 18.1.2019).

10

Vgl. Tom B. Brown/Dandelion Mané/Aurko Roy/Martín Abadi/Justin Gilmer, »Adversarial Patch«, 31st Conference on Neural Information Processing Systems (NIPS 2017), 17.5.2018, <https://arxiv.org/pdf/1712.09665.pdf> (eingesehen am 7.10.2018).

11

Für eine ausführlichere Auseinandersetzung mit dem Prozess der Zielauswahl im Zusammenhang mit autonomen Funktionen in Waffensystemen vgl. International Panel on the Regulation of Autonomous Weapons (iPRAW), Focus on Technology and Application of Autonomous Weapons, August 2017, <https://www.ipraw.org/wp-content/uploads/2017/08/ 2017-08-17_iPRAW_Focus-On-Report-1.pdf> (eingesehen am 18.1.2019); Merel Ekelhof, Autonomous Weapons: Operationalizing Meaningful Human Control, 15.8.2018, <https://blogs.icrc. org/law-and-policy/2018/08/15/autonomous-weapons-operationalizing-meaningful-human-control/> (eingesehen am 18.1.2019).

12

Besonders deutlich vertreten die USA diese Position, vgl. United States of America, CCW/GGE.1/2017/WP.6, Autonomy in Weapon Systems, 10.11.2017, S. 3, <https://www.unog.ch/ 80256EDD006B8954/(httpAssets)/99487114803FA99EC12581D40065E90A/$file/2017_GGEonLAWS_WP6_USA.pdf> (eingesehen am 11.12.2017).

13

Vgl. Ronald Arkin, Governing Lethal Behavior in Autonomous Robots, Boca Raton 2009.

14

Vgl. UNIDIR, The Weaponization of Increasingly Autonomous Technologies: Autonomous Weapon Systems and Cyber Operations, 2017, <http://unidir.org/files/publications/pdfs/autonomous-weapon-systems-and-cyber-operations-en-690.pdf> (eingesehen am 7.12.2018).

15

Vgl. Anh Nguyen/Jason Yosinski/Jeff Clune, »Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images«, in: Computer Vision and Pattern Recognition, 2015, <http://www.evolvingai.org/files/ DNNsEasilyFooled_cvpr15.pdf> (eingesehen am 7.12.2018).

16

Vgl. Peter W. Singer, Wired for War: The Robotics Revolution and Conflict in the Twenty-First Century, London 2009.

17

Mit dem Aufkommen der ersten bewaffneten, per Satellit ferngesteuerten Drohnen entstand auch der Verdacht, dass die große Distanz zwischen Pilot und Einsatzort und die an Computerspiele angelehnte Bedienoberfläche der Drohnensysteme zu einem enthemmten Waffeneinsatz führen könnte. Diese sogenannte Joystick-Mentalität ist bislang nicht belegt. Tatsächlich scheinen jedoch die durch die lange Beobachtungszeit geschaffene Nähe zum potentiellen menschlichen Ziel, aber auch der regelmäßige Wechsel zwischen Dienst und Freizeit, also zwischen militärischem und familiärem Umfeld, das Stressniveau der Besatzungen zu steigern und vermehrt zu posttraumatischen Belastungsstörungen zu führen.

18

Die Theorie des demokratischen Friedens, die auf Immanuel Kants Zum ewigen Frieden von 1795 zurückgeht, ging ursprünglich davon aus, dass demokratische Staaten keine Kriege führen würden. Heute nimmt man eher an, dass Demokratien weniger Kriege gegeneinander führen als gegen Staaten, die nicht demokratisch organisiert sind.

19

Vgl. Frank Sauer/Niklas Schörnig, »Killer Drones: The ‘Silver Bullet’ of Democratic Warfare?«, in: Security Dialogue 43 (August 2012) 4, S. 363–380.

20

Vgl. Deutscher Bundestag, Beschaffung von Kampfdrohnen umstritten, 30.6.2014, <https://www.bundestag.de/dokumente/ textarchiv/2014/kw27_pa_verteidigung/283434> (eingesehen am 7.12.2018).

21

Bisher geht beispielsweise die Politikwissenschaft häufig von einer Kriegsdefinition aus, die sich an der Zahl der Toten (größer als 1000) orientiert. Wenn Kriege mit größeren Verlusten durch UMS seltener werden, sollte die Definition gegebenenfalls geändert werden, um staatliche Gewalteinsätze auch weiterhin als Krieg zu erfassen.

22

Vgl. Jürgen Altmann/Frank Sauer, »Autonomous Weapon Systems and Strategic Stability«, in: Survival, 59 (2017) 5, S. 117–142.

23

Vgl. Jean-Marc Rickli, Some Considerations of the Impact of LAWS on International Security: Strategic Stability, Non-State Actors and Future Prospects, 16.4.2015, <http://www.unog.ch/80256 EDD006B8954/%28httpAssets%29/B6E6B974512402BEC1257E2E0036AAF1/$file/2015_LAWS_MX_Rickli_Corr.pdf> (eingesehen am 17.1.2019).

24

Vgl. United Nations General Assembly, Report of the Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions, Christof Heyns, A/HRC/23/47, 9.4.2013, <http://www.ohchr.org/ Documents/HRBodies/HRCouncil/RegularSession/Session23/
A-HRC-23-47_en.pdf> (eingesehen am 7.12.2018).

25

Vgl. Heather Roff/Richard Moyes, Key Elements of Meaningful Human Control, Article 36, April 2016, <http://www. article36.org/wp-content/uploads/2016/04/MHC-2016-FINAL. pdf> (eingesehen am 14.1.2019).

26

Vgl. Chris Jenks, The Confusion and Distraction of Full Autonomy – Vortrag beim CCW [Informal] Expert Meeting on LAWS, April 2016, <http://www.unog.ch/80256EDD006B8954/%28 httpAssets%29/7197832D3E3E935AC1257F9B004E2BD0/$file/Jenks+CCW+Remarks+Final.pdf> (eingesehen am 7.12.2018); auch Internationales Komitee vom Roten Kreuz, Views of the International Committee of the Red Cross (ICRC) on Autonomous Weapon Systems, 11.4.2016, <https://www.icrc.org/en/ document/views-icrc-autonomous-weapon-system> (eingesehen am 7.12.2018).

27

Zu technischen und operativen Faktoren (und anderen) vgl. International Panel on the Regulation of Autonomous Weapons (iPRAW), Focus on the Human-Machine Relation in LAWS, März 2018, S. 9–13, <https://www.ipraw.org/
wp-content/uploads/2018/03/2018-03-29_iPRAW_Focus-On-Report-3.pdf> (eingesehen am 7.12.2018).

28

Einen Eindruck hiervon vermitteln Marcel Dickow u. a., First Steps towards a Multidimensional Autonomy Risk Assessment (MARA) in Weapons Systems, Berlin: Stiftung Wissenschaft und Politik, Dezember 2015 (SWP Working Paper), <http://www. swp-berlin.org/fileadmin/contents/products/arbeitspapiere/ FG03_WP05_2015_MARA.pdf> (eingesehen am 7.12.2018); Anja Dahlmann, »Getting a Grasp of LAWS? What Quantitative Indicator-Based Approaches Could Bring to the Debate«, in: Auswärtiges Amt (Hg.), Lethal Autonomous Weapons Systems – Technology, Definition, Ethics, Law and Security, Berlin 2017, S. 36–43.

29

Für einen Überblick zum Thema vgl. Human Rights Watch, Heed the Call, 21.8.2018, <https://www.hrw.org/report/ 2018/08/21/heed-call/moral-and-legal-imperative-ban-killer-robots> (eingesehen am 5.12.2018).

30

Vgl. International Panel on the Regulation of Autonomous Weapons (iPRAW), Focus on Ethical Implications for a Regulation of LAWS, August 2018, <https://www.ipraw.org/wp-content/uploads/2018/08/2018-08-17_iPRAW_Focus-On-Report-4.pdf> (eingesehen am 5.12.2018), S. 12.

31

Vgl. Campaign to Stop Killer Robots, Country Views on Killer Robots, 22.11.2018, <https://www.stopkillerrobots.org/ wp-content/uploads/2018/11/KRC_CountryViews22Nov2018. pdf> (eingesehen am 7.12.2018).

32

Ein Entwurf für diese politische Erklärung liegt noch nicht vor (Stand: Januar 2019), den Vorschlag dazu haben Deutschland und Frankreich in einem gemeinsamen Arbeitspapier und mehreren Stellungnahmen während der CCW-Gespräche unterbreitet: Frankreich/Deutschland, For Consideration by the Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS) – CCW/GGE.1/2017/WP.4, 7.11.2017, <http://www.reachingcriticalwill.org/images/ documents/Disarmament-fora/ccw/2017/gge/documents/ WP4.pdf> (eingesehen am 15.1.2019).

Bis Ende 2018 haben sich aber zum Beispiel die USA in der CCW explizit gegen eine politische Erklärung jeglicher Form ausgesprochen, die für sie, wie für die meisten unterzeichnenden Staaten, politisch bindenden Charakter hätte.

33

Vgl. 2018 Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS), Report of the 2018 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems – CCW/ GGE.1/2018/3, 23.10.2018, <https://www.unog.ch/80256EDD 006B8954/(httpAssets)/20092911F6495FA7C125830E003F9
A5B/$file/CCW_GGE.1_2018_3_final.pdf> (eingesehen am 14.1.2019).

34

Vgl. Europäisches Parlament, Entschließung des Europäischen Parlaments vom 12. September 2018 zu autonomen Waffensystemen (P8_TA(2018)0341), 12.9.2018, Ziffer 2 und 4, <http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-// EP//TEXT+TA+ P8-TA-2018-0341+0+DOC+XML+V0//DE> (eingesehen am 15.1.2019).

35

Vgl. Europäischer Auswärtiger Dienst, Autonomous Weapons Must Remain under Human Control, Mogherini Says at European Parliament, 14.9.2018, <https://eeas.europa.eu/ headquarters/headquarters-homepage/50465/node/50465_de> (eingesehen am 7.12.2018).

36

Vgl. Europäischer Auswärtiger Dienst, About the Global Tech Panel, 21.9.2018, <https://eeas.europa.eu/headquarters/ headquarters-homepage/50886/about-global-tech-panel_de> (eingesehen am 7.12.2018).

37

Vgl. Reinhard Bütikofer u. a., Letter to Federica Mogherini, 17.10.2018, <https://reinhardbuetikofer.eu/wp-content/ uploads/2018/11/Letter-to-HR-VP-on-autonomous-weapons-and-civil-society-17_10_2018.pdf> (eingesehen am 7.12.2018).

38

Weiterführende Informationen zu den Stellungnahmen der geladenen Sachverständigen in der Anhörung im SEDE am 10. Oktober 2018 finden sich auf der Internetseite des Europäischen Parlaments: <http://www.europarl.europa.eu/ committees/en/sede/publications.html> (eingesehen am 7.12.2018).

39

CDU/CSU/SPD, Deutschlands Zukunft gestalten. Koalitionsvertrag zwischen CDU, CSU und SPD, 18. Legislaturperiode, 2013, S. 124, <https://www.cdu.de/sites/default/files/media/ dokumente/koalitionsvertrag.pdf> (eingesehen am 15.1.2019).

40

CDU/CSU/SPD, Ein neuer Aufbruch für Europa. Eine neue Dynamik für Deutschland. Ein neuer Zusammenhalt für unser Land. Koalitionsvertrag zwischen CDU, CSU und SPD, 19. Legislaturperiode, 2018, S. 149, <https://www.cdu.de/system/tdf/media/ dokumente/koalitionsvertrag_2018.pdf> (eingesehen am 15.1.2019).

41

Vgl. Auswärtiges Amt/Heiko Maas, Rede von Außenminister Heiko Maas: »Die Zukunft der nuklearen Ordnung – Herausforderungen für die Diplomatie«, 27.6.2018, <https://www.auswaertiges-amt.de/de/newsroom/maas-fes-tiergarten-konferenz/2112704> (eingesehen am 18.1.2019); Auswärtiges Amt/Heiko Maas, Wir müssen über Abrüstung reden, 3.11.2018, <https://www. auswaertiges-amt.de/de/newsroom/maas-spiegel-online-inf/2157268> (eingesehen am 18.1.2019).

Zudem fördert das Auswärtige Amt das Projekt The International Panel on the Regulation of Autonomous Weapons (iPRAW) an der Stiftung Wissenschaft und Politik, Berlin. iPRAW ist eine interdisziplinäre Gruppe internationaler Wissenschaftlerinnen und Wissenschaftler, welche den CCW-Prozess mit Beiträgen zu Teilaspekten des Themas begleitet (https:// www.iPRAW.org).

42

Vgl. Jörg Wellbrink, »Mein neuer Kamerad – Hauptgefreiter Roboter?«, in: Ethik und Militär, (2014) 1, S. 52–55.

43

Vgl. Fn. 1.

44

Vgl. Bundesministerium für Verkehr und digitale Infrastruktur, Klare Regeln für Betrieb von Drohnen, 2017, <https://www.bmvi.de/SharedDocs/DE/Artikel/LF/151108-drohnen.html> (eingesehen am 7.12.2018).

45

Vgl. Stefan Krempl, »Hochautomatisiertes« Fahren bis 2020 realisierbar, 21.11.2015, <http://www.heise.de/newsticker/ meldung/Hochautomatisiertes-Fahren-bis-2020-realisierbar-3009915.html> (eingesehen am 7.12.2018).

46

Vgl. Fred Lambert, Elon Musk Updates Timeline for a Self-driving Car, but how Does Tesla Play into it?, 8.12.2017, <https://electrek.co/2017/12/08/elon-musk-tesla-self-driving-timeline/> (eingesehen am 15.1.2019).

47

Siehe zum Beispiel die Studie im Auftrag des Bundesministeriums für Verkehr und digitale Infrastruktur aus dem Herbst 2015. Darin geht es zwar gerade nicht um gesellschaftliche Konsequenzen – diese werden aber in der medialen Reaktion thematisiert. Siehe hierzu unter anderem Matthias Breitinger, Der Nutzer wird’s schon annehmen, 21.9.2015, <http://www.zeit.de/mobilitaet/2015-09/ autonomes-fahren-vernetzung-projekt/komplettansicht> (eingesehen am 7.12.2018).

48

Für weiterführende Informationen zum Regulierungsbedarf von künstlicher Intelligenz vgl. Dickow/Jacob, Das globale Ringen um die Zukunft der künstlichen Intelligenz [wie Fn. 9].

49

Vgl. Udo Di Fabio u. a., Bericht der Ethik-Kommission Automatisiertes und Vernetztes Fahren, Juni 2017, <https://www. bmvi.de/SharedDocs/DE/Publikationen/DG/bericht-der-ethik-kommission.pdf?__blob=publicationFile> (eingesehen am 15.1.2019).

50

Zur Technikfolgenabschätzung bezüglich UMS und LAWS vgl. Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB), Stand und Perspektiven der militärischen Nutzung unbemannter Systeme, Mai 2011, <https:// www.tab-beim-bundestag.de/de/untersuchungen/u139.html> (eingesehen am 7.12.2018); Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB), Autonome Waffensysteme, 2017, <https://www.tab-beim-bundestag.de/de/ untersuchungen/u30600.html> (eingesehen am 7.12.2018).

51

Vgl. Department of Defense, Directive Number 3000.09, November 21, 2012 Incorporating Change 1, May 8, 2017, Autonomy in Weapon Systems, 21.11.2012, geänderte Fassung vom 8.5.2017, <http://www.esd.whs.mil/Portals/54/ Documents/DD/issuances/dodd/300009p.pdf> (eingesehen am 7.12.2018).

52

Vgl. Fn. 32.

53

Vgl. Europäisches Parlament, Entschließung des Europäischen Parlaments vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103(INL)), 16.2.2017, Ziffer 16, <http://www.europarl. europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+ DOC+XML+V0//DE> (eingesehen am 7.12.2018).

Abdruck oder vergleichbare Verwendung von Arbeiten der Stiftung Wissenschaft und Politik ist auch in Auszügen nur mit vorheriger schriftlicher Genehmigung gestattet.

SWP-Studien unterliegen einem Verfahren der Begutachtung durch Fachkolleginnen und -kollegen und durch die Institutsleitung (peer review), sie werden zudem einem Lektorat unterzogen. Weitere Informationen zur Qualitätssicherung der SWP finden Sie auf der SWP-Website unter https:// www.swp-berlin.org/ueber-uns/qualitaetssicherung/.
SWP‑Studien geben die Auffassung der Autoren und Autorinnen wieder.

SWP

Stiftung Wissenschaft und Politik

Deutsches Institut für Internationale Politik und Sicherheit

Ludwigkirchplatz 3–4
10719 Berlin
Telefon +49 30 880 07-0
Fax +49 30 880 07-200
www.swp-berlin.org
swp@swp-berlin.org

ISSN 1611-6372

doi: 10.18449/2019S01