Die Funktionsweise und die möglichen Auswirkungen eines algorithmischen Systems müssen verstanden werden.

Algorithmische Systeme werden in immer mehr Bereichen angewendet und mit ihrer Hilfe werden Entscheidungen getroffen, die erhebliche Auswirkungen auf unser Leben haben. Sie bringen ebenso Chancen wie Risiken mit sich. Es liegt in unserer Hand, gemeinsam dafür zu sorgen, dass algorithmische Systeme zum Wohle der Gesellschaft gestaltet werden. Die in den Menschenrechten abgebildeten individuellen und kollektiven Freiheiten und Rechte sollen durch algorithmische Systeme gestärkt, nicht eingeschränkt werden. Regulierungen zum Schutz dieser Normen müssen durchsetzbar bleiben. Um das zu erreichen, haben wir gemeinsam mit Expert:innen und der interessierten Öffentlichkeit die vorliegenden Algo.Rules entwickelt.
Bei den Algo.Rules handelt es sich um einen Katalog an formalen Regeln, die beachtet werden müssen, um eine gesellschaftlich förderliche Gestaltung und Überprüfung von algorithmischen Systemen zu ermöglichen und zu erleichtern. Sie legen eine Grundlage für ethische Erwägungen und für die Um- und Durchsetzung rechtlicher Rahmenbedingungen. Diese Regeln sollen bereits bei der Entwicklung der Systeme mitgedacht und „by design“ implementiert werden. Die einzelnen Algo.Rules sind interdependent und als Gesamtkomplex zu betrachten. Interessierte sind dazu eingeladen, die Algo.Rules gemeinsam mit uns weiterzugestalten, sie zu übernehmen, anzupassen, zu erweitern und vor allem Wege zu suchen, sie in der Praxis anzuwenden. Die Algo.Rules sind dynamisch angelegt und sollen insbesondere hinsichtlich ihrer konkreten Umsetzung weiter verfeinert werden.
Ein Algorithmus ist eine eindeutige Handlungsvorschrift zur Lösung eines vorab definierten Problems. Ein algorithmisches System ist ein System einer oder mehrerer Algorithmen, die in Software implementiert wurden, um Daten zu erfassen, zu analysieren und Schlüsse zu ziehen, die zur Lösung eines vorher definierten Problems beitragen sollen. Das System kann dabei selbstlernend sein oder vorprogrammierten Entscheidungsregeln folgen. Die Bewertung eines algorithmischen Systems im Rahmen der Algo.Rules umfasst auch den soziotechnischen Gesamtkontext, in den die Software eingebettet ist, wie zum Beispiel die Deutung und Interpretation des Ergebnisses und die Ableitung einer Entscheidung durch Anwender:innen des Systems. Der Geltungsanspruch der Algo.Rules umfasst den gesamten Prozess der Entwicklung und Einbettung algorithmischer Systeme in den jeweiligen sozialen Kontext.
Im Fokus der Algo.Rules stehen jene algorithmischen Systeme, die einen direkten oder mittelbaren, immer jedoch signifikanten Einfluss auf das Leben der Menschen oder die Gesellschaft haben. Es geht also nicht um Gestaltungsregeln für alle algorithmischen Systeme, wohl aber für solche, die entsprechend relevant sind. Um zu bestimmen, ob ein algorithmisches System dieses Erfordernis erfüllt, sollte vor seiner Gestaltung eine Abschätzung über seine Wirkung getroffen werden. Je stärker der mögliche Einfluss eines algorithmischen Systems auf das Leben der Menschen oder die Gesellschaft ist, desto genauer sollte die Umsetzung der Algo.Rules geprüft werden.
Die Algo.Rules richten sich an alle Personen, die die Entstehung, Entwicklung und Programmierung, den Einsatz und die Auswirkungen algorithmischer Systeme signifikant mitgestalten. Das sind nicht nur Programmierer:innen. Denn nicht der Code alleine beeinflusst die Wirkung dieser Systeme, sondern auch die Zielvorgaben, die (Trainings-) Daten, der organisatorische Kontext und die Art und Weise, wie ein algorithmisches Ergebnis präsentiert, interpretiert und umgesetzt wird. Auftraggeber:innen oder Führungskräfte bestimmen dabei oftmals die Ziele: Soll das System den größten Profit bringen, ein Problem möglichst schnell lösen oder primär die Interessen der Gesellschaft berücksichtigen? Auch Anwender:innen und Software-Designer:innen beeinflussen maßgeblich, welche Wirkungen algorithmische Systeme entfalten. Sie bestimmen, wie die Entscheidung eines algorithmischen Systems präsentiert wird und welche Auswirkungen sie in der Praxis hat. Die Algo.Rules schaffen eine gemeinsame Leitlinie für diese unterschiedlichen Personen.
Die Algo.Rules richten sich damit insbesondere, aber nicht ausschließlich, an:
Die Algo.Rules beschreiben, welche übergreifenden Regeln Beteiligte beachten sollen, wenn sie algorithmische Systeme ethisch gestalten und einsetzen möchten. Damit diese Regeln im Arbeitsalltag nutzbar und hilfreich sein können, haben wir sie konkretisiert. Wir bieten Praxishilfen an, die sich direkt an die entscheidenden Gestalter:innen richten und sich an ihnen orientieren. Sie zeigen auf, was die Algo.Rules für Entwickler:innen und Führungskräfte bedeuten und geben Handlungsempfehlungen, wie Beschäftigte in Organisationen des öffentlichen Sektors die Algo.Rules anwenden können. Im Laufe des Projektes entwickeln wir verschiedene Praxishilfen, die deshalb praktische Anleitungen enthalten.
Wir laden Interessierte dazu ein, die Algo.Rules zu übernehmen, anzupassen, zu erweitern und die Regeln tatsächlich in den Arbeitsalltag zu integrieren. Dafür stellen wir alle Projektergebnisse hier frei und unter einer CC-Lizenz zur Verfügung:
Wie algorithmische Systeme unsere Gesellschaft beeinflussen, ist nicht nur eine Frage des Programmiercodes. Auch die Ziele und Werte, die den Systemen zugrunde liegen, die Daten, mit denen es gefüttert wird, und die Art und Weise, wie Ergebnisse präsentiert und interpretiert werden, spielen eine große Rolle. Der Einsatz von algorithmischen Systemen wirft ebenso technische wie ethische und rechtliche Fragen auf. Deshalb achten wir darauf, viele unterschiedliche Akteure und Perspektiven in den Prozess zu integrieren. Dazu gehörten Vertreter:innen aus:
Besonders relevant war dabei unsere Expert:innengruppe, die an der Entwicklung der Algo.Rules maßgeblich mitgewirkt hat.
„Die Grundregel, die allen algorithmischen Regeln zugrunde liegen sollte, lautet: 'mind the gap' zwischen Menschen und Algorithmen.”
Dr. Rafael Capurro, Prof. em. Hochschule der Medien, Stuttgart
„Bei der Entwicklung und dem Einsatz algorithmischer Systeme muss der Schutz vor Diskriminierung, wie ihn das Allgemeine Gleichbehandlungsgesetz (AGG) vorsieht, beachtet werden. Die „Algo.Rules“ bieten hierfür eine gute Grundlage, indem sie auf die Problematik von Diskriminierungsrisiken und die Notwendigkeit von Beschwerdemöglichkeiten hinweisen.“
Nathalie Schlenzka, Referentin Forschung und Grundsatz, Antidiskriminierungsstelle des Bundes
„Wir Menschen können mit digitalisierten Automatismen mehr Komfort und Sicherheit erreichen; sollten aber Automatismen nicht unhinterfragt in Gang setzen, sondern sie von Anfang an an gesellschaftlichen Leitplanken ausrichten."
Ina Schieferdecker, ehem. Institutsleiterin Fraunhofer FOKUS (heute Leitung Abteilung „Forschung für Digitalisierung und Innovationen“ im Bundesministerium für Bildung und Forschung (BMBF))
„Weder Politik noch Wirtschaft oder Gesellschaft können alleine dafür sorgen, dass ethische und rechtliche Rahmenbedingungen eingehalten werden, sondern es kommt auf das Zusammenspiel aller Akteurinnen und Akteure an. Die Algo.Rules sind ein ganz konkretes Ergebnis dieser Erkenntnis. Das gab es so bisher noch nicht.”
Sabine Leutheusser-Schnarrenberger , Bundesministerin der Justiz a.D.
„Verantwortung von Informatikern (im weitesten Sinne) erkennt man daran, ob sie die Algo.Rules kennen und sich konsequent daran halten.“
Volker Maiborn, Geschäftsführer, MaibornWolff GmbH
Die Algo.Rules müssen sowohl die Komplexität und Vielfalt von algorithmischen Systemen als auch die verschiedenen Stufen und Beteiligten des Entwicklungsprozesses berücksichtigen. Damit die Regeln für alle verständlich bleiben, haben wir sie so konkret wie möglich, aber so allgemein wie nötig formuliert. Solche Regeln im stillen Kämmerlein und ohne praktischen Anwendungsbezug zu verfassen, wäre nicht sinnvoll. Wir haben die Erfolgsfaktoren verbindlicher Professionsethiken, wie den Hippokratischen Eid und den Pressekodex, analysieren lassen. Partizipative Entwicklungsansätze zeigen sich dabei als eine der wichtigsten Erfolgsfaktoren. Im Zentrum unserer Arbeit steht daher die Entwicklung und Weiterentwicklung der Regeln mit einer Vielzahl an unterschiedlichen Personen und Organisationen, die ihr Wissen im Rahmen eines offenen und dynamischen Prozesses beisteuern. Das sind Expert:innen der Informatik, aber auch Vertreter:innen anderer wissenschaftlicher Disziplinen wie den Geistes- und Rechtswissenschaften und Praktiker:innen aus Politik, Gesellschaft und Wirtschaft. Die Auswirkungen algorithmischer Systeme gehen uns alle an. Deshalb haben wir neben Workshops und Expert:innen-Konsultationen die allgemeine Öffentlichkeit in einer offenen Online-Umfrage beteiligt und diskutieren die Algo.Rules auf Panels und bei Meetups.
Die Algo.Rules sind somit ein Gemeinschaftswerk. Die Bertelsmann Stiftung und der unabhängige Think Tank iRights.Lab koordinieren den Prozess. Wir haben neun Algo.Rules definiert. Weiterhin haben wir Modelle für die praktische Anwendung der Regeln zu erarbeitet. Dafür spezifizierten wir die Algo.Rules für zwei sogenannte Fokuszielgruppen und deren Anwendungskontext: Für Entwickler:innen von algorithmischen Systemen ist ein Leitfaden entstanden. In einem Blogbeitrag diskutieren wir die Rolle von Führungskräften und Organisationen. Weiterhin starteten wir einen Austausch mit gleichgesinnten Initiativen durch einen Workshop. Darüber hinaus konzentrierten wir uns auf den Arbeitsalltag im öffentlichen Sektor. Für dessen Beschäftigte entwickelten wir eine Handreichung, damit sie die Algo.Rules umsetzen können, wenn sie algorithmische Systeme planen, entwickeln und einsetzen wollen.
Bertelsmann Stiftung
Carl-Bertelsmann-Str. 256
D–33311 Gütersloh
Tel: +49 5241-810
Fax: +49 5241-81681396
Mail: carla.hustedt (at) bertelsmann-stiftung.de
Web: www.algorithmenethik.de
iRights.Lab GmbH
Schützenstraße 8
D-10117 Berlin
Tel: +49 (0)30 40 36 77 230
Fax: +49 (0)30 40 36 77 260
Mail: otto (at) irights-lab.de
Web: www.irights-lab.de
Algorithmische Systeme sind längst in unserem Alltag angekommen: Sie bestimmen für und über uns, indem sie Bewerbungen filtern, Krankheitsdiagnosen stellen oder die Kreditwürdigkeit analysieren. Deshalb müssen wir darüber diskutieren, wie der Einsatz dieser Technologie uns allen mehr Chancen als Risiken eröffnen kann. Wir sind überzeugt, dass dafür die Gestaltung der algorithmischen Systeme bestimmten Regeln folgen muss. Unser Vorschlag für einen solchen Regelkatalog sind die Algo.Rules. Unser Ziel ist es, dass die Algo.Rules in der Entwicklung aller relevanten algorithmischen Systeme angewendet werden.
Das Projekt „Ethik der Algorithmen” der Bertelsmann Stiftung hat den Prozess zur Erarbeitung der Algo.Rules initiiert. Wir wollen zu einer Gestaltung algorithmischer Systeme beitragen, die zu mehr Teilhabe für alle führt. Nicht das technisch Mögliche, sondern das gesellschaftlich Sinnvolle muss Leitbild sein. Denn das übergeordnete Ziel unserer Stiftungsarbeit ist es, den digitalen Wandel in den Dienst der Gesellschaft zu stellen. Wir wollen zivilgesellschaftliche Stimmen stärken, Brücken zwischen verschiedenen Disziplinen, der Wissenschaft und Praxis bauen und proaktiv Lösungen entwickeln. Die Erarbeitung von Regeln für die Gestaltung algorithmischer Systeme halten wir für einen von vielen vielversprechenden Lösungsansätzen, die in ihrem Zusammenwirken dazu beitragen können, dass Algorithmen dem Gemeinwohl dienen. Der unabhängige Think Tank iRights.Lab wurde mit der Organisation dieses Entwicklungsprozesses beauftragt. Das iRights.Lab hat langjährige Erfahrung darin, transdisziplinär komplexe Strukturen und Systeme gemeinsam mit einem diversen Netzwerk zu entwickeln und für die Praxis relevant zu machen. Gemeinsam wollen wir eine gesellschaftliche Debatte anstoßen und zur gesellschaftlichen Weiterentwicklung in diesem Bereich beitragen.
Die Algo.Rules sind in einem interdisziplinären, multisektoralen und offenen Prozess entstanden. Wir arbeiten interdisziplinär, weil die Wirkung algorithmischer Systeme nur durch ein Zusammenkommen verschiedener Perspektiven verstanden werden kann. Wir beziehen verschiedene Sektoren ein, weil Akteur:innen aus Wissenschaft, Gesellschaft, Politik und Wirtschaft verstärkt miteinander ins Gespräch kommen sollten. Unser Ansatz ist zudem grundsätzlich offen gewählt, weil die Zukunft unserer digitalisierten Gesellschaft uns alle angeht.
Der Prozess startete durch einen Workshop im Mai 2018. Im Rahmen zweier Studien (zu den Erfolgsfaktoren von Professionsethiken sowie den Stärken und Schwächen bestehender Gütekriterienkataloge für den Algorithmeneinsatz) sowie der Betrachtung einer Vielzahl anderer bestehender Regelkataloge für algorithmische Systeme wurden theoretische Grundlagen für die Algo.Rules gelegt. Parallel wurden im Sommer 2018 40 Expert:innen aus Politik, Wirtschaft, Zivilgesellschaft und Wissenschaft zu dem damaligen Entwurf konsultiert und um intensives Feedback gebeten. Ein weiterer Workshop im Herbst 2018 stellte Überlegungen zur Implementierung der Algo.Rules an. Ende des Jahres wurde die breite Öffentlichkeit im Rahmen eines Online-Beteiligungsprozesses dazu aufgerufen, sich zu beteiligen und Ideen beizusteuern. Nach Auswertung dieses Prozesses wurden im März 2019 die Algo.Rules im Rahmen einer Pressekonferenz veröffentlicht.
Im Anschluss arbeiteten wir daran, die Algo.Rules für zwei sogenannte Zielgruppen zu spezifizieren: Entwickler:innen und Führungskräfte. Dazu fanden im Laufe des Jahres 2019 zwei Workshops sowie zahlreiche Konsultationen mit Expert:innen aus der Praxis statt. Der daraus entstandene Leitfaden gibt Hinweise, wie jede der Algo.Rules praktisch umgesetzt werden kann. Ein Impulspapier beschreibt, welche Rolle Führungskräfte dabei einnehmen. Beide Dokumente wurden im Juni 2020 veröffentlicht.
Die Algo.Rules stehen nicht alleine, sondern reihen sich ein in die Gruppe an Initiativen, die eine gemeinwohlorientierte Gestaltung algorithmischer Systeme fördern wollen. Um hier einen Austausch zu starten, organisierten wir einen Workshop mit Expert:innen aus ganz Europa.
Um die Algo.Rules auch darüber hinaus in die Praxis zu tragen, beteiligten wir uns an der Entwicklung eines KI-Ethik-Labels. Als Teil der AI Ethics Impact Group entwickelten wir einen Vorschlag, der dabei helfen soll, allgemeine KI-Ethikprinzipien in die Praxis zu übertragen. Durch das Label wird KI-Ethik mess- und operationalisierbar. Das entsprechende Arbeitspapier haben wir im April 2020 veröffentlicht.
Seitdem bereiten wir weitere Praxishilfen für den öffentlichen Sektor vor. Denn dort kommen viele solcher algorithmischen Systeme zum Einsatz, die das Leben Einzelner und der Gesellschaft stark beeinflussen können. Mit einer Handreichung wollen wir bis August 2020 zeigen, wie die Algo.Rules bei der Beschaffung und dem Einsatz algorithmischer Systeme Orientierung bieten können.
Doch auch damit ist der Prozess nicht abgeschlossen: Wir laden Interessierte dazu ein, die Algo.Rules gemeinsam mit uns weiter zu gestalten, sie zu übernehmen, anzupassen, zu erweitern und vor allem Wege zu finden, die Regeln tatsächlich zu implementieren. Die Algo.Rules sind und bleiben ein dynamischer Prozess.
Eine Berufsethik für Programmierer:innen wäre nicht genug. Denn sie sind nicht die einzigen, die entscheidend in den Entwicklungsprozess algorithmischer Systeme involviert sind. Viele andere Berufsgruppen sind ebenso relevant, begonnen bei Führungskräften bis hin zu den Anwender:innen. Wir wollen nicht nur auf den Code des Programms blicken, sondern darauf, wie die Anwendung eingebettet, ausgerichtet und umgesetzt ist. Die Algo.Rules sind am Prozess des algorithmischen Systems orientiert. Das ist eine der Stärken unseres Ansatzes, viele Zielgruppen gemeinsam anzusprechen. Welche Zielgruppen dafür relevant sind, wird hier näher beschrieben.
Die Algo.Rules erheben nicht den Anspruch, auf alle algorithmischen Systeme angewendet zu werden. Sie gelten nur für solche, die einen direkten oder mittelbaren, jedoch immer signifikanten Einfluss auf das Leben der Menschen oder auf die Gesellschaft haben. Dazu zählt beispielsweise Software, die Bewerbungen filtert, Empfehlungen an die Polizei oder Gerichte gibt oder über eine Krankheitsdiagnose entscheidet. Es geht also nicht um Gestaltungsregeln für jedes algorithmische System, sondern nur für solche, die entsprechend relevant sind. Nach welchen Kriterien sich eine solche Relevanzbemessung richten könnte, zeigt beispielhaft die Berechnung des Teilhabewirkungspotentials durch Ben Wagner und Kilian Vieth im Auftrag der Bertelsmann Stiftung: Dieses hängt u.a. davon ab, wer das algorithmische System einsetzt, ob es über Menschen entscheidet, in welchen größeren Prozess und Einsatzbereich das algorithmische System eingebettet ist und welche Konsequenzen die Entscheidung des Systems für das Leben des Einzelnen oder die Gesellschaft hat. Dabei ordnen wir Systeme in unterschiedliche Abstufungen: Je stärker der mögliche Einfluss eines algorithmischen Systems auf das Leben der Menschen oder auf die Gesellschaft ist, desto wichtiger ist die Einhaltung der Algo.Rules und desto genauer sollte dieses System geprüft werden.
Wir haben uns die bestehenden oder in der Erarbeitungsphase befindlichen Prinzipien- und Kriterienkataloge genau angeschaut. Die meisten sind in den USA entwickelt worden. Drei davon haben wir in einer Studie näher analysiert: die „Principles for Accountable Algorithms and a Social Impact Statement for Algorithms“ der FAT/ML-Konferenz, die „Asilomar AI Principles“ des Future of Life Institute sowie die „Principles for Algorithmic Transparency and Accountability“ des ACM US Public Policy Council. Erkenntnisse aus Analysen weiterer Kataloge und dem Austausch mit vielen anderen Projekten flossen ebenso in unsere Arbeit ein. Einen Überblick über die vielen Ansätze liefert das AI Ethics Guidelines Global Inventory. Die Algo.Rules stellen eine Ergänzung und Weiterentwicklung bestehender Initiativen dar. Sie unterschieden sich vor allem in zwei Punkten von anderen Katalogen: Erstens richten sie sich nicht nur an Programmierer:innen, sondern an alle Personen, die an der Entwicklung und dem Einsatz von algorithmischen Systemen beteiligt sind. Zweitens beinhalten sie formale Gestaltungsregeln und keine moralischen Normen, was sie zu einem gewissen Grad universell macht.
Die Algo.Rules sind einem kulturell-europäischen Hintergrund entsprungen, sind jedoch zugleich geprägt von der internationalen Diskussion um die Ethik und wertegeprägte Ausgestaltung algorithmischer Entscheidungssysteme und Anwendungen. Die hier vorliegende Fassung wurde bisher insbesondere von Akteur:innen gestaltet, die in Deutschland aktiv sind. Aber sie richten sich auf eine über die Bundesrepublik hinausgehende Öffentlichkeit und sind deshalb auch in weiteren Sprachen veröffentlicht. Weil die Algo.Rules keine moralischen Normen beinhalten, sind sie zu einem gewissen Grad universell und in unterschiedlichen kulturellen Kontexten einsetzbar.
Die Herausforderung der Algo.Rules besteht, neben der Adressierung einer diversen und breiten Zielgruppe, in ihrer harten Umsetzung. Unsere Analyse hat gezeigt, dass viele der anderen, bestehenden Kriterienkataloge daran gescheitert sind, weil sie entweder nie einen Anspruch auf Implementierung hatten oder ihre Umsetzungsstrategien nicht gefruchtet haben. Genau dafür entwickeln wir konkrete Praxishilfen. Die zielgruppenspezifische Konkretisierung der Algo.Rules für Entwickler:innen und Führungskräfte ist der erste Schritt. Aktuell machen wir die Regeln für den öffentlichen Sektor praktisch anwendbar. Dafür erarbeiten wir eine Handreichung, damit öffentliche Institutionen die Algo.Rules bei der Beschaffung und dem Einsatz algorithmischer Systeme umsetzen können.
Die Algo.Rules sind ein Angebot für die Öffentlichkeit und ein möglicher Startpunkt für viele relevante Prozesse. Der Leitfaden für Entwickler:innen und das Impulspapier für Führungskräfte zeigen, was die Algo.Rules zielgruppenspezifisch bedeuten. Wichtige Schritte sind damit getan. Der nächste und wichtigste Schritt ist, die konkrete Umsetzung. Dafür werden wir uns auf den öffentlichen Sektor konzentrieren. Ob vorausschauende Polizeiarbeit, die automatische Bearbeitung von Sozialhilfeanträgen oder das Sortieren von Arbeitslosen – einige der besonders stark diskutierten algorithmischen Systeme kommen aus dem öffentlichen Sektor. Systeme, die dort eingesetzt werden, haben tendenziell auch einen großen Einfluss auf das Leben Einzelner oder auf die Gesellschaft. Daher ist es dort besonders wichtig, mit den Algo.Rules eine Grundlage für ethische Erwägungen und für die Um- und Durchsetzung rechtlicher Rahmenbedingungen zu schaffen. Dafür analysieren wir verschiedene Fallbeispiele sowie den Prozess der öffentlichen Beschaffung und des Einsatzes algorithmischer Systeme. Wir konsultieren und befragen Expert:innen aus dem öffentlichen Sektor. Ziel ist es, die Algo.Rules für die Praxis relevant zu machen und Vorschläge für Implementierungsmaßnahmen zu entwickeln.
Die Algo.Rules bleiben auch darüber hinaus ein Angebot: Wer mit uns die Algo.Rules spezifizieren möchte oder eine Idee hat, anhand welcher Anwendung man die Umsetzung der Algo.Rules testen könnte, kann sich über unser Kontaktformular bei uns melden.