Regeln für die Gestaltung
algorithmischer Systeme
1 Kompetenz
aufbauen
2 Verantwortung
definieren
3 Ziele und erwartete Wirkung
dokumentieren
4 Sicherheit
gewährleisten
5 Kennzeichnung
durchführen
6 Nachvollziehbarkeit
sicherstellen
7 Beherrschbarkeit
absichern
8 Wirkung
überprüfen
9 Beschwerden
ermöglichen
Jetzt mitmachen
Kompetenz aufbauen

Die Funktionsweise und die möglichen Auswirkungen eines algorithmischen Systems müssen verstanden werden.

Diejenigen, die algorithmische Systeme entwickeln, betreiben und/oder über ihren Einsatz entscheiden, müssen über die erforderliche Fachkompetenz und ein entsprechend abgestuftes Verständnis der Funktionsweisen und potenziellen Auswirkungen der Technologie verfügen. Das Teilen von individuellem und institutionellem Wissen sowie der interdisziplinäre Austausch zwischen den Aufgabenbereichen sind dafür ebenso zentral wie qualifizierende Maßnahmen. Diese sind in die Ausbildung bzw. das Onboarding neuer Mitarbeiter:innen zu integrieren. Der interdisziplinäre Austausch sollte verstetigt werden und für andere Interessierte und/oder betroffene Akteure offenstehen.
Verantwortung definieren

Für die Auswirkungen des Einsatzes eines algorithmischen Systems muss stets eine natürliche oder juristische Person verantwortlich sein.

Die Verantwortung bedarf einer eindeutigen Zuteilung. Die damit verbundenen Aufgaben müssen der zuständigen Person bewusst sein. Dies gilt auch für geteilte Verantwortlichkeiten bei mehreren Personen oder Organisationen. Die Zuteilung muss lückenlos sowie nach innen und außen transparent dokumentiert werden. Die Verantwortung darf weder auf das algorithmische System noch auf die Anwender:innen oder betroffenen Personen abgewälzt werden.
Ziele und erwartete Wirkung dokumentieren

Die Ziele und die erwartete Wirkung des Einsatzes eines algorithmischen Systems müssen vor dessen Einsatz dokumentiert und abgewogen werden.

Die Ziele des algorithmischen Systems müssen klar definiert und Informationen zu dessen Einsatz dokumentiert werden. Dazu zählen etwa die zugrunde liegenden Daten und Berechnungsmodelle. Vor dem Einsatz des algorithmischen Systems muss eine dokumentierte Folgenabschätzung durchgeführt werden. Insbesondere bei lernenden Systemen und in dynamischen Einsatzfeldern mit viel Veränderung ist die Folgenabschätzung in regelmäßigen Abständen zu wiederholen. Hierbei sind Risiken für Diskriminierungen und weitere das Individuum und das Gemeinwohl berührende Folgen im Blick zu behalten. Werteabwägungen bei der Zielsetzung und dem Einsatz von algorithmischen Systemen müssen festgehalten werden.
Sicherheit gewährleisten

Die Sicherheit eines algorithmischen Systems muss vor dessen Einsatz getestet und fortlaufend gewährleistet werden.

Zuverlässigkeit und Robustheit eines algorithmischen Systems und der zugrunde liegenden Daten gegenüber Angriffen, Zugriffen und Manipulationen sind unbedingt zu gewährleisten. Dafür muss Sicherheit von Anfang an festes Element der Gestaltung des algorithmischen Systems sein (Security by Design). Das System ist vor seinem Einsatz in einer geschützten Umgebung zu testen. Die Sicherheitsvorkehrungen sind zu dokumentieren.
Kennzeichnung durchführen

Der Einsatz eines algorithmischen Systems muss gekennzeichnet sein.

Beim Einsatz algorithmischer Systeme muss durch eine entsprechende Kennzeichnung für Personen, die mit ihnen interagieren, erkennbar sein, dass der Entscheidung oder Prognose ein algorithmisches System zugrunde liegt. Das gilt besonders dann, wenn das System einen Menschen in Art und Weise der Interaktion (Sprache, Aussehen etc.) imitiert.
Nachvollziehbarkeit sicherstellen

Die Entscheidungsfindung eines algorithmischen Systems muss stets nachvollziehbar sein.

Ein algorithmisches System muss mit seinen direkten oder mittelbaren Wirkungen und seiner Funktionsweise für Menschen leicht verständlich gemacht werden, damit diese es hinterfragen und überprüfen können. Dafür müssen Informationen über die dem System zugrunde liegenden Daten und Modelle, seine Architektur sowie die möglichen Auswirkungen veröffentlicht und in leicht verständlicher Sprache dargestellt werden. Es ist stets zu prüfen, ob sich ein Ziel ohne wesentliche Qualitätseinbußen auch mit einem algorithmischen System erreichen lässt, das weniger komplex und in seiner Funktionsweise leichter nachvollziehbar ist.
Beherrschbarkeit absichern

Ein algorithmisches System muss während seines gesamten Einsatzes gestaltbar sein und bleiben.

Damit ein algorithmisches System gestaltbar bleibt, müssen alle Personen, die an seiner Entwicklung und seinem Einsatz beteiligt sind, gemeinsam stets die Kontrolle über das System behalten. Dabei muss sichergestellt werden, dass der Gesamtüberblick über das System stets gewahrt bleibt, auch wenn Aufgaben zwischen unterschiedlichen Personen und Arbeitsbereichen verteilt sind. Die Arbeitsweise eines Systems darf niemals so komplex und undurchschaubar werden, dass es von Menschen nicht mehr beherrschbar ist oder nicht mehr geändert werden kann. Das gilt insbesondere für selbstlernende Systeme. Kann diese Beherrschbarkeit nicht sichergestellt werden, so ist auf den Einsatz eines algorithmischen Systems zu verzichten.
Wirkung überprüfen

Die Auswirkungen eines algorithmischen Systems müssen regelmäßig überprüft werden.

Ein algorithmisches System muss einer aktiven Kontrolle unterliegen, ob die beabsichtigten Ziele tatsächlich verfolgt werden und der Einsatz des Systems bestehendes Recht nicht verletzt. Externe Prüfstellen sollten unter Wahrung legitimer Geschäftsgeheimnisse durch entsprechende technische Vorkehrungen in die Lage versetzt werden, ein algorithmisches System tatsächlich und umfassend unabhängig prüfen zu können. Wird eine negative Wirkung festgestellt, muss die Fehlerursache ermittelt und das algorithmische System entsprechend angepasst werden
Beschwerden ermöglichen

Fragwürdige oder die Rechte einer betroffenen Person beeinträchtigende Entscheidungen eines algorithmischen Systems müssen erklärt und gemeldet werden können.

Die ein algorithmisches System einsetzende Stelle muss leicht zugängliche Wege zur Kontaktaufnahme zur Verfügung stellen. Betroffene Personen müssen erstens eine qualifizierte und detaillierte Auskunft zur konkreten Entscheidung und der dahinter liegenden Abwägung einfordern können. Diese Möglichkeit sollte auch in ihrem Namen handelnden oder eigene legitime Interessen geltend machenden Organisationen eingeräumt sein. Zweitens muss eine einfache, niedrigschwellige und wirksame Beschwerdemöglichkeit zur Verfügung stehen. Beschwerden und eingeleitete Maßnahmen sind zu dokumentieren.

Präambel

 

Warum brauchen wir die Algo.Rules?

Algorithmische Systeme werden in immer mehr Bereichen angewendet und mit ihrer Hilfe werden Entscheidungen getroffen, die erhebliche Auswirkungen auf unser Leben haben. Sie bringen ebenso Chancen wie Risiken mit sich. Es liegt in unserer Hand, gemeinsam dafür zu sorgen, dass algorithmische Systeme zum Wohle der Gesellschaft gestaltet werden. Die in den Menschenrechten abgebildeten individuellen und kollektiven Freiheiten und Rechte sollen durch algorithmische Systeme gestärkt, nicht eingeschränkt werden. Regulierungen zum Schutz dieser Normen müssen durchsetzbar bleiben. Um das zu erreichen, haben wir gemeinsam mit Expert:innen und der interessierten Öffentlichkeit die vorliegenden Algo.Rules entwickelt.

Was sind die Algo.Rules?

Bei den Algo.Rules handelt es sich um einen Katalog an formalen Kriterien, die beachtet werden müssen, um eine gesellschaftlich förderliche Gestaltung und Überprüfung von algorithmischen Systemen zu ermöglichen und zu erleichtern. Sie legen eine Grundlage für ethische Erwägungen und für die Um- und Durchsetzung rechtlicher Rahmenbedingungen. Diese Kriterien sollen bereits bei der Entwicklung der Systeme mitgedacht und „by design“ implementiert werden. Die einzelnen Algo.Rules sind interdependent und als Gesamtkomplex zu betrachten. Interessierte sind dazu eingeladen, die Algo.Rules gemeinsam mit uns weiterzugestalten, sie zu übernehmen, anzupassen, zu erweitern und vor allem Wege zu suchen, sie in der Praxis anzuwenden. Die Algo.Rules sind dynamisch angelegt und sollen insbesondere hinsichtlich ihrer konkreten Umsetzung weiter verfeinert werden.

Was ist ein „algorithmisches System“?

 

Ein Algorithmus ist eine eindeutige Handlungsvorschrift zur Lösung eines vorab definierten Problems. Ein algorithmisches System ist ein System einer oder mehrerer Algorithmen, die in Software implementiert wurden, um Daten zu erfassen, zu analysieren und Schlüsse zu ziehen, die zur Lösung eines vorher definierten Problems beitragen sollen. Das System kann dabei selbstlernend sein oder vorprogrammierten Entscheidungsregeln folgen. Die Bewertung eines algorithmischen Systems im Rahmen der Algo.Rules umfasst auch den soziotechnischen Gesamtkontext, in den die Software eingebettet ist, wie zum Beispiel die Deutung und Interpretation des Ergebnisses und die Ableitung einer Entscheidung durch Anwender:innen des Systems. Der Geltungsanspruch der Algo.Rules umfasst den gesamten Prozess der Entwicklung und Einbettung algorithmischer Systeme in den jeweiligen sozialen Kontext.

Im Fokus der Algo.Rules stehen jene algorithmischen Systeme, die einen direkten oder mittelbaren, immer jedoch signifikanten Einfluss auf das Leben der Menschen oder die Gesellschaft haben. Es geht also nicht um Gestaltungsregeln für alle algorithmischen Systeme, wohl aber für solche, die entsprechend relevant sind. Um zu bestimmen, ob ein algorithmisches System dieses Erfordernis erfüllt, sollte vor seiner Gestaltung eine Abschätzung über seine Wirkung getroffen werden. Je stärker der mögliche Einfluss eines algorithmischen Systems auf das Leben der Menschen oder die Gesellschaft ist, desto genauer sollte die Umsetzung der Algo.Rules geprüft werden.

 

Zielgruppe

Algorithmische Systeme werden von vielen Menschen gestaltet. Wir richten uns an alle Personen, die am Entwicklungsprozess beteiligt sind.

Die Algo.Rules richten sich an alle Personen, die einen signifikanten Einfluss auf die Entstehung, die Entwicklung und Programmierung, den Einsatz und die Auswirkungen algorithmischer Systeme haben. Wir richten uns bewusst nicht nur an Programmierer:innen. Denn die Wirkung dieser Systeme wird nicht nur durch den Programmiercode beeinflusst, sondern auch durch die Zielvorgaben, die (Trainings-)Daten, den organisatorischen Kontext und die Art und Weise, wie ein algorithmisches Ergebnis präsentiert, interpretiert und umgesetzt wird. Die Ziele bestimmt oft der Auftraggebende oder die Geschäftsführung: Soll das System den größten Profit bringen, ein Problem möglichst schnell lösen oder primär die Interessen der Gesellschaft berücksichtigen? Auch Anwender:innen und Software-Designer:innen haben einen großen Einfluss darauf, welche Wirkung algorithmische Systeme entfalten. Sie bestimmen, wie die Entscheidung eines algorithmischen Systems präsentiert und umgesetzt wird. Die Algo.Rules schaffen eine gemeinsame Leitlinie für diese unterschiedlichen Personen. Damit die Regeln im Praxisalltag genutzt werden können, müssen sie weiter konkretisiert werden. Deshalb werden wir in einem nächsten Schritt die Regeln personalisieren. Das Ziel sind für verschiedene Zielgruppen exemplarisch spezifizierte Regeln und konkrete Handlungsempfehlungen für praktische Anwendungsszenarien.

Die Algo.Rules richten sich damit insbesondere, aber nicht ausschließlich, an:

  • Forscher:innen,
  • Datensammler:innen,
  • Führungskräfte,
  • Programmierer:innen,
  • Entwickler:innen,
  • Software-Designer:innen und
  • Anwender:innen.

Beteiligte

Eine große Gruppe an unterschiedlichen Personen und Organisationen war an unserem Prozess beteiligt. Die Algo.Rules sind damit ein Gemeinschaftswerk.

Wie algorithmische Systeme unsere Gesellschaft beeinflussen, ist nicht nur eine Frage des Programmiercodes. Auch die Ziele und Werte, die den Systemen zugrunde liegen, die Daten, mit denen es gefüttert wird, und die Art und Weise, wie Ergebnisse präsentiert und interpretiert werden, spielen eine große Rolle. Der Einsatz von algorithmischen Systemen wirft technische ebenso wie ethische und rechtliche Fragen auf. Deshalb haben wir darauf geachtet, viele unterschiedliche Akteure und Perspektiven in dem Prozess zu integrieren. Dazu gehörten Vertreter:innen aus:

  • Wissenschaft und Forschung
  • Unternehmen und Verbänden
  • Zivilgesellschaft und NGOs
  • Politik und Verwaltung

Besonders relevant war dabei unsere Expert:innengruppe, die an der Entwicklung der Algo.Rules maßgeblich mitgewirkt hat.

Teilnehmende des ersten Expert:innenworkshops zu den Inhalten der Algo.Rules im Mai 2018.

“Die Grundregel, die allen algorithmischen Regeln zugrunde liegen sollte, lautet: 'mind the gap' zwischen Menschen und Algorithmen.”
Dr. Rafael Capurro, Prof. em. Hochschule der Medien, Stuttgart

„Bei der Entwicklung und dem Einsatz algorithmischer Systeme muss der Schutz vor Diskriminierung, wie ihn das Allgemeine Gleichbehandlungsgesetz (AGG) vorsieht, beachtet werden. Die „Algo.Rules“ bieten hierfür eine gute Grundlage, indem sie auf die Problematik von Diskriminierungsrisiken und die Notwendigkeit von Beschwerdemöglichkeiten hinweisen.“
Nathalie Schlenzka, Referentin Forschung und Grundsatz, Antidiskriminierungsstelle des Bundes

"Wir Menschen können mit digitalisierten Automatismen mehr Komfort und Sicherheit erreichen; sollten aber Automatismen nicht unhinterfragt in Gang setzen, sondern sie von Anfang an an gesellschaftlichen Leitplanken ausrichten."
Ina Schieferdecker Institutsleiterin Fraunhofer FOKUS

„Weder Politik noch Wirtschaft oder Gesellschaft können alleine dafür sorgen, dass ethische und rechtliche Rahmenbedingungen eingehalten werden, sondern es kommt auf das Zusammenspiel aller Akteurinnen und Akteure an. Die Algo.Rules sind ein ganz konkretes Ergebnis dieser Erkenntnis. Das gab es so bisher noch nicht.”
Sabine Leutheusser-Schnarrenberger , Bundesministerin der Justiz a.D.

„Verantwortung von Informatikern (im weitesten Sinne) erkennt man daran, ob sie die Algo.Rules kennen und sich konsequent daran halten.“
Volker Maiborn, Geschäftsführer, MaibornWolff GmbH

Teilnehmende des zweiten Expert:innenworkshops zur Implementierung der Algo.Rules im Oktober 2018.

Ansatz

Die Algo.Rules werden in einem offenen, partizipativen und interdisziplinären Prozess mit bislang über 400 Beteiligten erarbeitet.

Die Algo.Rules müssen sowohl die Komplexität und Vielfalt von algorithmischen Systemen als auch die verschiedenen Stufen und Beteiligten des Entwicklungsprozesses berücksichtigen. Damit die Regeln für alle verständlich bleiben, haben wir sie so konkret wie möglich, aber so allgemein wie nötig formuliert. Solche Regeln im stillen Kämmerlein und ohne praktischen Anwendungsbezug zu verfassen, wäre nicht sinnvoll. Wir haben die Erfolgsfaktoren verbindlicher Professionsethiken, wie den Hippokratischen Eid und den Pressekodex, analysieren lassen. Partizipative Entwicklungsansätze haben sich dabei als einer der wichtigsten Erfolgsfaktoren herausgestellt. Im Zentrum unserer Arbeit steht daher die Entwicklung der Regeln mit einer Vielzahl an unterschiedlichen Personen und Organisationen, die ihr Wissen im Rahmen eines offenen und dynamischen Prozesses beisteuern. Das sind Expert:innen der Informatik, aber auch Vertreter:innen anderer wissenschaftlicher Disziplinen wie den Geistes- und Rechtswissenschaften und Praktiker:innen aus Politik, Gesellschaft und Wirtschaft. Die Auswirkungen algorithmischer Systeme gehen uns alle an. Deshalb haben wir neben Workshops und Expert:innen-Konsultationen die allgemeine Öffentlichkeit in einer offenen Online-Umfrage beteiligt und diskutieren die Algo.Rules auf Panels und bei Meetups. Die Algo.Rules sind somit ein Gemeinschaftswerk. Die Bertelsmann Stiftung und der Think Tank iRights.Lab koordinieren den Prozess. Wir haben neun Algo.Rules definiert. Aktuell arbeiten wir daran, Modelle für die praktische Anwendung der Regeln zu erarbeiten. Dafür werden wir die Algo.Rules für zwei sogenannte Fokuszielgruppen und deren Anwendungskontext spezifizieren: Entwickler:innen von algorithmischen Systemen sowie Führungskräfte in Unternehmen und im öffentlichen Sektor. Mit diesen Gruppen wollen wir klären, was die allgemeinen Algo.Rules für sie spezifisch bedeuten und wie eine konkrete Umsetzung der Regeln gestaltet werden muss.

Beteiligt euch bei der Weiterentwicklung der Algo.Rules!

Kontakt

Die Algo.Rules sind ein dynamischer Regelkatalog. Aktuell arbeiten wir daran, die Regeln zu konkretisieren und praxisnaher zu gestalten. Dafür sind wir auf der Suche nach Entwickler:innen, Entscheidungsträger:innen, interessierten Institutionen und Unternehmen. Wir suchen zudem konkreten Anwendungsbeispiele algorithmischer Systeme, anhand derer man die Algo.Rules testen kann. Ideen? Fragen? Interesse? Meldet euch gerne bei uns:

 

Bertelsmann Stiftung
Carl-Bertelsmann-Str. 256
D–33311 Gütersloh
Tel: +49 5241-810
Fax: +49 5241-81681396
Mail: carla.hustedt (at) bertelsmann-stiftung.de
Web: www.algorithmenethik.de

 

iRights.Lab GmbH
Almstadtstr. 9/11
D-10119 Berlin
Tel: +49 (0)30 89 37 01 03
Fax: +49 (0)30 91 68 18 49
Mail: otto@irights-lab.de
Web: www.irights-lab.de

 

Betreff

FAQ

Frequently Asked Questions

Warum gibt es die Algo.Rules? Was ist ihr Ziel?

Algorithmische Systeme sind längst in unserem Alltag angekommen: Sie bestimmen für und über uns, indem sie Bewerbungen filtern, Krankheitsdiagnosen stellen oder die Kreditwürdigkeit analysieren. Deshalb müssen wir darüber diskutieren, wie der Einsatz dieser Technologie uns allen mehr Chancen als Risiken eröffnen kann. Wir sind überzeugt, dass dafür die Gestaltung der algorithmischen Systeme bestimmten Regeln folgen muss. Unser Vorschlag für einen solchen Regelkatalog sind die Algo.Rules. Unser Ziel ist es, dass die Algo.Rules in der Entwicklung aller relevanter algorithmischer Systeme angewendet werden.

Warum macht gerade ihr die Algo.Rules?

Das Projekt “Ethik der Algorithmen” der Bertelsmann Stiftung hat den Prozess zur Erarbeitung der Algo.Rules initiiert. Wir wollen zu einer Gestaltung algorithmischer Systeme beitragen, die zu mehr Teilhabe für alle führt. Nicht das technisch Mögliche, sondern das gesellschaftlich Sinnvolle muss Leitbild sein. Denn das übergeordnete Ziel unserer Stiftungsarbeit ist es, den digitalen Wandel in den Dienst der Gesellschaft zu stellen. Wir wollen zivilgesellschaftliche Stimmen stärken, Brücken zwischen verschiedenen Disziplinen, der Wissenschaft und Praxis bauen und proaktiv Lösungen entwickeln. Die Erarbeitung von Regeln für die Gestaltung algorithmischer Systeme halten wir für einen von vielen vielversprechenden Lösungsansätzen, die in ihrem Zusammenwirken dazu beitragen können, dass Algorithmen dem Gemeinwohl dienen. Der unabhängige Think Tank iRights.Lab wurde mit der Organisation dieses Entwicklungsprozesses beauftragt. Das iRights.Lab hat langjährige Erfahrung darin, transdisziplinär komplexe Strukturen und Systeme gemeinsam mit einem diversen Netzwerk zu entwickeln und für die Praxis relevant zu machen. Gemeinsam wollen wir eine gesellschaftliche Debatte anstoßen und zur gesellschaftlichen Weiterentwicklung in diesem Bereich beitragen.

Wie wurden die Algo.Rules erarbeitet?

Die Algo.Rules sind in einem interdisziplinären, multisektoralen und offenen Prozess entstanden. Wir arbeiten interdisziplinär, weil die Wirkung algorithmischer Systeme nur durch ein Zusammenkommen verschiedener Perspektiven verstanden werden kann. Wir beziehen verschiedene Sektoren ein, weil Akteure aus Wissenschaft, Gesellschaft, Politik und Wirtschaft verstärkt miteinander ins Gespräch kommen sollten. Unser Ansatz ist zudem grundsätzlich offen gewählt, weil die Zukunft unserer digitalisierten Gesellschaft uns alle angeht.

Der Prozess startete durch einen Workshop im Mai 2018. Im Rahmen zweier Studien (zu den Erfolgsfaktoren von Professionsethiken sowie den Stärken- und Schwächen bestehender Gütekriterienkatalogen für den Algorithmeneinsatz ) sowie der Betrachtung einer Vielzahl an anderen bestehenden Regelkatalogen für algorithmische Systeme wurden theoretische Grundlagen für die Algo.Rules gelegt. Parallel wurden im Sommer 40 Expert:innen aus Politik, Wirtschaft, Zivilgesellschaft und Wissenschaft zu dem damaligen Entwurf konsultiert und um intensives Feedback gebeten. Ein weiterer Workshop im Herbst stellte Überlegungen zur Implementierung der Algo.Rules an. Zuletzt wurde im Dezember 2018 die breite Öffentlichkeit im Rahmen eines Online-Beteiligungsprozesses dazu aufgerufen, sich zu beteiligen und Ideen beizusteuern.

Der Prozess ist nicht abgeschlossen. Interessierte sind dazu eingeladen, die Algo.Rules gemeinsam mit uns weiter zu gestalten, sie zu übernehmen, anzupassen, zu erweitern und vor allem Wege zu finden, die Regeln tatsächlich zu implementieren. Die Algo.Rules sind dynamisch und sollen insbesondere hinsichtlich ihrer praktischen Ausgestaltung weiter verfeinert werden.

Warum richten sich die Algo.Rules an eine sehr diverse Zielgruppe?

Eine Berufsethik für Programmierer:innen wäre nicht genug. Denn sie sind nicht die einzigen, die entscheidend in den Entwicklungsprozess algorithmischer Systeme involviert sind. Viele andere Berufsgruppen sind ebenso relevant, begonnen bei Führungskräften bis hin zu den Anwender:innen. Wir wollen nicht nur auf den Code des Programms blicken, sondern darauf, wie die Anwendung eingebettet, ausgerichtet und umgesetzt ist. Die Algo.Rules sind am Prozess des algorithmischen Systems orientiert. Das ist eine der Stärken unseres Ansatzes, viele Zielgruppen gemeinsam anzusprechen. Welche Zielgruppen dafür relevant sind, wird hier näher beschrieben.

Sollen die Algo.Rules für alle algorithmischen Systeme gelten? Muss jetzt z.B. auch mein Taschenrechner als algorithmisches System gekennzeichnet sein?

Nein, denn die Algo.Rules beziehen sich nicht auf alle algorithmischen Systeme. Sie gelten nur für solche, die einen direkten oder mittelbaren, jedoch immer signifikanten Einfluss auf das Leben der Menschen oder auf die Gesellschaft haben. Dazu zählt beispielsweise Software, die Bewerbungen filtert, Empfehlungen an die Polizei oder Gerichte gibt oder über eine Krankheitsdiagnose entscheidet. Es geht also nicht um Gestaltungsregeln für jedes algorithmische System, sondern nur für solche, die entsprechend relevant sind. Nach welchen Kriterien sich eine solche Relevanzbemessung richten könnte, zeigt beispielhaft die Berechnung des Teilhabewirkungspotentials durch Ben Wagner und Kilian Vieth im Auftrag der Bertelsmann Stiftung: Dieses hängt u.a. davon ab, wer das algorithmische System einsetzt, ob es über Menschen entscheidet, in welchen größeren Prozess und Einsatzbereich das algorithmische System eingebettet ist und welche Konsequenzen die Entscheidung des Systems für das Leben des Einzelnen oder die Gesellschaft hat. Dabei ordnen wir Systeme in unterschiedliche Abstufungen: Je stärker der mögliche Einfluss eines algorithmischen Systems auf das Leben der Menschen oder auf die Gesellschaft ist, desto wichtiger ist die Einhaltung der Algo.Rules und desto genauer sollte dieses System geprüft werden.

Wie verhalten sich die Algo.Rules zu den vielen ähnliche Initiativen, Kriterien und Katalogen, wie z.B. den ethischen Leitlinien der Gesellschaft für Informatik?

Wir haben uns die bestehenden oder in der Erarbeitungsphase befindlichen Prinzipien- und Kriterienkataloge genau angeschaut. Die meisten sind in den USA entwickelt worden. Drei davon haben wir in einer Studie näher analysiert: die “Principles for Accountable Algorithms and a Social Impact Statement for Algorithms” der FAT/ML-Konferenz, die “Asilomar AI Principles” des Future of Life Institute sowie die “Principles for Algorithmic Transparency and Accountability” des ACM US Public Policy Council. Erkenntnisse aus Analysen weiterer Kataloge und dem Austausch mit vielen anderen Projekten flossen ebenso in unsere Arbeit ein. Die Algo.Rules stellen eine Ergänzung und Weiterentwicklung bestehender Initiativen dar. Sie unterschieden sich vor allem in zwei Punkten von anderen Katalogen: Erstens richten sie sich nicht nur an Programmierer:innen, sondern an alle Personen, die an der Entwicklung und dem Einsatz von algorithmischen Systemen beteiligt sind. Zweitens beinhalten sie formale Gestaltungsregeln und keine moralischen Normen, was sie zu einem gewissen Grad universell macht.

Beziehen sich die Algo.Rules auf Deutschland, Europa oder haben sie weltweiten Gültigkeitsanspruch?

Die Algo.Rules sind einem kulturell-europäischen Hintergrund entsprungen, sind jedoch zugleich geprägt von der internationalen Diskussion um die Ethik und wertegeprägte Ausgestaltung algorithmischer Entscheidungssysteme und Anwendungen. Die hier vorliegende Fassung wurde bisher insbesondere von Akteur:innen gestaltet, die in Deutschland aktiv sind. Aber sie richten sich auf eine über die Bundesrepublik hinausgehende Öffentlichkeit und sind deshalb auch in einer englischen Version veröffentlicht. Dadurch dass die Algo.Rules keine moralischen Normen beinhalten, sind sie zu einem gewissen Grad universell und in unterschiedlichen kulturellen Kontexten einsetzbar.

Wie wollt ihr die Algo.Rules in der Praxis umsetzen?

Die aktuelle Herausforderung der Algo.Rules besteht, neben der Adressierung einer diversen und breiten Zielgruppe, in ihrer harten Umsetzung. Unsere Analyse hat gezeigt, dass viele der anderen, bestehenden Kriterienkataloge daran gescheitert sind, weil sie entweder nie einen Anspruch auf Implementierung hatten oder ihre Umsetzungsstrategien nicht gefruchtet haben. Genau an diesem Punkt stehen wir nun. In einem nächsten Schritt werden wir die Algo.Rules zielgruppenspezifisch konkretisieren. Das ist aus unserer Sicht der erste wichtige Schritt, um die Regeln praktisch anwendbar zu machen. Möglichkeiten für die weitergehende Implementierung reichen von der Integration der Algo.Rules in die Uni-Lehrpläne der Informatik über öffentliche Selbstverpflichtungen von Unternehmen bis hin zur Etablierung einer unabhängigen Aufsichtsbehörde für algorithmische Systeme.

Wie geht es mit den Algo.Rules jetzt weiter?

Die Algo.Rules sind in ihrer jetzigen Form ein Angebot für die Öffentlichkeit und ein möglicher Startpunkt für viele spannende Prozesse. Der erste Schritt ist damit getan. Der nächste ist nun ihre konkrete Umsetzung: Dafür werden wir die Algo.Rules zielgruppenspezifisch aufbereiten. Denn was diese Regeln konkret für jemanden auf Geschäftsführungsebene eines IT-Unternehmens bedeuten unterscheidet sich von dem, wie eine Programmierer:in beispielsweise eine Folgenabschätzung für die nächste App durchführt. Deshalb werden wir zwei sogenannte Fokuszielgruppen und deren Handlungskontexte näher untersuchen: Entwickler:innen und Führungskräfte in Unternehmen sowie im öffentlichen Sektor. Mit diesen beiden Gruppen werden wir in Workshops, bilateralen Treffen und Konsultationen erarbeiten, was die Algo.Rules für sie konkret bedeuten und Mechanismen sammeln, über die die Regeln umgesetzt werden können. Ziel ist es, neben praxisrelevanten Algo.Rules auch konkrete Vorschläge für Implementierungsmaßnahmen und Anwendungsbeispiele zu sammeln. Wer mit uns die Algo.Rules spezifizieren möchte oder eine Idee hat, anhand welcher Anwendung man die Umsetzung der Algo.Rules testen könnte, soll sich über unser Kontaktformular bei uns melden.