Wie erlangen wir Kontrolle und Nachvollziehbarkeit algorithmischer Systeme?
von Daniel Guagnin
Auf der alljährlichen Datenschutzkonferenz „Computers, Privacy and Data Protection„, kurz CPDP war praemandatum dieses Jahr mit einem Panel vertreten, das sich mit der Frage nach Transparenz und Kontrolle von Software und Algorithmen beschäftigte.
Im Rahmen unserer Forschungsprojekte des Ministeriums für Bildung und Forschung zu Selbstdatenschutz (SmartPriv und AppPETS), in denen wir an Tools für datenschutzfreundlichere Apps arbeiten, wollten wir diskutieren, inwiefern Benutzer*innen von Technik Kontrolle über ihre Geräte erlangen können und welche anderen Wege es gibt, um mehr Datenschutz zu erreichen.
Schon in den 80ern wollten Freie Software Aktivisten mehr Transparenz und Kontrolle der Software für die Nutzer*innen erreichen durch die Offenlegung des Quellcodes – also der logischen Funktionalitätsbeschreibung. Während damals die Rechner nur Expertenwerkzeuge waren, sind heute Computer in unserer Tasche und protokollieren unseren Alltag, speichern und verarbeiten persönlichste Daten und sind zunehmend in allerlei anderen Geräten wie Fernsehern, Autos und Glühbirnen. Darüber hinaus entscheiden Algorithmen schon heute, welche Nachrichten unser Blickfeld erreichen, wo die Polizei Streife läuft, wer aus dem Gefängnis frei kommt oder welche Kredite uns angeboten werden.
Software ist also zu einem essentiellen Bestandteil unseres Alltags geworden. Vor dem Hintergrund der zentralen Rolle von Software bekommen die Forderungen der frühen Freie Software Bewegung nach Einsichtnahme in die Funktionalität und die Erlaubnis der Veränderung eine ganz neue Bedeutung.
Daher wurden auf dem Panel neben der Idee Freier Software weitere Ansätze diskutiert, die Transparenz und Kontrolle über Algorithmen ermöglichen. Dazu hier jeweils eine kurze Zusammenfassung. Die vollständige Videoaufzeichnung ist unten eingebettet.
Freie Software
Die Zugänglichkeit der logischen Beschreibung der Funktionsweise von Software (der „Quelltext“ oder „Source Code“) enthebt diese dem alleinigen Zugriff des anbietenden Unternehmens und ermöglicht eine unabhängige Sicht Vieler auf die Programmierung. Somit können geheime Hintertüren vermieden und Fehler gefunden werden – denn böswillige Kriminelle finden Sicherheitslücken auch in Software, deren Quellcode nicht offen zugänglich ist. Sie geben diese aber nicht bekannt, sondern nutzen sie für ihre Zwecke. Einblicke in die Software kann außerdem zu einem gewissen Grad Aufschluss geben darüber, nach welcher Logik Algorithmen Entscheidungen fällen, welche Werte und Wertungen also in die Entscheidungssysteme eingeschrieben sind, die sich auf uns auswirken.
Durch das Recht, die Software zu verändern, das in freien Lizenzen festgeschrieben ist, bleibt die Macht über die Gestaltung der Algorithmen und ihrer Funktions- und Wirkungsweise nicht allein beim Hersteller, sondern jede*r kann sie verändern und anpassen (lassen): Freie Software bietet hier immer die Möglichkeit, die Software zu kopieren und in der angefertigten Kopie eigene Anpassungen zu machen (und die veränderte Version weiterzugeben). Besonders sinnvoll wäre das beispielsweise für öffentliche Einrichtungen, die nicht jede einzelne Änderung vom Hersteller anfordern müssten, sondern hier Veränderungen an Software ausgeschrieben würden und das fertige Produkt von vielen anderen Einrichtungen mit verwendet werden könnte. Polina Malaja von der Free Software Foundation Europe verwies daher nochmal explizit auf eine aktuelle Kampagne, die sich genau darum dreht: Public Money, Public Code. Dort findet sich übrigens ein anschauliches Erklärvideo dazu, dass ich an dieser Stelle empfehlen möchte.
Bildung, Aufklärung, Mündigkeit, Selbstdatenschutz
Auch wenn freilich nicht jede*r Softwarenutzer*in die Expertise besitzt, um den Quellcode der von ihr verwenden Software zu verstehen oder gar zu verändern, gibt es aber doch einige grundsätzliche Dinge, die heutzutage jede*r verstehen sollte, zumindest zu einem gewissen Grad. Die Zusammenhänge und Hintergründe der Technik zu kennen, die wir alltäglich nutzen, erleichtert uns, Inhalte und Informationen einzuschätzen und zu bewerten sowie Risiken und Gefahren bei der Weitergabe und Verarbeitung von Daten und der Nutzung von Informationssystemen zu erkennen. Schon in der jugendlichen Auseinandersetzung mit der Welt wie auch beim Erwachsen werden, spielen digitalisierte Praktiken der Kommunikation eine besondere Rolle. Das erfordere eine gewisse Reflektion der Folgen unseres digitalen Handelns, erklärte Kollege Mirco Pietsch.
Natürlich kann nicht jede*r unbedingt Cybersecurity-Expert*in werden. Aber welche Konsequenzen die Zugriffsberechtigungen einer App haben, mögliche Konsequenzen einer Monopolisierung von Wissen über unser Verhalten oder die Gefahren einer breitflächigen Überwachung der Bürger*innen sollten uns grundsätzlich bewusst sein.
Neben Schulungen und Seminaren, in denen wir solches Wissen vermitteln, kann auch Technik das Verständnis solcher Risiken verbessern. Darüber hinaus fehlt es noch an vertrauenswürdigen Siegeln, die datenschutzfreundliche Praktiken nachvollziehbar erkennen lassen.
Im Forschungsprojekt AppPETS entwickeln wir daher datenschutzfreundliche Funktionen, die sich von Entwickler*innen leicht in ihre Apps integrieren lassen. Und wir entwickeln Auditierungskonzepte, um gute Datenschutzpraxis zu verifizieren und sichtbar machen zu können. Darüber hinaus schreiben wir einen Leitfaden für datenschutzfreundliche App-Entwicklung, um auch Entwickler*innen für Bedeutung und die Zusammenhänge von Datenschutz und IT-Sicherheit zu sensibilisieren. Auch um ihnen eine gesetzeskonforme App-Entwicklung im Sinne der im Mai kommenden Datenschutzgrundverordnung einfacher zu machen.
Im Projekt SmartPriv entwickeln wir eine Illustration der Berechtigungen von mobilen Apps, um den Nutzer*innen sichtbar und greifbar zu machen, was es bedeutet, wenn beispielsweise eine App auf meinen Smartphone-Speicher und das Internet zugreifen kann: Im Zweifelsfall kann diese App dann meine Partybilder ins Internet synchronisieren. Dies ist aus den spärlichen Beschreibungen der App-Berechtigungen sonst nicht so schnell ersichtlich. Hier kann also durchaus auch Technik helfen, die Konsequenzen ihrer Nutzung zu veranschaulichen.
Kriterien der Entscheidungsfindung verstehen
Etwas anders gelagert als mobile Anwendungen, die auf unseren Smartphones laufen, sind Entscheidungsprozesse, die durch Software entschieden werden. Beispielsweise, ob wir zu einem Vorstellungsgespräch eingeladen werden, ob wir einen Kredit oder ein Visum bekommen. Das hat für uns ganz gravierende Auswirkungen und ohne über Entscheidungsprozesse Bescheid zu wissen, haben wir keine Möglichkeit, unser alltägliches Handeln auszurichten. Das Wissen um die Kriterien, die relevanten Entscheidungen zugrunde liegen, ist immens wichtig, um in unserem alltäglichen Handeln sinnvoll abzuwägen, was wir tun und was wir nicht tun. Es geht dabei um nicht weniger als um unsere Eigenständigkeit, unsere Autonomie.
Häufig wird aber von den Betreibern solcher Systeme gesagt, dass die Entscheidungsprozesse nicht offengelegt werden können. Sandra Wachter vom Oxford Institut für Internetforschung stellte den Ansatz der ‚counterfactual explanations‘ vor. Die Idee: Auch wenn Entscheidungsalgorithmen geheim bleiben, sollen Menschen, die solchen Systemen unterworfen sind, erfahren, welche Kriterien zu ihrem Ausschluss geführt haben. Dadurch könnten die Entscheidungen besser verstanden werden. Entscheidungen könnten folglich auch angefochten werden. Schließlich könnte auf zukünftige Entscheidungen durch individuelle Veränderungen Einfluss genommen werden.
Vorgelagerte Interessen, die in die Software-Entwicklung fließen
Francien Dechesne von der Leiden University wies darauf hin, dass die Software in gewisser Hinsicht ein transparenter Teil der algorithmischen Entscheidungsprozesse ist. Zwar ist es noch kein breiter Konsens, Quellcode offen zu legen, aber zumindest ist – auch im nicht zugänglichen Quellcode – die festgeschriebene Logik dort zu erkennen. Allerdings stammen die Kriterien, die in Software eingeschrieben werden, nicht unbedingt aus den Ideen der Entwickler*innen. Vielmehr gibt es vielfältige Entscheidungsprozesse, die hier mit hinein spielen. Von Auftraggeber*innen, Financiers, Interessen verschiedener Akteur*innen, die die Pflichtenhefte, die Spezifikationen der Software vorgeben.
Darüber hinaus steckt in lernenden Algorithmen ein großer Teil von Werten und Normen in den Daten, die verwendet werden, um die Algorithmen zu trainieren. In den Trainingsdaten lernen die Algorithmen Muster und damit auch Vorurteile und Ungleichheiten. Dafür werden sie entwickelt: um zu unterscheiden, also zu diskriminieren. Jedoch müsste in einer Gesellschaft, in der manche Ungleichheiten verändert werden sollen, um mehr Gerechtigkeit zu schaffen (beispielsweise Einkommensunterschiede zwischen den Geschlechtern), gerade hier in der Auswahl der Daten und den Konsequenzen für die Funktionsweise dieser Entscheidungssysteme ein besonderes Augenmerk gelegt werden. Denn sind bestimmte Entscheidungmuster erst einmal Teil von algorithmischen Systemen, werden die Prämissen, die in den Ausgangsdaten und in der Art der Entscheidungsfindung festgeschrieben sind, unsichtbar und durch die Ausübung von Maschinen als objektiv wahrgenommen.
Zu diesen Punkten gab es viel zu diskutieren. Wer Lust hat, sei also herzlich eingeladen, das Video anzuschauen. Vielen Dank gilt an dieser Stelle den Panelisten Francien Dechesne, Polina Malaja, Mirco Pietsch und Sandra Wachter, sowie dem Ben Wagner für die Moderation.
Mir bleibt an dieser Stelle eine kurzes Fazit zu ziehen:
Fazit
Freie Software ist ein wichtiges Instrument für die Stärkung der Sichtbarkeit der Werte und Kriterien, die in Entscheidungssystemen, aber auch in alltäglicher Software stecken. Außerdem ist sie ein wichtiges Instrument, um eine gewisse Balance in die Machtverhältnisse der Technikgestaltung zu bringen. Gerade im öffentlichen Bereich sollten freie Lizenzen daher in die Bedingungen der Ausschreibungen Eingang finden – Public Money, Public Code.
Ein wichtiger Baustein für die gesellschaftliche Kontrolle von Algorithmen ist darüber hinaus die Bildung und Aufklärung der Bürger*innen über die Zusammenhänge und Funktionsweisen. Nicht in dem Sinne, dass jede*r Programmieren können muss, aber so, dass möglichst breite Bereiche der Gesellschaft ein grundsätzliches Verständnis der Techniken und ihrer gesellschaftlichen Rolle erlangen. So wie jede*r heute in der Schule etwas über Umweltprobleme und Klimawandel lernt, – ohne selbst Klimamodelle zu berechnen – und dabei verstehen lernt, wie exponentielle Funktionen wirken durch Aufgaben einfacher Zinsrechnungen.
Schließlich ist es wichtig, eine gesellschaftliche Debatte zu führen über die Normen und Interessen, die in Software und Entscheidungssysteme fließen und Wege zu finden, diese zu einem gewissen Grad kontrollierbar, nachvollziehbar und verstehbar zu gestalten. Nicht zuletzt auch, welche Daten wir eigentlich in solchen Systemen wie verwenden wollen. Welche gesellschaftlichen Ungleichheiten wollen wir akzeptieren und durch solche Systeme verstärken, welche wollen wir verändern und wie können wir das erreichen? Einige Konzepte wurden hier vorgestellt, weitere gilt es noch zu entwickeln und zu erforschen. Wir freuen uns, weiter zu denken, zu entwickeln und weiter zu diskutieren!
Die vollständige Aufzeichnung (1:18) ist bei Youtube zu finden.