Gastbeitrag
Eigentum verpflichtet: gilt auch für Algorithmen

Ob selbstfahrende Autos oder Schufa-Score: Algorithmen sind nicht so geheimnisvoll und Scores bei Weitem nicht so exakt, wie fast alle glauben. Die Methode zu ihrer Überprüfung ist uralt, der Gesetzgeber muss sie nur durchsetzen.

Der Schufa, die die Zahlungsfähigkeit von uns allen einschätzt und uns mit einem „Score“ versieht, der theoretisch von null (für „absolut nicht kreditwürdig“) bis 100 (für „keinerlei Kreditrisiko“) reicht, stehen viele Bürgerinnen und Bürger skeptisch gegenüber. Obwohl klar ist, dass es für uns alle grundsätzlich nützlich ist, wenn Verträge und Kredite leichter zustande kommen, weil die Zahlungsfähigkeit bekannt ist. Dann bekommt man leichter eine Mietwohnung oder kann im Internet ohne Vorkasse bestellen. Die Skepsis gegenüber der Schufa beruht wohl darauf, dass sie nicht hundertprozentig transparent macht, wie Scores zustande kommen, und die Aufsichtsbehörden nicht prüfen, wie gut die Scores tatsächlich sind und ob bestimmte Gruppen unfair behandelt werden, weil ihre Kreditwürdigkeit nicht gut gemessen wird. Nun entstehen durch die Digitalisierung unserer Gesellschaft immer mehr Möglichkeiten für Scoring, also die Vermessung von uns selbst. Dadurch entstehen Gefahren, aber auch Chancen. Um die Chancen von „Scoring“, etwa in den Bereichen Personalauswahl, Personalbewertung und Gesundheit künftig voll nutzen zu können, ist es notwendig, dass dafür vom Gesetzgeber Rahmenbedingungen für gerechtes Scoring geschaffen und durchgesetzt werden. Dann kann digitales Scoring sogar transparenter sein als menschliche Entscheidungen es sind. Einem Scoring-Algorithmus kann man mit wenig technischem Aufwand leicht nachweisen, dass er beispielsweise bei der Vergabe von Mietwohnungen bestimmte Gruppen schlecht bewertet und dadurch ggf. diskriminiert. Dem Vermieter eines Dreifamilienhauses, der diskriminiert ohne darüber zu reden, kann man dies nur schwer nachweisen – auch nicht statistisch, da er zu selten neu vermietet. Die „KI-Strategie“ der Bundesregierung, also die Diskussion über „Künstliche Intelligenz“, kann ein guter Rahmen für die gründliche öffentliche Diskussion von Scoring sein.

Vorbilder für Score-Transparenz

Um was geht es im Einzelnen? Zuerst einmal sollte man festhalten, dass das Vermessen von Menschen nicht erst mit der Digitalisierung eingesetzt hat. Die Digitalisierung macht es nur einfacher. Dass das Vermessen von Menschen sehr nützlich sein kann – sowohl für die Betroffenen wie die ganze Gesellschaft – wissen wir schon aus einer Zeit, in der es noch keine Computer und Big Data gab. Schulnoten, die im Einzelfall völlig subjektiv zustande kommen mögen, werden am Ende aber mit Hilfe eines sehr einfachen Algorithmus (nämlich Mittelwertbildung) zu einem Wert zusammengezogen, der den Zugang zum Studium regelt („Numerus Clausus“). Und die Punkte in Flensburg, die zu einem Fahrverbot führen, folgen einem Algorithmus (aufaddieren). Diese Algorithmen sind gesellschaftlich akzeptiert, da sie – bei allem erbitterten Streit für Einzelfälle – aufgrund jahrzehntelanger positiver Erfahrungen als allgemein nützlich angesehen werden und völlig transparent sind.

Wo Transparenz fehlt setzt Skepsis ein (hinzu mag eine kurze Dauer kommen, in der Erfahrungen gesammelt werden konnten). Das gilt seit jeher für Partner-Vermittler, die mit Hilfe ihrer Kartei Menschen zusammenbringen wollten, von denen sie glauben, dass sie auf einer Wellenlänge lagen. Aber niemand kannte den Algorithmus. Und Erfahrungen wurden nicht breit im Internet geteilt. Heutzutage wird das elektronisch gemacht, etwa von Parship. Als Fußnote sei angemerkt: dass der Parship-Score besonders erfolgreich ist, ist ziemlich unwahrscheinlich wie eine einfache Rechnung unseres Kollegen Gerd Gigerenzer zeigt: Wenn sich bei geschätzten rund 5 Millionen Mitgliedern von Parship in Deutschland alle 10 Minuten zwei davon ineinander verlieben, wie Parship in seiner Werbung herausstellt, beträgt für ein zufällig ausgewähltes Mitglied die Wahrscheinlichkeit einer neuen Liebe pro Jahr kaum mehr als 2%.  Selbst wenn die Zahl der aktiven Mitglieder viel niedriger ist steigt die Wahrscheinlichkeit kaum über 10 Prozent.

Scoring-Anwendungen gibt es inzwischen reichlich: Etwa Scores, die die eigene Gesundheit messen und Autofahrer-Scores im wachsenden Markt der Kfz-Telematik (auf diese beiden Themenfelder geht der SVRV vertieft im jüngst veröffentlichten Gutachten „Verbrauchergerechtes Scoring“ ein), aber auch Kundenbewertungs-Scores von Teams und Einzelpersonen im Servicebereich (z. B. Restaurants) sowie viele weitere Scores.

Auch in andere Lebensbereiche dringen Algorithmen vor, in denen Verhalten analysiert bewertet und zur Berechnung personalisierter Angebote herangezogen werden, wie z. B.  personalisierte Gutscheine in Supermärkten, oder „Robo-Advisor“ für Geldanlage. Sie sind unterschiedlich zu bewerten: personalisierte Gutscheine können kaum Schaden anrichten und sie sind durch Menschen kaum ersetzbar, Intransparenz schadet kaum etwas. Robo-Adviser können Anleger in die Irre führen können, was aber menschliche Berater erst recht können! Transparenz der Robo-Adviser hilft hier nicht viel, wenn potentielle Anleger in Finanzfragen ungebildet sind. Hier wäre eher an der (Weiter-) Bildung anzusetzen. Den Bewertungen durch Kunden können Dienstleister nicht „entkommen“ – das System sollte so transparent wie möglich sein. Noch wichtiger ist Transparenz bei „People Analytics“, also der algorithmischen Bewertung von Menschen bei der Stellensuche bzw. bei Beförderungen. Und das spielt bereits eine große Rolle. Wenn Schulnoten zu „Teaching Analytics“ weiterentwickelt werden, also der individualisierten Steuerung von Lehre anhand persönlicher Merkmale der Schülerinnen und Studierenden, dann ist mindestens so viel Vorsicht und damit Transparenz angesagt. Das gleiche gilt, wenn die „elektronische Patientenakte“ zu einem System weiterentwickelt würde, das Menschen individualisiert durch das Gesundheitssystem „navigiert.“

Transparenz ist der Schlüssel für Akzeptanz

Alle genannten Algorithmen und Scores haben das Potenzial, das Leben zu verbessern. Aber nur wenn die Verfahren transparent, d. h. nachprüfbar sind und es ordentliche Rechtswege gegen ihre Ergebnisse zu klagen. Deswegen bestehen freiheitliche Demokratien seit jeher darauf, dass alle Vorschriften (das sind auch Algorithmen, nämlich Entscheidungs-Regeln), die in öffentlichen Verwaltungen eingesetzt werden, transparent sind und es einen Rechtsweg gibt, um ihre Einhaltung zu prüfen und ggf. durchzusetzen. Selbst Ansätze wie das „Predictive Policing“ zur Steuerung von Polizeieinsätzen, welche zu Recht in höchstem Maße kritisch diskutiert werden, könnten somit in einem klar definierten rechtlichen Rahmen die Polizeiarbeit sinnvoll ergänzen.

Was auch immer noch an digitalen Algorithmen und Scoring kommen wird, die unser Leben erleichtern sollen: Das A und O für Akzeptanz ist Transparenz. Dabei ist Transparenz kein Selbstzweck, sondern eine notwendige Voraussetzung dafür, dass beispielsweise Fälle von Diskriminierung überhaupt erkannt werden können. Und zu  Scores, denen man sich nicht entziehen kann, gehört ein Rechtsweg dagegen klagen zu können.

Angesichts der Alarmmeldungen über die Fähigkeiten sogenannter selbstlernender Systeme, die für „Künstlichen Intelligenz (KI)“ eingesetzt werden, stellt sich nun aber die Frage: Ist im KI-Zeitalter Transparenz noch möglich? Oder machen Algorithmen vielmehr was sie wollen?

Macht KI Transparenz unmöglich?

Zunächst muss man festhalten, dass KI nur in bestimmten – wenn auch wichtigen – Bereichen allen bisherigen Verfahren für statistische Analysen, um die es dabei nämlich geht, überlegen ist: Bild- und Spracherkennung. Das ist auch plausibel, da Bilder und Sprache (zumindest kurzfristig) keine dynamischen Systeme sind, die auf Anreize und ihre Umwelt reagieren, sondern zumindest statisch und von der Problemstellung her abgrenzbar genug sind, so dass man ein Computerprogramm, das Bild und Sprache erkennen soll, immer mehr verfeinern kann, indem man es mit immer mehr Daten über Bilder und Sprache füttert. Die KI-Entwickler nennen dieses ein „selbstlernendes“ System.  In Wahrheit rührt dieser vermeintliche Lernprozess nur daher, dass von Menschenhand neue Daten hinzugefügt werden, und dadurch – wie bei jeder statistischen Analyse – die Ergebnisse besser werden, sobald ihr mehr Daten – also hier Fotos und Texte – zugrunde liegen. Von Selbstlernen im kognitiven Sinne kann keine Rede sein, denn der Computercode verändert sich nicht von selbst. Alles was sich ändert sind die „Gewichte“, mit denen einzelne Merkmale der Fotos und von Sprache bei deren Computerauswertung berücksichtigt werden. Das ist nicht geheimnisvoll und vor allem nicht revolutionär, sondern bei jeder statistischen Analyse der Fall. Aus gutem Grund sind Statistiker daher bislang nicht auf die Idee gekommen, von einem selbstlernenden System zu sprechen.

Denn wie jede statistische Analyse stößt KI schnell an ihre Grenzen, wenn ein System sich verändert – insbesondere wenn auch sogenannte Rückkopplungen eine Rolle spielen. Deswegen gibt es noch keine einsatzbereite KI für selbstfahrende Autos. Aber die Einschätzung der Reaktion eines anderen, potentiell menschlichen Fahrers, durch KI ist noch einfach im Vergleich zu den Rückkopplungen, die es im sozialen Alltag und im Wirtschaftsleben gibt. Hier sind einfache und robuste statistische Verfahren gefragt, die auch nicht jeden Fehler in den Daten überinterpretieren. Deswegen wird modernste KI – in Form von beispielsweise „neuronalen Netzen“ – für die Berechnung des Schufa-Scores der jedem von uns einen Wert über unsere Kredit-Würdigkeit zuweist, nicht eingesetzt – und es ist auch unwahrscheinlich, dass das jemals der Fall sein wird. Denn KI bringt nicht mehr als eine konventionelle statistische Analyse, bei der einfach berechnet wird, von welchen Merkmalen das Risiko für Kredit-Ausfall abhängt (etwa Alter und das Abbezahlen eines laufenden Kredits).

Nun kann man aber – zu Recht – argumentieren, dass etliche der heutzutage eingesetzten Algorithmen, auch wenn sie keineswegs „selbstlernend“ sind, bereits geheimnisvoll genug sind, und damit für Unbehagen sorgen. Das gilt beispielsweise auch für den Schufa-Score: Da das Kredit-Ausfallrisiko nicht mit einfachen Tabellen ausgerechnet wird (was durchaus möglich wäre), sondern in verfeinerter Form mit sogenannten „logistische Regressionen“, sind die Berechnungen für Laien unverständlich und selbst für Fachleute – je nach Art und Weise der Ergebnisdarstellung – nicht immer intuitiv zu verstehen. Trotzdem ist es keineswegs so, dass wir deswegen diesen Verfahren, die eine Art Black Box darstellen, hilflos ausgeliefert wären, weil sie unverständlich wären und immer unverständlicher werden könnten. Denn auch Laien können das machen, was konventionelle Statistiker und KI-Spezialisten machen, um die Plausibilität ihrer Berechungen zu prüfen: Sie schauen sich Beispielfälle an, um zu sehen, was ihr Computercode „voraussagt“. Wenn man eine ganze Reihe von systematisch ausgewählten Beispielen ausrechnet, weiß man, was ein „Algorithmus“ tatsächlich macht. Etwa, ob er bei der Beurteilung der Kreditwürdigkeit Bewohner in bestimmten Gegenden benachteiligen, obwohl die Gegend gar nicht in den Algorithmus eingeht, aber sich dort Nachbarn mit hohen Kredit-Ausfallrisiken ballen.

Anhand von systematischen Tests die Qualität eines Produktes herauszufinden, ist im Bereich mechanischer Geräte ganz normal. Denn auch komplexe mechanische Geräte sind in ihrer gesamten Wirkungsweise nicht auf dem Papier bis in jede Einzelheit zu verstehen – für Laien schon gar nicht, aber auch für die Entwicklungsingenieure nicht. Deswegen werden zum Beispiel neu entwickelte Autos lange in einer realen Umgebung getestet, bevor sie in den Verkauf gehen. Das Gleiche sollte künftig auch für Algorithmen gelten: Algorithmen müssen nicht auf dem Papier bis auf die letzte Nachkommastelle verstanden, sondern in einer realen Umgebung auf wichtige Kriterien wie Genauigkeit und Diskriminierung hin getestet werden.

Verhindert der Schutz geistigen Eigentums Transparenz?

Mit unserem Wunsch nach Transparenz stoßen wir auf ein Problem: Die Entwicklung der Algorithmen, die uns bewerten und über uns entscheiden, kostet Geld. In den Computerprogrammen stecken Erfindergeist und Geschäftskapital. Deswegen schützen sich die Entwickler von Algorithmen durch Intransparenz, rechtlich abgesichert durch ihr Geschäftsgeheimnis. Kann der eigene Algorithmus besser als die der Konkurrenz vorhersagen, welche dem Kunden angezeigte Werbung zum Kauf des beworbenen Produktes führt, kann dies ein handgreiflicher wirtschaftlicher Vorteil sein. Würde man hier vollkommene Transparenz einfordern, käme diese nicht nur den Menschen zugute, die dem Algorithmus ausgesetzt sind, sondern auch den Konkurrenten im Wettbewerb. Ein virulentes Problem ist das jedenfalls dort, wo Scoring-Algorithmen Menschen bewerten und diese sich der Bewertung faktisch nicht entziehen können: Etwa im Hinblick auf die Kreditwürdigkeit und die Passfähigkeit auf eine ausgeschriebene Stelle. Wie könnte man also Transparenz für die einschlägigen Scoring-Algorithmen herstellen, ohne die Geschäftsinteressen der Entwickler zu verletzen?

Erfindergeist und Investitionskapital werden in anderen Bereichen als der Algorithmen-Entwicklung über die Gewährung von Patentschutz prämiert, man denke etwa an die Entwicklung von Medikamenten. Wie eine patentierte Erfindung funktioniert, ist zwar für jedermann einsehbar. Aber wirtschaftlich nutzen darf die Erfindung regelmäßig nur der Patentinhaber, und zwar solange, bis der Patentschutz abgelaufen ist. Wäre Patentschutz ein Modell, wie Algorithmen transparent gemacht werden könnten, ohne dass die Anreize zu ihrer Verbesserung und Weiterentwicklung beseitigt würden? Die Antwort ist nein. Denn ein Algorithmus ist erstmal nichts anderes als eine bloße gute Idee, wie man eine bestimmte Aufgabe durch eine Abfolge genau definierter Arbeitsschritte lösen kann. Das gilt für den in der Grundschule gelernten Algorithmus, wie man mit dem Bleistift zwei große Zahlen addiert (nämlich Ziffer für Ziffer, von rechts nach links, Übertrag nicht vergessen) genauso wie für komplizierte Scoring-Algorithmen. Ein Algorithmus ist keine technische Gerätschaft, sondern ein rein geistiges Verfahren. Gute Ideen als solche sollten aber nicht patentierbar sein und sind es meistens auch nicht. Ein Patentschutz für Software ist zwar nicht völlig unbekannt, die Diskussion darüber, wie weit er reichen sollte, verläuft aber hochkontrovers. Zur Herstellung von Scoring-Transparenz in dieses Wespennest zu stechen, lohnt sich nicht. Denn für die Gescorten ist Transparenz nicht bloß dann wichtig, wenn die eingesetzten Verfahren aus statistischer Sicht originell sind (das sind sie meistens ohnehin nicht), sondern auch dann, wenn sie sich in naheliegender Weise aus dem Stand der Technik ergeben, wie das bei den eingesetzten statistischen Verfahren der Fall ist („logistische Regressionen“). Und dann scheidet die Möglichkeit der Patentierung so oder so aus. Und auch das Urheberrecht bietet keinen gangbaren Weg zur Herstellung von Transparenz. Denn das Urheberrecht schützt nur eine konkrete Programmierung, nicht aber ein Konzept. Ein Programmierer kann aber denselben Algorithmus in ganz unterschiedlicher Weise in Softwarecode umsetzen.

Der Ausweg aus dem Dilemma zwischen Transparenz und Geschäftsgeheimnis liegt auch hier im Testen von Algorithmen. Um einen Algorithmus zu testen, muss man nicht seinen Bauplan kennen, sondern man schaut nur genau hin, wie er sich im alltäglichen Einsatz bewährt. Man füttert das System mit bekannten Beispieldaten und schaut, wie es sich dann verhält. Liefert der Algorithmus korrekte bzw. plausible Ergebnisse oder produziert er Fehler oder Unsinn? Durch Testen kann man auch herausbekommen, ob der Algorithmus verbotenerweise diskriminiert, d. h. bestimmte Personengruppen benachteiligt.

Die Black Box kann geschützt werden

Um die Wirkung eines Scoring-Algorithmus herauszufinden, ist es nicht nötig, die Black Box des Algorithmus zu öffnen. Man muss die Black Box nur mit immer neuen und vielfältigen Daten befüllen und beobachten, was sie mit den Daten tut. Der Clou daran ist, dass das Geschäftsgeheimnis der Algorithmen-Entwickler hierdurch erstmal nicht beeinträchtigt wird. Mit Produkten, die handfester sind als Computer-Algorithmen, verfahren wir so seit Jahrzehnten: Der Limonadenhersteller muss seine Geheimrezeptur nicht verraten, damit die Limonade getestet werden kann. Um festzustellen, ob die Limo Bauchweh verursacht, trinkt man sie einfach. Und zwar nicht unter Laborbedingungen – wie bei den Dieselautos, wodurch geschummelt werden konnte, sondern unter Alltagsbedingungen. Verbieten kann der Produkthersteller solche Tests nicht.

Die Idee des Testens ist so einfach, dass sie eigentlich sofort einleuchtet. Aber da Testen von Computer-Algorithmen bislang nur in Fachkreisen, nicht aber breit öffentlich diskutiert wird, hat der Sachverständigenrat für Verbraucherfragen bei der Gesellschaft für Informatik eine Studie in Auftrag gegeben, die auslotet, wie der Algorithmen-Test in das geltende Recht eingefügt werden könnte. Das Ergebnis des interdisziplinären Teams von Informatikern und Juristen ist eindeutig. Unter den zahllosen Herausforderungen, die sich aus dem Umsichgreifen vollautomatisierter Entscheidungsprozesse für die Rechtsordnung ergeben, ist der Algorithmen-Test noch eine der leichter zu stemmenden. Deshalb haben die Experten ganz konkrete Vorschläge gemacht, an welchen Stellen der Gesetzgeber tätig werden müsste, um einen „Anspruch auf Algorithmentests“ in der Rechtsordnung zu verankern.

Durch den Algorithmentest lässt sich der Konflikt entschärfen zwischen dem Wunsch nach Transparenz auf der einen Seite und den Interessen der Unternehmen auf der anderen Seite, die die Mechanik der eigenen Algorithmen vor den Augen der Konkurrenz geheim halten wollen. Restlos auflösen lässt sich das Spannungsverhältnis aber nicht.

Ein Allheilmittel, um den Interessengegensatz zwischen Offenlegungs- und Geheimhaltungswunsch zu überwinden, ist der Algorithmentest nicht. Denn je intensiver man eine Black Box von außen testet, desto mehr gibt sie ihre inneren Geheimnisse preis. Letztlich gewinnt der Algorithmentester doch ein klares Bild vom geheimen Bauplan des Algorithmus. Wie intensiv dadurch Geschäftsgeheimnisse in Mitleidenschaft gezogen werden, ist eine offene Frage. Denn nicht nur der Score, den ein Algorithmus berechnet, ist zum Beispiel für das Geschäftsmodell der Schufa wichtig, sondern die gesamte Online-Abwicklung und Organisation einer Anfrage gehören zu ihrem Geschäftskapital. Den Algorithmus zu kennen schafft nicht automatisch auch die Organisation, die für seine geschäftsmäßige Anwendung im Alltag notwendig ist.

Das Test-Szenario hat bisher kaum Aufmerksamkeit erhalten. Denn derzeit muss kein Algorithmen-Entwickler es der kritischen Öffentlichkeit leicht machen, seine Produkte zu testen. Das Befüllen der Black Box mit Testdaten kann deshalb ein mühsames Unterfangen sein. Neu gemischt würden die Karten, sobald ein Anspruch auf Durchführung von Tests in die Rechtsordnung Einzug hielte. Dann müssten die Algorithmen-Entwickler eine Schnittstelle vorsehen, über die Testdaten eingespeist werden können. Die Arbeit der Algorithmentester würde dies ungemein vereinfachen – so sehr, dass es Fälle geben kann, in denen es keinen Unterschied mehr macht, ob der Algorithmus nun offengelegt oder „nur“ auf Herz und Nieren getestet wurde.

Ein stichhaltiger Trumpf gegen das Testen von Algorithmen ist damit aber nicht gespielt. Zwar schützt das Grundgesetz Unternehmen davor, zwangsweise ihre Geschäftsgeheimnisse offenlegen zu müssen. Der Schutz des Geschäftsgeheimnisses ist aber nicht absolut. Wie weit er reicht, entscheidet sich erst durch eine Abwägung mit anderen in der Verfassung garantierten Rechtsgütern.

Eigentum verpflichtet auch Software-Besitzer

Zu den schützenswerten Rechtsgütern gehören allemal das Persönlichkeitsrecht und die informationelle Selbstbestimmung derjenigen, die den sich undurchschaubar gebenden Algorithmen ausgesetzt sind. Die Väter und Mütter des Grundgesetztes haben hier Weitsicht bewiesen. Denn dessen Artikel 14 gewährleistet nicht nur das Eigentum. Im kürzesten Satz des gesamten Grundgesetzes heißt es dort mit maximaler Prägnanz: „Eigentum verpflichtet.“ Eine Ausnahme für das Eigentum in der digitalen Welt ist in der Verfassung nicht vorgesehen.

Die Zuverlässigkeit eines bestimmten Verfahrens anhand von Tests abzuschätzen ist auch – der Name verrät es bereits – einer der zentralen Ansätze der Stiftung Warentest. Um die Qualität vieler Geräte und deren Software beurteilen zu können, reicht es ohnehin nicht, die Einzelbestandteile und den Bauplan zu kennen, der ja auch zu Recht ein Geschäftsgeheimnis ist. Stattdessen testet man, wie das Produkt sich im Alltag unter Belastung verhält. Das kann man mit jedem Algorithmus – wie gesagt – ebenso machen.

Dass es Algorithmen gibt, deren Wirkungen schwer für alle Eventualfälle zu testen sind, etwa die Computerprogramme, die Finanzprodukte an- und verkaufen, ist auch richtig. Aber hier ist nicht der Computer-Algorithmus das Problem, sondern das Finanzsystem. Es ist von vielen Rückkopplungen gekennzeichnet und nicht nur für digitale Algorithmen, sondern auch von Menschen nur schwer zu verstehen. Börsenkräche gab es schon, bevor es Computer gab.

Gegen die Sorge vor dem nicht gänzlich Bekannten hilft auch ein Blick zu Stanislaw Lem. Der argumentierte in seiner „Summa Techologiae“, dass jeder Mensch ein hervorragendes Beispiel eines Apparates ist, dessen wir uns bedienen können, ohne seinen Algorithmus im Detail zu kennen.

Als Bürgerinnen und Bürger haben wir zu Recht ein Interesse daran zu wissen, wie Algorithmen, die für unser Leben eine wesentliche Rolle spielen, etwa der Schufa-Score, funktionieren. Auch wie ein von einem Algorithmus gesteuertes selbstfahrendes Auto funktioniert und in gefährlichen Situationen „entscheidet“, sollte jeder zumindest im Grundsatz verstehen. Dieses Wissen zu erlangen ist sehr einfach, der Gesetzgeber muss es nur wollen und per Gesetz und Verordnungen sicherstellen, dass alle relevanten Algorithmen so getestet werden, wie das beim selbstfahrenden Auto bereits jetzt der Fall ist. Das heißt, dass systematisch verschiedenste Situationen durchgespielt werden.

Die Ergebnisse von Tests müssen transparent gemacht werden. Das ist zum Beispiel beim Schufa-Score recht einfach zu bewerkstelligen, da man ihn ganz leicht anhand von Beispielfällen berechnen kann. Der Gesetzgeber muss eine solche „Transparenz-Schnittstelle“ nur wollen. Sie einzurichten ist keine Hexerei, sondern bedarf eines überschaubaren (Forschungs-) Aufwands.

Die Diskussion um die Schufa macht deutlich, dass Kreditwürdigkeits-Algorithmen erste Kandidaten für volle Transparenz sind. Die Systeme, die die Personalauswahl und Beförderungen steuern („People Analytics“), sind weitere heiße Kandidaten für gesetzlich verordnetes Testen. Aber ob zum Beispiel auch die Algorithmen, die hinter Partnervermittlungs-Agenturen wie Parship stehen, so relevant sind, dass gesetzlich sichergestellte Transparenz notwendig ist, ist sicherlich diskussionswürdig.

— — —

Gert G. Wagner ist Ökonom in Berlin, Mitglied der Deutschen Akademie der Technikwissenschaften (acatech) und Mitglied des Sachverständigenrates für Verbraucherfragen (SVRV), der Ende Oktober ein Gutachten vorgelegt hat, das sich mit Algorithmen und Scoring beschäftigt (http://www.svr-verbraucherfragen.de/). Wagner hat das SVRV-Gutachten federführend zusammen mit Gerd Gigerenzer erarbeitet; der Volkswirt Christian Groß hat als Mitarbeiter des wissenschaftlichen Stabs des SVRV daran mitgearbeitet. Das SVRV-Gutachten ist u. a. durch ein Gutachten der Gesellschaft für Informatik unterlegt (http://www.svr-verbraucherfragen.de/wp-content/uploads/GI_Studie_Algorithmenregulierung.pdf). Inzwischen liegt auch die unmittelbar einschlägige Stellungnahme „Privatheit in Zeiten der Digitalisierung“ [Link: https://www.leopoldina.org/uploads/tx_leopublication/2018_Stellungnahme_BigData.pdf] von Leopoldina, acatech und der Union der deutschen Akademien der Wissenschaften vor, die zu sehr ähnlichen Schlussfolgerungen wie das SVRV-Gutachten kommt: Auch hier wird die Transparenz von Algorithmen in den Mittelpunkt gerückt und sogenannte Audit-Verfahren für Algorithmen gefordert. Nicht zuletzt die große Medienresonanz auf die Veröffentlichung der Ergebnisse des Projekts OpenSchufa [Link: https://okfn.de/blog/2018/11/openschufa-ergebnisse/] zur Rekonstruktion des Schufa-Algorithmus zeigt, dass auch die breite Öffentlichkeit zunehmend Einblick in die „Black Box“ fordert.