Kurzfassung: Algorithmische Systeme entscheiden über Kreditwürdigkeit, Asylchancen und Strafmaß. Ohne erklärbare Begründungen und mit strukturell diskriminierenden Effekten. Die demokratischen Defizite algorithmischer Governance, ein Blick auf Frank Pasquales Black Box Society und auf das, was eine demokratisch kompatible Alternative überhaupt voraussetzen würde.
Frank Pasquale, Rechtswissenschaftler an der Cornell University, hat das Problem mit bemerkenswerter Präzision auf den Punkt gebracht: „Wenn du kinderlos bist und online Kleidung kaufst, viel Geld für Kabelfernsehen ausgibst und einen Minivan fährst, werden Data Broker annehmen, dass du fettleibig bist. Und sie werden das an Unternehmen verkaufen, die dieses Profil verwenden möchten.“ Klingt nach Anekdote. Ist Beschreibung einer Infrastruktur. Einer, die nicht nur Präferenzen erfasst, sondern Zukunft schreibt, bevor die Betroffenen selbst eine Chance hatten, sie zu gestalten.
Der Unterschied zu früheren Formen staatlicher oder privater Zukunftsprognose liegt in drei Eigenschaften: allgegenwärtig, unsichtbar, ohne Begründung.
Was algorithmische Governance ist und wie sie Lebenschancen prägt
Algorithmische Governance bezeichnet den Einsatz datenbasierter Entscheidungssysteme in Bereichen, die traditionell menschlichem Urteil oder politischer Deliberation unterlagen. Darunter fallen:
- die Entscheidung über Kreditwürdigkeit (Credit Scoring)
- die Priorisierung von Asyl- und Einwanderungsanträgen
- Rückfall-Wahrscheinlichkeitsscores in der Strafjustiz (etwa COMPAS in den USA)
- Risikobewertungen im Bereich Kindesschutz und Sozialhilfe
- Predictive Policing, also die Vorhersage, wo und von wem Straftaten begangen werden könnten
All diese Systeme teilen eine Eigenschaft: Sie produzieren Entscheidungen, ohne sie zu begründen. Der Algorithmus gibt eine Zahl. Die Zahl entscheidet. Warum, bleibt unklar.
Die Vorgeschichte: Geheimhaltung im Kalten Krieg
Das ist kein neues Phänomen. Jonathan White beschreibt in In the Long Run (2024) ausführlich, wie die staatliche Zukunftsforschung des Kalten Krieges, also RAND Corporation, National Intelligence Estimates, Delphi-Verfahren, von Anfang an in einem Klima der Geheimhaltung operierte. Nicht weil Transparenz unmöglich gewesen wäre, sondern weil Geheimhaltung strategisch sinnvoll schien: Wer seine Prognosemethoden offenlegt, gibt dem Gegner Angriffsfläche.
Diese Logik hat sich demokratisiert, im schlechtesten Sinn. Heute operieren nicht mehr nur Geheimdienste so. Mittelgroße Versicherungskonzerne, Fintech-Start-ups und Polizeibehörden tun dasselbe: Wir wissen mehr über deine Zukunft als du. Und unsere Methoden sind proprietär.
„Computer says no“ und die Erosion demokratischer Entscheidungsnormen
In einer Demokratie gilt: Entscheidungen, die Menschen in ihren Grundrechten berühren, müssen begründet werden. Das gilt für Gerichtsurteile, für Verwaltungsbescheide, für politische Maßnahmen. Begründungen schaffen die Möglichkeit zur Kritik, zur Revision, zur demokratischen Kontrolle.
Algorithmische Systeme unterlaufen diese Norm gleich auf mehreren Ebenen:
- Ihre Methoden sind häufig als Geschäftsgeheimnis geschützt oder schlicht zu komplex für menschliche Erklärung.
- Algorithmen „lernen“, ihre Entscheidungsgrundlagen ändern sich kontinuierlich, ohne dass das dokumentiert oder kommuniziert wird.
- Sie liefern Outputs, die als objektive Fakten erscheinen, obwohl sie normative Entscheidungen über Gewichtungen und Variablen verbergen.
„Computer says no“, die Phrase aus Little Britain, ist zum geflügelten Wort geworden. Nicht weil sie komisch wäre, sondern weil sie präzise einen Zustand beschreibt: Verantwortung wird an eine Maschine delegiert, die nicht haftbar gemacht werden kann.
Predictive Policing: die Zukunft als Tatvorwurf
Das vielleicht drastischste Beispiel für das demokratische Problem algorithmischer Zukunftsprognose ist Predictive Policing. Das Grundprinzip: Anhand historischer Kriminalitätsdaten und soziodemografischer Merkmale wird vorhergesagt, wo und von wem mit erhöhter Wahrscheinlichkeit Straftaten begangen werden.
Das Problem liegt im Ausgangsmaterial. Historische Kriminalitätsdaten spiegeln historische Polizeiarbeit wider, und die war systematisch ungleich verteilt. Wenn bestimmte Stadtteile oder Bevölkerungsgruppen historisch überproportional kontrolliert wurden, sind sie auch überproportional in den Daten. Der Algorithmus extrapoliert diese Vergangenheit in die Zukunft: verstärkte Polizeipräsenz in denselben Gebieten, mehr Verhaftungen, weiter wachsende Datenbasis. Eine selbstverstärkende Schleife, die strukturelle Diskriminierung automatisiert und als technische Neutralität tarnt. Algorithmischer Hexenhammer, mit Statistik-Lizenz.
Was Demokratie in einer algorithmischen Welt bräuchte
Das Recht auf Begründung ist keine romantische Nostalgie, sondern die Grundbedingung für demokratische Kontrolle. Ohne Begründung keine Anfechtung. Ohne Anfechtung keine Revision. Ohne Revision keine Korrektur von Fehlern.
Eine demokratisch kompatible algorithmische Governance würde mindestens das Folgende voraussetzen:
- Algorithmen, die grundrechtsrelevante Entscheidungen treffen, müssen einer unabhängigen Prüfung unterzogen werden können, vergleichbar mit Finanzaudits.
- Betroffene haben ein Recht auf Erklärung, nicht auf technische Details, aber auf die wesentlichen Kriterien, die eine Entscheidung beeinflusst haben.
- Öffentliche Institutionen dürfen keine proprietären Systeme einsetzen, die sich demokratischer Kontrolle entziehen.
Wenig. Mehr als der Status quo aber. Und genau das ist der Unterschied zwischen einer Gesellschaft, die ihre Zukunft gestaltet, und einer, die von ihr verwaltet wird.
Häufig gestellte Fragen
Was ist algorithmische Governance, und wo wird sie eingesetzt?
Algorithmische Governance bezeichnet den Einsatz datenbasierter Entscheidungssysteme in Bereichen, die traditionell menschlichem Urteil unterlagen: Kreditwürdigkeit (Credit Scoring), Asylverfahren, Rückfallprognosen in der Strafjustiz (COMPAS), Kindesschutz, Sozialhilfe und Predictive Policing. All diese Systeme produzieren Entscheidungen ohne erklärbare Begründungen.
Warum ist Predictive Policing demokratisch problematisch?
Predictive Policing basiert auf historischen Kriminalitätsdaten, die historisch ungleich verteilte Polizeiarbeit widerspiegeln. Überproportional kontrollierte Bevölkerungsgruppen sind überproportional in den Daten. Der Algorithmus verstärkt dieses Muster. Das Ergebnis ist eine selbstverstärkende Schleife, die strukturelle Diskriminierung automatisiert und als technische Neutralität tarnt.
Was fordert Frank Pasquale in „The Black Box Society“?
Frank Pasquale (Cornell University) zeigt in The Black Box Society (Harvard University Press, 2015), wie proprietäre Algorithmen in Finanz- und Informationssystemen Lebenschancen bestimmen, ohne dass Betroffene die Entscheidungskriterien kennen oder anfechten können. Er fordert Transparenzpflichten und demokratische Kontrolle über algorithmische Infrastrukturen.
Was wäre eine demokratisch kompatible algorithmische Governance?
Mindestvoraussetzungen wären drei Punkte: unabhängige Prüfbarkeit grundrechtsrelevanter Algorithmen, vergleichbar mit Finanzaudits; ein Recht der Betroffenen auf Erklärung der wesentlichen Entscheidungskriterien; und das Verbot, proprietäre Systeme in öffentlichen Institutionen einzusetzen, ohne demokratische Kontrollmöglichkeit. Das ist wenig, aber mehr als der Status quo.
Jonathan White: „In the Long Run: A Political History of the Future“. Princeton University Press, 2024.
Frank Pasquale: „The Black Box Society: The Secret Algorithms That Control Money and Information“. Harvard University Press, 2015.
Dieser Beitrag erscheint auf mediapunk.org und wurde von Konrad Fux verfasst.