19.06.2020 | 12:39 Uhr Digitale Diskriminierung: Wenn der Computer nur alte weiße Männer kennt

Künstliche Intelligenz (KI) gilt als große Innovation unserer Zeit. Ihre Algorithmen sind universell, gelten für alle und sollen damit für Gerechtigkeit sorgen. Das stimmt nicht, warnt Dr. Thomas Schmid, Informatiker an der Universität aus Leipzig. Im Interview mit MDR SACHSEN erklärte er, warum und wie künstliche Intelligenz diskriminieren kann.

Künstliche Intelligenz (KI)
Künstliche Intelligenz gilt als Innovation unserer Zeit. Sie kann aber auch diskriminierend wirken - in alle Richtungen. Bildrechte: imago images / Panthermedia

Herr Schmid, welche Macht haben Algorithmen in unserem Leben?

Algorithmen haben immer mehr Einfluss. Häufig indirekt, indem sie in Systeme, mit denen wir arbeiten oder interagieren, integriert sind. Häufig auch ohne, dass wir es bewusst bemerken. Es gibt aktuell keine Kennzeichnungspflicht. Durch Scoring-Verfahren, Gesichtserkennung und die immer stärkere Einbindung in gesellschaftlich relevante Bereiche steigt ihr Einfluss weiter. Algorithmen werden mit entscheiden, wie unsere Gesellschaft geformt wird und sich weiterentwickelt.

Thomas Schmid, Informatiker Universität Leipzig.
Thomas Schmid, Informatiker an Universität Leipzig warnt vor ungerechten Algorithmen. Bildrechte: Thomas Schmid

Künstliche Intelligenz gilt als große Innovation unserer Zeit. Sie sprechen hingegen von künstlicher Ignoranz. Warum?

Das ist natürlich eine provokante Zuspitzung, ganz klar. Künstliche Intelligenz kann auf vielen Ebenen sehr beeindruckende Dinge leisten, aber sie ist nicht fehlerfrei. Im Gegenteil, künstliche Intelligenz kann diskriminieren.

Warum sind Algorithmen nicht immer gerecht? Ist nicht alles menschliche Risiko minimiert?

Wir müssen unterscheiden, von welchen Algorithmen wir sprechen. Der klassische Algorithmus, der jahrzehntelang verwendet wurde, war regelbasiert. Das heißt, man hatte eine Bedingung, wenn diese erfüllt wurde, folgte die nächste. Die leistungsfähigen Algorithmen in der Gesichts- und Spracherkennung arbeiten dagegen heute mit lernenden Systemen und nicht mit einfachen Konditionalketten. Sie sind  abhängig von der Datenbasis und von denen, die sie erstellen.

Illustration - Entwicklung der künstlichen Intelligenz, menschliches Gehirn mit vernetzten Mikrochips
Komplexe Algorithmen der Künstlichen Intelligenz seien extrem abhängig von der Datenbasis und damit den Menschen, die diese erstellen, sagt Informatiker Thomas Schmid. Bildrechte: imago images / Westend61

Künstliche Intelligenz ist also so diskriminierend, wie die Menschen, die sie erstellen?

Ja, genau. Die Datenbasis ist entscheidend. Besonders komplexe KI-Systeme aus dem Bereich maschinelles Lernen und neuronale Netze sind extrem abhängig von ihren Daten und den Menschen, die sie einspeisen. Beinhalten die Basisdaten schon ein Ungleichgewicht, wird auch der Algorithmus daraus eine Ungleichbehandlung ableiten.

Entsteht diese Ungleichheit der Daten mit Vorsatz?

Den naheliegenden Verdacht, dass Diskriminierung durch solche Systeme absichtlich geschieht, würde ich so nicht unterschreiben. Tatsächlich werden zur Entwicklung schlichtweg häufig einfach die Daten genommen, die vorliegen - wenn es keine ausdrückliche Regelung gibt, dass bestimmte Eigenschaften gleichverteilt auftreten müssen. Stand jetzt dominieren zum Beispiel in vielen Datenbanken für Gesichtserkennung Bilder von Männern mit heller Hautfarbe.

Diskriminierende Algorithmen sind also schon Realität?

Viele Schwierigkeiten aus der Gesichtserkennung sind seit Jahren bekannt. Hier gab es etwa Fehler und Probleme bei der Identifizierung von dunkelhäutigen und weiblichen Gesichtern, am schlechtesten hat die Kombination aus beidem funktioniert.  Jetzt will sich IBM - einer der größten Konzerne weltweit - aus diesem Geschäftsfeld komplett zurückziehen. Amazon und Microsoft wollen diese Verfahren zumindest nicht mehr Strafverfolgungsbehörden zur Verfügung zu stellen - aufgrund der Gefahren, die damit verbunden sind.

Eine Kamera nimmt die Gesichter von Passanten auf.
Besonders Gesichtserkennung wird kritisch gesehen. Hier wird schon lange vor Diskriminierung gewarnt. Bildrechte: imago images/Hans Lucas

Was sind diese Gefahren?

An den Erfolg der Gesichtserkennung sind Konsequenzen geknüpft. Das sehen wir im einfachsten Fall an Türschließanlagen, die mit Iris-Scannern oder Gesichtserkennung funktionieren oder auch Handy-Sperrungen. Wenn eine Bevölkerungsgruppe aufgrund ihrer Wesensmerkmale mit einer höheren Fehlerquote rechnen muss oder möglicherweise überhaupt nichts erkannt wird, hat das praktische Konsequenzen. Sie können schlichtweg die Türen nicht öffnen, oder das Telefon nicht entsperren. Noch schlimmer ist es, wenn durch eine nicht ausgewogene Gesichtserkennung in der Strafverfolgung bestimmte Personen besser und andere schlechter erkannt werden.

Wo werden Gesichtserkennungsverfahren heute angewendet?

Bekannt ist Gesichtserkennung vor allem aus sozialen Netzwerken. Haben Sie zum Beispiel ein Foto bei Facebook hochgeladen, schlägt das System die Namen der abgebildeten Personen vor. Das kennen wahrscheinlich die meisten. Von staatlichen Stellen wird Gesichtserkennung in der Kriminalitätsbekämpfung eingesetzt. Dort ist sie mindestens genauso problematisch wie in anderen Institutionen auch.

Facebook Schriftzug spiegelt sich in den Augen einer besorgt blickenden Frau mit Binärzahlen
Facebook erkennt auf Fotos, wer die abgebildeten Personen sind, wo sie sich begegnet sind. Die KI ermittelt auch - anhand von preisgegebenen Informationen - in welcher Beziehung sie zueinander stehen. Bildrechte: IMAGO

Wird auch an anderer Stelle diskriminiert?

Es gibt viele Fälle von diskriminierender KI. Ein Pilotprojekt des Internetkonzerns Amazon versuchte auf Basis von früheren Entscheidungen ihrer Angestellten, künftige Entscheidungen für Bewerber automatisiert zu erstellen. Dort hat sich gezeigt, dass das entwickelte System Frauen grundsätzlich benachteiligte. Sobald die Eigenschaft Frau mit "ja" beantwortet wurde, sank das Gesamtranking und damit die Wahrscheinlichkeit, eingestellt zu werden.

Woran lag das?

Die als Datenbasis genutzten Daten, die von den Mitarbeitern der Personalabteilung erstellt worden sind, waren bereits eingefärbt. In all den Jahren zuvor haben die Personaler Frauen bereits benachteiligt. Das KI-System hat dieses Ungleichgewicht dann abgebildet.

Wer ist von KI-Diskriminierung betroffen?

Eine Diskriminierung von Frauen betrifft 50 Prozent der Bevölkerung und ist daher nicht vernachlässigbar. Aber natürlich können auch andere Gruppen potenziell betroffen sein, wie People of Color, Homosexuelle, Migranten oder religiöse Minderheiten.

Grundsätzlich ist die Ungleichgewichtung von Daten bei jeder Anwendung, in der maschinelles Lernen und neuronale Netze eine Rolle spielen, eine Herausforderung. Sie ist nur nicht immer gesellschaftlich relevant. Eine Produktionsüberwachung durch KI in einer Fabrik, hat nicht die gleichen Auswirkungen auf die Gesellschaft, wie wenn zum Beispiel eine Bevölkerungsgruppe nicht erkannt oder benachteiligt wird.

Künstliche Intelligenz (Symbolbild)
Künstliche Intelligenz kann nur so gut und gerecht sein, wie die Menschen, die sie erstellen. Bildrechte: Colourbox.de

Wo wird diskriminierende KI gesellschaftlich relevant?

Prominent sind Gesichts- und Spracherkennungssysteme, auch weil sie auf vielen Mobilgeräten nutzbar sind. Gesellschaftlich relevanter ist jedoch alles aus dem Bereich Scoring. Die Bewertung von Menschen durch Maschinen ist zwar nicht neu. In der Kreditvergabe gibt es das seit vielen Jahrzehnten. Doch das Risiko, dass es hier durch eine ungleichmäßige Verteilung der Datenbasis mit KI potenziell zu Benachteiligungen kommen kann, ist groß.  

Muss sich die Gesellschaft dieses Einflusses stärker bewusst werden?

Für computergestützte Verfahren gibt es bereits ein zunehmendes Bewusstsein. Oft ist dies jedoch nicht so ausgeprägt, wie es sein sollte. Von der Datenbasis hängt die Qualität der Algorithmen ab, die unsere Gesellschaft formen. Das Bewusstsein dafür zu schärfen, kann nicht von Informatikern allein gelöst werden. Hier sind angesichts der zunehmenden gesellschaftlichen Bedeutung auch andere Akteure gefragt. Durch ihr Einwirken können regulierende Gesetze, Verordnungen oder auch ein Algorithmen-TÜV geschaffen werden. Nur mit einer gleichmäßigen Datenbasis kann KI gerecht und diskriminierungsfrei und damit ein Gewinn sein.

Thomas Schmids Vortrag "K.ünstliche I.gnoranz - Wenn Algorithmen männlich denken" können Interessierte am 19. Juni 2020 um 14 Uhr online hier mitverfolgen.

Quelle: MDR/kt

Mehr aus Leipzig, dem Leipziger Land und Halle

Justizia arbeitet immer langsamer. Zu wenig Richter. Zu wenig Staatsanwälte. Wegen Personalmangels steigt die Verfahrensdauer seit Jahren an. In Ostdeutschland ist sie besonders hoch.
Justizia arbeitet immer langsamer. Zu wenig Richter. Zu wenig Staatsanwälte. Wegen Personalmangels steigt die Verfahrensdauer seit Jahren an. In Ostdeutschland ist sie besonders hoch. Bildrechte: MDR/Enrico Chodor

Mehr aus Sachsen