Forschung und Entwicklung

Dass Software nicht „neutral“ ist, sondern die Denkweisen und Stereotypen ihrer Entwickler*innen reproduziert, lässt sich auf vielen Ebenen belegen. Der Spielemarkt ist hierfür ein gutes Beispiel, aber auch  Algorithmen ganz allgemein geraten ob ihres wachsenden Einflusses auf unser tägliches Leben, Politik und Gesellschaft in den Fokus des Interesses. Algorithmen reproduzieren auch Geschlechterstereotype, gesellschaftliche Hierarchien oder andere Kategorien, mit denen Menschen klassifiziert und am Ende ungleich behandelt werden. Es liegt nicht nur im gesellschaftspolitischen Interesse, Studierende für diese Thematik zu sensibilisieren. Auch für die Anwender*innen und Nutzer*innen von Daten ist es eine wichtige Frage, ob Programme Verhältnisse angemessen repräsentieren oder letztlich nur Stereotypen reproduzieren. Aktuell ist festzustellen, dass Algorithmen, wenn sie z.B. mit großen Datenmengen arbeiten, teilweise falsche Daten produzieren, da sie zum Teil mit Vorannahmen ausgestattet diese im Ergebnis reproduzieren und damit im Ergebnis unzuverlässige Daten liefern. Dies kann für Einzelne schwerwiegende Folgen haben, weil ihnen z.B. ein Kredit verweigert wird, aber auch für die Anbieter von Krediten kann es schwerwiegende Folgen haben, da sie keine verlässlichen Auskünfte auf Basis der Datenlage bekommen, sondern potentielle Kundengruppen ausgeschlossen werden.

Ein Beispiel ist der Skandal von  2015, als die automatische Bilderkennung in Google Fotos das Schlagwort „Gorilla" für mehrere Porträts einer schwarzen Frau vorgeschlagen hatte. „Google hatte seine selbstlernende Software einfach schlecht trainiert, wie einer der Ingenieure einräumte. Der Vorfall sei aber besonders peinlich, weil er den Algorithmus als rassistisch erscheinen lasse“ (Quelle).

Zivilgesellschaftliche Organisationen wie Algorithm Watch, aber auch das Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS mit seinem Kompetenzzentrum Öffentliche IT setzen sich kritisch damit auseinander, welche Auswirkungen Algorithmen haben können. Zur Überprüfbarkeit von Algorithmen schreiben sie in ihrem Manifest:
„Prozesse algorithmischer Entscheidungsfindung (algorithmic decision making, ADM) gehören längst zum täglichen Leben; zukünftig werden sie noch eine viel größere Rolle spielen. Sie bergen enorme Gefahren und bieten enorme Chancen.“
Weiter schreiben sie über algorithmische Entscheidungsfindung und woraus sich diese zusammen setzt:
„Prozesse zur Datenerfassung zu entwickeln, Daten zu erfassen, Algorithmen zur Datenanalyse zu entwickeln, die die Daten analysieren, auf der Basis eines menschengemachten Deutungsmodells interpretieren, automatisch handeln, indem die Handlung mittels eines menschengemachten Entscheidungsmodells aus dieser Interpretation abgeleitet wird.“
Deutlich wird dadurch vor allem, dass diese Prozesse durch Entwickelnde gesteuert werden. Technikentwicklung ist häufig von Vorstellung über Geschlecht beeinflusst – auch solche, auf den ersten Blick objektive Lösungsgrundsätze wie Algorithmen.

Aylin Caliskan, Professorin in Princeton, zeigt in ihren Untersuchungen auf, wie Algorithmen diskriminieren können. Sie untersucht Sprache an Programmen, die „Word Embedding“ durchführen, und zeigt, wie semantische Modelle durch die Wahl von Ähnlichkeiten Vorurteile reproduzieren. Eine künstliche Intelligenz zu trainieren, sich „menschlich“ zu verhalten, macht sie auch sexistisch und rassistisch, so eines ihrer Forschungsergebnisse.

So werden beispielsweise Standard Data Sets verwendet, die Millionen von Wörtern beinhalten und aus unterschiedlichen Quellen gespeist werden, auch aus dem Internet. Die künstliche Intelligenz untersucht dann, wie die Wörter verwendet und wie sie assoziiert werden, um natürliche Sprachantworten zu ermöglichen, die von Menschen verstanden werden. Die Studie zeigt, dass dabei auch Verknüpfungen gelernt werden, z.B. wird das Wort „Flower“ (Blume) eher mit dem Wort „pleasent“ verknüpft als das Wort „Weapon“ – was ja auch sinnvoll ist. Allerdings hat die künstliche Intelligenz auch die Angewohnheit, männliche Pronomen mit Mathematik zu verknüpfen und weibliche eher mit künstlerischen Begriffen zu assoziieren. Dies wird dann z.B. in der Analyse von Übersetzungsprogrammen deutlich, wenn von einer in diesem Fall gender-neutralen Sprache wie Türkisch in eine „gegenderte“ Sprache übersetzt wird, und bspw. Berufen automatisch ein Geschlecht zugeordnet wird: „He is a teacher“ und „She is a nurse“.

null

  • Zum Weiterlesen/Links:

    Aylin Caliskan-Islam, Joanna Bryson, Arvind Narayanan: A Story of Discrimination and Unfairness. Implicit Bias Embedded in Laguage Models. Steht hier unter der Lizenz CC BY 4.0 zum Download bereit.

    Weitere Publikationen von Aylin Caliskan:

    Hier gelangen Sie zu ihrer Seite mit einer vollständigen Auflistung ihrer Publikationen.
    Training AI robots to act ‚human‘ makes them sexist and racist. - Artikel zum Thema in der New York Post (April 2017).

Ein solches Lernverhalten von Übersetzungsmaschinen kann dazu führen, dass Vorurteile über bestimmte Personengruppen weitergeführt werden bzw. sich bestimmte Bilder verfestigen, z.B. dass Krankenpflegepersonal immer weiblich ist. Um dieser Strukturlogik entgegenzuwirken und die künstliche Intelligenz möglichst diskriminierungsfrei anzuleiten, sollten bei der Entwicklung von Programmen immer auch Fragen nach Semantik und Geschlecht gestellt werden.

Prof. Dr. Corinna Bath, Mathematikerin und Informatikerin, beschäftigt sich in Deutschland mit Algorithmen und ihren Auswirkungen auf Geschlechterstereotype. Ein Vortrag von ihr ist im Internet als Stream verfügbar. Sie verweist darin auf die Grundlagen von „accountable algorithms“, also in etwa „verantwortliche Algorithmen“. Sie beschäftigt sich mit den Zusammenhängen von der Entwicklung von Algorithmen und Technik und Materialien. Sie nennt diesen Ansatz „Diffractive Design“ und legt ein performatives Verständnis von Materialität zu Grunde.

  • Zum Weiterlesen/Links:

    Corinna Bath (2013): Vortrag „Sozial gerechte Algorithmen? Problematiken, theoretische Konzepte und Perspektiven der Geschlechterforschung“. Eine Aufnahme des Vortrages findet sich hier.

Die Internetseiten „Gendered Innovations“ zeigen an Beispielen, welchen praktischen Nutzen die Beachtung der Kategorie Geschlecht für Forschung und Entwicklung in ganz unterschiedlichen Bereichen haben kann. Am Beispiel der Entwicklung von Videospielen werden Aspekte der unterschiedlichen Nutzung durch Frauen und Männer sowie die Reproduktion von Geschlechterstereotypen durch Spiele diskutiert. Die Autor*innen schlagen vor, Videospiele bewusst so zu programmieren, dass sie Geschlechterstereotypen entgegenwirken und Experimentierfelder eröffnen für unterschiedliche Geschlechteridentitäten, was ja auch bereits geschieht. So fand eine Untersuchung, die darauf fokussierte, wie Spiele und Geschlecht sich gemeinsam konstituieren, heraus, dass Spielerinnen, die viel und unterschiedliche Genres spielen, Spieletechnolgogie nutzen, um unterschiedliche Geschlechter auszuleben. Hier gelangen Sie zum Web-Auftritt von Gendered Innovations.

null
(Quelle: Gendered Innovations, Stanford University)

Die Integration von Gender- und Diversity-Aspekten und von Erkenntnissen der Genderforschung kann die Inhalte, zu denen in der Informatik geforscht und gelehrt wird, ergänzen, bereichern und verändern. Schon heute trägt die Informatik dazu bei, dass sich eindeutige Geschlechtszuweisungen verändern, dass sie spielerisch umgedeutet werden oder dass die traditionelle Gegenüberstellung von Dualismen wie Kultur/Natur, Subjekt/Objekt oder Männlichkeit/Weiblichkeit an Bedeutung verliert. Virtuelle Welten bieten Menschen die Gelegenheit, mit Geschlechteridentitäten zu spielen oder sie zu wechseln. Im Bereich der Robotik verschmelzen kulturelle, biologische und technische Implikationen. Die Forschung zieht nach, wenn sie diese Prozesse zum Thema macht oder stärker auf Interdisziplinarität setzt, um z.B. möglichst menschennahe Assistenz zu ermöglichen, sodass Ältere auch adäquat unterstützt werden und dass technische Lösungen auch nutzer*innenfreundlich sind und akzeptiert werden.

  • Beispiele und Vorschläge:

null
(Quelle: Gendered Innovations, Stanford University)