Forschung und Entwicklung

Dass Software nicht „neutral“ ist, sondern die Denkweisen und Stereotypen ihrer Entwickler*innen reproduziert, lässt sich auf vielen Ebenen belegen. Der Spielemarkt ist hierfür ein gutes Beispiel, aber auch  Algorithmen ganz allgemein,  geraten ob ihres wachsenden Einflusses auf unser tägliches Leben, Politik und Gesellschaft in den Fokus des Interesses. Algorithmen reproduzieren auch Geschlechterstereotype, gesellschaftliche Hierarchien oder andere Kategorien, mit denen Menschen klassifiziert und am Ende ungleich behandelt werden. Es liegt nicht nur im gesellschaftspolitischen Interesse, Studierende für diese Thematik zu sensibilisieren. Auch für die Anwender*innen und Nutzer*innen von Daten ist es eine wichtige Frage, ob Programme Verhältnisse angemessen repräsentieren oder letztlich nur Stereotypen reproduzieren. Aktuell ist festzustellen, dass Algorithmen, wenn sie z.B. mit großen Datenmengen arbeiten, teilweise falsche Daten produzieren, da sie zum Teil mit Vorannahmen ausgestattet diese im Ergebnis reproduzieren und damit im Ergebnis unzuverlässige Daten liefern. Dies kann für Einzelne schwerwiegende Folgen haben, weil ihnen z.B. ein Kredit verweigert wird, aber auch für die Anbieter von Krediten kann es schwerwiegende Folgen haben, da sie keine verlässlichen Auskünfte auf Basis der Datenlage bekommen, sondern potentielle Kundengruppen ausgeschlossen werden.

Ein Beispiel ist der Skandal von  2015 , als die automatische Bilderkennung in Google Fotos das Schlagwort „Gorilla" für mehrere Porträts einer schwarzen Frau vorgeschlagen hatte. „Google hatte seine selbstlernende Software einfach schlecht trainiert, wie einer der Ingenieure einräumte. Der Vorfall sei aber besonders peinlich, weil er den Algorithmus als rassistisch erscheinen lasse“ (Quelle).

Zivilgesellschaftliche Organisationen wie Algorithm Watch, aber auch das Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS mit seinem Kompetenzzentrum Öffentliche IT setzen sich kritisch damit auseinander, welche Auswirkungen Algorithmen haben können. Zur Überprüfbarkeit von Algorithmen schreiben sie in ihrem Manifest:
„Prozesse algorithmischer Entscheidungsfindung (algorithmic decision making, ADM) gehören längst zum täglichen Leben; zukünftig werden sie noch eine viel größere Rolle spielen. Sie bergen enorme Gefahren und bieten enorme Chancen.“
Weiter schreiben sie über algorithmische Entscheidungsfindung und woraus sich diese zusammen setzt, nämlich:
„Prozesse zur Datenerfassung zu entwickeln, Daten zu erfassen, Algorithmen zur Datenanalyse zu entwickeln, die die Daten analysieren, auf der Basis eines menschengemachten Deutungsmodells interpretieren, automatisch handeln, indem die Handlung mittels eines menschengemachten Entscheidungsmodells aus dieser Interpretation abgeleitet wird.“
Deutlich wird dadurch vor allem, dass diese Prozesse durch Entwickelnde gesteuert werden. Technikentwicklung ist häufig von Vorstellung über Geschlecht beeinflusst – auch solche, auf den ersten Blick objektive Lösungsgrundsätze wie Algorithmen.

Aylin Caliskan, Professorin in Princeton, zeigt in ihren Untersuchungen auf, wie Algorithmen diskriminieren können. Sie untersucht Sprache an Programmen, die „Word Embedding“ durchführen, und zeigt, wie semantische Modelle durch die Wahl von Ähnlichkeiten Vorurteile reproduzieren. Eine künstliche Intelligenz zu trainieren, sich „menschlich“ zu verhalten, macht sie auch sexistisch und rassistisch, so eines ihrer Forschungsergebnisse.

So werden beispielsweise Standard Data Sets verwendet, die Millionen von Wörtern beinhalten und aus unterschiedlichen Quellen gespeist werden, auch aus dem Internet. Die künstliche Intelligenz untersucht dann, wie die Wörter verwendet und wie sie assoziiert werden, um natürliche Sprachantworten zu ermöglichen, die von Menschen verstanden werden. Die Studie zeigt, dass dabei auch Verknüpfungen gelernt werden, z.B. wird das Wort „Flower“ (Blume) eher mit dem Wort „pleasent“ verknüpft als das Wort „Weapon“ – was ja auch sinnvoll ist. Allerdings hat die künstliche Intelligenz auch die Angewohnheit, männliche Pronomen mit Mathematik zu verknüpfen und weibliche eher mit künstlerischen Begriffen zu assoziieren. Dies wird dann z.B. in der Analyse von Übersetzungsprogrammen deutlich, wenn von einer in diesem Fall gender-neutralen Sprache wie Türkisch in eine „gegenderte“ Sprache übersetzt wird, und bspw. Berufen automatisch ein Geschlecht zugeordnet wird: „He is a teacher“ und „She is a nurse“.

 

Ein solches Lernverhalten von Übersetzungsmaschinen kann dazu führen, dass Vorurteile über bestimmte Personengruppen weitergeführt werden bzw. sich bestimmte Bilder verfestigen, z.B. dass Krankenpflegepersonal immer weiblich ist. Um dieser Strukturlogik entgegenzuwirken und die künstliche Intelligenz möglichst diskriminierungsfrei anzuleiten, sollten bei der Entwicklung von Programmen immer auch Fragen nach Semantik und Geschlecht gestellt werden.

Corinna Bath beschäftigt sich in Deutschland mit Algorithmen und ihren Auswirkungen auf Geschlechterstereotype. Ein Vortrag von ihr ist im Internet als Stream verfügbar. Sie verweist darin auf die Grundlagen von „accountable algorithms“, also in etwa „verantwortliche Algorithmen“. Sie beschäftigt sich mit den Zusammenhängen von der Entwicklung von Algorithmen und Technik und Materialien. Sie nennt diesen Ansatz „Diffractive Design“ und legt ein performatives Verständnis von Materialität zu Grunde.

  • Zum Weiterlesen/Links:

    Corinna Bath, Vortrag „Sozial gerechte Algorithmen? Problematiken, theoretische Konzepte und Perspektiven der Geschlechterforschung“. Film findet sich hier.

Die Internetseiten „Gendered Innovations“ zeigen an Beispielen, welchen praktischen Nutzen die Beachtung der Kategorie Geschlecht für Forschung und Entwicklung in ganz unterschiedlichen Bereichen haben kann. Am Beispiel der Entwicklung von Videospielen werden Aspekte der unterschiedlichen Nutzung durch Frauen und Männer sowie die Reproduktion von Geschlechterstereotypen durch Spiele diskutiert. Die Autor*innen schlagen vor, Videospiele bewusst so zu programmieren, dass sie Geschlechterstereotypen entgegenwirken und Experimentierfelder eröffnen für unterschiedliche Geschlechteridentitäten, was ja auch bereits geschieht. So fand eine Untersuchung, die darauf fokussierte, wie Spiele und Geschlecht sich gemeinsam konstituieren, heraus, dass Spielerinnen, die viel und unterschiedliche Genres spielen, Spieletechnolgogie nutzen, um unterschiedliche Geschlechter auszuleben.


(Quelle: Gendered Innovations, Stanford University)

Vorherrschende Methodologie bei der Erstellung von Anforderungsprofilen ist oft die „I-Methodology“. Dabei gehen Softwareentwickler*innen von sich selbst aus, das heißt, sie überlegen, welche eigenen Ideen, Wünsche und Interessen sie mitbringen und wie die Software aufgebaut sein müsste, um diese zu integrieren. Auch Studierende gehen vielfach I-methodologisch vor, wenn die Aufgabenstellung darin besteht, sich mit Nutzer*innenprofilen zu beschäftigen.

  • Zum Weiterlesen:

    Haag, Weber, Heim, Marsden: 5. Geschlechterkonstruktion. In: Barke, Helena; Siegeris, Juliane; Freiheit, Jörn; Krefting, Dagmar (Hg.) (2016): Gender und IT-Projekte. Neue Wege zu digitaler Teilhabe. Opladen, Berlin, Toronto: Budrich UniPress Ltd.

Um diese Ich-Zentriertheit aufzubrechen, wurden verschiedene Methoden entwickelt, die auch für die Lehre interessant sein können. Eine Gruppe internationaler Wissenschaftler*innen, hat den Implicit Association Test (IAT) entwickelt: „The IAT measures the strength of associations between concepts (e.g., black people, gay people) and evaluations (e.g., good, bad) or stereotypes (e.g., athletic, clumsy).” Der Test macht unbewusste Vorurteilsstrukturen deutlich, von denen wir geprägt sind. Man kann sich selbst z.B. zu den Kategorien Alter, Religion, Gewicht, Geschlecht oder Sexualität testen.

Um Studierenden deutlich zu machen, was uns als Menschen und damit unsere Sichtweisen prägt und beeinflusst, kann das Diversity-Rad verwendet werden, das mit einer schematischen Darstellung versucht, die unterschiedlichsten Differenzkategorien sichtbar zu machen. Studierende können es auf sich selbst anwenden und in Relation dazu z.B. Mitstudierende in Bezug auf deren Dimensionen befragen. Es kann aber auch dafür angewendet werden, um bei der Software Entwicklung alle Dimensionen durchzugehen und zu reflektieren, inwiefern diese berücksichtigt sind.

 

Dorothea Erharter hat einen Test für die Entwicklung von Apps und Websites entwickelt, der im Netz zur Verfügung steht: G-U-T. Gender & Diversity, Usability und Testing als Qualitätssicherung von Apps und Websites. Hier wird z.B. nach Zielgruppen, Stereotypen, physiologischen Unterschieden und verschiedenen Nutzungsszenarien gefragt, um Entwickler*innen dabei zu helfen, möglichst viele Dimensionen zu berücksichtigen.

  • Zum Weiterlesen/Links:

    Der G-U-T-Test wurde von Gender und Technik in Kooperation mit ZIMD - Zentrum für Interaktion, Medien & soziale Diversität - veröffentlicht. Auf diesen beiden Seiten können Sie weitere hilfreiche Ressourcen finden.

    Barke, Helena; Siegeris, Juliane; Freiheit, Jörn; Krefting, Dagmar (Hg.) (2016): Gender und IT-Projekte. Neue Wege zu digitaler Teilhabe. Opladen, Berlin, Toronto: Budrich UniPress Ltd.

An der Universität Bremen wurde das GERD-Modell (Gender Extended Research and Development) entwickelt, um systematische Ansatzpunkte für die Einbeziehung von Gender- und Diversity-Aspekten in die Informatikforschung und -entwicklung aufzuzeigen.

Ein Beispiel aus dem GERD-Modell:

Überlegen Sie anhand der Diversity-Dimensionen, welche Menschen zu Ihrer Zielgruppe gehören. Betrachten Sie dabei Diversity-Dimensionen, die Ihnen für Ihr Projekt wichtiger erscheinen, genauer.

  • In welchen Dimensionen ist Ihre Zielgruppe homogen?
  • In welchen Dimensionen ist Ihre Zielgruppe unterschiedlich?
  • Überlegen Sie auch, wer NICHT zur Zielgruppe Ihres Projekts gehört. Gibt es Gruppen, die Sie bewusst nicht als Zielgruppe sehen?
 
  • Zum Weiterlesen/Links:

    Der Gesamtreflexionskatalog mit allen Fragen findet sich hier.

Eine andere Möglichkeit, Nutzerinnen und Nutzer in den Software- Entwicklungsprozess miteinzubeziehen, ist der Einsatz von sog. Personas, die als Modellcharaktere genutzt werden, um Software auf ihre Benutzerfreundlichkeit zu  testen. Die Internetseite „The GenderMag Project“ zeigt, wie dies funktioniert, anhand von Videosequenzen und Anwendungen, die man selbst durchführen kann. Ergänzt wird das Angebot durch Streams, z.B. eines Vortrags von Margaret Burnett mit dem Titel „Womenomics & Gender-Inclusive Software: What the Software Industry Needs to Know“.

 

Die Integration von Gender- und Diversity-Aspekten und von Erkenntnissen der Genderforschung kann die Inhalte, zu denen in der Informatik geforscht und gelehrt wird, ergänzen, bereichern und verändern. Schon heute trägt die Informatik dazu bei, dass sich eindeutige Geschlechtszuweisungen verändern, dass sie spielerisch umgedeutet werden oder dass die traditionelle Gegenüberstellung von Dualismen wie Kultur/Natur, Subjekt/Objekt oder Männlichkeit/Weiblichkeit an Bedeutung verliert. Virtuelle Welten bieten Menschen die Gelegenheit, mit Geschlechteridentitäten zu spielen oder sie zu wechseln. Im Bereich der Robotik verschmelzen kulturelle, biologische und technische Implikationen. Die Forschung zieht nach, wenn sie diese Prozesse zum Thema macht oder stärker auf Interdisziplinarität setzt, um z.B. möglichst menschennahe Assistenz zu ermöglichen, sodass Ältere auch adäquat unterstützt werden und dass technische Lösungen auch nutzer*innenfreundlich sind und akzeptiert werden.

  • Beispiele und Vorschläge:


(Quelle: Gendered Innovations, Stanford University)