Für Jahre arbeitete ein Team bei Amazon angeblich an einer Software, die die Lebensläufe von Bewerbern überprüfte, um die wahrscheinlichsten Einstellungen zu finden. Es wurde allmählich klar, dass, egal wie sehr Ingenieure versuchten, es zu reparieren, die Rekrutierungs-Engine einen Weg fand, Frauen zu diskriminieren, berichtet Reuters.
Am Mittwoch zitierte die Filiale fünf Quellen, die mit dem Programm zur Überprüfung der automatisierten Wiederaufnahme vertraut sind, das 2014 begann. Diesen Quellen zufolge wurde ein Team, das aus etwa einem Dutzend Ingenieuren bestand, mit dem Aufbau eines Programms beauftragt, das maschinelles Lernen nutzen würde, um den Wert von Lebensläufen, die Amazon und seinen nachfolgenden Einstellungspraktiken für ein Jahrzehnt vorgelegt wurden, zu überprüfen.
Das Ziel war es, einer KI beizubringen, wie man die wahrscheinlichsten Einstellungen identifiziert, um die Liste der potenziellen Rekruten zu rationalisieren, die anschließend von menschlichen Rekrutierern überprüft werden müssten.
CPORT wandte sich an Amazon, um den Bericht zu kommentieren, und ein Sprecher schickte uns die folgende Erklärung: „Das wurde von Amazon-Rekrutierern nie zur Beurteilung von Kandidaten verwendet.“
Die geschlechtsspezifischen Diskriminierungsprobleme des Algorithmus wurden etwa ein Jahr nach Beginn des Lebenszyklus des Projekts deutlich und wurden letztes Jahr schließlich aufgegeben, so der Bericht. Es scheint, dass eines der Hauptprobleme der Datensatz war, mit dem Amazon arbeiten musste. Die meisten der Lebensläufe, die dem Unternehmen in den letzten zehn Jahren vorgelegt wurden, stammten von Männern, und der Technologiesektor wurde von Anfang an von Männern kontrolliert.
Ein weiteres im Bericht zitiertes Problem war die Präferenz des Algorithmus für eine Sprache, die oft von männlichen Bewerbern verwendet wurde. Häufige Wörter und Phrasen wie z.B. Kenntnisse in einer bestimmten Programmiersprache würden ignoriert und Verben wie „ausgeführt“ und „erfasst“ würden mehr Gewicht verliehen.
Nach 500 Iterationen, die jeweils darauf trainiert wurden, 50.000 einzigartige Begriffe zu verstehen, konnte das Team einfach nicht das Werkzeug finden, um die Rückkehr zu diskriminierenden Praktiken zu stoppen, berichtete Reuters. Im Laufe der Zeit entwickelten sich die Modelle oft zu einer zufälligen Empfehlung von unqualifizierten Bewerbern.
Die Bemühungen des Teams zeigen die Grenzen der Algorithmen sowie die Schwierigkeiten bei der Automatisierung von Praktiken in einer sich verändernden Welt auf. Mehr Frauen treten dem Technologiesektor bei, und alle großen Technologieriesen haben Initiativen zur Vielfalt in der einen oder anderen Form. Aber die Veränderung war schmerzhaft langsam. Maschinen tun einfach das, was wir ihnen sagen. Wenn eine Maschine vom Beispiel lernt und wir nur ein sexistisches Beispiel liefern können, werden wir sexistische Ergebnisse erzielen.
Laut Reuters wurde im Amazon Engineering Hub Edinburgh ein neues Team zusammengestellt, um den „heiligen Gral“ der Einstellung noch einmal zu durchbrechen.