Welke discriminerende denkbeelden zitten ingebakken in onze tech?

Terwijl we ons concentreren op de Grote Machtsproblemen die technologie mogelijk in de toekomst zal veroorzaken – bijvoorbeeld hoe onze data steeds meer in handen van bedrijven komt te liggen of hoe Artificial Intelligence ons zou kunnen overnemen – vindt er voor onze neus iets plaats dat misschien nog wel grotere gevolgen kan hebben voor de machtsverhoudingen in de toekomst.
Terwijl we namelijk onze technologie aan het ontwikkelen zijn, programmeren we ongemerkt allerlei denkbeelden mee. Kate Crawford schrijft dan ook in de NYTimes:
“Sexism, racism and other forms of discrimination are being built into the machine-learning algorithms that underlie the technology behind many “intelligent” systems that shape how we are categorized and advertised to.”
data discriminatie racisme
Ik schreef al eerder hierover in een hypothetisch voorbeeld – Als tech zorgt dat we langer blijven leven, wie krijgt dan dat voorrecht? – Crawford geeft in haar stuk talloze concrete en zeer pijnlijke voorbeelden. Zo werd vorig jaar ontdekt dat Google fotoapp die automatisch labels toekent aan digitale fotoalbums, foto’s van donker gekleurde mensen als gorilla’s classificeerde. Nikons camera software classificeerde de ogen van Aziatische mensen als knipogen en wetenschappers van Carnegie Mellon ontdekten dat vrouwen minder vaak via Google een advertentie te zien kregen voor een goedbetaalde baan dan mannen.
“Predictive programs are only as good as the data they are trained on, and that data has a complex history. […] Algorithms learn by being fed certain images, often chosen by engineers, and the system builds a model of the world based on those images. If a system is trained on photos of people who are overwhelmingly white, it will have a harder time recognizing nonwhite faces.”
En het enge is: hoe ga je ontdekken waar het fout gaat? Ik, als vrouw, kan niets zeggen over de online advertenties die ik niet te zien krijg. Ingebakken tech-discriminatie mag nu wel langzaam ontdekt worden, maar hoe zorg je er op systematische wijze voor dat dit niet meer fout gaat in plaats van ‘toevallige’ ontdekkingen achteraf?
Dit bericht komt uit m’n wekelijkse nieuwsbrief ‘Curated Culture’ waar ik elke week de laatste berichten rondom ‘future affairs’ naar je opstuur: wat zijn dé technologiche ontwikkelingen die jouw toekomst gaan bepalen? Elke zaterdagochtend de nieuwsbrief ontvangen? Schrijf je hier in.