Data zijn de nieuwe ‘weapons of math destruction’

“We live in the age of the algorithm. Increasingly, the decisions that affect our lives—where we go to school, whether we get a car loan, how much we pay for health insurance—are being made not by humans, but by mathematical models. In theory, this should lead to greater fairness: Everyone is judged according to the same rules, and bias is eliminated. But the opposite is true.”
De Amerikaanse wiskundige Cathy O’Neil is nogal stellig in haar TED-talk (later dit jaar komt het boek uit waarin ze dit verder uitwerkt): onze omgang met data is net zo gevaarlijk als een atoombom. Waarom?
Omdat een data algoritme een schijn van neutraliteit, logica en eerlijkheid ophoudt, terwijl het niet transparant genoeg is hoe dat algoritme werkt. En aangezien algoritmes worden gebruikt om steeds meer vergaande beslissingen te nemen over de levens van veel mensen gebruikt O’Neil de steengoede metafoor ‘weapon of math destruction’.
Mass destruction
O’Neil geeft het voorbeeld van predictive policing, waarin de politie een algoritme gebruikt om te voorspellen welke persoon een grotere kans heeft om een misdaad te begaan (en houdt deze persoon vervolgens extra in de gaten). Stel nu dat deze persoon daarom geen kans heeft om een lening of verzekering af te sluiten, omdat een ander algoritme hem als te groot risico beschouwt door de uitkomst van predictive policing? En daar heb je ’t: Kaboem.
Dit bericht komt uit m’n wekelijkse nieuwsbrief ‘Curated Culture’ waar ik elke week de laatste berichten rondom ‘future affairs’ naar je opstuur: wat zijn dé technologiche ontwikkelingen die jouw toekomst gaan bepalen? Elke zaterdagochtend de nieuwsbrief ontvangen? Schrijf je hier in