De ethiek van een algoritme

Hoewel de zelfrijdende auto nog niet op de weg te vinden is, overspoelt deze al de media. Want de introductie van de zelfrijdende auto in een stedelijke omgeving stelt ons voor grote vraagstellen, niet alleen op technologisch vlak maar ook op maatschappelijk gebied. Kun je ethisch beslissingen programmeren? Voor Stadsleven ‘Hello/Goodbye: de auto’ schreef ik een blog over de ethiek van een algoritme.

vehicleswithcircleshighway-660

Google, de huidige voorloper op het gebied van de zelfrijdende auto, is momenteel druk bezig met het functioneren van dit ontwerp in een stedelijke omgeving te testen.  Door gebruik te maken van software die informatie van verschillende sensoren op de auto verwerkt is de zelfrijdende auto volgens Google nu in staat om honderden verschillende objecten en signalen tegelijk te detecteren en erop te reageren, waaronder stopborden en fietsers die hun hand uitsteken. De auto kan ook gepast reageren ook op veranderende omstandigheden, zoals een afgesloten rijstrook. Kijk onderstaand filmpje voor een overzicht van de huidige mogelijkheden:

Ook in Nederland zullen naar verwachting op korte termijn zelfrijdende auto’s op de openbare weg rijden, schreef Vrij Nederland begin deze zomer. Minister Melanie Schultz van Infrastructuur en Milieu, het ministerie en de Rijksdienst voor het Wegverkeer (RDW), hebben de ambitie dat Nederland een internationale voortrekkersrol gaat spelen. Daarom stuurt Schultz begin volgend jaar een voorstel voor een wetswijziging naar de Tweede Kamer die het mogelijk moet maken om grootschalige testen met zelfrijdende auto’s op de openbare weg uit te voeren.

Maar het laten rijden van zelfrijdende auto’s blijkt een moeilijke klus te zijn. In een artikel voor MIT technology wordt de stad een urban jungle genoemd voor de zelfrijdende auto. Want hoe nauwkeurig Google de stedelijke omgeving ook in kaart kan brengen, de echte moeilijkheid zit in het ondervangen van allerlei onverwachte elementen. Zoals mensen die niet opletten als ze oversteken. Een hond.  Of spelende kinderen.  Waar Google groots reclame maakt met de veiligheid van de zelfrijdende auto die immers nooit moe wordt, of wiens aandacht afgeleid raakt, zijn het juist menselijke bestuurders die nu nog met kop en schouder uitsteken boven de zelfrijdende auto in het rijden in een stedelijke omgeving. Mensen kunnen namelijk gebruik maken allerlei indirecte zaken die je helpen een betere inschatting van een verkeerssituatie te maken. Door oogcontact bijvoorbeeld kun je een inschatting maken of iemand wil gaan oversteken. Een vooroordeel over het soort auto dat een bepaald soort bestuurder met zich meebrengt, kan je extra alert maken.

[..] an autonomous car should be capable of recognizing that a school bus is different from other vehicles of a similar size and may behave differently […]Humans make use of myriad “social cues” while on the road, such as establishing eye contact or making inferences about how a driver will behave based on the car’s make and model,For example, a fully autonomous car would need to understand that someone waving his arms by the side of the road is actually a policeman trying to stop traffic.

Helemaal zonder handen? Zelfrijdende auto versus semi-geautomatiseerde auto

Gaan we dan binnenkort helemaal zonder handen rijden? Hier moet een belangrijk verschil worden gemaakt tussen de zelfrijdende auto, die volledig zelfstandig rijdt en semi-geautomatiseerde systemen, die wel nog over een stuur bezitten. Zo is het gesemi-automatiseerde model van de Cadillac die in 2017 de weg op gaat uitgerust met een Super Cruise modus waarin het systeem het stuur, de remmen en het gaspedaal op de snelweg kan overnemen. Een ander voordeel van semi-geautomatiseerde auto’s is dat ze informatie kunnen uitwisselen, waardoor er efficiënter gereden kan worden en verkeersopstoppingen kunnen minderen.

Hoewel de volledig zelfrijdende auto in een stedelijke omgeving nog ver weg lijkt, zal de semi-geautomatiseerde auto snel dichterbij komen. Karel Brookhuis, hoogleraar verkeerspsychologie aan de Rijksuniversiteit Groningen, stelt in een artikel voor Bright Ideas dat hij zich goed van voorstellen dat speciale wegen voor geautomatiseerd vrachtverkeer over niet al te lange tijd werkelijkheid worden. Ook kan hij zich speciale routes voor bijvoorbeeld automatiseerde taxi’s voorstellen waar fietsers en gewone auto’s van geweerd worden. Maar een Google Car? “Dat zie ik echt de komende tien jaar niet in Nederland gebeuren”. De verzekeringsmaatschappij Centraal Beheer trouwens wel, zoals uit hun pas gelanceerde reclamecampagne blijkt:

De ethiek van een algoritme

De grootste crux bij de introductie van de zelfrijdende auto in een stedelijke omgeving zijn de ethische dilemma’s die komen kijken bij als een ritje een niet compleet soepel verloopt. Wie is er verantwoordelijk als de auto een ongeval veroorzaakt? De bestuurder? De autofabrikant?

Er zijn twee problemen te onderscheiden. Op de eerste plaats het feit dat hoe meer werk je uit handen neemt van de bestuurder en hoe minder je hem betrekt, des te sterker de alertheid en betrokkenheid afneemt. In het vliegverkeer, waar het vliegen op automatische piloot al langer gemeengoed is, is een norm van 30% met de hand vliegen om ervoor te zorgen dat piloten hun vaardigheden niet verliezen en op cruciale momenten het vliegtuig veilig kunnen overnemen. Als je een zelfrijdende auto koopt is de keus volledig aan jou wat je zelf doet of wat je aan je auto overlaat, ook al komen steeds meer ontwerpen zoals ‘de gordel die je alert houdt op de markt. Karel Brookhuis in Bright Ideas:

Je let minder op wat er voor je neus gebeurt. Het moment dat je eigenlijk zou moeten ingrijpen ben je bijna altijd te laat. Auto’s kunnen met alle technologie van de wereld niet goed reageren op onverwachte gebeurtenissen zonder irritant langzaam te gaan rijden bij het minste of geringste. Jij ziet ook niet alles, maar een auto mist heel andere dingen. [..] Als ik op de snelweg helemaal niets meer hoef te doen wat betreft autorijden dan ga ik andere dingen doen zoals handsfree bellen of even twitteren. Misschien val ik van verveling wel in slaap en dan? Je zal toch ergens het stuur weer moeten overnemen zodra je de snelweg afwil.

Het grootste probleem is echter dat zelfrijdende auto’s de ethische beslissingen die je moet nemen bij een ongeval moeten automatiseren. Ethiek vertaald in een algoritme.Stel je de situatie voor waarin je de keuze moet maken om ofwel op een groepje kinderen dat onverwachts de weg overrent in te rijden ofwel het stuur om te gooien en tegen een muur tot stilstand komen waarbij het risico groot is dat de inzittenden dodelijk verwond kunnen worden. Een onmogelijke beslissing. Maar wel één die in de software van de zelfrijdende auto geprogrammeerd moet worden. Dus de vraag is dan: op basis van welke waarden ga je de zelfrijdende auto programmeren?

Het project van Matthieu Cherubini van het Royal College Art maakt duidelijk welke ethische waardensystemen aan de zelfrijdende auto verbonden kunnen worden. Hij ontwierp drie verschillende algoritmes waarop de zelfrijdende auto een keuze kan maken bij fatale gebeurtenissen. In het humanistische algoritme wordt gemikt op een zo laag mogelijk aantal slachtoffers, waarbij een auto kan beslissen om de inzittenden op te offeren om anderen te sparen. In het beschermende algoritme kiest de auto er steeds voor de eigen inzittenden te beschermen, ook al gaat dat ten koste van meer mensenlevens in het andere voertuig (of zwakke weggebruikers). En in het op kosten gebaseerde algoritme wordt er berekend welke uitkomst de maatschappij het minst kost. De cru-heid hiervan wordt zonder woorden meteen duidelijk:

Matthieu Cherubini

Technologie schrijver Tom Chatfield snijdt nog even dieper in zijn essay ‘Can we design machines to automate ethics. Hij stelt zich de mogelijkheid voor dat kopers van een zelfrijdende auto de kans krijgen om zelf te kiezen voor een ethisch waardensysteem. Gepersonaliseerde settings dus in plaats van vaste fabrieksinstellingen. De implicaties hiervan zijn groot – van doodslag naar moord met voorbedachte rade:

In an important sense, any injury that results from our ethics setting may be premeditated if it’s foreseen. By valuing our lives over others, we know that others would be targeted first in a no-win scenario where someone will be struck. We mean for that to happen. This premeditation is the difference between manslaughter and murder, a much more serious offense.

In het Wired artikel ‘The Robot Car of Tomorrow May Just Be Programmed to Hit You wordt nog een dilemma aangesneden. Het scenario dat in het artikel wordt beschreven, is dat van een zelfrijdende auto die op het punt staat om een ongeluk te veroorzaken. Er kan alleen nog gekozen worden of er op een Volvo gebotst wordt of op een kleinere, minder veilig geachte auto. Moet de auto geprogrammeerd worden om voor de veiligere auto te kiezen? Maar wie wil er nog een Volvo als hij daarmee meer kans loopt om door een automatisch voertuig te worden geraakt? Een andere vraag: kan de zelfrijdende auto beter botsen op een motorrijder met helm, of op eentje zonder? Uiteraard zou je kunnen stellen dat bij de motorrijden met helm er minder kans op hersenschade is. Maar hiermee wordt deze dan direct afgestraft voor het in acht nemen van de veiligheidsregels.

Het moge duidelijk zijn: de zelfrijdende auto in de stedelijke omgeving is een enorm complex dilemma dat meer raakt dan alleen technische vraagstukken. Zoals Patrick Lin het mooi verwoordt:

When we introduce control to what used to be only instinctive or random—when we put God in the machine—we create new responsibility for ourselves to get it.