Wie is er verantwoordelijk wanneer zelfrijdende auto’s betrokken zijn bij ongevallen? Onlangs reed een zelfstandig rijdende Volvo een voetganger aan in Arizona, die de aanrijding niet overleefde. En in 2016 kwam de chauffeur van een zelfrijdende Tesla om het leven. Filippo Santoni de Sio van de TU Delft onderzoekt ethische vragen rond zelfrijdende auto’s.

Minder files, minder ongelukken, er worden veel voordelen verwacht van geautomatiseerd rijden, of ADS (Automated Driving Systems). De eerste ongelukken met deze auto’s zijn echter ook al bekend. Santoni de Sio: “Hoe kunnen de risico’s van ADS tot een minimum worden beperkt en kan de veiligheid van mensen worden gewaarborgd? Het is belangrijk dat de overgang naar geautomatiseerd rijden op een verantwoorde manier verloopt. Dat onderzoeken we in het project "Meaningful human control over automated driving systems’’.

Verantwoordelijkheidskloof

Naar deze invalshoek is nog niet eerder onderzoek gedaan. “Wanneer we ervoor zorgen dat betekenisvolle menselijke controle behouden blijft, kan de veiligheid van de mens beter worden beschermd en kunnen ‘verantwoordelijkheidskloven’ worden vermeden, aldus Santoni de Sio. “Het begrip ‘betekenisvolle menselijke controle’ is cruciaal als we verantwoorde autonome systemen willen ontwerpen die functioneren in omstandigheden waarin mensenlevens op het spel staan. Dit betekent dat mensen, en niet computers en hun algoritmen, moreel verantwoordelijk horen te zijn voor potentieel gevaarlijk rijden.”

Optimaal ontwerp

Bij een optimaal ontwerp werken mens en technologie samen om risico’s te minimaliseren en de juiste actie te garanderen wanneer dit nodig is, bijvoorbeeld wanneer een geautomatiseerd systeem niet ingrijpt in een gevaarlijke situatie. “Het is van cruciaal belang dat een persoon ook in staat en bereid is deze taakverdeling te volgen. Want naast het rijden moeten chauffeurs ook nieuwe vaardigheden beheersen, zoals toezicht houden op het voertuig in een geautomatiseerd systeem. Bij het ontwerp van het systeem moet hiermee rekening worden gehouden. Daarom is in het project ook een forse component verkeerskunde en gedragswetenschap ingebakken.”

Gedeeltelijke en begeleide autonomie

Het project zal zich richten op betekenisvolle menselijke controle in twee soorten geautomatiseerd rijden: gedeeltelijke en begeleide autonomie. Dit zijn namelijk de vormen die de komende tien tot vijftien jaar waarschijnlijk zullen worden toegepast. Gedeeltelijke autonomie betekent dat voertuigen handmatig of automatisch kunnen worden bestuurd, en begeleide autonomie verwijst naar volledig computergestuurde ‘cabines’ die voortdurend worden gecontroleerd door een menselijke supervisor (eventueel op afstand).

Ultieme doel

Er is echter geen bevredigende theorie over wat betekenisvolle menselijke controle precies betekent met betrekking tot ADS. Het doel van dit project is om te komen tot een wetenschappelijk verantwoorde definitie die ook nog werkbaar is. Santoni de Sio: “Ons team van onderzoekers van TBM en Civiele techniek, dat bestaat uit filosofen, gedragswetenschappers en verkeerskundigen, zal eerst een theorie ontwikkelen, en vervolgens samen met het bedrijfsleven en beleidsmakers het begrip ‘betekenisvolle menselijke controle’ vertalen in richtlijnen voor systeemontwerp, op technisch, regelgevings- en juridisch niveau. Menselijke controle moet namelijk niet alleen in de rijsystemen worden ingebouwd, maar ook in de systemen daarbuiten.”

Resultaten van het project worden in 2020 verwacht. Santoni de Sio wil de lat graag hoog leggen en verder kijken dan systemen voor geautomatiseerd rijden: “Bij voorkeur wordt de theorie ook toegepast op andere autonome systemen, bijvoorbeeld in de gezondheidszorg of financiële systemen; dat is het ultieme doel.”

Meer informatie

Filippo Santoni de Sio is universitair docent Ethics of Technology en werkt bij de sectie Ethics/Philosophy of Technology van de afdeling Values, Technology and Innovation (VTI). Onlangs heeft hij een nieuw mastervak 'Ethics of transportation' opgezet.