Het voormalige hoofd van het zelfrijdende programma van Uber zegt dat een Tesla-crash hem een les heeft geleerd over het ‘oververtrouwen’ van AI.
In een essay dinsdag gepubliceerd in The Atlantic, schreef Raffi Krikorian dat zijn Tesla Model X “opgeteld” was nadat hij vorig jaar, met hem aan het stuur, tegen een muur crashte terwijl hij in de volledig zelfrijdende modus stond.
“Er voelde iets niet goed: het stuur schokte de ene kant op, dan de andere, en de auto vertraagde op een manier die ik niet had verwacht. Ik draaide het stuur om het over te nemen”, schreef Krikorian, die nu de CTO van Mozilla is.
“Ik weet niet precies wat het systeem deed, of waarom. Ik weet alleen dat we ergens in die seconden tegen een muur botsten”, voegde hij eraan toe.
Krikorian zei dat hij een hersenschudding had, maar verder raakte niemand gewond bij de crash, die plaatsvond terwijl hij op weg was om zijn zoon af te zetten bij een padvindersbijeenkomst in San Francisco. Tesla reageerde niet op een verzoek om commentaar.
Maar de tech-manager, die van 2015 tot 2017 leiding gaf aan de zelfrijdende divisie van Uber en toezicht hield op het testen van een vloot autonome voertuigen, zei dat het incident hem een verontrustende les leerde over AI-aangedreven rijtechnologie: het is gemakkelijk om uit te schakelen als systemen zo perfect zijn.
“Mij werd gevraagd om in een fractie van een seconde van passagier terug te schakelen naar piloot – om maandenlange conditionering te doorbreken in de tijd die nodig is om met de ogen te knipperen”, schreef hij.
Moderne rijhulpsystemen, zoals Volledig zelfrijdend Tesla (FSD), kan vrijwel elke rijsituatie aan.
Deze AI-systemen zijn echter niet onfeilbaar. Tesla en andere fabrikanten eisen dat bestuurders toezicht houden op het voertuig en klaar staan om het in een mum van tijd over te nemen als er iets misgaat.
“Een machine die perfect werkt heeft geen toezicht nodig. Maar een machine die bijna perfect werkt? Dat is waar het gevaar schuilt”, schreef Krikorian.
FSD heeft een geschiedenis van incidenten
Voorvallen waarbij FSD fouten maakt, zijn goed gedocumenteerd. Tesla wordt geconfronteerd regelgevende onderzoeken over berichten dat voertuigen uitgerust met de software aan de verkeerde kant van de weg reden, door rood reden en probeerden er doorheen te rijden spoorwegovergangen.
Het bedrijf is geconfronteerd meerdere rechtszaken over dodelijke crashes waarbij FSD en zijn voorganger Autopilot betrokken waren, en vorig jaar werd veroordeeld tot het betalen van iets meer dan $ 242 miljoen aan schadevergoeding voor een crash in 2019 waarbij een 22-jarige vrouw om het leven kwam.
De autofabrikant van Elon Musk is ook onder de loep genomen vanwege de marketing van FSD en Autopilot, waarbij een rechter in Californië afgelopen december oordeelde dat Reclame van Tesla Er werd ten onrechte gesuggereerd dat auto’s die met deze technologie waren uitgerust, zelf zouden kunnen rijden.
Tesla is niet de enige fabrikant die in de problemen komt vanwege zijn rijhulpsysteem.
Ford wordt geconfronteerd met een regelgevend onderzoek naar twee dodelijke ongelukken in 2024 waarbij de autofabrikant uit Detroit betrokken was BlueCruise-technologiemet documenten die eerder deze maand door de National Transportation Safety Board (NTSB) zijn vrijgegeven, waaruit blijkt dat beide bestuurders voorafgaand aan de crashes waren afgeleid.
Uber kreeg in 2018 te maken met de uitdagingen die rijhulptechnologie met zich meebracht. Een jaar nadat Krikorian het bedrijf verliet, reed een Uber-testvoertuig autonoom met een veiligheidsoperator een voetganger aangereden en gedood in Arizona.
Een NTSB-onderzoek ontdekte dat de veiligheidsoperator de omgeving niet in de gaten hield en werd afgeleid door haar mobiele telefoon, en bekritiseerde de “ontoereikende veiligheidscultuur” van Uber. Uber heeft in 2020 zijn poging om zelfrijdende auto’s in eigen beheer te bouwen gestaakt.
