Het reguleren van AI-gedrag, niet de AI-theorie
De nieuwe wetten, SB 243 en AB 489, delen een gemeenschappelijke veronderstelling: dat AI-systemen met randgevallen zullen worden geconfronteerd. Deskundigen en wetgevers zien functionaliteitsproblemen waarbij gesprekken afdwalen en gebruikers emotionele, medische of belangrijke vragen in contexten brengen waarvoor het systeem niet is ontworpen.
Statisch beleid dat maanden eerder is geschreven, zal niet elk scenario dekken. Dus in plaats van conversatie-AI te verbieden, is de aanpak van Californië pragmatisch. Als een AI-systeem beslissingen beïnvloedt of een emotionele band met gebruikers opbouwt, moet het over waarborgen beschikken die standhouden in de productie, en niet alleen in de documentatie. En dit is een gebied waarop veel organisaties het minst voorbereid zijn.
AB 489: Wanneer AI klinkt als een dokter
AB 489 richt zich op een ander risico: AI-systemen die medische expertise impliceren zonder deze daadwerkelijk te hebben. Veel gezondheids- en welzijnchatbots beweren niet expliciet dat ze artsen zijn. In plaats daarvan vertrouwen ze op toon, terminologie of ontwerpkenmerken die klinisch en gezaghebbend aanvoelen. Voor gebruikers zijn deze verschillen vaak onzichtbaar of niet te ontcijferen.
Vanaf 1 januari verbiedt AB 489 AI-systemen om titels, taalgebruik of andere representaties te gebruiken die gelicenseerde medische expertise suggereren, tenzij die expertise daadwerkelijk betrokken is.
Het omschrijven van resultaten als ‘op doktersniveau’ of ‘door artsen begeleid’ zonder feitelijke onderbouwing kan een overtreding vormen. Zelfs kleine aanwijzingen die gebruikers zouden kunnen misleiden, kunnen als overtredingen gelden, waarbij de handhaving zich uitstrekt tot professionele licentiecommissies. Voor teams die patiëntgerichte of gezondheidsgerelateerde AI bouwen, creëert dit een bekende technische uitdaging: het ontwikkelen van technologie die een dunne lijn bewandelt tussen informatief en behulpzaam versus gezaghebbend. En nu, onder AB 489, is die lijn van belang.
ONTDEKKEN: Dit zijn de vier AI-techtrends die we in 2026 in de gaten moeten houden.
SB 243: Wanneer een chatbot een metgezel wordt
SB 243, ondertekend in oktober 2025, richt zich op wat wetgevers ‘companion AI’ noemen, of systemen die zijn ontworpen om gebruikers in de loop van de tijd te betrekken in plaats van een enkele transactionele vraag te beantwoorden. Deze systemen kunnen persistent, responsief en emotioneel afgestemd aanvoelen. Na verloop van tijd kunnen gebruikers ze niet meer als hulpmiddelen zien en ze als een aanwezigheid gaan beschouwen. Dat is precies het risico dat SB 243 probeert aan te pakken.
De wet stelt drie kernverwachtingen vast.
Ten eerste moet de openbaarmaking van AI continu zijn, en niet cosmetisch. Als een redelijk mens zou kunnen geloven dat hij of zij met een mens communiceert, moet het systeem duidelijk onthullen dat het AI is, niet slechts één keer, maar herhaaldelijk tijdens langere gesprekken. Voor minderjarigen gaat de wet verder en vereist frequente herinneringen en aanmoediging om pauzes te nemen, waarbij expliciet wordt beoogd de onderdompeling te onderbreken voordat deze afhankelijkheid wordt.
Ten tweede gaat de wet ervan uit dat sommige gesprekken serieus zullen worden. Wanneer gebruikers zelfmoordgedachten of intenties tot zelfbeschadiging uiten, wordt van systemen verwacht dat ze deze verschuiving herkennen en ingrijpen. Dat betekent het stopzetten van schadelijke gesprekspatronen, het uitlokken van vooraf gedefinieerde reacties en het verwijzen van gebruikers naar echte crisisondersteuning. Deze protocollen moeten worden gedocumenteerd, in de praktijk geïmplementeerd en gerapporteerd via de vereiste openbaarmakingen.
Ten derde stopt de verantwoordelijkheid niet bij de lancering. Vanaf 2027 moeten exploitanten rapporteren hoe vaak deze beveiligingen worden geactiveerd en hoe ze in de praktijk presteren. SB 243 introduceert ook een particulier actierecht, waardoor de inzet voor systemen die onder druk falen aanzienlijk wordt verhoogd.
De boodschap van dit bestuur is duidelijk: goede bedoelingen zijn niet voldoende als de AI op het verkeerde moment het verkeerde zegt.
Klik op onderstaande banner om u voor aan te melden GezondheidTech’s wekelijkse nieuwsbrief.
