Advocaten blijven zich branden kunstmatige intelligentie die cases bedenkt en offertes opstelt. Nu geven sommige advocaten de software die ze gebruikten een naam.
Vorige maand verontschuldigde een letselschadeadvocaat uit Louisiana zich nadat hij documenten had ingediend waarin een echte rechterlijke beslissing werd aangehaald, maar passages werden aangehaald die niet bestonden. De fouten kwamen voor in twee dossiers bij de 19e Judicial District Court in Baton Rouge en werden opgemerkt door de tegenpartij.
“Ik probeer te begrijpen hoe ik deze fout heb gemaakt”, schreef Ross LeBlanc, een partner bij Dudley DeBosier, op 27 maart in een privébrief aan rechter William Jorden. Eerder dit jaar, zei hij, begon hij een programma voor kunstmatige intelligentie te gebruiken genaamd Vooravond pleidooien op te stellen. In eerste instantie controleerde hij de citaten vaak. “Ze hadden altijd gelijk als ik ze controleerde”, schreef hij.
Die consistentie gaf hem vertrouwen, en uiteindelijk stopte hij met controleren, zei hij.
“Ik had nooit gedacht dat mij dit zou kunnen overkomen”, schreef LeBlanc, eraan toevoegend dat hij er niet zeker van kon zijn of de fout te maken had met de software van Eve of dat hij iets te haastig had gekopieerd en geplakt.
Jay Madheswaranm, CEO van Eve, vertelde donderdag aan Business Insider dat het bedrijf na een grondige audit van de zaak met Dudley DeBosier bevestigde dat Eve “geen enkel gevalscitaat in deze zaak hallucineerde”, inclusief eventuele verzonnen citaten.
Rechtbanken hebben advocaten sancties opgelegd voor het indienen van documenten met fouten gemaakt door kunstmatige intelligentie – vaak ‘hallucinaties’ genoemd. Vorige week, Sullivan & Cromwelleen van de oudste en meest elitaire advocatenkantoren van het land, heeft bij een federale rechter zijn excuses aangeboden voor een soortgelijke fout.
Wat hier nieuw is, is het schuldspel. Wanneer een advocaat de betrokken tools noemt, worden de bedrijven achter de software in de schijnwerpers gezet en kunnen ze te maken krijgen met reputatierepercussies.
Juridische softwarebedrijven als Harvey, Legora en Eve hebben miljarden dollars opgehaald met de belofte dat ze advocaten sneller kunnen maken – en bedrijven een betrouwbaarheidsniveau kunnen bieden dat universele tools niet kunnen evenaren. Als hun software klanten voor de rechter in verlegenheid brengt, erodeert dat vertrouwen.
Damien Charlotin, een Franse onderzoeker houdt hallucinaties bij in rechtszakenschat dat in minder dan 10% van de gevallen de gebruikte software wordt geïdentificeerd. Veel advocaten, zo vermoedt hij, houden dat deel privé omdat ze afhankelijk zijn van gratis chatbots zoals ChatGPT of andere kant-en-klare tools die mogelijk niet geautoriseerd zijn voor het werk van cliënten.
Vorig jaar, een Latham & Watkins-advocaat Het verdedigen van Anthropic in een auteursrechtzaak haalde de krantenkoppen na het citeren van een artikel dat niet bestaat. De advocaat zei dat de fout voortkwam uit het gebruik van Anthropic’s eigen chatbot, Claude, die een artikeltitel en auteurs verzon.
Eve-medeoprichters David Zeng, Jay Madheswaran en Matt Noe. Vooravond
Eve bouwt software voor advocaten aan de kant van de eiser, waarbij gebruik wordt gemaakt van grote taalmodellen, waarmee ze documenten kunnen opstellen, medische geschiedenissen in kaart kunnen brengen en ontdekkingsverzoeken kunnen verzenden en erop kunnen reageren. Het bedrijf werd gewaardeerd op $1 miljard nadat het ongeveer een jaar geleden een financieringsronde van $103 miljoen had opgehaald. Madheswaranm zei dat Eve nu meer dan 200.000 documenten en andere resultaten per maand verwerkt – ongeveer honderd keer zoveel als een jaar geleden.
LeBlanc vertelde de rechter dat hij op zijn hoede was voor de technologie, in het algemeen vanwege de ‘horrorverhalen’ over gehallucineerde jurisprudentie. Hij zei dat hij overtuigd was nadat Eve de tool aan zijn firma had gepresenteerd en zijn advocaten had verzekerd dat er voorzorgsmaatregelen waren getroffen om fouten te verminderen. Hij geloofde dat het risico beperkt bleef zolang hij zijn eigen risico’s uitvoerde juridisch onderzoek en gaf de software de opdracht om alleen op goedgekeurde bronnen te vertrouwen.
Vervolgens wees de tegenpartij in de persoonlijk letselzaak op zijn fouten.
De verontschuldiging van LeBlanc kwam deze maand aan het licht in een afzonderlijk geval van struikelen en vallen in een Lowe’s-winkel. De advocaat van de tegenpartij trof hallucinaties aan in een brief van Dudley DeBosier en nam de brief van LeBlanc op in een verzoek waarin de rechtbank werd opgeroepen haar onderzoek naar mogelijke sancties uit te breiden.
Dudley DeBosier heeft een motie ingediend om het verzoek van de tegenpartij in te trekken, omdat deze zegt dat de zaken niets met elkaar te maken hebben. Het kantoor gaf ook aan dat een advocaat Claude gebruikte om te helpen bij het opstellen van de opdracht in de zaak Lowe.
Het is een opvatting die breed wordt gedeeld door softwarebedrijven en advocatenkantoren dat kunstmatige intelligentie kan helpen bij onderzoek en opstellen, maar dat de verantwoordelijkheid voor het eindproduct blijft bij de mens die de indiening ondertekent.
Madheswaran zei dat Eve dat expliciet maakt in haar contracten en in de onboarding met nieuwe klanten. De software bevat ook functies die zijn ontworpen om fouten op te sporen voordat ze de rechtszaal bereiken, hoewel deze niet altijd werken. Sommige fouten zijn moeilijker te ontdekken dan andere, zei hij. Bevestigen dat een case bestaat, is eenvoudiger dan verifiëren dat een offerte exact is.
Nu de advocatuur zich haast om kunstmatige intelligentie toe te passen, is de kans groter dat fouten worden ontdekt. Rechtbanken worden steeds wijzer over de technologie en de advocaten van de tegenpartij passen hun tactiek aan. In plaats van alleen juridische argumenten aan te vallen, scannen advocaten de dossiers op fouten die de geloofwaardigheid van de andere partij zouden kunnen ondermijnen.
Chad Dudley, een van de oprichters van Dudley DeBosier, een bedrijf met ongeveer veertig advocaten, zei dat het zijn advocaten traint om de gegenereerde resultaten zorgvuldig te beoordelen en van hen verlangt dat ze ermee instemmen de technologie op verantwoorde wijze te gebruiken.
LeBlanc van zijn kant zei dat hij hoopt dat andere advocaten van zijn fout leren. Hij vertelde Business Insider donderdag dat Eve hem hielp sneller te bewegen onder tijdsdruk, maar nadat de fouten aan het licht kwamen, voelde hij zich “maagpijn” en kon hij niet slapen.
“Ik ben verantwoordelijk voor het controleren van alles, ongeacht welke technologie er komt”, zei hij.
Hij geeft Eva niet de schuld van de blunder. Toch legt hij het gereedschap voorlopig neer.
“Ik heb het gevoel dat, gezien wat er is gebeurd,” zei hij, “het eerlijk is om een afkoelingsperiode te hebben, weet je, om gras te raken.”
Heeft u een tip? Neem contact op met deze verslaggever via e-mail op mrussell@businessinsider.com of Signaal op @MeliaRussell.01. Gebruik een persoonlijk e-mailadres en een niet-werkapparaat; hier is onze gids voor het veilig delen van informatie.
