Een betrouwbare ChatGPT: paradox of haalbare kaart?

Generatieve AI, een toekomstige bron van betrouwbare informatie?

Wolters Kluwer is al jaren een van de belangrijkste bronnen van betrouwbare vakinformatie. Een klant vertelde me eens dat ze ons beschouwen als een ‘single source of truth’, een heel mooi compliment. En inderdaad, alles wat bij ons ‘aan de voordeur’ vertrekt, krijgt van onze vakspecialisten een kwaliteitsgarantie mee. Daar kunnen juridische en fiscale professionals blindelings op vertrouwen.

ChatGPT daarentegen, hallucineert er vrolijk op los en genereert output die incorrect kan zijn. Het achterliggende taalmodel is dan ook getraind op het hele internet tot 2021. Niet meteen geruststellend voor juridische en fiscale professionals die zich moeten baseren op 100% betrouwbare informatie.

De betrouwbaarheid van de informatie is één van de belangrijkste thema’s rond generatieve AI. Elke keer als ik in gesprek ga met klanten, komt dit vraagstuk terug. Gevolgd door: wat gaat Wolters Kluwer doen om ervoor te zorgen dat we het beste van de twee werelden hebben?

Gelukkig zijn we als bedrijf al heel lang met AI bezig en implementeren we dit in onze producten. Nu experimenteren we ook volop met generatieve AI. We hebben samen met Microsoft een proeftuin gecreëerd. Dit is een afgesloten omgeving waarin we op een veilige manier kunnen experimenteren met het achterliggende taalmodel van ChatGPT. Zo experimenteren we onder andere met het verbeteren van prompts, om de betrouwbaarheid van de gegenereerde resultaten naar een hoger plan te tillen. Juist omdat we kunnen experimenteren in deze veilige omgeving, hoeven we ons geen zorgen te maken dat we het open taalmodel voeden met auteursrechtelijk beschermde of bedrijfsgevoelige informatie.

Onze experimenten leiden vandaag al tot een veel correcter resultaat dan wanneer je de publieke ChatGPT gebruikt. Toch is dit nog niet goed genoeg. Er is geen garantie dat de output 100% correct is en je kunt meestal nog niet achterhalen hoe deze tot stand is gekomen. Daarom testen we nu bijna elk taalmodel dat vandaag beschikbaar is. We experimenteren met verschillende technologieën om tot de beste en meest betrouwbare toepassing te komen. 

Auditable & explainable: 2 kernbegrippen

Om in een juridische en fiscale context bruikbaar te zijn, moet output die voortkomt door gebruik te maken van AI-technologie ‘explainable’ en ‘auditable’ zijn.

‘Explainable’ valt simpelweg te vertalen als ‘uitlegbaar’. Dit houdt in dat we moeten begrijpen en kunnen uitleggen hoe een tool een antwoord genereert.

‘Auditable’, of ‘controleerbaar’, slaat op het feit dat we bij elk gegenereerd antwoord moeten kunnen achterhalen of het antwoord correct is of niet. Want zeker in een eerste fase zal AI-gegenereerde output door de mens gevalideerd moeten worden.

Bij onze ontwikkelingen zullen ervaren domeinexperts het taalmodel continu moeten trainen en verbeteren. Dit doen we onder andere door de content te annoteren en de feedback steeds terug te koppelen naar het systeem, zodat het bijleert en de antwoorden steeds beter worden.

Dit vergt veel vakkennis en ervaring. Sterker nog, hoe beter het algoritme wordt, hoe complexer deze validatie wordt. Want hoe correcter het algemene resultaat, hoe kritischer je moet blijven kijken om de inconsistenties en onwaarheden eruit te filteren. 

De hamvraag: hoe zal generatieve AI onze manier van werken veranderen?

Voorlopig zullen de huidige tools en databases nog nodig zijn, maar de technologie van generatieve AI zal het onderzoeksproces op termijn radicaal kunnen veranderen. We zien nu al dat generatieve AI mensen helpt om creatiever te zijn. De technologie reikt nieuwe en onverwachte invalshoeken aan, net omdat het associaties maakt op basis van een immense hoeveelheid informatie. Dit levert soms heel onverwachte wendingen op.

Verder zal generatieve AI vooral ook de productiviteit een boost geven door het onderzoek en opzoekwerk te versnellen. Generatieve AI neemt in een mum van tijd enorme hoeveelheden informatie door en vat deze samen in een samenhangende tekst.

De meeste uitvoerende taken zullen verder geautomatiseerd worden en de inhoud van het werk zal daardoor grondig veranderen. Bedrijven zullen meer werk aankunnen en de vrijgekomen tijd aan het menselijke aspect van hun werk kunnen besteden. Aan creatief denkwerk en proactief advies. Ze zouden meer tijd kunnen vrijmaken voor de mens die voor hen zit, om diepgaand te luisteren en nog beter te helpen.

Van beperkingen naar mogelijkheden

Een recent onderzoek van Wolters Kluwer en Above the Law stelt dat meer dan 80% van de advocaten gelooft dat generatieve AI een aanzienlijke transformatie teweeg zal brengen op het vlak van efficiëntie. Meer dan 60% stelt dat goed gebruik van generatieve AI het succes van een advocatenkantoor zal gaan bepalen.

Als we dat onderzoek in de Benelux zouden herhalen, denk ik dat we tot vergelijkbare resultaten zouden komen. Waar veel bedrijven eerder nog sceptisch waren over AI in het algemeen, komen zij nu spontaan met vragen over generatieve AI naar ons toe.

Sectoren die voorheen misschien als conservatief werden beschouwd, pakken het nu heel anders aan. Men staat open voor de nieuwe mogelijkheden die de technologie biedt.

Ik word ontzettend enthousiast van het feit dat juridische en fiscale professionals nu al actie ondernemen om die nieuwe manieren van werken ten volle te omarmen.

Hoe we morgen precies zullen werken is moeilijk te voorspellen. Maar bedrijven die nu met AI aan de slag gaan, zullen sowieso een grote voorsprong hebben. Niemand wil de AI trein missen, ook al weten we nog niet precies waar die ons heenbrengt.