Sluimerend gevaar van ChatGPT: 'Je kunt niet meer onder de motorkap kijken'

En wat bleek? "De helft van de tijd gaf hij goed antwoord!" Ze wilde zien of het zogenoemde taalmodel in 'typische instinkvragen kon trappen'. En dat kon hij zeker: "De andere helft van de tijd was hij niet slim genoeg om de addertjes onder het gras te zien."

Tentamens maken

De nieuwe versie van ChatGPT kenmerkt zich vooral door het aantal woorden dat het kent. "Versie 3.5, waar iedereen online mee kon experimenteren, kon 3000 woorden lezen en daarop reageren. Versie 4 kan 6000 tot 24000 woorden lezen en begrijpen. Dat betekent dat je veel meer complexe vragen kan stellen." Zoals wiskundepuzzels dus, of zelfs complete tentamens aan de tekstgenerator voorleggen.

Zowel de vorige versie als deze kunnen ook toetsen maken. "Een universitair docent van de Universiteit Groningen heeft zijn tentamen voorgelegd aan ChatGPT en die was geslaagd", vertelt Van Stegeren enthousiast.

"Ik weet dat studenten tentamenvragen hebben voorgelegd, maar GPT4 is ook de versie die een paar weken geleden in de Bing-zoekmachine is ingebouwd. Je kan allerlei dingen vragen en krijgt steeds vaker een goed antwoord. Je kan er nu eigenlijk heel chatgesprekken mee voeren; alsof je met een robot praat op Whatsapp."

Hallucineren

Maar, vervolgt ze, er zitten ook nadelen aan deze software. "Dit soort taalmodellen heeft de neiging om te hallucineren: dan verzinnen ze feiten, omdat ze te weinig informatie hebben. Je kan bijvoorbeeld aan een taalmodel vragen om te bewijzen dat het getal twaalf een priemgetal is en dan gaat dat taalmodel daar gewoon in mee. Maar dat is natuurlijk niet zo. Als je niet genoeg kennis van zaken hebt, kan je niet zien wanneer zo'n model totale onzin uitkraamt of wanneer het wel klopt wat hij zegt."

Daarnaast zit er natuurlijk ook een bedrijf áchter ChatGPT. "Dit is supergave, innovatieve technologie, maar er zit wel een Amerikaans techbedrijf achter. En dat bedrijf heeft ook weer aandeelhouders en een winstoogmerk. In de afgelopen jaren zie ik dat dat bedrijf OpenAI steeds minder open wordt over hoe hun modellen precies werken. Vroeger publiceerden ze alles waar zo'n taalmodel op was gebaseerd, maar nu roepen ze heel trots dat ze alles geheim houden. We hebben nu wel ChatGPT en we kunnen ermee praten, maar we kunnen niet onder de motorkap kijken wat er gebeurt met onze data", zegt de onderzoeker.

Data

En het data-stukje is waar het gevaar met dergelijke taalmodellen zit. "Iedereen gaat er wild mee experimenteren en dat is heel goed voor het vakgebied. Je ziet dat grote bedrijven als Slack en Discord het willen gaan integreren in hun diensten: veel techbedrijven willen meeliften op deze enorme golf van aandacht. Maar als we dit overal gaan integreren krijgt OpenAI overal stukjes van onze data. Dat vind ik wel zorgwekkend, als dat allemaal wordt doorgesluisd naar een Amerikaans bedrijf."