De voorbije dagen heb ik zoveel onzin gelezen over AI door het incident van Prof. Dr. De Sutter, rector UGent, dat duidelijk is dat het merendeel van onze bevolking nood heeft aan digitale geletterdheid. Mijn oprechte dank aan De Sutter om dit ongewild te verduidelijken. Ik laat de titels even vallen, niet uit disrespect, maar omdat dit wat vlotter schrijft. Plots lijken alle machine learning algoritmen gelijkgesteld te worden aan de algemene noemer artificiële intelligentie en wordt men zich bewust van de gevaren. Laat het duidelijk zijn: Ik vind het straf dat een wetenschapper zich laat vangen en fake citaten citeert. In mijn deontologische code als wetenschapper is dat …onbegrijpelijk, ondenkbaar zelfs. Bronnen checken… dat is zelfs geen digitale geletterdheid, maar een basiscompetentie die al vanaf de eerste bachelor aangeleerd wordt. Maar wat nu wél zeer duidelijk is: dergelijk incident was blijkbaar nodig om enig bewustzijn te creëren.
Doet dat écht afbreuk aan de overige competenties van De Sutter? Uiteraard niet. Ze heeft al haar credentials overigens in een pré-llm tijdperk behaald. Toen de ‘dinosaurussen nog leefden,’ zou mijn zoon zeggen. Hij hallucineert er ook soms een op los, en weet donders goed dat mensen en dinosaurussen nooit samen leefden. Maar los van wat je nu op social media ziet: studenten krijgen heus niet prompt een nul als ze dergelijke flater begaan. Het zal zeker wél effect hebben op het eindresultaat en ook tot een verder debat met de student leiden, maar ook hen laten we toe te wennen aan en leren omgaan met deze nieuwe tools. Tenzij het duidelijk excessief gebruikt werd uiteraard. Een student op een schriftelijk examen met gsm en ChatGPT betrappen …dat is zo één voorbeeld. Smart glasses met ChatGPT tijdens een mondeling examen … ook een voorbeeld. Hoogdravende tekst met holle argumenten tegenkomen een ander. Doorgaans opgelost door de student te ondervragen rond wat deze ‘zelf’ schreef. Allemaal voorbeelden uit eigen omgeving overigens.
Bon, terug naar waar ik heen wou: er is een verschil tussen AI en machine learning, al wordt dat vaker op één hoop gegooid (En er bestaan ook verschillende inkleuringen overigens, maar allen hebben ze gemeen dat AI en ML niet hetzelfde zijn). Ik voel me toch even geroepen dit te verduidelijken. Je hoeft geen zware opleiding genoten te hebben om dat te begrijpen, maar mogelijk ben ik door een specialisatie in digital health (Kort voor: machine learning binnen de gezondheidssector) aardig wat alerter.
AI streeft het nabootsen van intelligentie na en daarbij is menselijke intelligentie zowat de norm. Laat die ‘menselijke intelligentie’ nu zeer feilbaar zijn, bijgevolg een systeem dat dit nastreeft ook. Hoe straf het ook mag lijken. Wie weet hoe deze zaken ontworpen zijn, weet ook dat llm’s het ‘vergeten’ en ‘beperkte aandachtsspanne’ al vrij accuraat nabootsen door de onderliggende architectuur alleen.
Machine learning – de algoritmen die banken gebruiken om leningen toe te kennen of inspectiediensten om fraude op te sporen – zijn van een heel andere strekking. Die hebben hun eigen issues en vals positieven/negatieven zijn de bekendste problemen, maar het verschil zit hem vooral in het feit dat deze patronen zoeken in data. Patronen die wij als mens niet zouden ontdekken. Noem het dus de ‘hogere’ intelligentie, we streven naar een proces dat dingen blootlegt die wij – met onze menselijke intelligentie – niet zien …hoewel ook hier een menselijke toets noodzakelijk blijft want één van de struikelblokken is, naast eerder vermelde issues, dat hier doorgaans gebruik wordt gemaakt van historische data en ‘garbage in = garbage out’. Niet zelden blijken die patronen discriminatie te reproduceren. Discriminatie die blootgelegd wordt en waar we ons eerder zelfs niet van bewust waren. ‘Weapens of Math Destruction’ van O’Neil is hier een aanrader. Het blind inzetten van ML voor om het even wat is dus evenmin een strak plan. Niettemin is het voor bepaalde zaken wél een goed idee om dit in te zetten. Zo zijn er wel degelijk algoritmen die kanker veel sneller opsporen voor enig specialist dit kan (of die dit überhaupt opmerken). Op vlak van beeldverwerking steekt de machine de mens ook vaak met gemak voorbij. Puur AI zou het menselijk falen repliceren. Denk ook aan de mogelijkheden die ‘big data’ via een electronic health record mogelijk maken: historische gegevens, ook van je familiegeschiedenis waar de nieuwe ontdekkingen voor het grijpen liggen. Ongekende verbanden, verborgen in bergen data die wij nooit zouden zien als mens. Zie de mogelijkheden dat dit kan bieden op vlak van gepersonaliseerde zorg. Stel je nu voor dat verzekeringsmaatschappijen daar toegang toe krijgen. Weer een ander verhaal…
Maar wat is het doel van een large language model als chatgpt? Dat moet zo menselijk mogelijke tekst reproduceren. De voorwaarde is niet dat het feilloze tekst moet produceren… zo’n systeem heeft zeker ook zijn kracht. Ik vergelijk het met een rekenmachine: het versnelt je proces door het rekenwerk uit handen te nemen, het gaat je geen wiskundige maken. Je moet nog steeds de onderliggende wiskunde begrijpen van zodra je wat complexer gaat werken. Je kan met een chatgpt schrijven, maar je moet de basisvaardigheden van dat schrijven nog steeds in de vingers hebben of je haalt voor je het weet ‘een De Sutter’tje uit’… en daarnaast is de opbouw van je tekst/argument ook brak zonder interventie.
Ik lieg niet als ik zeg dat het gebruik van large language models als chatgpt, ook onder academici, me vandaag sterk verontrust. Ik zou kunnen pochen dat dit aan de Vrije Universiteit Brussel ondenkbaar is, maar niks is minder waar. Mark my words: dit wordt niet het laatste incident. Ook collega’s moeten dringend leren omgaan met deze recente ontwikkelingen (en ze volgden niet allemaal (recent) een specialisatie in dit domein ). Als het op digitale competenties aankomt …zijn er behoorlijk wat die al decennia achterlopen. Niettemin, als je academisch kán schrijven is een llm als ChatGPT een sterke bondgenoot om je teksten sneller vlot te krijgen. Als je het misbruikt spot je enerzijds de oppervlakkigheid in redeneringen al snel, of – en deze vond ik tot vandaag vrij verwaarloosbaar omdat ik dacht dat wetenschappers per definitie kritisch met bronnen omgaan – verweef je hallucinaties in je tekst.
Maar de strijd tégen llm’s is even ridicuul. Zo stel ik vast dat verschillende hogescholen en universiteiten tools als Pangram gebruiken om gebruik van deze llm’s te spotten. Probleem: ook als de tekst volledig uitgaat van jouw ideeën en oorspronkelijke tekst, wordt dit prompt als ‘AI generated’ aangeduid. Dat kan niet de bedoeling zijn. Daarnaast is de kans op vals positieven niet gering. Historische teksten doorstonden de test ook niet. Zo werd de ‘Declaration of Independence’ uit 1776 ook al gemarkeerd als fully AI generated. Blijkt dat consistente schrijfsels (qua stijl) best veel kans hebben als dusdanig gemarkeerd te worden. Maar nu llm’s categoriek gaan weren bij schrijven, dat is – wat mij betreft – vergelijkbaar met de rekenmachine uit de wiskunde weren.
Meer nog, detectietools als Pangram zijn mits enige kunde relatief makkelijk te omzeilen. Ik zou geen IT’er zijn als ik dit niet allemaal al testte . Dat zorgt ervoor dat we nu een voordeel creëren voor de technisch onderlegde studenten: zij omzeilen deze detectietools met gemak. Degene die wat minder onderlegd zijn lopen tegen de lamp. Ook dat kan niet de bedoeling zijn. Het lijkt me dan ook enerzijds onze taak om studenten nóg kritischer met bronnen te leren omgaan, maar er ook voor te blijven zorgen dat ze degelijk leren schrijven en argumenteren. Schrijven dwingt je nl. te vertragen en je denkproces op orde te krijgen (Helemaal in de menswetenschappen of bij kwalitatief onderzoek. In exacte wetenschappen of zelfs een groot deel van de gezondheidswetenschappen merk ik dat taal weer wel veel gestandardiseerder binnen onderzoek). Sla je dat proces echter over, dan mis je een belangrijk onderdeel in het wetenschappelijk denken. Het doel van een universitaire studie is immers nog altijd academische vaardigheden bij te brengen. Wil je vooral praktischer gevormd worden, dan ga je naar een hogeschool. Maar het vraagt dus werk om zoiets studenten bij te brengen. Met stijgende studentenaantallen en dalende middelen, is dat een zeer zware opdracht. Het vereist mondelinge examens en – opnieuw – schrijfopdrachten tijdens een examen. Dat laatste heb ik al ingevoerd. Met zo’n 400 studenten ben ik dus wel even zoet. Hoe ik een mondeling examen alleen zou moeten organiseren voor mijn vakken… een open vraagstuk.
Maar als je nu een llm nà je schrijfproces gebruikt om je tekst nog vlotter te krijgen, why not? Ideaal ook om wat schrijffouten uit een tekst te halen. Want nee, het is niet omdat je wat langer studeerde dat je daar plots immuun voor bent. Taal maakt overigens (helaas) amper deel uit van opleidingen. Het verschil is dat we daar tot voor kort moesten wachten tot een vertaler tijd had dat te doen omdat de wetenschappelijke wereld zo georganiseerd is dat schrijven in je moedertaal zelden kan… In een andere taal schrijf je nooit even vlot.
Deze tekst werd overigens zonder llm geschreven. Ik ben me echter zeer bewust dat een llm dit wellicht korter en meer to the point kon krijgen…
