Training Data Set
Een training data set is het absolute fundament van elk AI-systeem. Je kunt het vergelijken met de schoolboeken en het lesmateriaal dat een student gebruikt om te studeren voor een examen. Een AI-model begint zijn bestaan als een onbeschreven wiskundig blad; het heeft nog geen flauw idee wat het moet doen. Pas wanneer je het model voedt met een specifieke, vaak gigantische verzameling data kan het systeem wetmatigheden, structuren en patronen gaan ontdekken. Of een AI-model straks uitblinkt in zijn werk of volledig de plank misslaat, hangt voor 100% af van de kwaliteit van deze set.
Waarom data-hygiëne de echte sleutel tot succes is
Het transformeren van een ruwe training data set in een intelligent model gebeurt via een intensief leerproces. Afhankelijk van de gekozen leermethode kan deze dataset verschillende vormen aannemen. Bij Supervised Learning bestaat de dataset uit gelabelde voorbeelden. Wil je een model leren om medische scans te beoordelen, dan voed je het met duizenden röntgenfoto’s waarbij menselijke artsen vooraf handmatig hebben aangegeven: “Dit is een gezonde long” en “Dit is een longontsteking”. Het algoritme past zijn interne instellingen (parameters) net zo lang aan totdat het de wiskundige logica achter deze labels begrijpt, zodat het later gloednieuwe scans zelfstandig kan classificeren.
De gouden wet van AI
Binnen de datawetenschap is er één gouden regel die elke engineer hanteert: Garbage in, garbage out (rommel erin, rommel eruit). Als een training data set incompleet is, vol met typefouten zit, of simpelweg verouderde informatie bevat, zal het resulterende AI-model feilloos diezelfde fouten overnemen en reproduceren. Daarnaast is bias (vooroordeel) een enorm risico. Als een bank een AI-model traint om kredietwaardigheid te beoordelen, en de historische trainingsdataset bevat onbewuste vooroordelen van menselijke beoordelaars uit het verleden, dan zal het algoritme deze discriminatie versterken en institutionaliseren. Het opschonen, balanceren en controleren van de dataset is dan ook het belangrijkste (en meest tijdrovende) werk bij de ontwikkeling van AI.
Het verschil met de Validation en Test Set
Een veelgemaakte denkfout is dat alle beschikbare data in de trainingsfase wordt gegooid. In de praktijk splitsen data-engineers een verzamelde dataset vrijwel altijd op in drie afzonderlijke delen om de kwaliteit te bewaken:
- Training Set (ca. 70-80%): De daadwerkelijke data waarmee het model oefent en zijn parameters afstelt.
- Validation Set (ca. 10-15%): Een tussentijdse dataset waarmee de engineer controleert of het model de goede kant op leert en waarmee de instellingen fijngevoelig worden bijgesteld.
- Test Set (ca. 10-15%): Een set met data die het model nog nooit heeft gezien. Dit is het uiteindelijke ‘examen’ om objectief te meten hoe nauwkeurig het model in de echte wereld presteert.
Veelgestelde vragen
Dat hangt volledig af van de complexiteit van de taak. Voor een simpel Machine Learning-model dat huizenprijzen voorspelt op basis van vierkante meters en locatie, heb je soms genoeg aan een paar honderd regels in een Excel-bestand. Grote taalmodellen (LLM’s) hebben daarentegen trainingsdatasets nodig die bestaan uit honderden gigabytes aan tekst, oftewel miljarden woorden van het internet.
Overfitting gebeurt wanneer een model de training data set te strak uit zijn hoofd leert. Het model herkent de specifieke trainingsvoorbeelden perfect, maar verliest het vermogen om te generaliseren. Het is te vergelijken met een student die de exacte examenvragen van vorig jaar uit zijn hoofd leert: zodra er op het echte examen een vraag wordt gesteld die net iets anders is geformuleerd, zakt hij onmiddellijk.
Dit is momenteel een van de grootste juridische strijdpunten wereldwijd. Veel makers van generatieve AI hebben data van het internet ‘gescraped’ om hun modellen te trainen. Auteurs, kunstenaars en uitgevers spannen steeds vaker rechtszaken aan wegens schending van het auteursrecht. Voor bedrijven is het daarom veiliger om modellen te trainen op eigen, intern gegenereerde data of gelicentieerde datasets.
Synthetische data is data die niet door echte menselijke handelingen of gebeurtenissen is ontstaan, maar die kunstmatig is gegenereerd door een ander computerprogramma of AI-model. Dit wordt veel gebruikt wanneer echte data extreem schaars is of wanneer privacywetgeving (AVG) het gebruik van echte persoonsgegevens verbiedt.
