Token
In de wereld van AI en grote taalmodellen (LLM’s) is een token de absolute basiseenheid van informatie. Wanneer we praten met een AI-systeem, lijkt het alsof de computer vloeiend menselijke taal leest en schrijft, net zoals wij dat doen. Achter de schermen is een AI-model echter een wiskundige machine die niet direct met letters of woorden overweg kan. Voordat een model jouw vraag kan verwerken, activeert het een proces dat tokenisatie heet. Hierbij wordt de ingevoerde tekst vlijmscherp opgeknipt in kleine stukjes: de tokens. Dit kunnen hele woorden zijn, maar vaak zijn het delen van woorden, lettergrepen of zelfs losse leestekens.
De wiskundige logica achter tekstfragmenten
Als vuistregel kun je in het Engels aanhouden dat één token gelijkstaat aan ongeveer vier tekens, of driekwart van een gemiddeld woord. Honderd woorden bestaan daardoor grofweg uit 130 tot 140 tokens. In talen zoals het Nederlands ligt dit aantal vaak iets hoger, omdat Nederlandse woorden langer en complexer zijn (denk aan samengestelde woorden zoals “klantenservicemedewerker”). Het AI-model hakt zo’n lang woord op in logische, herkenbare lettergrepen. Vervolgens krijgt elk uniek token een specifiek identificatienummer toegewezen. Vanaf dat moment rekent de AI niet meer met letters, maar met getallen om patronen en waarschijnlijkheden te voorspellen.
Waarom tokens de valuta van de AI-wereld zijn
Voor organisaties die AI-systemen implementeren, zijn tokens de belangrijkste factor om rekening mee te houden. Ze fungeren namelijk als de ‘valuta’ van de AI-wereld op twee cruciale gebieden:
- Kostenstructuur: Techgiganten en AI-providers (zoals OpenAI of Anthropic) berekenen hun tarieven vrijwel altijd per duizend of per miljoen tokens. Zowel de tekst die je naar het model toe stuurt (input tokens) als het antwoord dat de AI genereert (output tokens), kosten geld.
- Geheugencapaciteit: Elk AI-model heeft een harde technische limiet, het zogeheten context window (contextvenster). Dit venster bepaalt hoeveel tokens het model in één keer kan onthouden en verwerken. Als een gesprek, inclusief de meegestuurde documenten via een RAG-systeem, de tokenlimiet overschrijdt, begint de AI eerdere details letterlijk te ‘vergeten’.
Token-efficiëntie bij softwareontwikkeling
Bij het ontwerpen van professionele AI-applicaties is het de sport om zo efficiënt mogelijk met tokens om te springen. Dit is de reden waarom technieken zoals prompt engineering en het goed inrichten van een context layer zo belangrijk zijn. Door prompts compact te formuleren, irrelevante data vooraf weg te filteren en de AI te instrueren om to-the-point te antwoorden, bespaar je direct op de computerkosten. Bovendien zorgt een lager aantal tokens ervoor dat het AI-model veel sneller reageert, wat de gebruikerservaring binnen de organisatie aanzienlijk verbetert.
Veelgestelde vragen
Als een model elk woord als een aparte eenheid zou moeten leren, zou de database met unieke woorden (het vocabulaire) oneindig groot worden door alle verschillende vervoegingen, meervoudsvormen en typefouten. Door woorden op te knippen in kleinere bouwstenen (sub-words), kan de AI met een relatief compacte set tokens (vaak rond de 100.000) elke denkbare tekst ter wereld begrijpen en samenstellen.
Vrijwel alle grote AI-aanbieders stellen gratis online tools ter beschikking, de zogenaamde Tokenizers. Hier kun je een lap tekst inplakken, waarna de software visueel met verschillende kleuren laat zien hoe een specifiek LLM-model de tekst in stukjes hakt en exact hoeveel tokens dit kost.
Ja, absoluut. Een punt, komma, vraagteken of uitroepteken wordt door het model vrijwel altijd als een los token geteld. Ook de spaties tussen woorden of een harde regelafbreking (wanneer je op Enter drukt) worden in de wiskundige vertaling meegerekend als tokens.
Bij vrijwel alle AI-providers zijn input tokens (de tekst en context die je naar binnen stuurt) aanzienlijk goedkoper dan output tokens (de tekst die de AI zelf moet genereren). Dit komt omdat het genereren van nieuwe tekst veel meer computerkracht en rekenkundige voorspellingen van de servers vereist dan het puur ‘lezen’ en analyseren van de invoer.
