Een AI-systeem, zoals een large language model (LLM), gebruikt tokens (woorden of delen van woorden) in een één-dimensionale volgorde, vergelijkbaar met hoe tekst is georganiseerd in een zin.
Echter, om de context en betekenis van deze tokens te begrijpen, verwerkt het systeem ze met behulp van embeddings, die multi-dimensionale vectorrepresentaties zijn. Deze embeddings hebben honderden tot duizenden dimensies en kunnen de complexe relaties tussen de tokens vastleggen.
Verwerking van tokens
De tokens zelf zijn dus niet twee- of drie-dimensionaal. De volgorde van tokens in een zin is lineair, en deze volgorde is cruciaal voor de betekenis. Denk bijvoorbeeld aan de zinnen “De hond bijt de man” en “De man bijt de hond”. De tokens zijn hetzelfde, maar de volgorde is anders, en daardoor is de betekenis compleet verschillend.
Een AI-systeem verwerkt deze lineaire reeks tokens door ze om te zetten in de eerder genoemde embeddings. Deze vectorrepresentaties zijn dus de manier waarop het systeem de tokens “ziet”. De multi-dimensionele aard van deze vectoren stelt het systeem in staat om complexe semantische en syntactische relaties vast te leggen. Zo kan het systeem begrijpen dat “koning” en “koningin” vergelijkbare betekenissen hebben, of dat de zin “De katten jagen op de muizen” grammaticaal correct is.
Groei van tokens
Ja, het is mogelijk om meer tokens tegelijkertijd te verwerken. Dit is de contextlengte van het model, ook wel het “context window” genoemd. Een groter context window stelt het AI-systeem in staat om langere teksten of meer informatie in één keer te verwerken en te onthouden.
- Voordelen: Een groter context window kan leiden tot coherentere en contextueel relevantere antwoorden, vooral bij complexe opdrachten of lange gesprekken. Het stelt het model in staat om verder terug in de tekst te kijken om belangrijke informatie op te halen.
- Beperkingen: Het verwerken van een groter aantal tokens tegelijk is rekenkundig zeer intensief. De benodigde rekenkracht en geheugen nemen kwadratisch toe met de toename van de contextlengte. Dit maakt het duurder en trager.
- Recentere modellen, zoals GPT-4 Turbo en andere, hebben hun contextlengte aanzienlijk vergroot, waardoor ze in staat zijn om langere teksten en documenten te verwerken. Deze modellen worden steeds beter in het verwerken van een grotere hoeveelheid informatie tegelijkertijd.