Grote taalmodellen (LLM’s) gebruiken geen breedte, hoogte en diepte in de traditionele zin van ruimtelijke dimensies. Maar er is wél sprake van een soort abstracte “ruimte” waarin taal wordt gerepresenteerd — een vectorruimte.
In zo’n vectorruimte heeft elk woord, concept of zin een plaats op basis van getallen (vectoren), vaak met honderden of duizenden dimensies. Die dimensies hebben geen directe fysieke betekenis, maar vangen patronen op uit taalgebruik: betekenis, context, grammatica, enzovoort.
Als je het per se ruimtelijk wil bekijken, zou je kunnen zeggen dat:
- Breedte abstract staat voor de verscheidenheid aan onderwerpen,
- Hoogte voor de complexiteit of nuance in betekenis,
- Diepte voor de mate van context en verbanden die het model begrijpt.
Maar dit zijn metaforen, geen echte fysieke parameters. Alles gebeurt in een wiskundig domein, zonder echte “vorm” zoals we die in de echte wereld zien.
Een betere beschrijving is dat vectorruimte(n) de wiskundige basis vormen waarop taalmodellen zoals o.a. copilot, gemene, openai functioneren.
Wat is een vectorruimte?
In de eenvoudigste zin is een vectorruimte een verzameling van punten (vectoren) die je kunt optellen en vermenigvuldigen met getallen. Elke vector is eigenlijk een lijst van getallen, zoals:
[0.2, -1.4, 3.7, ...]
In taalmodellen vertegenwoordigt zo’n vector bijvoorbeeld een woord of een zin. En al die vectoren samen leven in een abstracte ruimte met vaak honderden of duizenden dimensies. Stel je een wolk van punten voor waarin woorden met verwante betekenissen dichtbij elkaar zweven.
Voorbeeld met woorden
Laten we zeggen dat we de woorden “koning”, “koningin”, “man” en “vrouw” als vectoren hebben. Taalmodellen leren dat:
vector("koning") - vector("man") + vector("vrouw") ≈ vector("koningin")
Dat betekent dat het model begrijpt dat de relatie tussen koning en koningin overeenkomt met die tussen man en vrouw. Dit is geen logica met regels — het is een patroon in de vectorruimte.
Waarom is dit nuttig?
Omdat taalmodellen op basis van deze vectorafstanden kunnen inschatten:
- welke woorden bij elkaar horen,
- welke betekenissen vergelijkbaar zijn,
- en wat een passende vervolgzinsnede zou kunnen zijn.
Het helpt het model om context te begrijpen, ambiguïteit op te lossen en relevante antwoorden te genereren.