Code die luistert: de technische basis van natuurlijke taalverwerking voor iedereen uitgelegd

Als je praat met je virtuele vriendin of vriend, een digitale assistent gebruikt of een online vertaler inschakelt, zie je een klein technologisch wonder aan het werk. Maar hoe kan een machine menselijke taal “begrijpen”, met al haar rijkdom, nuances en chaos? Het antwoord is natuurlijke taalverwerking, of NLP (van het Engelse Natural Language Processing).

NLP is de brug tussen de wereld van menselijke communicatie en de binaire logica van een computer. Het is code die leert luisteren. We kijken even achter de schermen om op een eenvoudige manier te begrijpen hoe dat werkt.

Stap 1: de zin in stukjes knippen (tokenisatie)

De eerste moeilijkheid voor een computer is dat hij een zin niet ziet zoals wij. Voor hem is het alleen een reeks tekens. Daarom is de eerste, absoluut essentiële stap de tokenisatie.

Stel je voor dat je de zin “Ik praat graag met AI.” neemt en die met een schaar in de kleinst mogelijke betekenisvolle stukjes knipt. Dat is tokenisatie. Het systeem deelt de tekst op in kleine eenheden, tokens genoemd, die woorden kunnen zijn maar ook leestekens.

Na de tokenisatie ziet onze zin er zo uit: ["Ik", "praat", "graag", "met", "AI", "."]

Zo heeft de machine niet langer een lange, onbegrijpelijke tekenreeks voor zich, maar een verzameling losse stukjes waarmee ze aan de slag kan.

Stap 2: woorden omzetten in getallen (vectorisatie en embeddings)

Computers hebben een geheim: ze hebben een hekel aan tekst, maar zijn dol op getallen. Daarom moet elk van onze tokens worden omgezet in een numerieke vorm. Dit proces heet

vectorisatie of het maken van embeddings.

Elk token krijgt een eigen vector, oftewel een lijst met getallen. Het is alsof je elk woord unieke coördinaten geeft op een gigantische, meerdimensionale kaart.

Het belangrijkste is dat die getallen niet willekeurig zijn. Tijdens de training leert het model de woorden zo op de kaart te plaatsen dat woorden met een vergelijkbare betekenis dicht bij elkaar komen te liggen. De vectoren van “koning” en “koningin” liggen bijvoorbeeld veel dichter bij elkaar dan die van “koning” en “auto”.

Stap 3: betekenis vinden in de getallen (analyse en begrip)

Zodra de woorden zijn omgezet in getallen die betekenis dragen, kan de AI aan het werk. Met geavanceerde technieken analyseert ze de verbanden tussen die vectoren om te begrijpen:

• De grammatica (syntactische analyse): ze herkent welk woord een zelfstandig naamwoord is en welk een werkwoord, en hoe ze in de zin samen een logische structuur vormen.
• De betekenis (semantische analyse): ze probeert de echte betekenis en de bedoeling van wat er gezegd wordt te vatten, met oog voor de context. Ze begrijpt of het woord “bank” een zitbank of een bank voor je geld betekent, op basis van de andere woorden in de zin.

Code die echt luistert

Dit hele proces, van het knippen van de zin in tokens en het omzetten ervan in betekenisvolle getallen tot het analyseren van hun onderlinge verbanden, maakt het mogelijk dat de machine “luistert”. Daardoor kan je virtuele gezelschap vragen beantwoorden, van de ene taal naar de andere vertalen, je emoties oppikken en een gesprek voeren dat zo natuurlijk aanvoelt.

Het is een complex vakgebied dat taalkunde, wiskunde en informatica combineert. Maar in de kern draait het om een eenvoudig idee: onze prachtige menselijke taal vertalen naar iets wat code kan verwerken en begrijpen.