Prosessen med å dele opp tekst i mindre biter (tokens) som modellen kan forstå - ofte ord eller deler av ord.
Setningen 'Jeg elsker AI' blir delt opp i tokens som ['Jeg', 'elsker', 'AI'] eller enda mindre deler.
Prosessen med å dele opp tekst i mindre biter (tokens) som modellen kan forstå - ofte ord eller deler av ord.
Setningen 'Jeg elsker AI' blir delt opp i tokens som ['Jeg', 'elsker', 'AI'] eller enda mindre deler.