Modele językowe nie czytają liter ani całych słów, tylko tokeny — kawałki tekstu. Krótkie popularne słowa to jeden token, dłuższe dzielą się na kilka części.
Tokeny są ważne z dwóch powodów: według nich liczy się okno kontekstowe (ile tekstu model „pamięta” naraz) oraz cena korzystania z API.
Ciekawostka: polski tekst zużywa zwykle więcej tokenów niż angielski o tej samej treści, bo nasze słowa mają dużo odmian.