Okno kontekstowe to coś w rodzaju pamięci roboczej modelu. Wszystko, co mieści się w oknie — rozmowa, wklejone pliki, instrukcje — model bierze pod uwagę przy odpowiedzi. Co się nie mieści, przepada.
Nowoczesne modele mają okna od kilkudziesięciu tysięcy do ponad miliona tokenów, co pozwala wkleić nawet całą książkę.