Przy każdym kolejnym tokenie model ma listę możliwych kontynuacji z prawdopodobieństwami. Temperatura decyduje, czy wybiera prawie zawsze najbardziej prawdopodobną (niska), czy daje szansę mniej oczywistym (wysoka).
W zwykłych aplikacjach czatu zwykle nie da się jej zmienić, ale w narzędziach dla programistów (API) jest to podstawowy parametr.