GPT-3 był ponad sto razy większy od poprzednika. Okazało się, że przy takiej skali model potrafi wykonywać zadania, których nikt go wprost nie uczył — wystarczy pokazać mu kilka przykładów w poleceniu (few-shot).
Dostęp do GPT-3 był początkowo ograniczony do programistów przez API, ale pokazy jego możliwości obiegły internet. Stało się jasne, że skalowanie modeli językowych to droga do coraz bardziej uniwersalnej AI.